KR20140048396A - 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법 - Google Patents

클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법 Download PDF

Info

Publication number
KR20140048396A
KR20140048396A KR1020120113040A KR20120113040A KR20140048396A KR 20140048396 A KR20140048396 A KR 20140048396A KR 1020120113040 A KR1020120113040 A KR 1020120113040A KR 20120113040 A KR20120113040 A KR 20120113040A KR 20140048396 A KR20140048396 A KR 20140048396A
Authority
KR
South Korea
Prior art keywords
search
metadata
database
file
cloud storage
Prior art date
Application number
KR1020120113040A
Other languages
English (en)
Other versions
KR101621385B1 (ko
Inventor
허용수
권정수
민경훈
유현성
이진철
한정훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020120113040A priority Critical patent/KR101621385B1/ko
Publication of KR20140048396A publication Critical patent/KR20140048396A/ko
Application granted granted Critical
Publication of KR101621385B1 publication Critical patent/KR101621385B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은, 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법에 관한 것으로서, 클라우드 스토리지 서비스의 파일 저장 관리에 NoSQL 데이터베이스를 사용함에 있어서, 파일의 메타데이터를 저장하는 메타데이터 데이터베이스와 별도로 검색 인덱스를 저장하는 검색 데이터베이스를 갖도록 구성됨으로써, NoSQL(Not only SQL) 또는 빅데이터 데이터베이스 기술을 이용하여 대용량 파일들을 효율적으로 저장 관리하면서도 상대적으로 취약할 수 있는 인덱싱 및 검색 기능 또한 강화하여 제공할 수 있게 된다.

Description

클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법{System and method for searching file in cloud storage service, and method for controlling file therein}
본 발명은, 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법에 관한 것으로서, 클라우드 스토리지 서비스의 파일 저장 관리에 NoSQL 데이터베이스를 사용함에 있어서, 파일의 메타데이터를 저장하는 메타데이터 데이터베이스와 별도로 검색 인덱스를 저장하는 검색 데이터베이스를 갖는 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법에 관한 것이다.
컴퓨터 네트워크의 기술 발전에 따라, 각 단말의 독립적인 하드웨어 성능에 의존하던 기존의 컴퓨팅 환경은, 네트워크 상의 모든 컴퓨팅 자원을 활용하여 단말의 요청에 따라 해당 서비스를 제공하는 클라우드 컴퓨팅(Cloud Computing) 형태로 진화하고 있다.
클라우드 컴퓨팅 서비스란, 인터넷과 같은 정보통신망을 통한 '컴퓨팅 자원의 온 디맨드 아웃소싱 서비스'라고 정의할 수 있다. 클라이언트는 어플리케이션(Application), 스토리지(Storage), 운영체제(Operation System, OS), 보안(Security)등의 필요한 컴퓨팅 자원을 각 클라이언트의 단말에 설치하여 사용하는 것이 아니라, 가상화 기술을 통해 생성된 가상의 컴퓨팅 환경 상의 서비스를 원하는 시점에 원하는 만큼 골라서 사용하게 된다. 클라이언트는 각 컴퓨팅 자원의 구입비용을 지불하는 것이 아니라 사용량에 기반하여 대가를 지불하게 된다.
인터넷과 소셜 네트워킹 서비스의 발전 이후 각종 서비스 업체에서 저장 및 관리해야할 데이터의 양은 엄청나게 증가하였고, 이를 저장, 복제 또는 분석 등을 수행하는 데에 드는 속도 또한 엄청나게 증가함에 따라, 각종 인터넷과 소셜 네트워킹 서비스 업체들은 스토리지 비용을 감당할 수 없게 되었고, 따라서, 이러한 클라우드 컴퓨팅 서비스 특히, 클라우드 스토리지 서비스에 주목을 하게 되었고, 이에 따라, 클라우드 컴퓨팅 서비스 중 현재 가장 활발하게 서비스가 이루어지고 있는 컴퓨팅 자원은 바로 스토리지(storage)가 된다.
그러나, 클라우드 스토리지 서비스에서 엄청나게 많은 양의 데이터를 저장 또는 관리하는 데에 있어서, 기존의 관계형 데이터베이스(Relational Database) 기술로는 대량의 데이터를 읽고 쓰는 속도와 그 확장성 면에서 상당한 제약을 갖게 되었으며, 이에 따라, 기존의 관계형 데이터베이스에서 읽고 쓰는 속도를 개선하고, 분산 병렬처리 및 확장성을 용이하게 한 데이터베이스 기술로 NoSQL(Not only SQL) 또는 빅데이터 데이터베이스 기술이 대두되고 있다.
이러한 NoSQL 데이터베이스로는, 카산드라(Cassandra), 몽고(Mongo), 카우치(Couch) 및 HBase 등이 있으나, 각 데이터베이스 기술별로 강점이 있는 부분과 한계가 있는 부분이 서로 갈린다. 이중 카산드라는 분산 데이터베이스 시스템에서 방대한 분량의 데이터를 처리할 수 있도록 디자인된 오픈 소스 데이터베이스 관리시스템으로 클라우드 스토리지 서비스의 대용량 파일 저장 및 관리에 많이 활용되고 있으나, 대량의 데이터를 분산하여 저장하는 관계로 인덱싱하기 어렵고, 파일의 리스트를 정렬하는 기능에 있어서 기술적 한계를 갖는다.
한국특허공개공보 제2012-0013475호
본 발명이 이루고자 하는 기술적 과제는, 클라우드 스토리지 서비스에 사용되는 데이터베이스 기술들의 약점을 서로 보완하기 위해 파일의 메타데이터를 저장하는 메타데이터 데이터베이스와 별도로 분리되어 검색 인덱스를 저장하는 검색 데이터베이스를 갖는 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법 및 파일 제어 방법을 제공하는 데에 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 클라우드 스토리지 서비스의 파일 검색 시스템은 스토리지 서버에 저장된 파일들의 메타데이터들을 저장하는 메타데이터 데이터베이스; 메타데이터 데이터베이스에 저장된 메타데이터들 중 일부인 검색용 메타데이터들 및 검색용 메타데이터들의 검색 인덱스들을 메타데이터 데이터베이스와 별도로 분리하여 저장하는 검색 데이터베이스; 및 외부로부터 검색 질의를 입력받아, 스토리지 서버에 저장된 파일들 중 입력받은 검색 질의의 검색 조건에 대응되는 파일들을 검색 데이터베이스에 저장된 검색용 메타데이터를 기초로 검색하여 검색 결과를 검색 질의에 대한 응답으로 제공하는 검색 인터페이스를 포함한다.
보다 바람직하게는, 메타데이터 데이터베이스 및 검색 데이터베이스는 서로 다른 NoSQL 데이터베이스 기술 기반으로 구축될 수 있다.
보다 바람직하게는, 메타데이터 데이터베이스는 카산드라(Cassandra) 데이터베이스 기반으로 구축되고, 검색 데이터베이스는 몽고(Mongo) 데이터베이스 기반으로 구축될 수 있다.
보다 바람직하게는, 검색 데이터베이스는 복수의 테이블들로 구성된 복수의 단위 데이터베이스들의 집합으로 구성되고, 복수의 테이블들은 클라우드 스토리지 서비스의 사용자에 각각 대응되며, 복수의 단위 데이터베이스들은 클라우드 스토리지 서비스의 적어도 하나 이상의 사용자들이 포함되는 사용자 그룹에 각각 대응될 수 있다.
보다 바람직하게는, 사용자 그룹은 사용자 각각의 식별자를 기초로 할당될 수 있다.
보다 바람직하게는, 사용자 그룹 각각의 식별자는 사용자 각각의 식별자의 최하위 바이트를 제외한 나머지 바이트로 구성될 수 있다.
보다 바람직하게는, 검색용 메타데이터는 파일의 식별자, 이름, 사용자 식별자, 포맷, 크기, 생성일자, 수정일자 및 마지막 생성일자 중 적어도 하나 이상을 포함할 수 있다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 클라우드 스토리지 서비스의 파일 제어 요청 처리 방법은 파일의 입출력, 업데이트 및 삭제 중 적어도 하나 이상을 포함하는 파일 제어 요청을 수신하는 단계; 수신된 파일 제어 요청에 따라 스토리지 서버 및 메타데이터 데이터베이스를 제어하는 단계; 및 파일 제어 요청에 따른 메타데이터 데이터베이스에서의 메타데이터 변경에 따라 검색 데이터베이스에 저장된 검색용 메타데이터들을 변경하는 검색 데이터제어단계를 포함한다.
보다 바람직하게는, 메타데이터 데이터베이스 및 검색 데이터베이스는 서로 다른 NoSQL 데이터베이스 기술 기반으로 구축될 수 있다.
보다 바람직하게는, 검색 데이터 제어 단계는 파일 제어 요청이 파일 입력 요청인 경우에, 입력 요청된 파일의 검색 인덱스를 생성하는 단계를 포함할 수 있다.
보다 바람직하게는, 검색 데이터 제어 단계는 파일 제어 요청이 파일 삭제 요청인 경우에, 삭제 요청된 파일에 대하여 기저장된 검색 인덱스를 삭제하는 단계를 포함할 수 있다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 클라우드 스토리지 서비스의 파일 검색 방법은, 파일의 검색용 메타데이터 및 검색용 메타데이터에 대응되는 검색 조건을 포함하는 검색 질의를 수신하는 단계; 검색 데이터베이스 상에서 검색 질의에 속한 검색용 메타데이터를 기준으로 스토리지 서버에 저장된 파일들을 정렬하여, 검색 조건에 해당되는 파일들의 리스트를 획득하는 단계; 및 획득된 파일들의 리스트를 검색질의에 대한 응답으로 제공하는 단계를 포함한다.
본 발명에 따라 메타데이터 저장을 위한 메타데이터 데이터베이스와 검색 인덱스 저장을 위한 검색 데이터베이스를 서로 별도로 분리하여 저장 및 관리하면, NoSQL(Not only SQL) 또는 빅데이터 데이터베이스 기술을 이용하여 대용량 파일들을 효율적으로 저장 관리하면서도 상대적으로 취약할 수 있는 인덱싱 및 검색 기능 또한 강화하여 제공할 수 있게 된다.
도 1는 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 검색 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 제어 요청 처리 방법의 흐름을 도시한 도면이다.
도 3은 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 검색 방법의 흐름을 도시한 도면이다.
도 4는 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 제어 요청 처리 과정을 예시한 도면이다.
도 5는 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 검색 과정을 예시한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1는 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 검색 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 실시예에 따른 클라우드 스토리지 서비스의 파일 검색 시스템(100)은 스토리지 서버(110), 메타데이터 데이터베이스(120), 검색 데이터베이스(130) 및 검색 인터페이스(140)를 포함한다.
본 실시예에 따른 클라우드 스토리지 서비스의 파일 검색 시스템(100)의 구성요소들인 스토리지 서버(110), 메타데이터 데이터베이스(120), 검색 데이터베이스(130) 및 검색 인터페이스(140)은 그 중 적어도 일부가 외부 단말장치나 외부 서버등과 통신하는 프로그램 모듈일 수 있으며, 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈로서 파일 검색 시스템(100)에 포함될 수 있으며, 물리적으로는 다양한 종류의 공지된 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 파일 검색 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명 자체가 이에 한정되지는 않는다.
스토리지 서버(110)는 클라우드 스토리지 서비스의 불특정 사용자들의 불특정 파일들을 저장 및 관리한다.
메타데이터 데이터베이스(120)는 스토리지 서버(110)에 저장된 파일들의 메타데이터들을 저장 및 관리한다. 메타데이터 데이터베이스(120)는 클라우드 스토리지에서 주로 사용하는 Key-Value 구조 기반으로 대량의 데이터의 저장이 용이한 카산드라(Cassandra) DB로 구축하는 것이 바람직하나, 기타 다른 NoSQL 기반의 데이터베이스 기술 예컨대 Hbase 등도 적용 가능하다.
검색 데이터베이스(130)는 메타데이터 데이터베이스(120)에 저장된 메타데이터들 중 일부인 검색용 메타데이터들과, 상기 검색용 메타데이터들의 검색 인덱스들을 메타데이터 데이터베이스(120)와 별도로 분리하여 저장 및 관리한다. 즉, 검색 데이터베이스는 검색에 필요한 일부 메타데이터들을 저장하는 메모리 캐쉬와 같은 역할을 수행한다. 여기에서 검색에 필요한 일부 메타데이터인 검색용 메타데이터는 식별자, 이름, 사용자 식별자, 포맷, 크기, 생성일자, 수정일자 및 마지막 생성일자 등이 이에 해당될 수 있으며, 해당 클라우드 스토리지 서비스에서 리스트 정렬 혹은 파일 검색을 제공하는 기준이 되는 메타데이터들이 이에 포함될 수 있다.
검색 데이터베이스(130)는 카산드라(Cassandra) DB의 약점을 보완하기 위해, 몽고(Mongo) DB 기반으로 구축하는 것이 바람직하다. 몽고 DB는 Cassandra나 HBase 등 다른 NoSQL 데이터베이스와 비교할 때, 데이터의 CRUD(Create, Read, Update, Delete) 쿼리를 지원하며, 쓰기(Write)시 높은 속도의 성능을 제공함으로써, 실시간으로 데이터 저장이 가능하다는 강점이 있다.
검색 데이터베이스(130)는 불특정 사용자들의 불특정 파일들에 대한 검색 인덱스를 보다 효율적으로 저장 및 관리하기 위해, 복수의 테이블로 구성된 복수의 단위 데이터베이스들의 집합으로 구성될 수 있으며, 여기에서 복수의 테이블들은 클라우드 스토리지 서비스의 사용자들에 각각 대응되며, 복수의 단위 데이터베이스들은 이러한 사용자들이 적어도 하나 이상 포함되는 사용자 그룹들에 각각 대응되도록 구성될 수 있다.
검색 데이터베이스(130)를 사용자별-그룹별의 2단계로 구조화하여 구성한 것은, 단순히 사용자별로만 구조화하는 경우에는 사용자별로 할당되는 공간이 너무 크게 설정되어 가용성이 떨어지는 것을 방지하기 위함이다.
본 실시예에서의 사용자 그룹은 이처럼 단순히 데이터베이스의 가용성을 위해 랜덤하게 분류한 것으로, 사용자는 자신이 어느 그룹에 속하거나 해당되는지 확인하지 못하며, 사용자 요청에 따라 그룹화되지 않는 것을 전제로 한다.
따라서, 사용자 그룹은 그루핑의 용이를 위해 사용자 각각의 식별자를 기초로 할당될 수 있다.
예컨대, 검색 데이터베이스를 몽고(Mongo) DB를 이용하여 구성할 경우, 사용자 각각의 식별자의 최하위 바이트를 제외한 나머지 바이트값이 동일한 사용자들을 동일한 그룹으로 그루핑하는 방법을 적용할 수 있으며, 이때 사용자 그룹의 식별자는 이에 소속되는 사용자들의 식별자의 최하위 바이트를 제외한 나머지 바이트값으로 설정될 수 있다. 이 경우 클라우드 스토리지 서비스의 사용자 ID가 16 바이트 데이터인 경우에, 검색 데이터베이스의 사용자 그룹 ID는 15 바이트 데이터가 되어 각 사용자 그룹별로 단위 데이터베이스 영역을 구분할 수 있다.
본 실시예에서의 이러한 그루핑 방법은 본 발명의 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명 자체가 이러한 그루핑 방법에 국한되어 적용되지는 않는다고 할 것이다.
검색 인터페이스(140)는 외부로부터 검색 질의를 입력받아, 스토리지 서버(110)에 저장된 파일들 중 입력받은 검색 질의의 검색 조건에 대응되는 파일들을 검색 데이터베이스(130)에 저장된 검색용 메타데이터를 기초로 검색하여 검색 결과를 검색 질의에 대한 응답으로 제공한다. 예컨대, 검색 데이터베이스(130)로부터 검색 결과를 파일들의 식별자 리스트의 형태로 제공받아, 해당 파일들의 식별자 리스트를 기초로 스토리지 서버(110)에 저장된 파일들을 로드하여 외부에 제공하거나, 혹은 검색 질의를 보낸 클라이언트에 제공가능한 형태로 해당 파일들의 식별자 리스트 혹은 해당 파일들을 가공하여 외부에 제공할 수 있다.
도 2는 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 제어 요청 처리 방법의 흐름을 도시한 도면으로, 본 실시예에 따른 클라우드 스토리지 서비스의 파일 제어 요청 처리 방법은 도 1에 도시된 클라우드 스토리지 서비스의 파일 검색 시스템(100)에서 수행될 수 있다. 따라서, 도 1에 도시된 클라우드 스토리지 서비스의 파일 검색 시스템(100)에서와 동일한 사항에 대해서는 이를 참조한다.
도 2를 참조하면, 먼저, 파일의 입출력, 업데이트 및 삭제 중 적어도 하나 이상을 포함하는 파일 제어 요청을 수신한다(S210).
S210 단계에서 수신된 파일 제어 요청에 따라 스토리지 서버 및 메타데이터 데이터베이스를 제어한다(S220).
S22O 단계에서의 스토리지 서버 및 메타데이터베이스 제어 과정에서의 파일 또는 메타데이터의 변경에 따라, 검색 데이터베이스에 저장된 검색용 메타데이터들 및 검색 인덱스들을 변경한다(S230).
이러한 본 실시예에 따른 파일 제어 요청 처리 방법에 따르면, S210 단꼐에서 수신된 파일 제어 요청이 파일 입력 요청인 경우에는, S230 단계의 검색 데이터베이스 변경과정에서, 입력 요청된 파일의 검색 인덱스를 생성하게 되고, S210 단계에서 수신된 파일 제어 요청이 파일 삭제 요청인 경우에, S230 단계의 검색 데이터베이스 변경과정에서, 삭제 요청된 파일에 대하여 기저장된 검색 인덱스를 삭제하게 된다.
도 3은 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 검색 방법의 흐름을 도시한 도면으로, 본 실시예에 따른 클라우드 스토리지 서비스의 파일 검색 방법은 도 1에 도시된 클라우드 스토리지 서비스의 파일 검색 시스템(100)에서 수행될 수 있다. 따라서, 도 1에 도시된 클라우드 스토리지 서비스의 파일 검색 시스템(100)에서와 동일한 사항에 대해서는 이를 참조한다.
도 3을 참조하면, 먼저, 파일의 검색용 메타데이터 및 상기 검색용 메타데이터에 대응되는 검색 조건을 포함하는 검색 질의를 수신한다(S310).
검색 데이터베이스 상에서 S310 단계에서 수신된 검색 질의에 속한 검색용 메타데이터를 기준으로 스토리지 서버에 저장된 파일들을 정렬한다(S320).
본 실시예에서 검색 질의에 포함될 수 있는 검색용 메타데이터로는 파일의 식별자, 이름, 사용자 식별자, 포맷, 크기, 생성일자, 수정일자 및 마지막 생성일자 등으로, 해당 클라우드 스토리지 서비스에서 리스트 정렬 혹은 파일 검색을 제공하는 기준이 되는 메타데이터들이 이에 포함될 수 있다.
S320 단계에서 정렬된 파일들 중에서 상기 검색 조건에 해당되는 파일들의 리스트를 획득한다(S330).
S330 단계에서 획득된 파일들의 리스트를 검색 질의에 대한 응답으로 제공한다(S340).
도 4는 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 제어 요청 처리 과정을 예시한 도면으로, 본 실시예에서는 도 1에 도시된 클라우드 스토리지 서비스의 메타데이터 데이터베이스(420)를 카산드라 DB 기반으로 구축하였으며, 검색 데이터베이스(440)를 몽고 DB 기반으로 구축한 예를 도시한다.
먼저, 스토리지 서버(410)에 파일 입출력, 업데이트 및 삭제 등의 이벤트가 발생하여(S401), 파일의 메타데이터를 저장하는 데이터베이스인 카산드라 DB(420)에 이러한 이벤트에 대응한 데이터베이스 처리를 수행하고(S402), 이러한 이벤트에 기반한 검색용 메타데이터의 변경 내지 검색 인덱스의 추가/삭제에 관한 요청을 RESTful 방식으로 검색 엔진 시스템(430)에 요청한다(S403).
검색 엔진 시스템(430)은 RESTful 인터페이스(431)를 통해, 검색용 메타데이터의 변경 내지 검색 인덱스의 추가/삭제에 관한 요청을 수신(S404)하여, 쿼리 분석부(432)를 통해, 요청된 쿼리를 분석(S405)하여, 분석된 결과에 따라 메타데이터의 변경 내지 검색 인덱스의 추가/삭제에 관한 요청(S406)을 데이터 스토어(433)을 통해 검색 데이터베이스(440)에 전달(S407)하고, 이에 관한 응답(S408)을 RESTful 인터페이스(431)를 통해 스토리지 서버(410)/카산드라 DB(420)에 전달(S409~S410)한다.
도 5는 본 발명의 바람직한 일실시예에 따른 클라우드 스토리지 서비스의 파일 검색 과정을 예시한 도면으로, 본 실시예에서는 도 1에 도시된 클라우드 스토리지 서비스의 메타데이터 데이터베이스(520)를 카산드라 DB 기반으로 구축하였으며, 검색 데이터베이스(540)를 몽고 DB 기반으로 구축한 예를 도시한 것으로, 도 5에 도시된 클라우드 스토리지 서비스의 스토리지 서버(510), 메타데이터 데이터베이스(520), 검색 엔진 시스템(530) 및 검색 데이터베이스(540)는 도 4에 도시된 클라우드 스토리지 서비스의 스토리지 서버(410), 메타데이터 데이터베이스(420), 검색 엔진 시스템(430), 검색 데이터베이스(440)에 서로 대응되는 구성요소로, 도 4에 도시된 클라우드 스토리지 서비스의 파일 제어 요청 처리 과정에서와 동일한 사항에 대해서는 이를 참조한다.
먼저 스토리지 서버(510) 및 카산드라 DB(520)의 파일 및 메타데이터 처리 과정에서 파일 검색이 필요한 이벤트가 발생하거나 외부로부터 파일 검색 요청을 수신한 경우(S501~S502)에, 이벤트에 기반한 파일의 검색 요청을 RESTful 방식으로 검색 엔진 시스템(530)에 요청한다(S503).
검색 엔진 시스템(530)은 RESTful 인터페이스(531)를 통해, 파일의 검색 요청을 수신(S504)하여, 쿼리분석부(532)를 통해, 요청된 쿼리를 분석(S505)하여, 분석된 결과에 따라 쿼리에 포함된 검색 조건에 대응되는 검색 요청(S506)을 데이터 스토어(533)을 통해 검색 데이터베이스(540)에 전달(S507)하고, 이에 관한 응답(S508)으로 검색 조건에 대응되는 파일들의 리스트를 RESTful 인터페이스(531)를 쿼리분석부(532)에 전달하고, 쿼리분석부(532)에서 파일 검색 요청의 상대방에게 제공가능한 형태로 검색 결과를 가공하여(S509), RESTful 인터페이스(531)를 통해 스토리지 서버(510)/카산드라 DB(520)에 전달(S510)한다.
본 발명에 따른 클라우드 스토리지 서비스의 검색 시스템과 같이, 메타데이터 저장을 위한 메타데이터 데이터베이스와 검색 인덱스 저장을 위한 검색 데이터베이스를 서로 별도로 분리하여 저장 및 관리하면, NoSQL(Not only SQL) 또는 빅데이터 데이터베이스 기술을 이용하여 대용량 파일들을 효율적으로 저장 관리하면서도 상대적으로 취약할 수 있는 인덱싱 및 검색 기능 또한 강화하여 제공할 수 있게 된다.
본 발명에 따라 클라우드 스토리지 서비스의 파일 제어 요청을 처리하거나 클라우드 스토리지 서비스의 파일을 검색하는 과정은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
100: 파일 검색 시스템
110: 스토리지 서버
120: 메타데이터 데이터베이스
130: 검색 데이터베이스
140: 검색 인터페이스
410: 스토리지 서버
420: 메타데이터 데이터베이스
430: 검색 엔진 시스템
431: RESTful 인터페이스
432: 쿼리 분석부
433: 데이터 스토어
440: 검색 데이터베이스

Claims (14)

  1. 스토리지 서버에 저장된 파일들의 메타데이터들을 저장하는 메타데이터 데이터베이스;
    상기 메타데이터 데이터베이스에 저장된 메타데이터들 중 일부인 검색용 메타데이터들 및 상기 검색용 메타데이터들의 검색 인덱스들을 상기 메타데이터 데이터베이스와 별도로 분리하여 저장하는 검색 데이터베이스; 및
    외부로부터 검색 질의를 입력받아, 상기 스토리지 서버에 저장된 파일들 중 상기 입력받은 검색 질의의 검색 조건에 대응되는 파일들을 상기 검색 데이터베이스에 저장된 검색용 메타데이터를 기초로 검색하여 검색 결과를 상기 검색 질의에 대한 응답으로 제공하는 검색 인터페이스를 포함하는 것을 특징으로 하는 클라우드 스토리지 서비스의 검색 시스템.
  2. 제1항에 있어서,
    상기 메타데이터 데이터베이스 및 상기 검색 데이터베이스는 서로 다른 NoSQL 데이터베이스 기술 기반으로 구축된 것을 특징으로 하는 클라우드 스토리지 서비스의 검색 시스템.
  3. 제1항에 있어서,
    상기 메타데이터 데이터베이스는 카산드라(Cassandra) 데이터베이스 기반으로 구축되고, 상기 검색 데이터베이스는 몽고(Mongo) 데이터베이스 기반으로 구축된 것을 특징으로 하는 클라우드 스토리지 서비스의 검색 시스템.
  4. 제1항에 있어서,
    상기 검색 데이터베이스는 복수의 테이블들로 구성된 복수의 단위 데이터베이스들의 집합으로 구성되고,
    상기 복수의 테이블들은 클라우드 스토리지 서비스의 사용자에 각각 대응되며,
    상기 복수의 단위 데이터베이스들은 상기 클라우드 스토리지 서비스의 적어도 하나 이상의 사용자들이 포함되는 사용자 그룹에 각각 대응되는 것을 특징으로 하는 클라우드 스토리지 서비스의 검색 시스템.
  5. 제4항에 있어서,
    상기 사용자 그룹은 상기 사용자 각각의 식별자를 기초로 할당되는 것을 특징으로 하는 클라우드 스토리지 서비스의 검색 시스템.
  6. 제5항에 있어서,
    상기 사용자 그룹 각각의 식별자는 상기 사용자 각각의 식별자의 최하위 바이트를 제외한 나머지 바이트로 구성되는 것을 특징으로 하는 클라우드 스토리지 서비스의 검색 시스템.
  7. 제1항에 있어서,
    상기 검색용 메타데이터는 파일의 식별자, 이름, 사용자 식별자, 포맷, 크기, 생성일자, 수정일자 및 마지막 생성일자 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 클라우드 스토리지 서비스의 검색 시스템.
  8. 스토리지 서버에 저장된 파일들의 메타데이터들을 저장하는 메타데이터 데이터베이스 및 상기 메타데이터 데이터베이스에 저장된 메타데이터들 중 일부인 검색용 메타데이터들 및 상기 검색용 메타데이터들의 검색 인덱스들을 상기 메타데이터 데이터베이스와 별도로 저장하는 검색 데이터베이스를 포함하는 클라우드 스토리지 서비스 시스템의 파일 제어 요청 처리 방법에 있어서,
    파일의 입출력, 업데이트 및 삭제 중 적어도 하나 이상을 포함하는 파일 제어 요청을 수신하는 단계;
    상기 수신된 파일 제어 요청에 따라 상기 스토리지 서버 및 상기 메타데이터 데이터베이스를 제어하는 단계; 및
    상기 파일 제어 요청에 따른 메타데이터 데이터베이스에서의 메타데이터 변경에 따라 상기 검색 데이터베이스에 저장된 검색용 메타데이터들을 변경하는 검색 데이터 제어 단계를 포함하는 것을 특징으로 하는 클라우드 스토리지 서비스 시스템의 파일 제어 요청 처리 방법.
  9. 제8항에 있어서,
    상기 메타데이터 데이터베이스 및 상기 검색 데이터베이스는 서로 다른 NoSQL 데이터베이스 기술 기반으로 구축된 것을 특징으로 하는 하는 클라우드 스토리지 서비스 시스템의 파일 제어 요청 처리 방법.
  10. 제8항에 있어서,
    상기 검색 데이터 제어 단계는
    상기 파일 제어 요청이 파일 입력 요청인 경우에, 입력 요청된 파일의 검색 인덱스를 생성하는 단계를 포함하는 것을 특징으로 하는 클라우드 스토리지 서비스 시스템의 파일 제어 요청 처리 방법.
  11. 제8항에 있어서,
    상기 검색 데이터 제어 단계는
    상기 파일 제어 요청이 파일 삭제 요청인 경우에, 삭제 요청된 파일에 대하여 기저장된 검색 인덱스를 삭제하는 단계를 포함하는 것을 특징으로 하는 클라우드 스토리지 서비스 시스템의 파일 제어 요청 처리 방법.
  12. 스토리지 서버에 저장된 파일들의 메타데이터들을 저장하는 메타데이터 데이터베이스 및
    상기 메타데이터 데이터베이스에 저장된 메타데이터들 중 일부인 검색용 메타데이터들 및 상기 검색용 메타데이터들의 검색 인덱스들을 상기 메타데이터 데이터베이스와 별도로 저장하는 검색 데이터베이스를 포함하는 클라우드 스토리지 서비스 시스템의 파일 검색 방법에 있어서,
    파일의 검색용 메타데이터 및 상기 검색용 메타데이터에 대응되는 검색 조건을 포함하는 검색 질의를 수신하는 단계;
    상기 검색 데이터베이스 상에서 상기 검색 질의에 속한 검색용 메타데이터를 기준으로 상기 스토리지 서버에 저장된 파일들을 정렬하여, 상기 검색 조건에 해당되는 파일들의 리스트를 획득하는 단계; 및
    상기 획득된 파일들의 리스트를 상기 검색질의에 대한 응답으로 제공하는 단계를 포함하는 것을 특징으로 하는 클라우드 스토리지 서비스 시스템의 파일 검색 방법.
  13. 제12항에 있어서,
    상기 메타데이터 데이터베이스 및 상기 검색 데이터베이스는 서로 다른 NoSQL 데이터베이스 기술 기반으로 구축된 것을 특징으로 하는 하는 클라우드 스토리지 서비스 시스템의 파일 제어 요청 처리 방법.
  14. 제12항에 있어서,
    상기 검색용 메타데이터는 파일의 식별자, 이름, 사용자 식별자, 포맷, 크기, 생성일자, 수정일자 및 마지막 생성일자 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 클라우드 스토리지 서비스의 검색 시스템.
KR1020120113040A 2012-10-11 2012-10-11 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법 KR101621385B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120113040A KR101621385B1 (ko) 2012-10-11 2012-10-11 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120113040A KR101621385B1 (ko) 2012-10-11 2012-10-11 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법

Publications (2)

Publication Number Publication Date
KR20140048396A true KR20140048396A (ko) 2014-04-24
KR101621385B1 KR101621385B1 (ko) 2016-05-18

Family

ID=50654413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120113040A KR101621385B1 (ko) 2012-10-11 2012-10-11 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법

Country Status (1)

Country Link
KR (1) KR101621385B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629395B1 (ko) * 2015-12-24 2016-06-13 한국과학기술정보연구원 데이터 분석 장치, 데이터 분석 방법 및 데이터를 분석하는 프로그램을 저장하는 저장매체
KR101634122B1 (ko) 2015-10-28 2016-06-29 주식회사 인피니플럭스 고속의 데이터 입력 시스템 및 방법
KR20160126148A (ko) * 2015-04-22 2016-11-02 한양대학교 에리카산학협력단 읽기 성능 개선을 위한 티-트리 인덱스를 이용한 데이터베이스 읽기 방법 및 그 장치
WO2017146348A1 (ko) * 2016-02-24 2017-08-31 주식회사 케이앤컴퍼니 위치 기반 빅데이터 시스템
KR20180059269A (ko) * 2016-11-25 2018-06-04 진데이타 주식회사 빅데이터 플랫폼 연동 장치 및 그 연동 방법
US10133785B2 (en) 2015-01-02 2018-11-20 Samsung Electronics Co., Ltd. Data storage device including internal hardware filter and data processing system
KR20190047484A (ko) * 2017-10-27 2019-05-08 삼성에스디에스 주식회사 복수의 스토리지 장치를 이용한 파일 관리 서비스의 제공 방법 및 그 장치
KR102680768B1 (ko) * 2023-07-10 2024-07-04 스마트마인드 주식회사 비정형 데이터에 대한 바이너리화를 수행하는 방법 및 이러한 방법을 수행하는 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006331189A (ja) 2005-05-27 2006-12-07 Ricoh Co Ltd コンテンツ管理装置、コンテンツ管理システム、コンテンツ管理方法およびコンテンツ管理プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133785B2 (en) 2015-01-02 2018-11-20 Samsung Electronics Co., Ltd. Data storage device including internal hardware filter and data processing system
KR20160126148A (ko) * 2015-04-22 2016-11-02 한양대학교 에리카산학협력단 읽기 성능 개선을 위한 티-트리 인덱스를 이용한 데이터베이스 읽기 방법 및 그 장치
KR101634122B1 (ko) 2015-10-28 2016-06-29 주식회사 인피니플럭스 고속의 데이터 입력 시스템 및 방법
KR101629395B1 (ko) * 2015-12-24 2016-06-13 한국과학기술정보연구원 데이터 분석 장치, 데이터 분석 방법 및 데이터를 분석하는 프로그램을 저장하는 저장매체
WO2017146348A1 (ko) * 2016-02-24 2017-08-31 주식회사 케이앤컴퍼니 위치 기반 빅데이터 시스템
KR20180059269A (ko) * 2016-11-25 2018-06-04 진데이타 주식회사 빅데이터 플랫폼 연동 장치 및 그 연동 방법
KR20190047484A (ko) * 2017-10-27 2019-05-08 삼성에스디에스 주식회사 복수의 스토리지 장치를 이용한 파일 관리 서비스의 제공 방법 및 그 장치
KR102680768B1 (ko) * 2023-07-10 2024-07-04 스마트마인드 주식회사 비정형 데이터에 대한 바이너리화를 수행하는 방법 및 이러한 방법을 수행하는 장치

Also Published As

Publication number Publication date
KR101621385B1 (ko) 2016-05-18

Similar Documents

Publication Publication Date Title
US12118122B2 (en) Masking sensitive information in records of filtered accesses to unstructured data
US11269834B2 (en) Detecting quasi-identifiers in datasets
KR101621385B1 (ko) 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법
US10366053B1 (en) Consistent randomized record-level splitting of machine learning data
US11468103B2 (en) Relational modeler and renderer for non-relational data
US10911324B2 (en) Declarative and reactive data layer for component-based user interfaces
US8799291B2 (en) Forensic index method and apparatus by distributed processing
US10650032B1 (en) Filtering pipeline optimizations for unstructured data
US11816510B2 (en) Elastic data partitioning of a database
US20200233861A1 (en) Elastic data partitioning of a database
US10664508B1 (en) Server-side filtering of unstructured data items at object storage services
JP7374232B2 (ja) コンテキスト付きのコンテンツ・アイテム共有
US20180203874A1 (en) Space-efficient secondary indexing on distributed data stores
US11030211B2 (en) Migrating page layout representations of database entries
CN112307122A (zh) 一种基于数据湖的数据管理系统及方法
CN118113663A (zh) 用于管理存储系统的方法、设备和计算机程序产品
US10901982B2 (en) Managing a data set
US20200233848A1 (en) Elastic data partitioning of a database
KR102253841B1 (ko) 대용량 분산 파일 시스템에서 데이터의 수정을 포함하는 트랜잭션 처리 장치 및 컴퓨터로 읽을 수 있는 기록매체
US11169993B2 (en) Datastore mechanism for managing out-of-memory data
WO2022108599A1 (en) Data processing independent of storage, format or schema
KR101744017B1 (ko) 실시간 검색을 위한 데이터 인덱싱 방법 및 장치
US11455309B2 (en) Partition key adjustment based on query workload
US11170000B2 (en) Parallel map and reduce on hash chains
Zhang et al. Scalable iterative implementation of mondrian for big data multidimensional anonymisation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 4