KR20130062582A - 만화 출판물에 대한 핑거프린팅 시스템 및 방법 - Google Patents

만화 출판물에 대한 핑거프린팅 시스템 및 방법 Download PDF

Info

Publication number
KR20130062582A
KR20130062582A KR1020110128934A KR20110128934A KR20130062582A KR 20130062582 A KR20130062582 A KR 20130062582A KR 1020110128934 A KR1020110128934 A KR 1020110128934A KR 20110128934 A KR20110128934 A KR 20110128934A KR 20130062582 A KR20130062582 A KR 20130062582A
Authority
KR
South Korea
Prior art keywords
fingerprint
cartoon
publication
comic
image
Prior art date
Application number
KR1020110128934A
Other languages
English (en)
Other versions
KR101916665B1 (ko
Inventor
박지현
윤영석
이상광
김정현
이승재
김성민
서용석
이정호
서영호
유원영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110128934A priority Critical patent/KR101916665B1/ko
Priority to US13/651,271 priority patent/US8873863B2/en
Publication of KR20130062582A publication Critical patent/KR20130062582A/ko
Application granted granted Critical
Publication of KR101916665B1 publication Critical patent/KR101916665B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 만화 출판물에 대한 핑거프린팅 시스템 및 방법에 관한 것으로, 상세하게는 이미지 파일 형태로 유포된 디지털 만화 출판물을 저장하여 생성한 파일, 화면 캡쳐 기능을 이용하여 디지털 만화 출판물을 캡쳐하여 생성한 파일, 실물 만화 출판물을 스캔하거나 디지털 카메라를 이용한 촬영하여 생성한 파일 등 다양한 방법으로 획득한 만화 출판물에 대해 핑거프린트를 이용하여 검색하여 식별하는 방법과 식별 결과를 통하여 불법으로 공유되는 만화 출판물인 경우 공유를 차단하여 만화 출판물의 저작권을 보호하는 시스템 및 방법에 관한 것이다. 본 발명에 따른 만화 출판물 검색 시스템은 만화 출판물로부터 추출한 핑거프린트를 저장하는 핑거프린트 데이터베이스, 입력된 만화 이미지에 포함되어 있는 박스 프레임, 컷, 말풍선 중 적어도 하나로 구성되는 핑거프린트를 추출하는 만화 출판물 핑거프린트 추출부, 추출한 상기 핑거프린트를 이용하여 상기 핑거프린트 데이터베이스에 저장되어 있는 만화 출판물 중 후보군을 검색하는 핑거프린트 기반 후보군 검색부, 검색된 상기 후보군과 추출한 상기 핑거프린트에 대응되는 만화 이미지의 유사도를 측정하는 유사도 측장부를 포함하는 것을 특징으로 한다.

Description

만화 출판물에 대한 핑거프린팅 시스템 및 방법{System and method for finger printing for comics}
본 발명은 만화 출판물에 대한 핑거프린팅 시스템 및 방법에 관한 것으로, 상세하게는 이미지 파일 형태로 유포된 디지털 만화 출판물을 저장하여 생성한 파일, 화면 캡쳐 기능을 이용하여 디지털 만화 출판물을 캡쳐하여 생성한 파일, 실물 만화 출판물을 스캔하거나 디지털 카메라를 이용한 촬영하여 생성한 파일 등 다양한 방법으로 획득한 만화 출판물에 대해 핑거프린트를 이용하여 검색하여 식별하는 방법과 식별 결과를 통하여 불법으로 공유되는 만화 출판물인 경우 공유를 차단하여 만화 출판물의 저작권을 보호하는 시스템 및 방법에 관한 것이다.
디지털 콘텐츠 기술의 발달과 데이터 전송 매체의 발달로 인해 데이터의 상호 교류 및 정보의 양이 급격하게 증가하고 있다. 일반적으로 영화, 음악, 문서, 사진 등 다양한 종류의 디지털 콘텐츠가 제작되고 인터넷 혹은 P2P, 웹 하드를 통해 공유되고 빠르게 유포됨으로써 콘텐츠의 습득이 용이해 졌다. 이러한 콘텐츠 공유에 의해 사회적인 문제로 지적되는 것이 저작권이 있는 디지털 콘텐츠의 불법 공유로 인한 저작권자의 권리 침해 문제이다. 디지털 콘텐츠에 대한 저작권 침해 사례들로 인해 DRM(Digital Rights Management), 워터마킹, 핑커프린팅 등의 기술이 적용되어 저작권자의 권리 보호 및 사용자의 피해를 예방하기 위해 활용되고 있다. 하지만 CD, DVD, 책과 같은 저작물을 디지털 기기를 사용하여 디지털화 하여 공유하는 경우에 저작권자의 권리는 제대로 보호 받지 못하고 있으며 사용자에 대한 피해도 예방하지 못하고 있다.
특히 만화 출판물의 경우 고사양의 스캐너 및 디지털 카메라를 이용하여 불법적인 복제와 복사 과정을 통해 실물 출판물이 디지털 콘텐츠화 되고 사용자 사이에서 상호 공유됨으로써 저작권자의 권리가 침해되는 사례가 빈번히 발생하고 있다.
근래 저작권보호를 위한 기술적 보호조치의 의무화로 인하여 대부분의 OSP(Online Service Provider)에서는 음악이나 동영상 콘텐츠에 대해서는 콘텐츠 인식을 통한 필터링 기술이 적용되어 사용되고 있다. 이 기술은 특징점, DNA(deoxyribonucleic acid) 혹은 디지털 핑거프린팅(finger printing)을 이용하여 불법 유통되는 음원이나 동영상을 모니터링하고 필터링하는 기술이다.
음원과 동영상에 콘텐츠에 대해서는 이러한 기술이 적용되는데 반해, 만화 출판물 콘텐츠에 대해서는 관련 기술의 부재로 인하여 불법 콘텐츠를 모니터링하고 필터링하기 위한 보호 기술이 적용되지 않고 있다.
현재 인터넷을 통하여 만화 콘텐츠를 서비스하고 있는 대부분의 사이트가 대부분 화면 캡쳐 등의 간단한 불법 복제에 대해서도 방지 장치를 하지 않고 있고, 일부에서만 암호화 기술이나 캡쳐 방지 기술을 이용하여 비교적 안전하게 콘텐츠들의 저작권을 보호하고 있다. 하지만, 암호를 해독하거나 캡쳐 방지 기술을 우회하는 경우에는 만화 콘텐츠들이 불법으로 저장되어 유포될 수 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 불법으로 유포된 출판물들을 검색 및 수집하고 핑거프린트를 추출하여 원본 출판물들의 핑거프린트와 비교하여 불법 여부를 판단할 수 있는 핑거 프린팅 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 만화 출판물 콘텐츠가 디지털화 되어 공유되는 경우에 대하여 저작권자의 권리 보호와 사용자의 피해 사례를 예방하기 위하여, 만화 출판물 영상에서 특징을 추출하고 해당 저작물에 대한 정보를 데이터베이스화 함으로써 간단하고 신속하게 검색하여 콘텐츠의 저작권을 판단할 수 있는 핑거프린팅 시스템 및 방법을 제공하는 것이다.
이를 위하여, 본 발명의 제1 측면에 따르면, 본 발명에 따른 만화 출판물 검색 방법은 입력된 만화 이미지에 포함되어 있는 박스 프레임, 컷, 말풍선 중 적어도 하나로 구성되는 핑거프린트를 추출하는 단계, 추출한 상기 핑거프린트를 이용하여 데이터베이스에 저장되어 있는 만화 출판물 중 후보군을 검색하는 단계, 검색된 상기 후보군과 추출한 상기 핑거프린트에 대응되는 만화 이미지의 유사도를 측정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 본 발명에 따른 만화 출판물 검색 시스템은 만화 출판물로부터 추출한 핑거프린트를 저장하는 핑거프린트 데이터베이스, 입력된 만화 이미지에 포함되어 있는 박스 프레임, 컷, 말풍선 중 적어도 하나로 구성되는 핑거프린트를 추출하는 만화 출판물 핑거프린트 추출부, 추출한 상기 핑거프린트를 이용하여 상기 핑거프린트 데이터베이스에 저장되어 있는 만화 출판물 중 후보군을 검색하는 핑거프린트 기반 후보군 검색부, 검색된 상기 후보군과 추출한 상기 핑거프린트에 대응되는 만화 이미지의 유사도를 측정하는 유사도 측정부를 포함하는 것을 특징으로 한다.
본 발명의 제3 측면에 따르면, 본 발명에 따른 만화 출판물 검색 장치는 입력된 만화 이미지에 포함되어 있는 박스 프레임, 컷, 말풍선 중 적어도 하나로 구성되는 핑거프린트를 추출하여 핑거프린트 데이터베이스에 저장되어 있는 만화 출판물로부터 추출한 핑거프린트와의 핑거프린트 유사도를 이용하여 만화 출판물을 검색하는 것을 특징으로 한다.
본 발명에 따른 핑거프린팅 시스템 및 방법은 만화책을 스캔 또는 카메라로 촬영하여 디지털 만화 이미지로 변형하거나, 디지털 이미지로 제공되는 만화 출판물에 대하여 DRM 등의 각종 보호 장치들이 해제하거나 화면 캡쳐 등의 방법으로 원본에 준하는 디지털 이미지로 저장한 만화 출판물을 인터넷 상에서 불법 유통하는 경우에, 불법 유통되는 디지털 만화 출판물을 검색/수집하여 미리 추출된 핑거프린트와 비교하여 불법 여부를 판단한다. 본 발명을 이용하면 이러한 불법 유포되는 만화 출판물을 근절시킬 수 있다.
또한 본 발명에 따른 핑거프린팅 시스템 및 방법은 만화 출판물의 일부분을 이용하여 만화 출판물의 정보를 찾아내는 검색 시스템으로도 활용이 가능하다.
도 1은 본 발명에 따른 만화 출판물 검색 시스템의 구성을 도시한 도면.
도 2는 본 발명에 따른 만화 출판물 검색 시스템의 구성을 도시한 다른 도면.
도 3은 본 발명에 따른 만화 출판물 전처리부에서 입력된 만화 출판물의 페이지를 분리하는 예를 도시한 도면.
도 4는 본 발명에 따른 만화 출판물 전처리부에서 입력된 만화 출판물의 페이지를 병합하는 예를 도시한 도면.
도 5는 본 발명에 따른 만화 출판물 이미지에서 사용되는 용어를 도시한 도면.
도 6은 만화 출판물 핑거프린트 검출부의 구성을 도시한 도면.
도 7은 만화 핑거프린트 생성 방법을 도시한 흐름도.
도 8은 핑거프린트 기반 후보군 검색부의 구성을 도시한 도면.
도 9는 본 발명에 따른 만화 출판물 검색 시스템에서 수행되는 동작을 도시한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
본 발명은 디지털화된 만화 출판물의 일부 페이지만으로 만화 출판물의 핑거프린트를 추출하여 만화 출판물을 인식하고 해당 만화 출판물 내에서의 위치를 검색할 수 있도록 한다. 특히 암호화 및 패키징 방법이 해제된 상황에서 인터넷을 통하여 다양한 방법으로 불법적으로 유통되는 만화 출판물의 경우, 본 발명의 방법을 통하여 해당 만화 출판물을 인식하여 유통을 차단하게 할 수 있다.
검색하고자 하는 만화 출판물에서 잡음을 제거하거나 원활한 핑거프린트 추출을 위한 전처리 과정과 핑거프린트 추출 과정을 거쳐 질의 핑거프린트를 추출한다. 추출된 핑거프린트를 사용하여 미리 구축된 만화 출판물 인식 시스템에 질의하여 해당 출판물을 인식하고 저작권 침해 여부를 판단한다.
도 1은 본 발명의 실시 예에 따른 만화 출판물 검색 시스템의 전체 블록도를 도시하고 있다. 이하 도 1을 참조하여 만화 출판물 검색 시스템의 동작을 상세히 알아보기로 한다.
도 1에 의하면, 만화 출판물 검색 시스템은 만화 출판물 전처리부(100), 만화 출판물 핑거프린트 추출부(200), 핑거프린트 기반 후보군 검색부(300), 유사도 측정부(400), 핑거프린트 데이터베이스(500)를 포함한다. 물론 상술한 구성 이외에 다른 구성이 만화 출판물 검색 시스템에 포함될 수 있다.
먼저, 입력으로 제공되는 만화 출판물 파일은 다양한 형태를 갖는다. 다양한 형태는 여러가지 이미지 부호화 방법에 의해 인코딩된 이미지 파일을 의미한다. 만화책의 한 페이지 또는 두 페이지가 하나의 이미지 파일로 생성된다. 따라서 만화책 1권은 여러 개의 이미지 파일로 구성되며, 이 이미지 파일들은 권 단위로 zip과 같은 파일 압축 방법을 사용하여 하나의 압축파일로 존재할 수도 있다. 또한 보통의 만화책 1질은 1권 이상으로 이루어지므로 전체 만화책 파일이 하나의 압축파일로 만들어지거나, 1권 단위로 압축된 파일들을 모아 다시 압축하여 전체 만화책 1질을 구성할 수도 있다.
본 발명의 입력은 이미지 파일 형태이므로 압축된 파일이 입력으로 들어오면 압축을 해제하여 이미지 파일의 묶음으로 만든다.
만화 출판물 전처리부(100)는 입력받은 만화 출판물 이미지 파일에서 핑거프린트 추출을 용이하게 하기 위하여 이미지를 조정하고 만화 출판물 핑거프린트 추출부(200)가 처리할 수 있는 이미지 형태로 변환하기 위한 기능을 수행한다.
만화 출판물은 디지털화 하는 방법에 따라 필요없는 정보가 포함되기도 하고 이미지의 방향이 변경되기도 한다. 예를 들어 스캔을 통하여 만화 출판물을 디지털 파일로 생성하는 경우, 단순히 책을 펼쳐서 두 페이지를 한꺼번에 스캔하면 가운데 부분은 휘어지거나 검은 색의 잡음이 들어가는 등의 이미지 왜곡 현상이 발생할 수 있다. 또한 하나의 이미지 파일에 두 페이지가 포함되는 경우, 이를 제대로 처리하지 않아 하나의 페이지만 포함된 이미지 파일로 인식하면 핑거프린트를 제대로 추출할 수 없을 수 있다.
이러한 만화 출판물의 왜곡현상은 스캔하는 방법의 차이에서 결정되는 경우가 대부분이므로 보정 작업을 만화출판물 전처리부에서 한꺼번에 처리하는 것이 핑거프린트 추출 성능 향상에 도움이 된다. 즉, 만화 출판물 핑거프린트 추출부에서 이미지 왜곡을 검출하고 보정하는 것은 같은 작업을 반복적으로 수행해야 하므로 성능을 떨어뜨릴 가능성이 크다.
만화 출판물 전처리부(100)는 입력 이미지를 보정하고, 핑거프린트를 추출할 영역만을 잘라내고 정규화하여 만화 출판물 핑거프린트 추출부로 전달한다.
만화 출판물 핑거프린트 추출부(200)는 입력된 만화 이미지로부터 그 만화만이 가지고 있는 속성 정보인 핑거프린트를 추출하게 된다. 만화 출판물 핑거프린트는 이미지의 형태에 따라 한 페이지의 이미지로부터 추출될 수도 있지만 여러 페이지에 걸쳐 핑거프린트가 추출될 수도 있다. 여러 페이지에 걸쳐 핑거프린트를 추출하는 경우 입력을 여러 페이지를 한꺼번에 받을 수도 있고, 한 페이지씩 입력을 받으면서 각 페이지에서 추출된 속성값을 누적시켜 핑거프린트를 추출할 수도 있다.
핑거프린트 기반 후보군 검색부(300)는 만화 출판물 핑거프린트 추출부(200)에서 추출된 핑거프린트 정보를 이용하여 핑거프린트 데이터베이스(500)를 검색하여 만화 출판물 후보군을 얻는다. 만화 출판물 후보군이란 입력받은 핑거프린트와 유사한 핑거프린트를 가진 만화 출판물의 목록으로, 이 후보군 중에서 최종적으로 식별된 만화 출판물을 결정한다.
이처럼 후보군을 먼저 얻고, 최종적으로 만화 출판물을 식별하는 2단계 검색을 하는 이유는 세밀한 정보로 데이터베이스 전체 검색하는 것은 시간이 아주 많이 소요되기 때문이다. 정확하게 검색할 수는 없지만 빠른 시간내에 비슷한 특성을 가진 만화 출판물을 찾을 수 있는 검색 방법을 먼저 사용하여 후보군을 가려낸 후 세밀한 정보로 후보군 중 진짜 찾고자 하는 출판물을 가려내는 방법을 사용하면 수행 시간을 많이 줄일 수 있다.
유사도 측정부(400)는 만화 출판물 핑거프린트 검색부(300)로부터 후보군을 입력으로 받아 검색 대상 만화 출판물과 유사도를 비교하여 최종적으로 만화 출판물을 식별한다. 후보군과 입력 만화 출판물의 유사도 비교시 이미지 전체를 비교할 수도 있고, 이미지 식별 시스템에서 사용하는 이미지 특징점 기술을 사용할 수도 있다.
핑거프린트 데이터베이스(500)은 만화 출판물로부터 추출된 핑거프린트를 저장관리 하는 기능을 한다.
도 2는 본 발명의 다른 실시 예에 따른 만화 출판물 검색 시스템을 도시하고 있다. 즉, 도 2는 입력 이미지 파일이 1페이지 혹은 2페이지인지에 따라 다르게 처리하는 만화 출판물 검색 시스템의 구조를 도시하고 있다.
만화 출판물 전처리부(100)가 입력 이미지 파일이 1페이지인지 2페이지인지를 판단하여 1페이지로 구성된 이미지일 경우 1페이지 처리부로 입력을 주고, 2페이지인 경우 2페이지 처리부로 입력을 주어서 만화 출판물을 식별하게 한다. 이를 위해 만화 출판물 검색 시스템은 만화 출판물 핑거프린트 추출부(200-1), 핑거프린트 기반 후보군 검색부(300-1), 유사도 측정부(400-1)로 구성되는 1페이지 처리부와 만화 출판물 핑거프린트 추출부(200-2), 핑거프린트 기반 후보군 검색부(300-2), 유사도 측정부(400-2)로 구성되는 2페이지 처리부를 포함하고 있다.
1페이지 처리부는 입력 이미지가 1페이지인 것을 가정하여 핑거프린트 추출, 핑거프린트 검색, 만화 출판물 식별 작업을 수행한다. 마찬가지로 2페이지 처리부는 입력 이미지가 2페이지인 것을 가정하여 핑거프린트 추출, 후보군 검색, 유사도 측정 작업을 수행한다.
만화 출판물 검색 시스템을 1페이지와 2페이지를 나누어 처리하는 기능을 모두 설치하는 것이 경우에 따라서는 비용적인 측면에서 불필요할 수도 있다. 대규모의 만화 파일을 처리할 필요가 없는 시스템은 1페이지 혹은 2페이지 처리부만 설치하여 운영할 수도 있다. 이러한 경우, 입력 이미지를 처리 시스템에 맞추어 변경해 주는 작업이 필요하다. 즉, 1페이지만을 처리할 수 있는 시스템에서 2페이지로 구성된 이미지를 처리하기 위해서는 먼저 2페이지 이미지를 1페이지로 된 이미지로 나누어 주는 작업이 필요하다. 마찬가지로 2페이지만을 처리할 수 있는 시스템에서 1페이지로 구성된 이미지를 처리하기 위해서는 두 개의 1페이지 이미지를 병합하여 2페이지 이미지를 생성하는 작업이 필요하다.
도 3은 본 발명의 일실시 예에 따른 페이지를 분리하는 예를 도시하고 있으며, 도 4는 본 발명의 일실시 예에 따른 페이지를 병합하는 예를 도시하고 있다.
상술한 바와 같이 만화 출판물 전처리부(100)는 도3 내지 도4와 같이 설치된 만화 출판물 핑거프린트 추출부에 적합한 이미지를 생성하는 기능을 한다. 즉, 만화 출판물 핑거프링트 추출부가 1페이지로 구성된 이미지를 처리하는 경우에는 만화 출판물 전처리부는 입력된 만화 출판물이 2페이지인 경우, 도 3과 같이 입력된 만화 출판물의 페이지를 분리한다. 만화 출판물 핑거프링트 추출부가 2페이지로 구성된 이미지를 처리하는 경우에는 만화 출판물 전처리부는 입력된 만화 출판물이 1페이지인 경우, 도 4과 같이 입력된 만화 출판물의 페이지를 병합한다.
도 5는 본 발명의 일실시 예에 따른 핑거프린트를 추출하기 위한 만화 출판물 이미지에서 박스 프레임, 컷, 말풍선의 예를 도시하고 있다. 이하 도 5를 이용하여 핑거프린트를 추출하기 위한 만화 출판물 이미지에서 박스 프레임, 컷, 말풍선의 예에 대해 알아보기로 한다.
박스프레임 - 한장의 만화 출판물 이미지에서 여백을 제외하고 만화 내용을 포함하는 가장 외곽의 사각형
컷 - 만화 출판물 이미지에서 하나의 장면을 표현하는 영역
말풍선 - 만화 출판물 이미지에서 대사가 나타나는 하나의 영역
도 6은 본 발명의 일실시 예에 따른 만화 이미지로부터 핑거프린트를 추출하는 핑거프린트 추출부(200)의 구성을 도시한 블럭도이다. 이하 도 6을 이용하여 본 발명의 일실시 예에 따른 만화 이미지로부터 핑거프린트를 추출하는 핑거프린트 추출부의 구성에 대해 상세하게 알아보기로 한다.
도 6에 의하면, 만화 출판물 핑거프린트 추출부(200)는 박스 프레임 검출부(210), 박스 프레임 보정부(220), 컷 검출부(230), 말 풍선 검출부(240), 핑거프린트 생성부(250)를 포함한다. 물론 상술한 구성 이외에 다른 구성이 만화 출판물 핑거프린트 추출부에 포함될 수 있다.
박스 프레임 검출부(210)는 입력된 만화 이미지로부터 만화 내용물을 포함하는 최외곽 테두리(박스) 영역을 검출하는 기능을 한다. 박스 프레임 영역 보정부(220)는 박스 프레임 검출부(210)로부터 입력된 비선형 왜곡이 포함된 박스 프레임 영역을 이미지 와핑 등의 방식을 이용하여 직사각형 형태의 박스 프레임 영역으로 보정하는 기능을 수행한다. 컷 검출부(230)는 입력된 만화 이미지로부터 컷 영역을 검출하는 기능을 한다. 말풍선 검출부(240)은 입력된 만화 이미지로부터 말풍선 영역을 검출하는 기능을 한다. 핑거프린트 생성부(250)는 박스, 컷, 말풍선 등의 입력된 정보를 바탕으로 만화 이미지를 식별할 수 있는 핑거프린트 정보를 생성하는 기능을 한다.
도 7은 만화출판물 핑거프린트 검출부에서 핑거프린트를 생성하는 과정을 도시한 흐름도이다. 이하 도 7을 이용하여 만화출판물 핑거프린트 추출부에서 수행되는 동작에 대해 상세하게 알아보기로 한다.
박스 프레임 검출부(210)는 입력된 만화 이미지로부터 만화 내용물을 포함하는 최외곽 테두리(박스) 영역을 검출하여 박스 프레임 보정부(120)의 입력으로 전달한다(S101).
박스 프레임 보정부(120)는 박스 프레임 검출부(110)로부터 입력된 비선형 왜곡이 포함된 박스 프레임 영역을 이미지 와핑 등의 방식을 이용하여 직사각형 형태의 박스 프레임 영역으로 보정하는 기능을 수행하며, 그 결과를 컷 검출부(130)의 입력으로 전달한다(S102).
컷 검출부(130)는 보정된 박스 프레임 영역으로부터 컷 영역을 검출하여 컷 정보를 핑거프린트 생성부(250)의 입력으로 전달한다(S103).
핑거프린트 생성부(250)은 입력된 컷 정보를 이용하여 핑거프린트를 생성한다(S104).
만화 출판물 핑거프린트 추출부에 포함되는 세부 구성 요소들(210 ~ 250) 중 일부는 어떤 핑거프린트 생성 방법을 사용하는가에 따라 만화 출판물 핑거프린트 검출부(200)에 포함되지 않을 수도 있다. 예를 들어 박스 프레임 검출 후 박스 프레임 내부 만화 내용을 하나의 이미지로 간주하여 이미지 핑거프린트를 생성하는 방법의 경우 컷 검출부(230), 말 풍선 검출부(240)가 포함되지 않을 수 있다. 즉, 만화 출판물 핑거프린트 검출부는 사용하는 핑거프린트 생성 방법에 따른 만화 출판물 핑거트린트 검출부를 구성하고 있는 일부 구성요소만을 이용하여 만화 출판물 핑거프린트를 검출할 수 있다.
도 8은 본 발명에 의한 만화 핑거프린트를 이용하여 핑거프린트 DB로부터 결과 후보군을 검색하는 핑거프린트 기반 후보군 검색부(300)의 구성을 개념적으로 나타내는 도면이다. 이하 도 8을 이용하여 본 발명의 일실시 예에 다른 만화 핑거프린트를 이용하여 핑거프린트 DB로부터 결과 후보군을 검색하는 핑거프린트 기반 후보군 검색부의 구성에 대해 상세하게 알아보기로 한다.
도 8에 의하면, 핑거프린트 기반 후보군 검색부(300)는 핑거프린트 관리부(310), 핑거프린트 인덱스 생성부(320), 박스프레임 그룹 단위 후보군 검색부(330)를 포함한다. 물론 상술한 구성 이외에 다른 구성이 핑거프린트 기반 후보군 검색부에 포함될 수 있다.
핑거프린트 관리부(310)는 핑거프린트 추출부(200)로부터 전달받은 핑거프린트를 임시적으로 저장하는 기능을 한다. 후보군 검색을 위해서 여러 페이지의 만화 이미지가 필요한 경우가 있을 수 있는데 핑거프린트 추출기가 하나의 이미지에 대한 핑거프린트만을 순차적으로 전달하는 경우에는 내부적으로 핑거프린트를 저장하고 있어야 한다. 임시 저장된 핑거프린트 중 더 이상 후보군 검색에 필요하지 않는 핑거프린트는 삭제한다.
핑거프린트 인덱스 생성부(320)은 DB 검색을 빠르게 하기 위해서 핑거프린트로부터 DB 검색에 사용할 인덱스를 생성하는 기능을 한다. 박스 프레임 그룹 단위 후보군 검색부(330)는 핑거프린트를 여러 개의 박스 프레임 단위로 조합하여 핑거프린트 DB에 질의한다. 하나의 만화 이미지에서 하나의 박스 프레임이 추출되는데, 만화 출판물 검색시 여러 페이지의 이미지를 사용하는 경우 각 페이지에서 추출된 박스 프레임을 그룹 단위로 조합하여 검색에 사용한다.
유사도 측정부(400)는 만화 출판물 핑거프린트 검색부(300)로부터 후보군을 입력으로 받아 검색 대상 만화 출판물과 유사도를 비교하여 최종적으로 만화 출판물을 식별한다. 유사도 검색에 EHD(Edge Histogram Descriptor), OMPF(Orthgonality Mean Projection Feature), Icon, CovM(Covariant Moment), thumbnail 등 이미지 유사도 검색에 사용하는 기술들이 활용할 수 있다.
핑거프린트 데이터베이스(500)은 만화 출판물로부터 추출된 핑거프린트를 저장관리 하는 기능을 한다. 또한 제작자, 출판사, 제목, 요약, 발행일, ISBN, 주소, 전화, 팩스등 다양한 정보들이 만화 출판물에 대한 정보로 함께 저장관리 될 수 있다. 또한, 관리를 위해 원본 만화 출판물을 저장할 수 있으며, 보안 요청시 암호화하여 전체 또는 일부를 저장할 수 있다. DBMS(DataBase Management System)는 해당 시스템 설계자가 시스템의 목적에 맞게 상용 DBMS를 사용하거나 특수한 목적으로 자체 DBMS를 사용할 수 있다.
도 9는 본 발명의 일실시 예에 따른 만화 출판물 검색 시스템에서 수행되는 동작을 도시하고 있다. 이하 도 9를 이용하여 본 발명의 일실시 예에 따른 만화 출판물 검색 시스템에서 수행되는 동작에 대해 상세하게 알아보기로 한다.
만화 출판물 전처리부(100)는 입력된 만화 이미지를 보정하고, 핑거프린트를 추출할 영역만을 잘라내고 정규화하여 만화 출판물 핑거프린트 추출부(200)에 입력으로 전달한다(S201).
만화 출판물 핑거프린트 추출부(200)는 만화 출판물 전처리부(100)로부터 입력된 만화 이미지로부터 그 만화만이 가지고 있는 속성 정보인 핑거프린트를 추출하며, 그 결과를 핑거프린트 기반 후보군 검색부(300)의 입력으로 전달한다(S202).
핑거프린트 기반 후보군 검색부(300)는 만화 출판물 핑거프린트 추출기(200)에서 추출된 핑거프린트 정보를 이용하여 핑거프린트 데이터베이스(500)를 검색하여 만화 출판물 후보군을 검색한다(S203).
유사도 측정기(400)는 만화 출판물 핑거프린트 검색기(300)로부터 후보군을 입력받아 검색 대상 만화 출판물과 유사도를 비교하여 최종적으로 만화 출판물을 식별한다(S204).
상기 기술한 만화 출판물 핑거프린트 시스템 및 방법은 핑거프린트를 이용한 만화 출판물 검색 시스템이나 OSP(Online Service Provider)에서 유통되고 있는 만화 출판물 중 불법 만화 출판물을 식별하여 필터링하는 시스템에 활용될 수 있다. 또한 박스프레임 검출, 컷 검출 방법을 이용하여 스마트폰과 같은 작은 디스플레이를 가지는 기기에서 만화 출판물을 효과적으로 보여 주는 프로그램을 제작하는 데 활용할 수 있다.
상기 기술한 만화 출판물 식별 방법 및 장치는 하부 모듈을 다양한 방법으로 조합하여 구성할 수 있으며 일부 하부 모듈은 포함되지 않을 수도 있다.
본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
100: 만화 출판물 전처리부 200: 만화 출판물 핑거프린트 추출부
300: 핑거프린트 기반 후보군 검색부
400: 유사도 측정부 500: 핑거프린트 데이터베이스
210: 박스 프레임 검출부 220: 박스 프레임 보정부
230: 컷 검출부 240: 말 풍선 검출부
250: 핑거프린트 생성부 310: 핑거프린트 관리부
320: 핑거프린트 인덱스 생성부
330: 박스 프레임 그룹단위 후보군 검색부

Claims (16)

  1. 입력된 만화 이미지에 포함되어 있는 박스 프레임, 컷, 말풍선 중 적어도 하나로 구성되는 핑거프린트를 추출하는 단계;
    추출한 상기 핑거프린트를 이용하여 데이터베이스에 저장되어 있는 만화 출판물 중 후보군을 검색하는 단계;
    검색된 상기 후보군과 추출한 상기 핑거프린트에 대응되는 만화 이미지의 유사도를 측정하는 단계를 포함함을 특징으로 하는 만화출판물 검색 방법.
  2. 제 1항에 있어서, 상기 핑거프린트를 추출하는 단계 이전에,
    입력받은 만화 출판물 파일의 이미지를 보정하는 전처리 단계를 추가함을 특징으로 하는 만화 출판물 검색 방법.
  3. 제 2항에 있어서, 상기 전처리 단계로 입력되는 만화 출판물은 압축 파일이며, 상기 압축 파일을 해제하여 이미지 파일을 생성함을 특징으로 하는 만화 출판물 검색 방법.
  4. 제 3항에 있어서, 상기 핑거프린트를 추출하는 단계는;
    한 페이지씩 핑거프린트를 추출하거나 적어도 두 페이지씩 핑거프린트를 추출함을 특징으로 하는 만화 출판물 검색 방법.
  5. 제 2항에 있어서, 상기 전처리 단계는,
    입력받은 적어도 2개의 이미지로 구성된 하나의 페이지를 2 페이지를 분리하거나, 2페이지를 하나의 페이지로 병합함을 특징으로 하는 만화 출판물 검색 방법.
  6. 제 1항에 있어서, 상기 핑거프린트를 추출하는 단계는,
    상기 만화 이미지로부터 박스 프레임을 검출하는 단계;
    검출된 상기 박스 프레임을 보정하는 단계;
    검출한 박스 프레임으로부터 핑거프린트를 추출하는 단계를 포함함을 특징으로 하는 만화 출판물 검색 방법.
  7. 제 1항에 있어서, 상기 핑거프린트를 추출하는 단계는,
    상기 만화 이미지로부터 박스 프레임을 검출하는 단계;
    검출된 상기 박스 프레임을 보정하는 단계;
    보정한 상기 박스 프레임으로부터 컷을 검출하는 단계;
    검출한 컷으로부터 핑거프린트를 추출하는 단계를 포함함을 특징으로 하는 만화 출판물 검색 방법.
  8. 제 1항에 있어서, 상기 핑거프린트를 추출하는 단계는,
    상기 만화 이미지로부터 박스 프레임을 검출하는 단계;
    검출된 상기 박스 프레임을 보정하는 단계;
    보정한 상기 박스 프레임으로부터 컷을 검출하는 단계;
    검출한 컷으로부터 말풍선을 검출하는 단계;
    검출한 상기 말풍선으로부터 핑거프린트를 추출하는 단계를 포함함을 특징으로 하는 만화 출판물 검색 방법.
  9. 만화 출판물로부터 추출한 핑거프린트를 저장하는 핑거프린트 데이터베이스;
    입력된 만화 이미지에 포함되어 있는 박스 프레임, 컷, 말풍선 중 적어도 하나로 구성되는 핑거프린트를 추출하는 만화 출판물 핑거프린트 추출부;
    추출한 상기 핑거프린트를 이용하여 상기 핑거프린트 데이터베이스에 저장되어 있는 만화 출판물 중 후보군을 검색하는 핑거프린트 기반 후보군 검색부;
    검색된 상기 후보군과 추출한 상기 핑거프린트에 대응되는 만화 이미지의 유사도를 측정하는 유사도 측정부를 포함함을 특징으로 하는 만화출판물 검색 시스템.
  10. 제 9항에 있어서,
    입력받은 만화 출판물 파일의 이미지를 보정하여 상기 핑거프린트 추출부로 전달하는 만화출판물 전처리부를 포함함을 특징으로 하는 만화 출판물 검색 시스템.
  11. 제 10항에 있어서, 상기 전처리부는,
    입력받은 적어도 2개의 이미지로 구성된 하나의 페이지를 2 페이지를 분리하거나, 2페이지를 하나의 페이지로 병합함을 특징으로 하는 만화 출판물 검색 시스템.
  12. 제 9항에 있어서, 상기 핑거프린트 추출부는,
    입력받은 만화 이미지로부터 박스 프레임을 검출하는 박스 프레임 검출부;
    검출한 상기 박스 프레임을 보정하는 박스 프레임 보정부를 포함함을 특징으로 하는 만화 출판물 검색 시스템.
  13. 제 9항에 있어서, 상기 핑거프린트 추출부는,
    보정한 박스 프레임으로부터 컷을 검출하는 컷 검출부;
    검출된 상기 컷으로부터 말 풍선을 검출하는 말 풍선 검출부;를 포함함을 특징으로 하는 만화 출판물 검색 시스템.
  14. 제 9항에 있어서, 상기 핑거프린트 기반 후보군 검색부는,
    상기 핑거프린트 추출부로부터 전달받은 핑거프린트를 임시 저장하는 핑거프린트 관리부;
    저장된 핑거프린트로부터 검색에 사용되는 인덱스를 생성하는 핑거프린트 인덱스 생성부;
    복수의 박스 프레임 단위로 생성한 핑거프린트 인덱스를 이용하여 상기 핑거프린트 데이터베이스로부터 후보군을 검색하는 박스 프레임 그룹 단위 후보군 검색부를 포함함을 특징으로 하는 만화 출판물 검색 시스템.
  15. 입력된 만화 이미지에 포함되어 있는 박스 프레임, 컷, 말풍선 중 적어도 하나로 구성되는 핑거프린트를 추출하여 핑거프린트 데이터베이스에 저장되어 있는 만화 출판물로부터 추출한 핑거프린트와의 핑거프린트 유사도를 이용하여 만화 출판물을 검색하는 만화 출판물 검색 장치.
  16. 제 15항에 있어서, 상기 검색 장치는,
    입력받은 만화 출판물 파일의 이미지를 보정하여 상기 핑거프린트 추출부로 전달하는 만화출판물 전처리부;
    입력된 만화 이미지에 포함되어 있는 박스 프레임, 컷, 말풍선 중 적어도 하나로 구성되는 핑거프린트를 추출하는 만화 출판물 핑거프린트 추출부;
    추출한 상기 핑거프린트를 이용하여 상기 핑거프린트 데이터베이스에 저장되어 있는 만화 출판물 중 후보군을 검색하는 핑거프린트 기반 후보군 검색부;
    검색된 상기 후보군과 추출한 상기 핑거프린트에 대응되는 만화 이미지의 유사도를 측정하는 유사도 측정부를 포함함을 특징으로 하는 만화 출판물 검색 장치.
KR1020110128934A 2011-12-05 2011-12-05 만화 출판물에 대한 핑거프린팅 시스템 및 방법 KR101916665B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110128934A KR101916665B1 (ko) 2011-12-05 2011-12-05 만화 출판물에 대한 핑거프린팅 시스템 및 방법
US13/651,271 US8873863B2 (en) 2011-12-05 2012-10-12 System and method for fingerprinting for comics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110128934A KR101916665B1 (ko) 2011-12-05 2011-12-05 만화 출판물에 대한 핑거프린팅 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130062582A true KR20130062582A (ko) 2013-06-13
KR101916665B1 KR101916665B1 (ko) 2018-11-09

Family

ID=48524053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110128934A KR101916665B1 (ko) 2011-12-05 2011-12-05 만화 출판물에 대한 핑거프린팅 시스템 및 방법

Country Status (2)

Country Link
US (1) US8873863B2 (ko)
KR (1) KR101916665B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101437286B1 (ko) * 2013-07-08 2014-09-25 연세대학교 산학협력단 디지털 컨텐츠 식별 방법 및 장치
KR101492486B1 (ko) * 2014-03-12 2015-02-11 주식회사 디알엠인사이드 조판 방식에 둔감한 스캔 만화 식별 시스템 및 방법
WO2016108438A1 (ko) * 2014-12-30 2016-07-07 주식회사 디알엠인사이드 북스캔 도서 저작권 관리 시스템 및 방법
WO2017111340A1 (ko) * 2015-12-21 2017-06-29 주식회사 디알엠인사이드 불법 복제된 온라인 만화 식별 시스템 및 방법
WO2019093755A1 (ko) * 2017-11-13 2019-05-16 (주)위즈데이타 폰트 저작권 보호 시스템 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940510B2 (en) * 2013-09-27 2018-04-10 Hewlett-Packard Development Company, L.P. Device for identifying digital content
CN104090882B (zh) * 2013-11-14 2016-06-01 深圳市腾讯计算机系统有限公司 一种广告订单的快速聚类方法及系统、服务器
CN104123742A (zh) * 2014-07-21 2014-10-29 徐才 一种将静态漫画图片转化为二维动画的方法和播放器
KR102024181B1 (ko) * 2018-12-12 2019-09-24 윤석환 웹툰의 말풍선을 이용한 독자 편의 제공 시스템 및 그 제공방법
KR102024179B1 (ko) * 2019-05-30 2019-09-23 윤석환 웹툰의 말풍선을 이용한 독자 편의 제공 시스템 및 그 제공방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6763148B1 (en) * 2000-11-13 2004-07-13 Visual Key, Inc. Image recognition methods
KR100889936B1 (ko) 2007-06-18 2009-03-20 한국전자통신연구원 디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털비디오 관리 시스템
KR100955181B1 (ko) 2008-04-15 2010-04-29 엔에이치엔(주) 이미지 검색방법 및 검색 시스템
KR20100050110A (ko) 2008-11-05 2010-05-13 에스케이커뮤니케이션즈 주식회사 이미지 검색 서비스를 제공하는 방법, 단말기, 이미지 검색서버 및 시스템
KR101030130B1 (ko) 2009-07-31 2011-04-20 주식회사 다음커뮤니케이션 중복 콘텐츠 검출 장치 및 검출 방법
JP5440051B2 (ja) 2009-09-11 2014-03-12 株式会社Ｊｖｃケンウッド コンテンツ同定方法、コンテンツ同定システム、コンテンツ検索装置及びコンテンツ利用装置
JP5433396B2 (ja) * 2009-12-18 2014-03-05 Ｋｄｄｉ株式会社 マンガ画像からテキストを抽出するマンガ画像解析装置、プログラム、検索装置及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101437286B1 (ko) * 2013-07-08 2014-09-25 연세대학교 산학협력단 디지털 컨텐츠 식별 방법 및 장치
KR101492486B1 (ko) * 2014-03-12 2015-02-11 주식회사 디알엠인사이드 조판 방식에 둔감한 스캔 만화 식별 시스템 및 방법
WO2016108438A1 (ko) * 2014-12-30 2016-07-07 주식회사 디알엠인사이드 북스캔 도서 저작권 관리 시스템 및 방법
KR20160080728A (ko) * 2014-12-30 2016-07-08 주식회사 디알엠인사이드 북스캔 도서 저작권 관리 시스템 및 방법
WO2017111340A1 (ko) * 2015-12-21 2017-06-29 주식회사 디알엠인사이드 불법 복제된 온라인 만화 식별 시스템 및 방법
WO2019093755A1 (ko) * 2017-11-13 2019-05-16 (주)위즈데이타 폰트 저작권 보호 시스템 및 방법

Also Published As

Publication number Publication date
KR101916665B1 (ko) 2018-11-09
US8873863B2 (en) 2014-10-28
US20130142433A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
KR101916665B1 (ko) 만화 출판물에 대한 핑거프린팅 시스템 및 방법
KR101585029B1 (ko) 문서 인식 분류 시스템
US9177209B2 (en) Temporal segment based extraction and robust matching of video fingerprints
CN101350043B (zh) 数字内容的一致性检测方法及装置
KR101491446B1 (ko) 출판물의 핑거프린트 추출 방법, 출판물의 핑거프린트 추출 장치, 핑거프린트를 이용한 출판물 식별 시스템 및 핑거프린트를 이용한 출판물 식별 방법
US20050177738A1 (en) Watermark embedding and retrieval
WO2012141655A1 (en) In-video product annotation with web information mining
KR101803066B1 (ko) 불법 복제된 서적의 통합 식별 시스템 및 방법
GB2464123A (en) Event-based temporal video fingerprinting
Lian et al. Content-based video copy detection–a survey
US9081801B2 (en) Metadata supersets for matching images
KR101373176B1 (ko) 복제 동영상정보 검출방법 및 장치, 저장매체
CN111083307A (zh) 一种基于隐写术的文件检测和破解方法
Sarma et al. A study on digital image forgery detection
US20200026866A1 (en) Method and device for covering private data
KR101547641B1 (ko) 스캔 만화 식별 시스템 및 방법
KR101492486B1 (ko) 조판 방식에 둔감한 스캔 만화 식별 시스템 및 방법
KR20060101421A (ko) 요약 동영상 데이터를 이용한 동영상 검색 방법
de Weever et al. Deepfake detection through PRNU and logistic regression analyses
Saju et al. An effective method for detection and localization of tampering
Bober et al. MPEG-7 visual signature tools
CN108920700B (zh) 一种虚假图片识别方法及装置
Yang et al. Research of robust video fingerprinting
Shaik et al. ViDupe-duplicate video detection as a service in cloud
Park et al. Fingerprinting for scanned comics content identification

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)