KR101547641B1 - 스캔 만화 식별 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 스캔 만화 식별 방법은 데이터베이스를 구축하는 단계; 스캔된 이미지의 가로 및 세로의 비율을 계산하는 단계; 상기 계산 결과에 의해 한 페이지로 구성된 이미지인지를 판단하는 단계; 상기 판단 결과를 이용하여 동일한 페이지 수로 구성된 연속된 이미지를 선택하는 단계; 상기 선택된 이미지의 핑거프린트를 추출하는 단계; 및 상기 추출된 핑거프린트를 이용하여 상기 데이터베이스에 대응되는 만화 이미지의 유사도를 측정하는 단계;를 포함하고, 상기 핑거프린트를 추출하는 단계는, 상기 이미지의 전체 가로 길이에서 한 페이지의 세로 중심축을 기준으로 일정 범위 이내의 가중치 길이를 설정하여 상기 가중치 길이 내의 핑거프린트를 추출한다.

Description

스캔 만화 식별 시스템 및 방법{IDENTIFICATION SYSTEM AND METHOD FOR SCANED COMICS}

본 발명은 스캔 만화 식별 시스템 및 방법에 관한 것으로, 상세하게는 이미지 파일 형태로 유포된 디지털 만화 출판물을 저장하여 생성한 파일, 화면 캡쳐 기능을 이용하여 디지털 만화 출판물을 캡쳐하여 생성한 파일, 실물의 만화 출판물을 스캔하거나 디지털 카메라를 이용한 촬영으로 생성한 파일 등 다양한 방법으로 획득한 만화 출판물에 대해 핑거프린트를 이용하여 식별하는 방법과 식별 결과를 통해 불법으로 공유되는 만화 출판물의 공유를 차단하여 만화 출판물의 저작권을 보호하는 스캔 만화 식별 시스템 및 방법에 관한 것이다.

디지털 콘텐츠 기술의 발달과 데이터 전송 매체의 발달로 인해 데이터의 상호 교류 및 정보의 양이 급격하게 증가하고 있다. 일반적으로 영화, 음악, 문서, 사진 등 다양한 종류의 디지털 콘텐츠가 제작되고 인터넷, P2P 또는 웹 하드를 통해 공유되고 빠르게 유포됨으로써 콘텐츠의 습득이 용이해졌다.

이러한 콘텐츠 공유에 의해 사회적인 문제로 지적되는 것이 저작권이 있는 디지털 콘텐츠의 불법 공유로 인한 저작권자의 권리 침해 문제이다. 디지털 콘텐츠에 대한 저작권 침해 사례들로 인해 DRM(Digital Rights Management), 워터마킹, 핑커프린팅 등의 기술이 적용되어 저작권자의 권리 보호 및 사용자의 피해를 예방하기 위해 활용되고 있다. 하지만 CD, DVD, 책과 같은 저작물을 디지털 기기를 사용하여 디지털화하여 공유하는 경우에 저작권자의 권리는 제대로 보호받지 못하고 있으며 사용자에 대한 피해도 예방하지 못하고 있다.

그 중에서도 문서, 특히 만화 출판물의 경우 고사양의 스캐너 및 디지털 카메라를 이용하여 불법적인 복제와 복사 과정을 통해 실물 출판물이 디지털 콘텐츠화되고 사용자 사이에서 상호 공유됨으로써 저작권자의 권리가 침해되는 사례가 빈번히 발생하고 있다.

근래 저작권보호를 위한 기술적 보호조치의 의무화로 인하여 대부분의 OSP(Online Service Provider)에서는 콘텐츠에 대해서 콘텐츠 인식을 통한 필터링 기술이 적용되어 사용되고 있다. 이 기술은 특징점, DNA(deoxyribonucleic acid) 혹은 디지털 핑거프린팅(finger printing)을 이용하여 불법 유통되는 음원이나 동영상을 모니터링하고 필터링하는 기술이다.

콘텐츠의 저작권을 보호하기 위해 핑거프린팅을 이용하여 불법 유통되는 콘텐츠를 모니터링함에 있어서, 한 장의 이미지만으로 검색하는 경우 유사한 다른 컨텐츠와 혼동되어 검색 신뢰성이 떨어질 수 있고, 이를 방지하기 위해 한 장의 이미지에 대해 정밀한 검색을 수행하는 경우 유사도 측정부에 부하가 걸려 시간이 오래 소요되어, 끊임없이 발행되는 만화 출판물의 저작권을 효과적으로 보호함에 있어서 한계가 존재한다.

그리고 연속된 이미지에 대해 순차적으로 유사도 검색을 수행하는 경우, 타국에서 출판되는, 예를 들어 일본의 경우 한국의 조판방식과 상이함에 따라 이미지 순서가 엇갈리게 되어 정확한 유사도 측정에 어려움이 있다.

본 발명은 상기의 문제점을 해결하기 위한 것으로, 만화 출판물 콘텐츠가 디지털화되어 공유되는 경우, 저작권자의 권리 보호와 사용자의 피해를 예방하기 위해 만화 출판물 이미지에서 특징을 추출하고 해당 저작물에 대한 정보를 데이터베이스화함으로써 간단하고 신속하게 후보군을 검색하고 유사도를 최종 판단하여 콘텐츠의 저작권을 보호할 수 있는 스캔 만화 식별 시스템 및 방법을 제공하는 것이다.

또한, 본 발명의 목적은 조판방식에 관계없이 불법으로 유포된 출판물들을 검색 및 수집하고 핑거프린트를 추출하여 원본 출판물들의 핑거프린트와 신속, 정확하게 비교하여 저작권을 보호할 수 있는 스캔 만화 식별 시스템 및 방법을 제공하는 것이다.

본 발명의 실시예에 따른 스캔 만화 식별 방법은 데이터베이스를 구축하는 단계; 스캔된 이미지의 가로 및 세로의 비율을 계산하는 단계; 상기 계산 결과에 의해 한 페이지로 구성된 이미지인지를 판단하는 단계; 상기 판단 결과를 이용하여 동일한 페이지 수로 구성된 연속된 이미지를 선택하는 단계; 상기 선택된 이미지의 핑거프린트를 추출하는 단계; 및 상기 추출된 핑거프린트를 이용하여 상기 데이터베이스에 대응되는 만화 이미지의 유사도를 측정하는 단계;를 포함하고, 상기 핑거프린트를 추출하는 단계는, 상기 이미지의 전체 가로 길이에서 한 페이지의 세로 중심축을 기준으로 일정 범위 이내의 가중치 길이를 설정하여 상기 가중치 길이 내의 핑거프린트를 추출한다.

본 발명의 실시예에 따른 스캔 만화 식별 시스템은 입력받은 만화 출판물 이미지 파일에서 핑거프린트 추출을 용이하게 하기 위하여 이미지를 조정하는 이미지 보정부; 상기 이미지 보정부에서 전달받은 이미지를 재정렬하는 이미지 정규화부; 및 상기 이미지로부터 핑거프린트를 추출하는 만화 출판물 핑거프린트 추출부;를 포함한다.

본 발명에 따른 스캔 만화 식별 시스템 및 방법은 간단하고 신속하게 후보군을 검색하고 유사도를 최종 판단하여 콘텐츠의 저작권을 보호할 수 있다.

본 발명의 목적은 조판방식에 관계없이 불법으로 유포된 출판물들을 검색 및 수집하고 핑거프린트를 추출하여 저작권을 보호할 수 있다.

도 1은 본 발명에 따른 스캔 만화 식별 시스템의 구성을 도시한 도면이다.
도 2는 본 발명에 따른 이미지 정규화부의 구성을 도시한 도면이다.
도 3은 일반적인 한국 만화의 박스프레임에서 컷의 순서를 도시한 도면이다.
도 4는 일반적인 일본 만화의 박스프레임에서 컷의 순서를 도시한 도면이다.
도 5는 일반적인 한국 및 일본 만화의 페이지별 흐름의 순서를 도시한 도면이다.
도 6은 본 발명에 따른 만화 출판물 핑거프린트 검출부의 구성을 도시한 도면이다.
도 7은 본 발명에 따른 만화 핑거프린트 데이터베이스의 구축 방법을 도시한 흐름도이다.
도 8은 본 발명에 따른 스캔 만화 식별 방법을 도시한 흐름도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명에 따른 스캔 만화 식별 시스템의 구성을 도시한 도면이고, 도 2는 본 발명에 따른 이미지 정규화부의 구성을 도시한 도면이다. 이하 도 1 및 도 2를 참조하여 스캔 만화 식별 시스템의 동작을 상세히 알아보기로 한다.

도 1에 의하면, 스캔 만화 식별 시스템은 이미지 보정부(100), 이미지 정규화부(200), 만화 출판물 핑거프린트 추출부(300), 후보군 검색부(400), 유사도 측정부(500), 핑거프린트 데이터베이스(600)를 포함한다. 상술한 구성 이외에 다른 구성이 스캔 만화 식별 시스템에 포함될 수 있다.

입력으로 제공되는 만화 출판물 파일은 다양한 형태를 갖는다. 다양한 형태는 여러 이미지 부호화 방법에 의해 인코딩된 이미지 파일을 의미한다. 생성되는 파일 확장자는 JPEG, GIF, BMP, PNG, ICO 등을 포함할 수 있으며, 이에 대해 한정하지는 않는다.

만화책의 한 페이지 또는 두 페이지가 하나의 이미지 파일로 생성된다. 즉, 단면인 한 페이지가 하나의 이미지 파일로 생성될 수 있고, 두 페이지가 병합되어 하나의 이미지 파일로 생성될 수도 있다.

만화책 1권은 여러 개의 이미지 파일로 구성되며, 이 이미지 파일들은 권 단위로 zip과 같은 파일 압축 방법을 사용하여 하나의 압축파일로 존재할 수 있다. 또한 보통의 만화책 1질은 1권 이상으로 이루어지므로 전체 만화책 파일이 하나의 압축파일로 만들어지거나, 1권 단위로 압축된 파일들을 모아 다시 압축하여 전체 만화책 1질을 구성할 수도 있다. 본 발명의 입력은 이미지 파일 형태이므로 압축된 파일이 입력으로 들어오면 압축을 해제하여 이미지 파일의 묶음으로 만든다.

이미지 보정부(100)는 입력받은 만화 출판물 이미지 파일에서 핑거프린트 추출을 용이하게 하기 위하여 이미지를 조정하고 이미지 정규화부(200)가 처리할 수 있는 이미지 형태로 변환하기 위한 기능을 수행한다.

만화 출판물은 디지털화하는 방법에 따라 필요없는 정보가 포함되기도 하고 이미지의 방향이 변경되기도 한다. 예를 들어 스캔을 통하여 만화 출판물을 디지털 파일로 생성하는 경우, 단순히 책을 펼쳐서 두 페이지를 한꺼번에 스캔하면 가운데 부분의 여백(도 3의 110 참조)은 휘어지거나 검은 색의 노이즈가 들어가는 등의 이미지 왜곡 현상이 발생할 수 있다.

또한 하나의 이미지 파일에 두 페이지가 포함되는 경우, 즉, 오른쪽 페이지와 왼쪽 페이지를 하나의 이미지로 구성하는 경우, 이를 제대로 처리하지 않아 하나의 페이지만 포함된 이미지 파일로 인식하면 핑거프린트를 제대로 추출할 수 없다. 이러한 만화 출판물의 왜곡현상은 스캔하는 방법의 차이에서 결정되는 경우가 대부분이므로 이미지 보정부(100)에서 보정 작업을 처리하는 것이 핑거프린트 추출 신뢰도 향상에 바람직하다. 또한 후술하는 가중치 길이(700, 도 4 참조)를 설정하여 해당 길이에 위치하는 이미지만의 핑거프린트를 추출할 수도 있다.

이미지 보정부(100)는 이러한 입력 이미지를 보정하고, 핑거프린트를 추출할 영역만을 잘라내어 이미지 정규화부(200)로 전달한다.

이미지 정규화부(200)는 도 2에 도시된 바와 같이 조판 방식 판단부(210), 페이지 판단부(220) 및 이미지 정렬부(230)를 포함한다.

조판 방식 판단부(210)는 보정된 이미지로부터 조판 방식을 판단한다. 한국과 타국, 주로 일본의 경우 조판 방식이 상이하여 복수의 이미지 파일을 스캔함에 따라 누적되는 이미지 파일의 순서가 상이하게 된다. 구체적으로, 만화 출판물 이미지에서 하나의 장면을 표현하는 영역인 컷의 흐름은 한국의 경우 좌측 상단에서 우측 하단으로, 일본의 경우 우측 상단에서 좌측 하단으로 진행된다. 이에 따라 복수의 이미지 파일을 한 페이지씩 스캔함에 따라 누적되는 이미지 파일의 순서가 상이해지는데 조판 방식 판단부(210)는 이를 판단하는 기능을 수행한다. 이에 대해서는 도 3 내지 도 5를 참조하여 후술한다.

페이지 판단부(220)는 이미지가 한 페이지인지 또는 두 페이지인지를 판단한다. 이는 가로 및 세로의 비율을 계산하여 판단될 수 있다. 한 페이지인지 또는 두 페이지인지를 판단하는 가로 및 세로의 비율은 만화책의 종류 및 컷의 비율에 따라 다르게 설정될 수 있으며, 예를 들어, 이미지로 인식되는 영역의 가로 길이가 세로 길이보다 긴 경우, 두 페이지가 하나의 이미지로 병합하여 스캔된 경우로 판단할 수 있다.

이미지 정렬부(230)는 입력된 만화 출판물의 이미지를 분리 또는 병합하는 기능을 수행한다. 후보군 검색부(400) 및/또는 핑거프린트 데이터베이스(600)가 한 페이지로 구성된 이미지를 처리하는 경우, 이미지 정렬부(230)는 입력된 만화 출판물이 두 페이지로 구성된 하나의 이미지이면 이를 한 페이지로 구성된 두 개의 이미지로 분할한다.

핑거프린트 데이터베이스(600)는 해당 만화책의 모든 페이지에 대한 핑거프린트를 추출하는 것에 의해 구축되는 것으로, 만화책을 한 페이지 단위로 스캐닝한 후에 조판 방식에 따라 순서를 재정렬하고 한 페이지 단위로 데이터베이스가 구축된다. 그리고 한 페이지 단위로 재정렬된 데이터베이스를 기반으로 두 페이지 단위의 핑거프린트 데이터베이스를 별도로 구축한다. 이에 따라 한 페이지 단위의 데이터베이스와 두 페이지 단위의 데이터베이스가 각각 구축된다.

또는, 스캔 만화 식별 시스템에서 한 페이지 단위의 데이터베이스와 두 페이지 단위의 데이터베이스가 각각 구축되지 않고 경우에 따라서는 한 페이지 단위 또는 두 페이지 단위의 데이터베이스만 설치하여 운영할 수도 있다. 이러한 경우, 입력 이미지를 처리 시스템에 맞추어 변경해 주는 작업이 필요하다. 즉, 한 페이지만을 처리할 수 있는 시스템에서 두 페이지로 구성된 이미지를 처리하기 위해서는 먼저 두 페이지 이미지를 한 페이지로 된 이미지로 나누어 주는 작업이 필요하다. 마찬가지로 두 페이지만을 처리할 수 있는 시스템에서 한 페이지로 구성된 이미지를 처리하기 위해서는 두 개의 한 페이지 이미지를 병합하여 두 페이지인 하나의 이미지를 생성하는 작업이 필요하다.

유사도 측정부(500)에서 두 페이지로 구성된 이미지를 측정하는 경우, 이미지 정렬부(230)는 입력된 만화 출판물이 한 페이지로 구성된 두 개의 이미지이면 이를 두 페이지로 구성된 하나의 이미지로 병합한다. 예를 들어, 한국 만화의 조판 방식에 따라 페이지 정보가 (1), (2), (3), (4), (5), (6)인 경우, 이를 (1,2), (3,4), (5,6)으로 병합한다. 또한, 일본 만화의 조판 방식에 따라 페이지 정보가 (2), (1), (4), (3), (6), (5)인 경우, 이를 (2,1), (4,3), (6,5)로 병합한다.

만화 출판물 핑거프린트 추출부(300)는 입력된 만화 이미지로부터 그 만화만이 가지고 있는 속성 정보인 핑거프린트를 추출하게 된다.

여러 페이지에 걸쳐 핑거프린트를 추출하는 경우, 여러 페이지의 입력을 한꺼번에 받을 수 있고, 한 페이지씩 입력을 받으면서 각 페이지에서 추출된 속성값을 누적시켜 핑거프린트를 추출할 수도 있다. 또한, 여러 페이지에 걸쳐 핑거프린트를 추출하는 경우, 연속된 페이지의 핑거프린트를 추출할 수 있다. 여기서, 일본 만화의 조판 방식에 따라 페이지 정보가 (2), (1), (4), (3), (6), (5)인 경우, (1), (2), (3), (4), (5), (6)의 순으로 재정렬하고 연속된 페이지의 핑거프린트를 추출한다. 페이지 정보가 (2,1), (4,3), (6,5)이고 두 페이지로 구성된 이미지를 처리하는 경우에는, 이를 분할하여 재정렬하지 않고, (2,1), (4,3), (6,5)의 순으로 연속된 페이지의 핑거프린트를 추출한다.

후보군 검색부(400)는 만화 출판물 핑거프린트 추출부(300)에서 추출된 핑거프린트 정보를 이용하여 핑거프린트 데이터베이스(600)를 검색하여 만화 출판물 후보군을 얻는다. 만화 출판물 후보군이란 입력받은 핑거프린트와 유사한 핑거프린트를 가진 만화 출판물의 목록으로, 이 후보군 중에서 최종적으로 식별된 만화 출판물을 결정한다.

이처럼 후보군을 먼저 얻고, 최종적으로 만화 출판물을 식별하는 2단계 검색을 하는 이유는 세밀한 정보로 데이터베이스 전체를 검색하는 것은 시간이 아주 많이 소요되기 때문이다. 정확하게 검색할 수는 없지만 단시간 내에 비슷한 특성을 가진 만화 출판물을 찾을 수 있는 검색 방법을 먼저 사용하여 후보군을 가려낸 후에 연속되는 페이지로 구성되는 이미지를 검색함으로써 여러 후보군 중 진정 찾고자 하는 출판물을 가려내는 방법을 사용하면 수행 시간을 많이 줄일 수 있다.

유사도 측정부(500)는 만화 출판물 핑거프린트 검색부(400)로부터 후보군을 입력으로 받아 검색 대상 만화 출판물과 유사도를 비교하여 최종적으로 만화 출판물을 식별한다. 후보군과 입력 만화 출판물의 유사도 비교시 이미지 전체를 비교할 수도 있고, 이미지 식별 시스템에서 사용하는 이미지 특징점 기술을 사용하여 비교할 수도 있다. 유사도 측정부(500)는 핑거프린트 데이터베이스(600)와 대상이 되는 만화책을 비교함에 있어서, 연속되는 이미지에 대해 검색을 실행한다. 연속되는 이미지는, 한 페이지로 구성된 연속된 이미지일 수 있고, 또는 두 페이지로 구성된 연속된 이미지일 수도 있다.

핑거프린트 데이터베이스(600)는 만화 출판물로부터 추출된 핑거프린트를 저장 및 관리한다. 또한 제작자, 출판사, 제목, 요약, 발행일, ISBN, 주소 등 다양한 정보들이 만화 출판물에 대한 정보로 저장, 관리될 수 있다. 또한, 관리를 위해 원본 만화 출판물을 저장할 수 있으며, 보안 요청시 암호화하여 전체 또는 일부를 저장할 수 있다.

본 발명에 따른 만화 핑거프린트 데이터베이스의 구축 방법 및 스캔 만화 식별 방법에 대해서는 도 7 및 도 8을 참조하여 추후 상세히 기술한다.

도 3은 일반적인 한국 만화의 박스프레임에서 컷의 순서를 도시한 도면이고, 도 4는 일반적인 일본 만화의 박스프레임에서 컷의 순서를 도시한 도면이다.

컷의 순서를 도시하는 도 3에 도시된 바와 같이, 일반적인 조판 방식으로 출판된 한국 만화의 박스프레임에서 시간순으로 배열된 a 컷에서는 키커와 골키퍼가 대치하고 있고, b 컷에서는 키커가 슈팅을 하고 있으며, c 컷에서는 득점이 결정되고, d 컷에서는 득점한 키커가 환호하고 있다. 이와 같이 시간의 흐름에 따라 배열된 a 컷부터 d 컷까지의 내용을 순차적으로 이해함에 있어서, 좌측 상단에서부터 우측 하단으로 컷이 진행되고 있음을 확인할 수 있다. a 컷 및 b 컷을 포함하고 좌측에 위치하는 1 페이지 이후에, c 컷 및 d 컷을 포함하고 우측에 위치하는 2 페이지를 확인함으로써, 페이지의 흐름에 따라 이야기의 진행을 확인할 수 있다. 그리고 두 페이지의 사이에는 여백(110)이 존재할 수 있다.

도면에서는 1 페이지에 a 컷 및 b 컷이 각각 절반의 면적으로 배치되어 있고, 2 페이지에 c 컷 및 d 컷이 각각 절반의 면적으로 배치되어 있으나 컷의 크기에 대해 한정하지는 않는다. 예를 들어, a 컷이 두 개 이상의 컷으로 세분될 수 있으며, 세분된 컷은 다양한 방법으로 배치될 수 있다. 어느 경우에서든 좌측 상단에서 우측 하단으로 컷이 진행되므로 내용을 이해함에 있어서 문제되지 않는다.

그리고 일본 만화의 박스프레임에서 컷의 순서를 도시하는 도 4에 도시된 바와 같이, 좌측에 위치하는 1 페이지에는 a 컷 및 b 컷이 포함되어 있고, 우측에 위치하는 2 페이지에는 c 컷 및 d 컷이 포함되어 있다. a 컷 및 b 컷을 포함하고 우측에 위치하는 1 페이지 이후에, c 컷 및 d 컷을 포함하고 좌측에 위치하는 2 페이지를 확인함으로써, 페이지의 흐름에 따라 이야기의 진행을 확인할 수 있다.

일본 만화는 주간지 또는 월간지의 경우 두 페이지 사이의 여백(110) 또는 페이지 사이의 여백이 아닌 박스프레임의 외측에 광고 정보를 포함하는 광고창(120)이 배치될 수 있다. 광고창(120)에는 본 페이지에 해당하는 만화의 정보 또는 다른 만화의 광고 정보 등을 포함할 수 있다. 이는 한국 만화의 경우에도 마찬가지이다.

이와 같이 광고창(120)이 페이지에 포함되는 경우, 광고창(120)을 포함하여 핑거프린트를 추출하면 저작권을 보호하고자 하는 컨텐츠 외에도 광고창(120)에 의해 추출되는 핑거프린트 정보까지도 데이터 베이스에 저장되게 되므로, 추후 원작의 만화 출판물과의 유사도 비교시 정확한 검색 결과를 도출함에 있어서 장애가 될 수 있다. 이에 따라 한 페이지의 전체 가로 길이(800)에서 한 페이지의 세로 중심축을 기준으로 일정 범위 이내의 가중치 길이(700)를 설정하여 가중치 길이(700) 내의 핑거프린트를 추출하여 데이터 베이스를 구축하고, 스캔 만화를 식별할 수 있다. 가중치 길이(700)는, 예를 들어, 전체 가로 길이(800)의 70% 내지 90% 범위의 길이일 수 있다.

광고창(120)은 박스프레임의 우측 또는 좌측 외에도 상측 또는 하측에도 배치될 수 있다. 도면에서는 가로축의 폭을 조정하여 가중치 길이(700)를 설정하였으나 세로축의 폭을 기준으로 하여 가중치 길이(700)를 설정할 수도 있으며, 가로축과 세로축의 폭을 동시에 설정하여 가중치 길이(700)를 설정할 수도 있다.

가중치 길이(700)에 위치하는 컷의 핑거프린트를 추출하고, 가중치 길이(700)의 외부에 위치하는 이미지에 대해서는 핑거프린트를 추출하지 않음으로써 가운데 부분의 여백(110) 또는 광고창(120)으로 인해 노이즈가 들어가는 등의 이미지 왜곡 현상에 의해 왜곡된 정보를 취득하는 일을 방지하여 보다 신뢰성 있는 핑거프린트를 추출할 수 있다.

도 5는 일반적인 한국 및 일본 만화의 페이지별 흐름의 순서를 도시한 도면이다. 도 5(a)에 도시된 바와 같이 한국 만화는 좌측에서 우측으로 컷이 진행됨에 따라 입력되는 페이지 정보가 (1,2), (3,4), (5,6)의 순서를 갖게 되나, 도 5(b)에 도시된 바와 같이 한국과 조판 방식이 상이한 일본 만화는 우측 상단에서 좌측 하단으로 컷이 진행됨에 따라 입력되는 페이지 정보가 (2,1), (4,3), (6,5)의 순서를 갖게 된다.

이와 같이 두 페이지가 하나의 이미지로 저장되는 경우, 이를 하나의 페이지로 구성되는 이미지로 정렬하고자 할 때, (2,1), (4,3), (6,5)의 페이지를 (2), (1), (4), (3), (6), (5) 페이지로 분할하여 (1), (2), (3), (4), (5), (6) 페이지의 순으로 재정렬한다. 한국 만화의 경우에는 페이지 정보가 (1,2), (3,4), (5,6)의 순서를 갖게 되므로, 이를 분할하면 (1), (2), (3), (4), (5), (6) 페이지의 순으로 정렬되므로 별도의 페이지 재정렬은 수행하지 않아도 무방하다.

연속되는 페이지의 이미지를 데이터베이스(600)에 저장하고, 저장된 데이터를 통해 저작권을 보호하고자 하는 만화 출판물과의 신속하고 정확한 유사도 판단을 수행할 수 있다.

도 6은 본 발명의 일실시 예에 따른 만화 이미지로부터 핑거프린트를 추출하는 핑거프린트 추출부(300)의 구성을 도시한 블럭도이다. 이하 도 6을 이용하여 본 발명의 일실시 예에 따른 만화 이미지로부터 핑거프린트를 추출하는 핑거프린트 추출부의 구성에 대해 상세하게 알아보기로 한다.

도 6에 의하면, 만화 출판물 핑거프린트 추출부(300)는 박스 프레임 검출부(310), 말 풍선 검출부(320), 컷검출부(330), 핑거프린트 생성부(340)를 포함한다. 상술한 구성 이외에 다른 구성요소가 만화 출판물 핑거프린트 추출부(300)에 포함될 수 있다.

박스 프레임 검출부(310)는 입력된 만화 이미지로부터 만화 내용물을 포함하는 최외곽 테두리(박스) 영역을 검출하는 기능을 한다. 말풍선 검출부(320)는 입력된 만화 이미지로부터 말풍선 영역을 검출하는 기능을 한다. 컷 검출부(330)는 입력된 만화 이미지로부터 컷 영역을 검출하는 기능을 한다. 핑거프린트 생성부(340)는 박스, 컷, 말풍선 등의 입력된 정보를 바탕으로 만화 이미지를 식별할 수 있는 핑거프린트 정보를 생성하는 기능을 한다.

도 7은 본 발명에 따른 만화 핑거프린트 데이터베이스의 구축 방법을 도시한 흐름도이다. 이미지 보정부(100)는 입력된 만화 출판물 파일의 모든 페이지에 대한 이미지로부터 노이즈 제거 등의 입력 이미지를 보정 작업 후, 핑거프린트를 추출할 영역만을 잘라내어 이미지 정규화부(200)로 전달하고, 이미지 정규화부(200)는 만화 출판물 파일의 조판 방식을 조회한다(S101).

다음으로 조판 방식을 조회하여 얻어진 페이지 정보를 바탕으로 일본 만화인지 여부를 판단한다(S102). 페이지 판단부(220)에서 판단된 페이지 정보가 (2,1), (4,3), (6,5) 또는 (2), (1), (4), (3), (6), (5)의 순서를 갖는 경우, 일본 만화로 판단할 수 있고, 페이지 판단부(220)에서 판단된 페이지 정보가 (1,2), (3,4), (5,6) 또는 (1), (2), (3), (4), (5), (6)의 순서를 갖는 경우, 한국 만화로 판단할 수 있다.

일본 만화로 판단되고, 두 페이지로 구성되는 하나의 이미지를 한 페이지로 구성되는 두 개의 이미지로 분할하여 정렬하고자 하는 경우에는 한 페이지의 이미지로 분할하여 이미지 순서를 재정렬한다(S103). 예를 들어, 일본 만화인 페이지 정보가 (2,1), (4,3), (6,5)인 경우, 이를 (2), (1), (4), (3), (6), (5)로 분할하고, 이미지 정렬부(230)에 의해 이를 (1), (2), (3), (4), (5), (6)의 순으로 재정렬한다. 한국 만화인 경우에는 별도의 이미지 순서 재정렬 과정이 필요하지 않다.

이와 같이 조판 방식에 따라 순서를 재정렬하고 입력된 컷 정보를 이용하여 핑거프린트를 추출한다(S104). 박스 프레임 검출 후 박스 프레임 내부 만화 내용을 하나의 이미지로 간주하여 이미지의 핑거프린트를 생성하는 방법의 경우 컷 검출부(330)에서 검출된 데이터가 핑거프린트 정보에 포함되지 않을 수 있다. 즉, 만화 출판물 핑거프린트 추출부(300)는 사용하는 핑거프린트 생성 방법에 따라 일부 구성요소만을 이용하여 만화 출판물 핑거프린트를 검출할 수 있다.

다음으로, 상기 과정에 의해 검출된 핑거프린트 정보를 핑거프린트 데이터 베이스(600)에 저장하여 하나의 페이지로 구성된 연속된 이미지의 핑거프린트 정보를 저장하는 데이터베이스를 구축하고 한 페이지 단위로 재정렬되어 구축된 핑거프린트 데이터베이스를 기반으로 두 페이지 단위의 핑거프린트 데이터베이스를 별도로 구축한다. 이에 따라 한 페이지 단위의 데이터베이스와 두 페이지 단위의 데이터베이스가 각각 구축되게 된다(S105).

도 8은 본 발명에 따른 스캔 만화 식별 방법을 도시한 흐름도이다. 우선, 스캔된 이미지의 가로 및 세로의 비율을 계산한다(S201). 다음으로, 계산된 가로 및 세로의 비율을 바탕으로 한 페이지로 구성된 이미지인지 여부를 판단한다(S202). 여기서, 한 페이지로 구성된 이미지인지 또는 두 페이지로 구성된 이미지인지를 판단하는 가로 및 세로의 비율은 만화책의 종류 및 컷의 비율에 따라 임의로 정해질 수 있다. 예를 들어, 가로의 길이가 세로의 길이보다 긴 경우, 두 페이지로 구성된 하나의 이미지로 스캔된 경우로 판단할 수 있다.

화면 구성상 한 페이지로 구성된 이미지와 두 페이지로 구성된 이미지가 혼합되는 경우가 존재하므로, 식별 대상이 되는 만화책의 전체 이미지 각각에 대하여 가로와 세로의 평균 비율을 구하고, 비율 결과를 바탕으로 대상이 되는 만화책이 전반적으로 한 페이지로 구성된 이미지인지 또는 두 페이지로 구성된 이미지인지를 구분한다.

다음으로, 한 페이지 또는 두 페이지로 구성된 이미지 중에서 동일한 페이지 수로 구성되고 연속된 이미지를 선택한다(S203, S204). 구체적으로, S202의 단계에서 한 페이지로 구성된 이미지로 판단되는 경우, 한 페이지로 구성된 연속되는 이미지를 선택한다(S203). 즉, (1), (2), (3), (4), (5), (6)의 순으로 이미지를 선택한다. 또한, S202의 단계에서 두 페이지로 구성된 이미지로 판단되는 경우, 두 페이지로 구성된 연속되는 이미지를 선택한다(S204). 즉, 한국 만화의 경우 (1,2), (3,4), (5,6)의 순으로 이미지를 선택하고, 일본 만화의 경우 (2,1), (4,3), (6,5)의 순으로 이미지를 선택한다. 또한 한 페이지로 구성된 이미지와 두 페이지로 구성된 이미지가 혼재하는 경우 검색되는 이미지 핑거프린트 데이터베이스의 특성상, 동일한 페이지 수로 구성된 연속된 이미지, 즉 한 페이지로 구성된 연속된 이미지 또는 두 페이지로 구성된 연속된 이미지를 선택한다. 선택되는 연속된 이미지들의 수는 인식률과 인식시간에 영향을 주기 때문에, 요구되는 인식률과 인식시간을 고려하여 적절한 수치가 설정하여야 한다.

다음으로, 선택된 이미지의 핑거프린트를 추출한다(S205). 핑거프린트를 추출하는 이미지는 연속된 복수의 이미지일 수 있다. 도 4에서와 같이 한 페이지의 전체 가로 길이(800)에서 한 페이지의 세로 중심축을 기준으로 일정 범위 이내의 가중치 길이(700)를 설정하여 가중치 길이(700) 내의 핑거프린트를 추출할 수 있다. 도면에서는 가로축의 폭을 조정하여 가중치 길이(700)를 설정하였으나 세로축의 폭을 기준으로 하여 가중치 길이를 설정할 수도 있으며, 가로축과 세로축의 폭을 동시에 설정하여 가중치 길이를 설정할 수도 있다.

후보군 검색부(400)는 핑거프린트 추출부(300)로부터 전달받은 핑거프린트를 임시로 저장하는 기능을 수행한다. 여러 페이지의 만화 이미지를 통해 후보군을 검색하는 경우, 핑거프린트 추출기가 하나의 이미지에 대한 핑거프린트만을 순차적으로 전달하는 경우에는 내부적으로 핑거프린트를 저장하고 있어야 한다. 임시 저장된 핑거프린트 중 더 이상 후보군 검색에 필요하지 않은 핑거프린트는 삭제한다.

다음으로, 추출된 핑거프린트 정보를 이용하여 핑거프린트 데이터베이스(600)를 검색하여 만화 출판물 후보군을 검색한다(S206). 후보군 검색부(400)는 데이터베이스(DB) 검색을 빠르게 하기 위해서 핑거프린트로부터 데이터베이스 검색에 사용할 인덱스를 생성하는 기능을 수행한다.

하나의 만화 이미지에서 하나의 박스 프레임이 추출되는데, 만화 출판물 검색시 여러 페이지의 이미지를 사용하는 경우 각 페이지에서 추출된 박스 프레임을 그룹 단위로 조합하여 검색에 사용할 수 있다.

다음으로, 유사도 측정부(500)는 후보군 검색부(400)로부터 후보군을 입력받아 검색 대상 만화 출판물과 유사도를 비교하여 최종적으로 만화 출판물을 식별한다(S207). 유사도 측정부(500)는 후보군 검색부(400)로부터 후보군을 입력으로 받아 검색 대상 만화 출판물과 유사도를 비교하여 최종적으로 만화 출판물을 식별한다. 유사도 검색에 EHD(Edge Histogram Descriptor), OMPF(Orthgonality Mean Projection Feature), Icon, CovM(Covariant Moment), thumbnail 등 이미지 유사도 검색에 사용하는 기술들이 활용할 수 있으며, 이에 대해 한정하지는 않는다.

기술한 만화 출판물 핑거프린트 시스템 및 방법은 핑거프린트를 이용한 만화 출판물 검색 시스템이나 OSP(Online Service Provider)에서 유통되고 있는 만화 출판물 중 불법 만화 출판물을 식별하여 필터링하는 시스템에 활용될 수 있다.

이와 같이 연속된 이미지를 선택하여 핑거프린트를 추출하고 원본과의 유사도를 측정하게 되면, 단일의 이미지를 선택하여 핑거프린트를 추출하고 원본과의 유사도를 측정하는 경우에 비해 정확하게 검색할 수는 없지만 빠른 시간 내에 비슷한 특성을 가진 만화 출판물의 후보군을 검색할 수 있고, 후에 연속되는 페이지로 구성되는 이미지를 검색함으로써 여러 후보군 중 진정 찾고자 하는 출판물을 가려내는 방법을 사용하면 수행 시간을 많이 줄일 수 있다.

전술한 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 이미지 보정부
200 이미지 정규화부
300 만화 출판물 핑거프린트 추출부
400 후보군 검색부
500 유사도 측정부
600 핑거프린트 데이터베이스

Claims (9)

1. 데이터베이스를 구축하는 단계;
   스캔된 이미지의 가로 및 세로의 비율을 계산하는 단계;
   상기 계산 결과에 의해 한 페이지로 구성된 이미지인지를 판단하는 단계;
   상기 판단 결과를 이용하여 동일한 페이지 수로 구성된 연속된 이미지를 선택하는 단계;
   상기 선택된 이미지의 핑거프린트를 추출하는 단계; 및
   상기 추출된 핑거프린트를 이용하여 상기 데이터베이스에 대응되는 만화 이미지의 유사도를 측정하는 단계;를 포함하고,
   상기 핑거프린트를 추출하는 단계는, 상기 이미지의 전체 가로 길이에서 한 페이지의 세로 중심축을 기준으로 일정 범위 이내의 가중치 길이를 설정하여 상기 가중치 길이 내의 핑거프린트를 추출하며,
   상기 데이터베이스를 구축하는 단계는,
   이미지 보정 및 만화 출판물 파일의 조판 방식을 조회하여 일본 만화인지를 판단하는 단계;
   일본 만화로 판단된 경우, 이미지 순서를 재정렬하는 단계;
   상기 이미지의 핑거프린트를 추출하는 단계;
   상기 핑거프린트 정보를 이용하여 데이터베이스를 구축하는 단계를 포함하는 것을 특징으로 하는 스캔 만화 식별 방법.
   
2. 데이터베이스를 구축하는 단계;
   스캔된 이미지의 가로 및 세로의 비율을 계산하는 단계;
   상기 계산 결과에 의해 한 페이지로 구성된 이미지인지를 판단하는 단계;
   상기 판단 결과를 이용하여 동일한 페이지 수로 구성된 연속된 이미지를 선택하는 단계;
   상기 선택된 이미지의 핑거프린트를 추출하는 단계; 및
   상기 추출된 핑거프린트를 이용하여 상기 데이터베이스에 대응되는 만화 이미지의 유사도를 측정하는 단계;를 포함하고,
   상기 핑거프린트를 추출하는 단계는, 상기 이미지의 전체 가로 길이에서 한 페이지의 세로 중심축을 기준으로 일정 범위 이내의 가중치 길이를 설정하여 상기 가중치 길이 내의 핑거프린트를 추출하며,
   상기 데이터베이스를 구축하는 단계는,
   한 페이지 단위로 스캐닝한 후에 조판 방식에 따라 순서를 재정렬하고 한 페이지 단위로 데이터베이스를 구축하는 단계; 및
   상기 한 페이지 단위로 재정렬된 데이터베이스를 기반으로 두 페이지 단위의 핑거프린트 데이터베이스를 별도로 구축하는 단계;를 포함하는 것을 특징으로 하는 스캔 만화 식별 방법.
   
3. 제1항 또는 제2항에 있어서,
   상기 한 페이지로 구성된 이미지인지를 판단하는 단계는,
   상기 가로의 길이가 상기 세로 길이보다 긴 경우 두 페이지로 구성된 이미지로 판단하고, 상기 가로의 길이가 상기 세로 길이보다 짧은 경우 한 페이지로 구성된 이미지로 판단하는 것을 특징으로 하는 스캔 만화 식별 방법.
   
4. 제1항 또는 제2항에 있어서,
   상기 이미지를 선택하는 단계는,
   한 페이지로 구성된 이미지를 선택하거나 두 페이지로 구성된 이미지를 선택하는 것을 특징으로 하는 스캔 만화 식별 방법.
   
5. 제1항 또는 제2항에 있어서,
   상기 유사도를 측정하는 단계는,
   상기 데이터베이스에 저장되어 있는 만화 출판물 중 후보군을 검색하고, 상기 후보군 중에서 상기 핑거프린트에 대응되는 만화 이미지의 유사도를 측정하는 것을 특징으로 하는 스캔 만화 식별 방법.
   
6. 삭제
7. 삭제
8. 입력받은 만화 출판물 이미지 파일에서 핑거프린트 추출을 용이하게 하기 위하여 이미지를 조정하는 이미지 보정부;
   상기 이미지 보정부에서 전달받은 이미지를 재정렬하는 이미지 정규화부; 및
   상기 이미지로부터 핑거프린트를 추출하는 만화 출판물 핑거프린트 추출부;를 포함하고,
   상기 이미지 정규화부는,
   보정된 상기 이미지로부터 조판 방식을 판단하는 조판 방식 판단부;
   상기 이미지의 가로 및 세로의 비율을 계산하여 상기 이미지가 한 페이지인지 또는 두 페이지인지를 판단하는 페이지 판단부; 및
   상기 이미지를 분리 또는 병합하는 이미지 정렬부를 포함하는 것을 특징으로 하는 스캔 만화 식별 시스템.
9. 삭제

Images