KR20090050910A - 디지털 만화책 제작 방법 및 장치 - Google Patents

Abstract

본 발명은 디지털 만화책 제작 방법 및 장치에 관한 것이다. 즉, 본 발명에서는 영화와 같은 동영상이나 주변에서 쉽게 구할 수 있는 사진 등을 입력으로 하여 영상들을 만화 영상과 같이 렌더링하는 카투닝(cartooning)과 만화책처럼 보이게 하는 양식화(stylization) 작업, 그리고 말풍선 등 만화적 요소를 배치하는 작업을 통해 사용자의 수작업을 최소로 하여 누구나 쉽게 디지털 만화책을 제작할 수 있도록 한다.

만화, 디지털, 랜더링, 카투닝

Description

디지털 만화책 제작 방법 및 장치{METHOD AND APPARATUS FOR PRODUCTION OF DIGITAL COMIC BOOK}

본 발명은 만화 제작 방법에 관한 것으로, 특히 영화와 같은 동영상이나 주변에서 쉽게 구할 수 있는 사진 등의 이미지를 만화 이미지와 같이 랜더링(rendering)하는 카투닝(cartooning) 처리와 스타일링(stylization) 작업을 통해 쉽게 만화 제작을 할 수 있도록 하는 디지털 만화책 제작 방법 및 장치에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-082-03, 과제명: 비사실적 애니메이션 기술 개발].

만화는 제 9의 예술이라 불리며, 일반 사람들에게도 매우 친숙한 매체이다. 그러나 기존 만화의 제작은 모든 과정이 수작업으로 이루어지므로, 그림을 잘 그리는 일부 사람들이나 만화가를 제외하고는 쉽게 손댈 수 없는 창작 과정으로 되어 있다.

최근 컴퓨터 및 콘텐츠 제작 기술의 발달은 이러한 만화의 제작과정에서 자동화 가능성을 많이 열고 있다. 대표적인 분야가 영상처리 및 컴퓨터 그래픽스의 비사실적 렌더링(Non-photorealistic rendering)로, 실사 영상을 손으로 그린 듯한 효과를 가진 이미지로 변환하는 연구가 진행되었었다. 그러나 이러한 기술들은 만화에 특화되지 않아서 만화 제작에서 이들의 사용은 매우 어렵다.

일반적으로 만화는 높은 정보 전달력을 가지고 있어, 상대적으로 적은 분량으로 압축되어 있다. 이를 위해 만화는 과장된 동작이나 배경 그리고 말풍선 등 만화적 요소들을 이용하여 인물의 감정을 쉽게 표현하고 만화가의 의도를 전달하고 있다. 일반인이 만화를 제작하기 위해서는 만화적 요소들을 쉽게 사용할 수 있는 시스템이 필요하나, 이런 시스템 자체가 흔치 않고, 일부 시스템의 경우 그 사용이 쉽지 않다.

따라서 이러한 상황에서 그림을 잘 못 그리는 일반인에게는 그림 소재의 창작에 있어 제한적이어서, 만화 제작은 여전히 불가능한 것으로 생각되고 있다.

한편, 종래 만화 제작 방법의 경우에는 이미 구축해놓은 DB에서 제한된 이미지 자원을 조합하여 만화를 제작하는 방법이 제안되어 있으나, 제한된 이미지 자원을 조합하여 만화를 제작하는 종래방법에서는 사용자별 창의적인 만화를 제작하기 어려운 문제점이 있었다. 또한, 실사 사진을 이용하여 만화를 제작하는 경우도 그냥 사진을 배치하고 조정한 후 말풍선과 같은 만화적 요소만 첨가하는 수준이어서 완성된 만화는 기존의 만화책과는 많은 거리감이 있었다.

따라서, 본 발명에서는 디지털 만화 제작에 있어서 입력 받은 영상들을 만화 영상과 같이 렌더링하는 카투닝(cartooning)과 만화책처럼 보이도록 배치하고, 말풍선 등 만화적 요소들을 삽입하는 스타일링(stylization) 작업을 통해 적절하게 만화책을 제작한다. 또한 만화를 이루는 그림 소재는 주변에서 흔히 구할 수 있는 실사 사진을 이용함으로써 창의성을 해결하고, 카투닝을 통해 기존 만화와 같은 느낌으로 바꿀 수 있도록 한다.

위와 같은 과정을 통해 종래 만화가에 의해 수작업으로 반복되던 만화 제작에 대해, 본 발명에서는 이들의 자동화를 꾀하고 사용하기 쉽도록 제공하여, 보다 효율적인 만화 제작이 이루어질 수 있도록 하며, 또한 궁극적으로 그림을 전혀 그리지 못하는 일반인도 만화책의 제작이 가능하도록 하는데 목적이 있다.

상술한 목적을 달성하기 위한 본 발명은 디지털 만화책 제작 장치로서, 실사 사진의 이미지 데이터를 입력받아 수집하는 이미지 수집부와, 상기 이미지 수집부로부터 수집된 실사 이미지 데이터에 대해 이미지 추상화와 외곽선 생성을 포함한 랜더링 처리를 수행하여 만화화된 이미지로 생성하는 카투닝 처리부와, 만화 페이지내 여러 가지 형태의 만화 프레임을 작성하고, 상기 카투닝 처리부를 통해 만화화된 이미지에 만화적 요소를 부가하여 각 만화 프레임에 맞게 크기 조정 및 배치 를 수행하는 스타일링부를 포함한다.

또한 본 발명은 디지털 만화책 제작 방법으로서, (a)실사 사진의 이미지 데이터를 수집하는 단계와, (b)상기 실사 이미지 데이터에 대해 카투닝 처리를 수행하여 만화화된 이미지를 생성시키는 단계와, (c)상기 만화화된 이미지에 대해 스타일링 처리를 수행하여 만화 페이지를 완성시키는 단계를 포함한다.

본 발명에서는 디지털 만화책을 제작함에 있어서, 주변에서 쉽게 구할 수 있는 사진이나 동영상을 입력으로 하여, 이를 변형하고 만화적 요소를 첨가하여 만화책을 제작하므로, 그림을 그리지 않고도 만화를 제작할 수 있어 만화가가 아니더라도 누구나 쉽게 만화책을 제작할 수 있는 효과가 있다.

또한 본 발명에서는 제시된 이미지 추상화 방법을 조절하면 디지털 만화책 외에도 각종 만화 풍의 삽화나 기타 이미지 제작도 가능하여 이미지가 사용되는 모든 분야의 콘텐츠에서 사용할 수 있는 등 이미지 제작에 있어서 활용도가 매우 크게 되는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 구체적인 핵심 기술요지를 살펴보면, 주변에서 쉽게 구할 수 있는 사진이나 동영상을 입력으로 하여, 이를 변형하고 만화적 요소를 첨가하여 만화책을 제작하는 기술을 통해 본 발명에서 이루고자 하는 바를 쉽게 달성할 수 있다.

도 1은 본 발명의 실시 예에 따른 디지털 만화책 제작 장치의 구성을 도시한 것으로, 본 발명의 디지털 만화책 제작장치는 이미지 수집부(100), 카투닝 처리부(102), 스타일링부(104)를 포함한다.

이하 도 1을 참조하여 디지털 만화책 제작장치 각 부에서의 동작을 상세히 설명하기로 한다.

먼저, 이미지 수집부(100)는 디지털 카메라로 직접 찍은 사진, 인터넷 등에서 얻은 사진 자료 또는 영화나 드라마 등 2D 동영상에서 주요장면의 이미지를 추출한 실사 사진 자료들 입력받아 이미지 데이터를 수집한다.

이때, 만화 제작을 위해 필요되는 이미지는 디지털 카메라를 이용하거나 또는 동영상에서 주요 장면의 이미지를 추출하는 것으로, 일반인이 특별한 기술이나 장비 없이도 행할 수 있으며, 이미지 수집부(100)에서는 위와 같은 방법에 의해 사용자로부터 입력된 이미지 데이터를 수집하여 수집된 이미지 데이터를 이미지 정보 DB(106)에 저장하고 필요할 때 가져다 사용하게 된다. 이때 이미지 정보 DB(106)는 단순히 사진 데이터를 모아서 저장하는 형태의 DB로 어떠한 형태든 상관이 없다.

카투닝 처리부(102)는 이미지 수집부로부터 수집된 이미지 데이터를 이용하여 만화화된 이미지로 랜더링 처리한다. 이때, 이미지 수집부(100)로부터 이미지 데이터 수집단계에서 얻은 사진 자료들은 실사 사진인 경우가 대부분으로, 만화에서 바로 사용하기 곤란하다. 즉, 사실적인 이미지와 만화적 이미지와의 차이점은 크게 색상의 추상화와 외곽선 표현을 들 수 있다. 따라서 카투닝 처리부(102)에서는 이미지 수집부(100)로부터 수집된 이미지 데이터에 대해 이미지 추상화와 외곽선 생성 처리를 수행하여 만화화된 이미지들로 생성하게 된다.

스타일링부(104)는 카투닝 처리부(102)를 통해 만화화된 이미지를 입력받아, 만화화된 이미지를 이용하여 만화 프레임(frame) 작성, 만화 프레임 안에 이미지의 조정, 배치, 그리고 말풍선 등의 만화적 요소를 삽입하여 만화를 완성하게 된다.

즉, 만화 한 페이지는 여러 개의 프레임들로 구성되어 있다. 이 프레임은 각각 하나의 장면을 의미하며, 만화의 특징인 생략이 가능토록 하는 단위이며, 이로 인해 상상력을 자극하게 된다. 만화를 제작함에 있어 한 페이지를 시작할 경우, 이 프레임을 제일 먼저 제작하고, 그 다음 프레임을 채우는 방식으로 작업이 진행된다. 본 발명의 스타일링부(104)에서는 이러한 프레임을 미리 몇 가지 정해놓은 템플릿(template)을 만화 정보 DB(108)에 서 가지고 와서, 페이지 안에 적용하고 각각의 프레임의 크기를 조절함으로써 만화 한 페이지의 프레임을 완성한다.

또한, 한 페이지의 프레임이 완성되면, 각각의 프레임 안에 만화화된 이미지 를 배치한다. 배치된 이미지를 확대 및 이동하여 한 프레임 안의 장면을 완성하게 된다. 본 발명에서 이러한 이미지의 확대 및 이동은 일반적인 알고리즘을 사용하므로 추가적으로 다루지는 않는다.

도 2는 본 발명의 실시 예에 따른 디지털 만화 제작 장치에서 일반 사용자가 주위에서 쉽게 구할 수 있는 사진이나 동영상을 이용하여 디지털 만화를 제작하는 동작 제어 흐름을 도시한 것이다. 이하 도 1 및 도 2를 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.

먼저, 디지털 카메라로 직접 찍은 사진, 인터넷 등에서 얻은 사진 자료 또는 영화나 드라마 등 2D 동영상에서 주요장면의 이미지를 추출한 실사 사진 자료들을 모으는 이미지 데이터 수집단계(S200)가 있다. 이 수집단계에서 이미지 수집부(100)로 입력되는 이미지 데이터는 디지털 카메라를 이용하거나 종래 이미지 추출 프로그램을 이용하여 동영상으로부터 추출되는 등의 방식으로 얻어지는 것으로, 일반인이 특별한 기술이나 장비 없이도 행할 수 있다. 이미지 수집부에서는 이와 같이 수집된 사진데이터를 이미지 정보 DB(106)에 저장한 후, 필요할 때 가져다 쓴다.

한편, 위 언급한 이미지 데이터 수집단계에서 얻은 사진 자료들은 실사 사진인 경우가 대부분으로, 만화에서 바로 사용하기 곤란하다. 사실적인 이미지와 만화적 이미지와의 차이점은 크게 색상의 추상화와 외곽선 표현을 들 수 있다.

따라서, 카투닝 단계(S240)에서는 이미지 추상화 단계(S210)와 외곽선 생성 단계(S220), 만화 이미지 생성단계(S230)을 통해 수집된 이미지에 대해 만화화된 이미지로 생성하게 된다.

이하, 카투닝 단계(S240)에서의 이미지 추상화 단계(S210)와 외곽선 생성 단계(S222) 동작에 대해 보다 상세히 설명하기로 한다.

이미지 추상화 단계(S210)는 실사 사진을 간략화하고, 색상을 단순화하여 실사사진을 만화적 느낌이 나도록 처리하는 단계로, 본 발명에서는 Bilateral filter와 Mean-shift segmentation 을 이용하여 처리하였다.

Bilateral filtering의 기본 개념은 공간적인 거리(spatial distance)뿐만 아니라 이미지 강도 차이(signal difference)를 고려하면서 이미지 스무딩(smoothing)을 수행하는 것이다. 그러므로 일반적인 가우시안 필터(Gaussian filter)와 달리, bilateral filter는 높은 색상 대조(contrast)가 있는 영역인 에지 영역에서는 변화가 없는 반면, 색상이 비슷한 영역에서는 강한 스무딩 작업을 수행한다. Bilateral filter를 한마디로 요약해서 말하면, 에지를 보존하면서 스무딩 작업을 수행하는 필터라고 말할 수 있다.

RGB 다수의 채널로 구성된 이미지 함수

가 주어졌을 때, bilateral filter는 다음의 [수학식 1]을 통하여 추상화된 이미지

를 얻을 수 있다.

위의 [수학식1]에서

는 추상화된 결과 이미지의 현재 고려되고 있는 픽셀(pixel) 좌표를 의미한다. 이 좌표의 픽셀 값인

는 2차원 영역에서의

의 이웃 픽셀들인

들의 적분으로 계산된다. 연속적인 형태라 아니라 컴퓨터에서 취급하는 이미지처럼 이산적인 형태일 경우, 이것은

의 이웃 픽셀

의 가중치 합과 동일하다. 여기서, 가중치는

와

의 곱으로 표현된다.

는 단순히

의 벡터 차에 관한 함수이며,

는 색상 채널

의 벡터 차에 관한 함수이다. 즉, 가중치 계산 시

는 공간적인 특징을,

는 픽셀의 강도를 고려한 것이다. 일반적으로

와

함수로 아래 [수학식 2]에서와 같은 가우시안 함수들을 사용한다.

,

는

와

의 유클리디언 거리의 가우시안 함수이며,

는

와

의 색상 강도에 따른 가우시안 함수이다. 가우시안 함수의 표준 편차인

와

은 스무딩 작업의 정도 및 특성을 결정하는 매개변 수로, 이 값은 사용자에 의해 설정된다. 그리고 입력 이미지와 최종 결과 이미지와의 전체적인 밝기를 동일하게 유지하기 위해, 적분 값을

정규화 인자로 나누어준다.

는 아래의 [수학식3]과 같다.

결국, bilateral filter 는 공간적인 거리만 고려하는 일반적인 다른 스무딩 필터와 달리 이웃 픽셀과의 강도값 차이 또한 가중치로 고려하기 때문에 이웃 픽셀들이 유사한 색상을 가지는 영역,

의 값이 낮은 곳에서만 스무딩하는 효과를 얻을 수 있다. 따라서, 현재 계산되는 위치의 픽셀 색상이 이웃 픽셀과 다른 영역에서는 스무딩 효과가 줄어든다.

정리하면, 본 발명에서는 색상 대비가 큰 영역인 에지와 같은 곳은 그대로 보존하면서, 색상이 유사한 영역을 추상화하기 위해 bilateral filter를 구현하였다. 또한 이와 같은 bilateral filter는 반복적으로 수행함으로써 보다 추상화된 이미지를 획득할 수 있다.

추상화된 이미지는 만화적 특성을 반영하기 위해 추상화된 영역끼리 묶어서 처리 해야한다. 본 발명에서는 Mean-Shift Segmentation을 사용한다. 일반적인 세그멘테이션 방법은 입력된 이미지의 픽셀들을 특징 공간(컬러 공간)으로 사상한 후, 이미지에서 비슷한 영역을 가지는 그룹들로 군집화한다. 이와 같은 전통적인 군집화 방법들은 다변량 정규 분포를 특징 공간 모델로 사용하고 있기 때문에 그룹들이 타원형이어야 하거나 사용자의 잘못된 그룹 개수 결정으로 심각한 결점을 발생 시킨다. 이와 달리 Mean-shift segmentation 방법은 비모수적(nonparametric) 특징 공간 분석에 근거하고 있기 때문에 이러한 결점들을 제거한 방법이다.

를

차원의 알지 못하는 확률 밀도 함수라 하고,

를 이 공간에서의 데이터라고 하였을 때, 아래의 [수학식 4]에서와 같은 mean-shift 특성을 나타낸다.

위 [수학식 4]에서

는

를 중심점으로 하고

를 반지름으로 가지는

차원 구의 영역을 의미한다. 그리고

위치에서의 밀도 기울기(density gradient)는

위치의 특정 윈도우(즉,

영역)내의 벡터들의 평균 차이를 의미한다는 것을 알 수 있다.

위의 식을 바탕으로 mean-shift를 반복적으로 적용함으로써 밀도의 국소 최대값(local maxima)인 모드(mode), 즉

인 지점을 발견할 수 있다. 이와 같은 모드는 mean-shift 벡터 값들이 특정 경계값보다 작을 때까지 윈도우 를 mean-shift 벡터에 따라 이동함으로써 찾을 수 있다.

따라서 특정 공간의 모든 점들을에 대해서 mean-shift 과정을 수행하면 수렴 점인 모드를 기준으로 점들을 그룹으로 군집화할 수 있다. 그리고 모드로 기준으로 묶인 그룹들의 영역들은 임의의 모양이 가능하며, 특징 공간에서의 그룹의 수는 발견된 모드의 수에 의해 자동적으로 결정된다.

본 발명에서는 컬러 이미지에서 mean-shift segmentation을 적용하기 위하여 5차원 특징 공간을 사용하였다. 먼저, 컬러 공간 L*u*v로 3차원 공간을 사용하였으며, 나머지 2차원 공간은 이미지 격자 좌표 공간을 사용하였다. L*u*v 컬러 공간에서 컬러들간의 차이가 유클리디언을 만족하기 때문에 구형의 윈도우를 사용할 수 있다. 이러한 5차원 특징 공간을 사용함으로써 컬러 유사도 뿐 만 아니라 이미지 내에서 연속적인 위치들로 구성된 픽셀들을 그룹화할 수 있다. 여기서 세그멘테이션 질(quality)는 각 각의 도메인의 (3D/2D)의 윈도우 반지름들을 정의하는, 즉 분석하는 특징 공간의 해상도 매개변수인 공간 해상도인

와 컬러 해상도인

에 의해 조절된다. Mean-shift segmentation은 크게 필터링(filtering)과 통합(fusion) 단계로 구성된다. 필터링 단계는 5차원 mean-shift 벡터를 이용하여 찾은 모드와 연관된 모든 픽셀들의 값들을 모드의 L*u*v 컬러 값으로 변환하는 단계이다. 통합 단계는 필터링을 수행한 이미지에 대해서 컬러 공간에서

내에 존재하는 모드의 basin들이 수렴할 때 까지 반복적으로 통합하는 작업을 수행한다. 이 후, 통합된 영역 내의 모든 픽셀 값들은 그들의 평균으로 설정한다.

이렇게 생성된 간략화된 이미지를 보다 만화스럽게 하기 위해 외곽선 생성 단계(S220)를 거치게 되는데, 본 발명에서는 Laplacian filter와 Canny edge detection 방법을 이용하였다.

Laplacian filter는 2차 미분 관련 에지 추출 기법으로, Sobel, Prewitt, Roberts와 같은 1차 미분 관련 에지 추출 기법에서 발생하는 수평, 수직, 대각선 방향에 놓여진 에지에서 민감한 반응과 더불어 너무 많은 에지를 추출하는 것을 방지한 방법이다. 1차 미분 을 통해 에지를 추출 시에는 특정 경계값 이상이 되는 영역이 상당히 넓게 분포된다. 이와 달리 Laplacian filter와 같은 2차 미분 관련 에지 추출 기법은 1차 미분에 다시 한번 더 미분을 하여 영교차(zero cross) 지점을 찾아 날카롭고 선명한 에지를 찾을 수 있다. 3X3 마스크(mask)를 얻는다고 가정을 할 때 laplacian filter는 아래의 [수학식 5]에서와 같이 정의된다.

결국, 위의 [수학식5]에서 아래의 [수학식6]에서와 같은 3X3 laplacian mask를 도출할 수 있다. 본 발명에서는 3X3 mask뿐만 아니라 5X5, 7X7 등 다양한 크기의 laplacian mask를 사용할 수 있게 되어 있다.

일반적으로 laplacian filter의 특성상 주변 밝기와의 차이값을 이용하여 에지를 추출하기 때문에 잡음에 약한 면을 가지고 있다. 본 발명에서는 이 점을 고려하여 외곽선 추출 시 추상화된 이미지를 이용하여 에지를 추출한다.

Canny edge detection 방법은 노이즈에 민감한 일반적인 에지 추출 마스크를 보완한 에지 추출 기법으로, 실제로 잡음에 민감하지 않으면서 강한 에지를 추출하는 것에 목적을 둔다. Canny edge detection 방법은 에지 추출 방법들 중에서 최적의 에지 추출 기법으로 알려져 있으며, 다음의 3가지 기준을 만족해야 된다고 알려져 있다.

(1) 탐지성(Good detection): 모든 실제 에지를 탐지하는 능력

(2) 국부성(Good localization): 실제 에지와 탐지된 에지의 차이가 최소화

(3) 응답성(Clear response): 각 에지에 대하여 단일한 응답

도 3은 본 발명에서 구현한 이미지 추상화(bilateral filter, mean-shift segmentation)와 외곽선 생성(laplacian filter, canny edge detection)을 적용하여 만화화된 이미지로 생성된 카투닝 결과의 일 실시 예 도면이다. 위 도 3에서 보여지는 바와 같이 이미지 수집부를 통해 입력된 실사 이미지 데이터(300)는 본 발명의 이미지 추상화 방법을 이용하여 유사한 색상들을 통일하고, 외곽선을 표현해 줌으로써 만화 느낌의 이미지(302)로 변환된 것을 알 수 있다. 위와 같은 카투닝 처리된 결과 이미지(302)들은 이미지 정보 DB(106)에 저장되고, 후속되는 스타일링 단계(S280)에 사용된다.

만화적 스타일링 단계(S280)는 만화 프레임 작성 단계(S250), 만화 프레임 안에 이미지의 조정 및 배치 단계(S260), 그리고 만화적 요소를 삽입하는 단계(S270)로 이루어져 있다. 만화 한 페이지는 도 4에서 보여지는 바와 같이 여러 개의 프레임(411)들로 구성되어 있다. 이 프레임은 각각 하나의 장면을 의미하며, 만화의 특징인 생략이 가능토록 하는 단위이며, 이로 인해 상상력을 자극하게 된다. 만화를 제작함에 있어 한 페이지를 시작할 경우, 이 프레임을 제일 먼저 제작하고, 그다음 프레임을 채우는 방식으로 작업이 진행된다. 본 발명에서는 이러한 프레임을 미리 몇 가지 정해놓은 템플릿(template)을 만화 정보 DB(108)에 서 가지고 와서, 만화 페이지 안에 적용하고 각각의 프레임의 크기를 조절함으로써 만화 한 페이지의 프레임을 완성한다.

위와 같이 만화 프레임 작성 단계(S250)에서 한 페이지의 프레임이 완성되면, 이미지 조정 및 배치 단계(S260)에서는 각각의 프레임 안에 만화화된 이미지(302)를 배치한다. 배치된 이미지를 확대 및 이동하여 한 프레임 안의 장면을 완성하게 된다. 본 발명에서 이러한 이미지의 확대 및 이동은 일반적인 알고리즘을 사용하므로 추가적으로 다루지는 않는다.

이어, 만화적 요소 삽입 단계(S270)에서는 카투닝 처리된 이미지를 얻은 후 만화적 스타일링의 완성을 위해 만화적 요소를 삽입하게 된다. 삽입되는 만화적 요소로는 도 5에서 보여지는 바와 같이, 말풍선(431, 432, 433), 배경(434), 과장된 글자(435), 스피드라인(436)이 있다.

일반적으로 만화에서 말풍선은 만화의 스토리 전개를 위해서 필수적인 요소이며, 만화의 주인공과 대사를 연결하는 매개체 역할을 한다. 만화에서 주인공의 심리 상태나 현재 상태를 표현하기 위해서, 많은 종류의 말풍선들이 사용되므로 본 발명에서는 일반 만화에서 주로 사용되는 스타일의 말풍선을 7개 모델링하였고, 이 말풍선들을 모델링 방법에 따라 타원형의 말풍선(431)과 외침계열의 말풍선(432) 그리고 경계 말풍선(434)으로 각각 분류한다.

타원형의 말풍선은 동양 만화에서 가장 많이 사용되는 말풍선이며, 주로 일상적인 내용의 대화나 평서문의 대사를 표현하는 말풍선이다. 다음 타원 수식에 의해서 말풍선의 형태가 모델링 되며, 아래 [수학식 7]의 d 값에 따라 타원의 형태를 결정한다. 생성되는 말풍선의 타원은 모델링된 대사를 모두 포함하는 형태로 반지름이 결정된다.

외침 계열의 말풍선들은 주로 주인공의 감정이나 현재 분위기를 표현하는 말풍선들이다. 외침 계열에 포함되는 말풍선들은 느낌, 강조, 외침, 구름 말풍선의 4가지 말풍선들이며 각각 표현하는 주인공의 심리 상태나 주위 상황을 묘사한다. 느낌 말풍선은 주인공이 어떤 사실에 놀라거나 믿기지 않는 상황을 표현하며, 강조 말풍선은 주인공의 목소리에 힘이 실려 있거나 주위가 급박한 상황을 표현한다. 외침 말풍선은 주인공이 소리치는 경우에 사용되며, 구름 말풍선은 주인공이 뭔가를 곰곰히 생각하는 상황에 사용된다.

만화에서는 말풍선이 만화 컷의 경계 영역과 교차하는 경우, 주로 경계 영역에 눌러 붙는 말풍선을 사용하여, 주인공 대사의 가독성을 높인다. 본 발명에서는 이러한 말풍선을 경계 영역 말풍선(434)이라 명명하였으며, 말풍선의 위치가 만화 컷의 경계 영역 부근에 위치하게 될 경우, 말풍선을 경계 영역 말풍선으로 렌더링한다.

말풍선을 렌더링한 후, 말풍선과 만화 주인공을 연결하기 위한 말꼬리가 필요하다. 본 발명에서는 2개의 베지어 곡선을 이용하여 말꼬리를 모델링하였다. 말꼬리를 생성하기 위해서, 주인공의 위치 정보인 참조점(

)과 말풍선의 중심 위치인(

)가 필요하며, 말꼬리의 구현은 다음과 같은 연산에 의해 계산된다.

1. 참조점과 중심점으로 구성된 직선을 계산한 후, 이 직선과 말풍선의 몸체가 만나는 점 P를 계산한다.

2. 점 P에서 말풍선의 몸체인 타원의 접선

을 구하고 일정 비율

만큼 접선의 양 끝 방향으로 이동한 점

과

를 구한다.

3.

,

와 중심점

로 구성된 직선을 각각 계산하고, 이 직선들이 말풍선의 몸체와 교차하는 점들

과

를 말풍선 입구의 시작점들로 설정한다.

하나의 만화 컷에서는 평균적으로 2 ∼ 4개의 말풍선이 존재하게 된다. 이러한 말풍선들의 배치 작업은 대부분 만화가의 주관에 따라 수작업으로 배치되어 왔 다. 이러한 수작업을 원활하게 수행하기 위해서, 본 발명에서는 말풍선들을 자동으로 배치하는 기능이 있다.

대부분의 독자들은 만화의 한 장면에서 오른쪽 보다는 왼쪽에, 그리고 아래쪽 보다는 왼쪽에 위치한 말풍선의 대사를 먼저 읽는다. 즉 말풍선들이 읽는 순서(Reading Order)가 말풍선의 위치에 따라 결정된다. 본 발명에서는 확장된 특징점 기반의 레이블 배치(EPFLP) 방법과 QLayout 평가 함수를 사용한 휴리스틱 기법을 사용하여, 말풍선의 Reading Order에 맞게 말풍선을 배치한다. 도 6에서는 EPFLP에 의해, 각 말풍선들이 배치 가능한 영역을 표현하고 있다. Reading Order 규칙을 만족하기 위해서,

(Reading Order 2) 말풍선은

(Reading Order 1) 말풍선에 의해 배치 가능한 영역이

영역으로 제한된다. QLayout은 말풍선들 사이의 거리와 참조점에서 말풍선 사이의 거리를 반영하여, 만화에서 말풍선 배치에 대한 가독성을 평가하기 위한 척도이다. 즉, 말풍선들이 서로 떨어져 배치되고, 각 말풍선의 참조점과 가까이 배치될수록 평가값은 높아진다.

그러나 EPFLP와 QLayout으로 말풍선들을 자동 배치할 경우, 말풍선이 배치 가능한 후보 영역이 말풍선을 포함한 영역의 아래와 위의 사각형 영역으로 제한되게 된다. 그러므로 본 발명에서는 말풍선들 사이에 작용하는 가상의 힘을 추가하여, 말풍선들을 좀 더 확장된 방향으로 배치가능하게 하였다. 말풍선의 배치 알고리즘을 아래 [표 1]에서와 같이 의사 코드(Pseudo Code)로 정리하였다.

[표 1]

repeat select the farthest w.b. from its own r.p. move w.b. toward its own r.p. calculate force of each w.b. apply force to each w.b. make v.b. of each w.b. if v.b meet i.b. then calculate the v.b. area out of i.b. convert w.b. into boundary w.b. end-if calculate QLayout until RO regulation is O.K. and QLayout is more bigger than old QLayout.

본 발명에서는 말풍선 이외에도 만화 정보 DB(108)에는 만화적 요소들이 저장되어 있으므로 만화 제작 작업 중 사용할 수 있다. 만화에서는 함성과 같이 큰 소리를 표현할 때 양식화된 문자를 이용하여 보다 생동감 있는 장면을 연출할 수 있다. 이는 도 5에 과장된 글자(434)를 의미하며, 본 발명에서는 글자의 폰트와 크기를 변경 가능하도록 하여 생성한 후 프레임안에 삽입하는 것으로 이와 같은 효과를 구현하였다.

만화에서는 장면의 분위기를 보다 잘 연출하기 위해서 배경을 처리한다. 도 5에서 보여지는 바와 같은 과장된 배경이 이에 해당하는데, 본 발명에서는 만화 정보 DB(108)에 있는 텍스쳐를 사용하여 처리하였다. 만화 정보 DB(108)에는 이를 위해 일반적으로 만화 장면에서 자주 사용되는 3가지 배경 텍스쳐(집중, 암울, 공황 효과)들을 저장하고 있으며, 각 배경 텍스쳐를 매개 변수화하여 같은 텍스쳐라도 느낌과 강도에 따라 차이를 표현할 수 있도록 하였다. 또한 만화는 비디오 영상과 달리 정지 영상이기 때문에 객체의 움직임을 표현하기 위해 도 5에서와 같이 스피드라인(436)을 이용한다. 본 발명에서는 객체의 움직임 방향, 가상 속도 등을 고려 하여 스피드 라인을 그릴 수 있도록 지원한다.

이상과 같은 만화적 요소가 삽입 단계(S270)를 통해 한 프레임을 완성하고, 같은 방식으로 한 페이지의 모든 프레임을 채우고 나면, 만화적 스타일링 작업이 끝나게 되어 하나의 만화 페이지가 완성된다(S290). 이때 만화는 여러 페이지로 구성되어 있으므로 추가적인 페이지의 작업이 필요하다면 다시 만화적 스타일링 단계(S280)로 가서 작업을 반복하면 된다. 도 7은 최종적으로 만들어진 만화 결과를 나타내는 일실시예 도면이다.

도 1은 본 발명의 실시 예에 따른 디지털 만화책 제작 장치의 블록 구성도,

도 2는 본 발명의 실시 예에 따른 디지털 만화책 제작 처리 흐름도,

도 3은 본 발명의 실시 예에 따른 카투닝 처리된 만화화된 이미지 예시도,

도 4는 본 발명의 실시 예에 따른 만화 프레임에 이미지를 배치하는 일 실시예 도면,

도 5는 본 발명의 실시 예에 따른 다양한 만화적 요소들의 일 실시 예 도면,

도 6은 본 발명의 실시 예에 따른 만화적 요소(말풍선) 삽입시 자동 배치를 위한 일 실시 예 도면,

도 7은 본 발명의 실시 예에 따른 최종결과물로 생성된 만화의 일 실시 예 도면.

<도면의 주요 부분에 대한 부호의 설명>

100 : 이미지 입력부 102 : 카투닝 처리부

104 : 스타일링부 106 : 이미지정보 DB

108 : 만화정보 DB

Claims (14)

1. 디지털 만화책 제작 장치로서,

   실사 사진의 이미지 데이터를 입력받아 수집하는 이미지 수집부와,

   상기 이미지 수집부로부터 수집된 실사 이미지 데이터에 대해 이미지 추상화와 외곽선 생성을 포함한 랜더링 처리를 수행하여 만화화된 이미지로 생성하는 카투닝 처리부와,

   만화 페이지내 여러 가지 형태의 만화 프레임을 작성하고, 상기 카투닝 처리부를 통해 만화화된 이미지에 만화적 요소를 부가하여 각 만화 프레임에 맞게 크기 조정 및 배치를 수행하는 스타일링부

   를 포함하는 디지털 만화책 제작 장치.
2. 제 1 항에 있어서,

   상기 카투닝 처리부에서의 이미지 추상화는,

   상기 실사 이미지 데이터에 대해 실사 이미지를 간략화하고, 색상을 단순화시키는 것임을 특징으로 하는 디지털 만화책 제작 장치.
3. 제 2 항에 있어서,

   상기 이미지 추상화는,

   Bilateral filter와 Mean-shift segmentation 방법을 이용하여 수행되는 것을 특징으로 하는 디지털 만화책 제작 장치.
4. 제 1 항에 있어서,

   상기 카투닝 처리부에서의 외곽선 생성은,

   Laplacian filter와 Canny edge detection 방법을 이용하여 상기 이미지 추상화 처리된 이미지의 테두리에 외곽선을 생성시키는 것임을 특징으로 하는 디지털 만화책 제작 장치.
5. 제 1 항에 있어서,

   상기 실사 사진의 이미지 데이터는,

   디지털 카메라로 직접 촬영한 사진 또는 2D 기반 영화나 드라마의 주요장면을 캡춰한 실사 사진의 이미지 인 것을 특징으로 하는 디지털 만화책 제작 장치.
6. 제 1 항에 있어서,

   상기 만화적 요소는,

   상기 만화화된 이미지에 삽입되는 말풍선, 배경, 글자 또는 움직임 흔적을 포함하는 것을 특징으로 하는 디지털 만화책 제작 장치.
7. 제 6 항에 있어서,

   상기 말풍선은,

   상기 만화화된 이미지상 인물 들의 대사 또는 감정을 표현하기 위한 공간으로, 특징점 기반의 레이블 배치 방식과 QLayout 평가 함수를 사용하는 휴리스틱 기법을 이용하여 대사 순서에 맞제 자동으로 배치되는 것을 특징으로 하는 디지털 만화책 제작 장치.
8. (a)실사 사진의 이미지 데이터를 수집하는 단계와,

   (b)상기 실사 이미지 데이터에 대해 카투닝 처리를 수행하여 만화화된 이미지를 생성시키는 단계와,

   (c)상기 만화화된 이미지에 대해 스타일링 처리를 수행하여 만화 페이지를 완성시키는 단계

   를 포함하는 디지털 만화책 제작방법.
9. 제 6 항에 있어서,

   상기 (b)단계는,

   (b1)상기 실사 이미지 데이터에 대해 데이터를 간략화하고, 색상을 단순화시키는 추상화 처리를 수행하는 단계와

   (b2)상기 추상화 처리된 이미지 데이터의 테두리에 만화적 이미지를 위한 외곽선을 생성시키는 단계

   를 포함하는 것을 특징으로 하는 디지털 만화책 제작방법.
10. 제 9 항에 있어서,

    상기 (b1)단계에서, 이미지 추상화는,

    Bilateral filter와 Mean-shift segmentation 방법을 이용하여 수행되는 것을 특징으로 하는 디지털 만화책 제작방법.
11. 제 9 항에 있어서,

    상기 (b1)단계에서, 이미지 외곽선 생성은,

    Laplacian filter와 Canny edge detection 방법을 이용하여 수행되는 것을 특징으로 하는 디지털 만화책 제작방법.
12. 제 8 항에 있어서,

    상기 (c)단계는,

    (c1)만화 페이지내 여러 가지 형태의 만화 프레임을 작성하는 단계와,

    (c2)상기 만화화된 이미지를 각 만화 프레임에 맞게 조정 및 배치시키는 단계와,

    (c3)상기 조정 및 배치된 만화화된 이미지에 만화적 요소를 삽입하는 단계

    를 포함하는 것을 특징으로 하는 디지털 만화책 제작방법.
13. 제 12 항에 있어서,

    상기 만화적 요소는,

    상기 만화화된 이미지에 삽입되는 말풍선, 배경, 글자 또는 움직임 흔적을 포함하는 것을 특징으로 하는 디지털 만화책 제작방법.
14. 제 13 항에 있어서,

    상기 말풍선은,

    상기 만화화된 이미지상 인물 들의 대사 또는 감정을 표현하기 위한 공간으로, 특징점 기반의 레이블 배치 방식과 QLayout 평가 함수를 사용하는 휴리스틱 기 법을 이용하여 대사 순서에 맞제 자동으로 배치되는 것을 특징으로 하는 디지털 만화책 제작방법.

Images