KR101191317B1 - 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법 - Google Patents

객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101191317B1
KR101191317B1 KR1020110032515A KR20110032515A KR101191317B1 KR 101191317 B1 KR101191317 B1 KR 101191317B1 KR 1020110032515 A KR1020110032515 A KR 1020110032515A KR 20110032515 A KR20110032515 A KR 20110032515A KR 101191317 B1 KR101191317 B1 KR 101191317B1
Authority
KR
South Korea
Prior art keywords
input image
image
silhouette
brightness
pixel
Prior art date
Application number
KR1020110032515A
Other languages
English (en)
Inventor
윤경현
이경록
이호창
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020110032515A priority Critical patent/KR101191317B1/ko
Application granted granted Critical
Publication of KR101191317B1 publication Critical patent/KR101191317B1/ko

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Abstract

객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법이 개시된다. 실루엣 추출부는 2차원 입력 영상으로부터 입력 영상에 포함된 객체의 실루엣을 추출한다. 거리맵 생성부는 입력 영상을 구성하는 각각의 화소에 대하여 실루엣으로부터의 최단거리인 거리값을 산출하여 거리맵을 생성한다. 밝기 양자화부는 거리맵을 기초로 입력 영상의 각 화소의 밝기값을 양자화하여 카툰(cartoon) 스타일의 결과 영상을 생성한다. 본 발명에 따르면, 영상의 색상을 단순화하기 위해 양자화 과정을 수행하는 데 있어 영상으로부터 추출된 실루엣 및 그로부터의 각 화소의 거리 정보를 사용함으로써, 영상에 포함된 객체의 형태를 반영한 밝기 양자화 결과를 얻을 수 있으며, 객체의 실루엣을 따라 실제 카툰 영상과 같이 음영 효과를 표현할 수 있다.

Description

객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법{Apparatus and method for generating cartoon style image by luminance quantization considering object shape}
본 발명은 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법에 관한 것으로, 보다 상세하게는, 2차원 입력 영상의 색상 및 형태를 단순화하여 만화 스타일의 영상을 생성하는 장치 및 방법에 관한 것이다.
영상의 카툰화(Image cartooning)는 실사 영상으로부터 간소화된 색상 및 형태가 얻어지는 과정이다. 간소화된 영상은 과부하된 정보를 감소시키므로 용이하게 이해 및 인식될 수 있다. 도 1에 카툰 영상의 예가 도시되어 있다. 도 1과 같은 툰(toon) 영상은 표현된 색상이 간단하고 음영 부분에 노이즈가 없으며, 도 1에 블록으로 표시된 부분과 같이 객체의 실루엣이 음영 효과(shading effect)에 의해 표현된다는 특징을 가진다.
툰 효과를 생성하기 위하여 비사실적 렌더링(Non-Photorealistic Rendering : NPR)에서 사용하는 기법이 밝기 양자화(luminance quantization) 기법이다. 밝기 양자화는 그림자의 표현을 간소화하기 위해 널리 사용되며, 시간 비용의 면에서 효율적이다. 현재 사용되는 밝기 양자화 기법은 영상의 각 화소의 밝기값을 대표값으로 변화시키는 방법을 사용한다. 이 방법에 의해 간소화된 결과 영상은 적은 수의 밝기값들만을 가진다. 그러나 이러한 기존의 방법은 각 화소의 밝기만을 고려하므로 실제 만화에서와 같이 객체의 형태를 기반으로 한 음영 표현에 있어서 한계를 가진다.
이러한 한계를 극복하기 위하여 제안된 방법은 각 밝기 단계 사이에서 나타나는 급격한 변화를 해결하고 각 밝기 단계가 자연스럽게 전환되어 부드러운 경계가 나타나도록 하기 위해 탄젠트 함수를 사용한다. 도 2는 밝기 양자화에 의해 얻어지는 결과를 도시한 도면으로, 도 2의 (a)는 기존의 밝기 양자화 기법에 의해 각 밝기 단계가 급격하게 변화하는 결과를 나타내며, 도 2의 (b)와 같이 밝기 양자화에 탄젠트 함수를 사용함으로써 밝기 단계 사이의 경계가 부드럽게 나타나는 것을 확인할 수 있다. 그러나 이와 같이 탄젠트 함수를 사용하는 밝기 양자화 기법에서도 각 화소의 밝기값만이 고려대상이 될 뿐, 영상의 형태학적 정보는 반영하지 않는다.
영상의 형태 정보를 고려하여 비사실적 렌더링을 수행하고자 하는 몇 가지 방법이 제안된 바 있다. 몇 가지 방법들을 예로 들면, 에지 탄젠트 플로우(edge tangent flow)를 사용하는 기법, 페인팅 효과의 표현을 위해 영상의 형태를 고려하여 스트로크의 방향을 결정하는 기법, 영상의 그라디언트 정보를 사용하는 텍스쳐 변환 기법 및 모자이크 관련 연구에서 타일의 방향을 결정하기 위해 에지의 방향 정보를 사용하는 기법 등이 있다. 이와 같이 영상의 형태 정보를 고려하는 2차원 기반의 연구들이 많이 수행되었으나, 만화 스타일의 영상을 생성하기 위한 음영 효과에 관한 연구는 수행되지 않았다.
본 발명이 이루고자 하는 기술적 과제는, 2차원 입력 영상으로부터 만화 스타일의 결과 영상을 생성할 때 영상에 포함된 객체의 형태에 따라 음영 효과가 자연스럽게 나타나도록 할 수 있는 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 2차원 입력 영상으로부터 만화 스타일의 결과 영상을 생성할 때 영상에 포함된 객체의 형태에 따라 음영 효과가 자연스럽게 나타나도록 할 수 있는 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치는, 2차원 입력 영상으로부터 상기 입력 영상에 포함된 객체의 실루엣을 추출하는 실루엣 추출부; 상기 입력 영상을 구성하는 각각의 화소에 대하여 상기 실루엣으로부터의 최단거리인 거리값을 산출하여 거리맵을 생성하는 거리맵 생성부; 및 상기 거리맵을 기초로 상기 입력 영상의 각 화소의 밝기값을 양자화하여 카툰(cartoon) 스타일의 결과 영상을 생성하는 밝기 양자화부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 방법은, 2차원 입력 영상으로부터 상기 입력 영상에 포함된 객체의 실루엣을 추출하는 실루엣 추출단계; 상기 입력 영상을 구성하는 각각의 화소에 대하여 상기 실루엣으로부터의 최단거리인 거리값을 산출하여 거리맵을 생성하는 거리맵 생성단계; 및 상기 거리맵을 기초로 상기 입력 영상의 각 화소의 밝기값을 양자화하여 카툰(cartoon) 스타일의 결과 영상을 생성하는 밝기 양자화단계;를 갖는다.
본 발명에 따른 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법에 의하면, 영상의 색상을 단순화하기 위해 양자화 과정을 수행하는 데 있어 영상으로부터 추출된 실루엣 및 그로부터의 각 화소의 거리 정보를 사용함으로써, 영상에 포함된 객체의 형태를 반영한 밝기 양자화 결과를 얻을 수 있으며, 객체의 실루엣을 따라 실제 카툰 영상과 같이 음영 효과를 표현할 수 있다. 또한 방향성을 가지는 비등방형 필터링에 의해 스무딩된 영상을 밝기 양자화 과정에 사용함으로써 영상의 에지가 보존되면서 노이즈가 감소되는 결과를 얻을 수 있다.
도 1은 카툰 영상의 예를 도시한 도면,
도 2는 밝기 양자화에 의해 얻어지는 결과를 도시한 도면,
도 3은 본 발명에 따른 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 4는 8방향으로 탐색을 수행하는 플러드 필 알고리즘의 의사코드(pseudocode)를 나타낸 도면,
도 5는 플러드 필 알고리즘을 수행하는 예를 나타낸 도면,
도 6은 거리맵 생성부가 거리맵의 생성을 위해 사용하는 에지 거리 변환 알고리즘의 의사코드를 나타낸 도면,
도 7은 입력 영상으로부터 실루엣 추출부가 실루엣을 추출하고, 거리맵 생성부가 입력 영상에 대응하는 거리맵을 생성하는 일 실시예를 나타낸 도면,
도 8은 입력 영상으로부터 얻어진 ETF의 예를 나타낸 도면,
도 9는 입력 영상의 방향성에 따라 변형된 필터를 나타낸 도면,
도 10은 스무딩부에 의한 비등방형의 스무딩 과정을 의사코드로 나타낸 도면,
도 11은 본 발명의 스무딩부에 의해 스무딩이 수행된 결과 및 양방향 필터링이 수행된 결과를 비교하여 나타낸 도면,
도 12는 본 발명에 따른 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 13은 동일한 입력 영상에 대하여 다양한 방법을 사용하여 얻어진 결과 영상들을 나타낸 도면,
도 14는 EF의 값에 따라 다르게 나타나는 결과 영상들을 나타낸 도면,
도 15는 동일한 입력 영상에 대한 본 발명 및 기존의 영상 양자화 기법의 수행 결과를 비교하여 나타낸 도면,
도 16은 동일한 입력 영상에 대한 기존의 양자화 기법 및 본 발명에 따른 양자화 기법을 비교하여 나타낸 도면, 그리고,
도 17은 본 발명과 기존의 카툰 스타일 영상 생성 기법의 수행 결과를 비교하여 나타낸 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 3은 본 발명에 따른 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 3을 참조하면, 본 발명에 따른 카툰 스타일 영상 생성 장치는, 실루엣 추출부(110), 거리맵 생성부(120), 스무딩부(130) 및 밝기 양자화부(140)를 구비한다. 본 발명에 따른 카툰 스타일 영상 생성 장치는 2차원 입력 영상으로부터 카툰 스타일의 결과 영상을 생성하기 위해 구현되며, 앞에서 설명한 바 있는 종래기술의 문제점을 해결하기 위해 입력 영상에 포함된 객체의 형태를 분석하는 과정을 거쳐 밝기 양자화 과정을 통해 결과 영상을 생성한다.
실루엣 추출부(110)는 2차원 입력 영상으로부터 입력 영상에 포함된 객체의 실루엣을 추출하고, 거리맵 생성부(120)는 입력 영상을 구성하는 각각의 화소에 대하여 실루엣으로부터의 최단거리인 거리값을 산출하여 거리맵을 생성한다. 이와 같이 실루엣 추출부(110) 및 거리맵 생성부(120)는 입력 영상에 포함된 객체의 형태를 분석함으로써 뒤에서 설명할 밝기 양자화 과정이 객체의 형태를 고려하여 이루어지도록 한다.
3차원 영상으로부터 실루엣을 추출하는 경우에 비해, 2차원 영상의 실루엣 추출은 복잡한 과정이다. 실루엣 추출부(110)는 2차원 입력 영상으로부터 실루엣을 추출하기 위하여 입력 영상의 배경 영역에 플러드 필(flood fill) 알고리즘을 적용한다. 플러드 필 알고리즘은 본 발명의 2차원 입력 영상과 같은 다차원 배열에서 지정된 위치와 연결된 부분을 결정하는 알고리즘으로, 일반적으로 시작 노드, 목표 색상 및 대체 색상의 세 개의 파라미터를 받아들여 시작 노드와 연결된 배열의 모든 노드를 따라가며 목표 색상을 대체 색상으로 바꾸어 나간다. 도 4에 8방향으로 탐색을 수행하는 플러드 필 알고리즘의 의사코드(pseudocode)를 나타내었다.
도 5는 플러드 필 알고리즘을 수행하는 예를 나타낸 도면이다. 도 5의 (a)는 탐색을 시작하는 시드 포인트 및 탐색 방향을 나타내며, (b)는 시드 포인트와 연결된 영역만 검은색으로 채워져 탐색이 완료된 상태, 그리고 (c)는 후처리 과정에 의해 플러드 필 알고리즘에 의해 채워진 영역과 그렇지 않은 영역이 구분된 상태를 나타낸 것이다.
본 발명의 실루엣 추출부(110)는 입력 영상의 왼편, 오른편 및 위쪽에 각각 시작 노드, 즉 시드 포인트(seed point)를 설정하여 입력 영상의 각 화소를 탐색하고, 시드 포인트와의 색상차가 사전에 설정된 범위(예를 들면, 2 이하)에 속하면 탐색을 반복한다. 입력 영상에 대한 탐색이 완료되면 실루엣 추출부(110)는 입력 영상으로부터 배경 영역을 제외하고 객체 영역을 추출할 수 있다. 만약 배경 영역이 복잡한 경우에는 양방향 필터링에 의해 객체 영역이 추출된다.
입력 영상의 실루엣은 이와 같이 추출되는 객체 영역의 외곽선에 해당하며, 실루엣 추출부(110)는 플러드 필 알고리즘이 수행된 입력 영상에 대하여 에지 추출 알고리즘을 수행함으로써 입력 영상의 실루엣을 추출할 수 있다.
거리맵 생성부(120)는 실루엣 추출부(110)에 의해 얻어진 입력 영상의 실루엣을 사용하여 입력 영상에 대응하는 거리맵을 생성한다. 거리맵은 입력 영상의 각 화소에 각각 대응하는 거리값들로 이루어지며, 거리값은 입력 영상의 각 화소로부터 실루엣까지의 최단거리를 나타낸다. 이러한 거리맵 생성 과정은 에지 거리 변환(edge distance transform) 알고리즘에 의해 수행된다.
에지 거리 변환 알고리즘이 수행될 때 객체 영역에 해당하는 화소들 뿐만 아니라 배경 영역에 해당하는 화소들에 대하여도 거리값이 산출된다. 카툰 스타일의 결과 영상을 생성하는 밝기 양자화의 대상이 되는 것은 입력 영상의 객체 영역이며, 음영 효과 역시 객체 영역 내부에서 객체의 실루엣을 따라 나타나는 것이므로, 거리맵 생성부(120)는 실루엣 추출부(110)에 의한 플러드 필 알고리즘의 적용에 따라 검은색으로 채워진 배경 영역을 거리맵 생성 과정에서 제외할 수 있다.
거리맵 생성부(120)에 의해 입력 영상의 객체 영역을 구성하는 각 화소에 대하여 산출된 거리값들은 밝기 양자화 과정에서 사용되도록 0에서 1 사이의 값으로 정규화될 수 있다. 도 6에는 거리맵 생성부(120)가 거리맵의 생성을 위해 사용하는 에지 거리 변환 알고리즘의 의사코드를 나타내었다.
도 7은 입력 영상으로부터 실루엣 추출부(110)가 실루엣을 추출하고, 거리맵 생성부(120)가 입력 영상에 대응하는 거리맵을 생성하는 일 실시예를 나타낸 도면이다. 도 7의 (a)는 입력 영상, (b)는 실루엣 추출부(110)가 플러드 필 알고리즘을 수행하여 입력 영상의 배경 영역을 동일한 색상으로 채운 결과, (c)는 입력 영상으로부터 추출된 실루엣, 그리고 (d)는 입력 영상에 대응하여 생성된 거리맵을 나타낸 것이다.
도 7의 (d)를 참조하면, 입력 영상의 각 화소에 대한 거리값을 산출할 때 도 7의 (b)와 같이 검은색으로 채워진 배경 영역을 제외함으로써, 객체 영역에 대응하는 화소들만 0 에서 1 사이의 거리값으로 정규화되어 나타난 것을 확인할 수 있다.
이상에서와 같이 얻어진 거리맵을 구성하는 거리값들은 결과 영상을 생성하기 위한 밝기 양자화 과정에서 사용된다. 그런데 일반적으로 입력 영상을 단순히 양자화하여 얻어지는 영상에는 노이즈가 많이 포함되어 있다. 이는 영상의 밝기값이 고르게 분포되어 있지 않기 때문이다. 이러한 노이즈 발생을 방지하기 위해 입력 영상에 대하여 스무딩 과정이 수행될 수 있다.
스무딩부(130)는 입력 영상으로부터 추출된 플로우(flow) 정보를 기초로 얻어진 비등방형의 커널을 사용하여 입력 영상을 스무딩시킨다. 그에 따라 결과 영상을 생성하기 위한 밝기 양자화 과정은 스무딩된 입력 영상에 대하여 거리맵을 기초로 수행된다.
영상의 스무딩을 위한 기존 방법들은 양방향 필터를 사용하여 영상의 노이즈를 제거하였다. 이러한 방법에 의해 간단한 블러링(blurring) 기법에 비해 영상의 에지를 보존하고 노이즈를 제고할 수 있다. 그러나 일반적인 스무딩 방법은 등방형 커널을 사용하므로 영상의 그라디언트(gradient)를 고려하지 않는다. 나아가 반복의 횟수 및 필터 크기에 따라 스무딩된 결과에 과도한 블러링 현상이 나타날 수 있다. 따라서 스무딩이 수행되는 동안 영상의 그라디언트를 고려함으로써, 영상의 에지를 유지하면서 영상의 밝기 정보를 보존할 수 있다.
스무딩부(130)는 입력 영상으로부터 노이즈를 제거하기 위해 영상의 플로우를 고려하는 비등방형의 스무딩을 수행한다. 영상의 플로우 정보를 획득하기 위해 에지 탄젠트 플로우(Edge Tangent Flow : ETF)를 사용할 수 있다. ETF는 영상의 정합 흐름(coherent flow)을 추출하기 위해 널리 사용되는 기법이다. 도 8은 입력 영상으로부터 얻어진 ETF의 예를 나타낸 도면으로, 도 8의 (a)의 입력 영상으로부터 계산된 ETF를 선적분 회선(line integral convolution : LIC) 기법에 의해 도 8의 (b)와 같이 나타내었다.
스무딩부(130)는 입력 영상에서 얻어진 ETF로부터 각 화소의 방향성 정보를 사용하여 구조 텐서(structure tensor)를 계산하고, 다음으로 구조 텐서의 값에 의해 아이겐벡터(eigenvector)와 비등방성의 값을 계산함으로써 회전 매트릭스를 계산한다.
본래의 스무딩 필터는 얻어진 매트릭스에 의해 변형되고, 스무딩부(130)는 이와 같이 영상의 각 화소의 방향을 따르도록 변형된 필터를 사용하여 입력 영상을 스무딩할 수 있다. 도 9는 입력 영상의 방향성에 따라 변형된 필터를 나타낸 도면으로, 도 9의 (a)는 등방형의 스무딩 필터이고, (b)는 필터가 위치하는 지점의 방향성에 따라 변형된 비등방형의 스무딩 필터를 나타낸 것이다.
구체적인 스무딩 과정에서, 스무딩부(130)는 비등방형의 커널 내의 화소들 중에서 현재 필터가 적용되는 기준화소와의 색상값의 차가 일정 기준값보다 작은 화소들로부터 산출된 밝기값의 평균을 사용한다. 화소들 간의 색상값 차를 측정하기 위하여 RGB 색상공간의 유클리드 거리(Euclidean distance)가 사용되며, 기준화소와의 색상값의 차가 실험적으로 결정되는 기준값, 예를 들면 100보다 큰 화소들이 커널의 적용시에 제외될 수 있다. 도 10에는 스무딩부(130)에 의한 비등방형의 스무딩 과정을 의사코드로 나타내었다.
이상의 스무딩 과정에 의해 영상의 전체적인 형태를 반영하는 블러링이 수행되며, 그 결과 각 픽셀 및 그 주변의 밝기값의 일관성을 유지할 수 있다. 도 11은 본 발명의 스무딩부(130)에 의해 스무딩이 수행된 결과 및 양방향 필터링이 수행된 결과를 비교하여 나타낸 도면이다. 도 11의 (a)는 스무딩부(110)에 의해 비등방형의 필터링이 수행된 결과, 그리고 (b)는 양방향 필터링이 수행된 결과를 나타낸 것이다.
도 11의 (a)와 같이 비등방형 필터링을 수행한 경우에 객체의 실루엣을 따라 스무딩이 수행되어 영상의 에지가 보존됨과 동시에 노이즈가 효과적으로 제거된 것을 확인할 수 있다. 한편, 도 11의 (c)는 스무딩부(130)에 의해 사용된 비등방형의 필터를 나타낸 것이다. 'T'로 표시된 화소가 필터의 적용 대상인 화소이며, 필터의 형태는 객체의 실루엣을 따르는 방향성을 가지도록 형성됨을 알 수 있다.
밝기 양자화부(140)는 거리맵을 기초로 입력 영상의 각 화소의 밝기값을 양자화하여 카툰 스타일의 결과 영상을 생성한다. 이때 앞에서 설명한 바와 같이 스무딩부(130)에 의해 입력 영상이 스무딩된 경우에는 스무딩된 입력 영상에 대하여 밝기 양자화 과정이 수행된다.
밝기 양자화는 입력 영상의 색상을 단순화하면서 음영 효과를 표현하기 위해 사용된다. 입력 영상에 포함된 객체의 경계선을 따라 나타나는 음영 효과를 표현할 때에는 실루엣 추출부(110)에 의해 얻어진 실루엣에 가까운 화소일수록 밝기값을 어둡게 하고, 실루엣으로부터 멀어질수록 밝아지도록 한다. 이때 거리맵 생성부(120)에 의해 생성된 거리맵이 사용된다. 또한 음영 효과는 객체 영역의 안쪽에만 나타나는 것이므로, 거리맵은 입력 영상의 객체 영역에 포함되는 화소들에 대하여 산출된 거리값들만을 가진다.
거리맵을 구성하는 거리값들은 다음의 수학식 1과 같이 입력 영상의 각 화소의 밝기값, 구체적으로 입력 영상에서 객체 영역에 포함된 화소들의 밝기값을 보정 밝기값으로 변화시킨다.
Figure 112011025671816-pat00001
여기서, Plum은 입력 영상의 각 화소의 본래 밝기값,
Figure 112011025671816-pat00002
은 보정 밝기값, W는 보정 밝기값을 산출하기 위해 부여되는 가중치, Pdis는 거리맵에서 입력 영상의 각 화소에 대응하는 거리값, 그리고 EF는 입력 영상의 실루엣을 따라 음영 효과가 나타나도록 사전에 설정된 제어 인자이다.
수학식 1과 같이, 입력 영상의 각 화소의 본래 밝기값 및 실루엣으로부터의 거리 정보를 모두 나타내는 보정 밝기값을 산출하기 위해 로그 함수를 사용하는 가중치가 부여된다. 수학식 1의 두 번째 식은 가중치를 구하기 위한 식이며, 세 번째 식과 같이 로그 함수의 값인 가중치를 구하기 위해 'EF'라는 효과 제어 인자(effect control factor)가 사용된다.
EF는 음영 효과가 적용되는 실루엣으로부터의 거리를 조절하는 인자로서, 0에서 1 사이의 값을 가지도록 설정될 수 있다. EF의 값이 1에 가까워지면, K의 값은 0에서 1 사이로 나타난다. 따라서 가중치 W는 항상 음수이며, 결과적으로 보정 밝기값은 본래 밝기값보다 어두운 수치로 얻어지게 된다. 반대로, EF의 값이 0이 되면 K의 값은 1에서 100 사이이며, 가중치 W는 양수로 나타난다. 이와 같이 EF의 값은 영상에 따라 적절하게 설정되며, 예를 들면 0.25의 값으로 설정될 수 있다.
이상의 과정에 의해 얻어진 보정 밝기값은 결과 영상을 생성하기 위한 밝기 양자화 과정에 사용된다. 이후의 양자화 과정은 도 2의 (b)에 도시된 방식으로 이루어질 수 있다. 밝기 양자화에 입력 영상으로부터 추출한 실루엣 및 실루엣으로부터 각 화소까지의 거리 정보를 사용함으로써, 실제 카툰 영상과 같이 객체의 외곽을 따라 음영 효과가 나타나도록 할 수 있다.
도 12는 본 발명에 따른 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 12를 참조하면, 실루엣 추출부(110)는 2차원 입력 영상으로부터 입력 영상에 포함된 객체의 실루엣을 추출하고(S1010), 거리맵 생성부(120)는 입력 영상을 구성하는 각각의 화소에 대하여 실루엣으로부터의 최단거리인 거리값을 산출하여 거리맵을 생성한다(S1020).
또한 스무딩부(130)는 입력 영상으로부터 추출된 플로우 정보를 기초로 얻어진 비등방형의 커널을 사용하여 입력 영상을 스무딩시킨다(S1030). 이는 입력 영상에 포함된 노이즈를 제거하여 결과 영상의 품질을 향상시키기 위한 것이며, 입력 영상에 대한 스무딩 과정은 실루엣 추출 및 거리맵 생성 과정과 동시에 수행될 수 있다.
밝기 양자화부(140)는 거리맵을 기초로 입력 영상의 각 화소의 밝기값을 양자화하여 카툰 스타일의 결과 영상을 생성하되(S1040), 이때 입력 영상에 대하여 스무딩이 수행된 경우에는 스무딩된 입력 영상으로부터 결과 영상을 생성한다.
본 발명의 성능을 평가하기 위한 실험을 다양한 테스트 영상에 대하여 수행하였다. 실험은 Intel(R) i7 CPU 2.8GHz 및 4GB의 RAM 상에서 수행되었다. 또한 앞에서 언급된 바 있는 파라미터들의 값을 변화시키는 실험도 수행하였다. 얻어진 결과 영상은 기존의 양자화 기법에 의해 얻어진 결과와 비교되었다. 커널의 크기가 30일 때, 본 발명에 따라 구현된 알고리즘의 수행 시간은 640×480 크기의 영상에 대하여 6초가 소요되었다. 커널의 크기가 9일 경우에는 동일한 크기의 영상에 대하여 1.5초의 시간이 소요되었다.
도 13은 동일한 입력 영상에 대하여 다양한 방법을 사용하여 얻어진 결과 영상들을 나타낸 도면이다. 도 13의 (a)는 기존의 밝기 양자화 기법을 적용하여 얻어진 결과 영상, (b)는 비등방형 커널에 의해 스무딩된 영상, 그리고 (c)는 (b)의 영상에 기존의 밝기 양자화 기법을 적용하여 얻어진 결과 영상이다. 도 13의 (c)에서도 주변과의 일관성은 유지되지만, 영상의 주된 형태 정보를 사용하지 않음에 따라 의도한 것과 상이한 음영 효과가 나타난다.
반면, 도 13의 (d) 및 (e)는 본 발명에 따라 비등방형의 스무딩 및 형태 정보를 고려한 밝기 양자화의 수행 결과 얻어진 결과 영상이다. (d)와 (e)는 비등방형 스무딩에 사용된 커널의 크기가 각각 5 및 30으로 상이하다. 그 결과 객체의 실루엣을 따라 나타나는 음영의 형태가 상이한 것을 확인할 수 있다. 즉, 스무딩에 사용된 커널의 크기가 증가할수록 화소의 밝기값은 주변과의 일관성을 나타낸다.
또한 본 발명을 사용한 결과 영상에서는 스무딩이 수행되었음에도 불구하고 객체의 형태가 거의 무너지지 않았다. 도 13의 (f)는 결과 영상에서 에지를 강조하기 위해 영상의 에지를 따라 추가적인 선이 도시된 것을 나타낸다.
다음으로 도 14는 EF의 값에 따라 다르게 나타나는 결과 영상들을 나타낸 도면이다. 도 14의 (a) 내지 (d)는 각각 EF의 값이 0, 0.1, 0.3, 그리고 1인 경우에 얻어진 결과를 나타낸 것이다. 도 14를 참조하면, EF의 값이 작을수록 전체적으로 밝기값이 증가하며, EF의 값이 크면 영상이 어두워지는 것을 확인할 수 있다. 수학식 1에서 알 수 있는 바와 같이 거리맵을 구성하는 거리값이 EF의 값에 의해 나누어지기 때문에, EF의 값이 클수록 거리값이 작아지는 결과가 되어 로그 함수를 따르는 가중치의 값에 영향을 미치게 되고, 결과적으로 영상이 어두워진다는 것을 알 수 있다.
도 15는 동일한 입력 영상에 대한 본 발명 및 기존의 영상 양자화 기법의 수행 결과를 비교하여 나타낸 도면이다. 도 15의 (a)가 기존의 양자화 기법에 의해 얻어진 결과이며, (b)는 본 발명에 의해 얻어진 결과이다. 도 15로부터 알 수 있는 바와 같이, 본 발명에 의해 얻어진 결과 영상은 기존의 방법에 비해 에지가 명확하며, 음영 효과가 객체의 형태를 따라 잘 나타나 있다.
도 16은 동일한 입력 영상에 대한 기존의 양자화 기법 및 본 발명에 따른 양자화 기법을 비교하여 나타낸 도면이다. 도 16의 (a)와 같이 입력 영상에 포함된 객체의 색상이 균일할 때, 도 16의 (b)와 같이 기존의 양자화 기법을 사용하면 양자화 이전과 차이가 없는 결과 영상이 얻어진다. 그러나 본 발명에 따른 양자화 기법을 사용하면 도 16의 (c)와 같이 객체의 실루엣을 따라 음영 효과가 나타난다.
마지막으로, 도 17은 본 발명과 기존의 카툰 스타일 영상 생성 기법의 수행 결과를 비교하여 나타낸 도면이다. 도 17의 (a) 및 (b)에서 좌측 상단의 도면이 입력 영상이고, 좌측 하단의 도면은 기존의 기법을 사용하여 얻어진 카툰 스타일 영상, 그리고 우측의 도면은 본 발명에 의해 얻어진 카툰 스타일 영상이다. 도 17로부터 본 발명을 사용할 경우에 객체의 경계를 따라 명확한 음영 효과가 나타나며, 색상이 단순화되어 실제 카툰 영상에 더욱 가까운 결과 영상이 얻어짐을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 실루엣 추출부
120 - 거리맵 생성부
130 - 스무딩부
140 - 밝기 양자화부

Claims (13)

  1. 2차원 입력 영상으로부터 상기 입력 영상에 포함된 객체의 실루엣을 추출하는 실루엣 추출부;
    상기 입력 영상을 구성하는 각각의 화소에 대하여 상기 실루엣으로부터의 최단거리인 거리값을 산출하여 거리맵을 생성하는 거리맵 생성부; 및
    상기 거리맵을 기초로 상기 입력 영상의 각 화소의 밝기값을 양자화하여 카툰(cartoon) 스타일의 결과 영상을 생성하는 밝기 양자화부;를 포함하는 것을 특징으로 하는 카툰 스타일 영상 생성 장치.
  2. 제 1항에 있어서,
    상기 입력 영상으로부터 추출된 플로우(flow) 정보를 기초로 얻어진 비등방형의 커널을 사용하여 상기 입력 영상을 스무딩시키는 스무딩부를 더 포함하며,
    상기 밝기 양자화부는 상기 스무딩부에 의해 스무딩된 입력 영상으로부터 상기 결과 영상을 생성하는 것을 특징으로 하는 카툰 스타일 영상 생성 장치.
  3. 제 2항에 있어서,
    상기 스무딩부는 상기 입력 영상의 에지 탄젠트 플로우(edge tangent flow) 정보를 기초로 구조 텐서(structure tensor)를 계산하고, 상기 구조 텐서의 값으로부터 얻어진 회전 매트릭스에 의해 상기 커널의 방향을 결정하여 상기 입력 영상을 스무딩시키는 것을 특징으로 하는 카툰 스타일 영상 생성 장치.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 실루엣 추출부는 상기 입력 영상에서 시드 포인트로 설정된 화소와 연결된 화소들로 이루어진 영역을 동일한 색상으로 채우는 기법에 의해 상기 입력 영상으로부터 객체 영역을 추출하여 상기 실루엣을 추출하며,
    상기 거리맵 생성부는 상기 실루엣 추출부에 의해 동일한 색상으로 채워진 영역을 제외한 영역의 화소들에 대하여 상기 거리값을 산출하는 것을 특징으로 하는 카툰 스타일 영상 생성 장치.
  5. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 밝기 양자화부는 상기 입력 영상의 각 화소의 밝기값에 상기 거리맵에서 상기 각 화소에 대응하는 거리값을 기초로 결정된 가중치를 적용하여 얻어진 보정 밝기값을 양자화하여 상기 결과 영상을 생성하는 것을 특징으로 하는 카툰 스타일 영상 생성 장치.
  6. 제 5항에 있어서,
    상기 밝기 양자화부는 하기 수학식에 의해 상기 보정 밝기값을 산출하는 것을 특징으로 하는 카툰 스타일 영상 생성 장치:
    Figure 112011025671816-pat00003

    여기서, Plum은 상기 입력 영상의 각 화소의 본래 밝기값,
    Figure 112011025671816-pat00004
    은 상기 보정 밝기값, W는 상기 가중치, Pdis는 상기 거리맵에서 상기 입력 영상의 각 화소에 대응하는 거리값, 그리고 EF는 상기 입력 영상의 실루엣을 따라 음영 효과가 나타나도록 사전에 설정된 제어 인자이다.
  7. 2차원 입력 영상으로부터 상기 입력 영상에 포함된 객체의 실루엣을 추출하는 실루엣 추출단계;
    상기 입력 영상을 구성하는 각각의 화소에 대하여 상기 실루엣으로부터의 최단거리인 거리값을 산출하여 거리맵을 생성하는 거리맵 생성단계; 및
    상기 거리맵을 기초로 상기 입력 영상의 각 화소의 밝기값을 양자화하여 카툰(cartoon) 스타일의 결과 영상을 생성하는 밝기 양자화단계;를 포함하는 것을 특징으로 하는 카툰 스타일 영상 생성 방법.
  8. 제 7항에 있어서,
    상기 입력 영상으로부터 추출된 플로우(flow) 정보를 기초로 얻어진 비등방형의 커널을 사용하여 상기 입력 영상을 스무딩시키는 스무딩단계를 더 포함하며,
    상기 밝기 양자화단계에서, 상기 스무딩단계를 통해 스무딩된 입력 영상으로부터 상기 결과 영상을 생성하는 것을 특징으로 하는 카툰 스타일 영상 생성 방법.
  9. 제 8항에 있어서,
    상기 스무딩단계에서, 상기 입력 영상의 에지 탄젠트 플로우(edge tangent flow) 정보를 기초로 구조 텐서(structure tensor)를 계산하고, 상기 구조 텐서의 값으로부터 얻어진 회전 매트릭스에 의해 상기 커널의 방향을 결정하여 상기 입력 영상을 스무딩시키는 것을 특징으로 하는 카툰 스타일 영상 생성 방법.
  10. 제 7항 내지 제 9항 중 어느 한 항에 있어서,
    상기 실루엣 추출단계에서, 상기 입력 영상에서 시드 포인트로 설정된 화소와 연결된 화소들로 이루어진 영역을 동일한 색상으로 채우는 기법에 의해 상기 입력 영상으로부터 객체 영역을 추출하여 상기 실루엣을 추출하며,
    상기 거리맵 생성단계에서, 상기 실루엣 추출단계에 의해 동일한 색상으로 채워진 영역을 제외한 영역의 화소들에 대하여 상기 거리값을 산출하는 것을 특징으로 하는 카툰 스타일 영상 생성 방법.
  11. 제 7항 내지 제 9항 중 어느 한 항에 있어서,
    상기 밝기 양자화단계에서, 상기 입력 영상의 각 화소의 밝기값에 상기 거리맵에서 상기 각 화소에 대응하는 거리값을 기초로 결정된 가중치를 적용하여 얻어진 보정 밝기값을 양자화하여 상기 결과 영상을 생성하는 것을 특징으로 하는 카툰 스타일 영상 생성 방법.
  12. 제 11항에 있어서,
    상기 밝기 양자화단계에서, 하기 수학식에 의해 상기 보정 밝기값을 산출하는 것을 특징으로 하는 카툰 스타일 영상 생성 방법:
    Figure 112011025671816-pat00005

    여기서, Plum은 상기 입력 영상의 각 화소의 본래 밝기값,
    Figure 112011025671816-pat00006
    은 상기 보정 밝기값, W는 상기 가중치, Pdis는 상기 거리맵에서 상기 입력 영상의 각 화소에 대응하는 거리값, 그리고 EF는 상기 입력 영상의 실루엣을 따라 음영 효과가 나타나도록 사전에 설정된 제어 인자이다.
  13. 제 7항 내지 제 9항 중 어느 한 항에 기재된 카툰 스타일 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110032515A 2011-04-08 2011-04-08 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법 KR101191317B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110032515A KR101191317B1 (ko) 2011-04-08 2011-04-08 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110032515A KR101191317B1 (ko) 2011-04-08 2011-04-08 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101191317B1 true KR101191317B1 (ko) 2012-10-16

Family

ID=47288042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110032515A KR101191317B1 (ko) 2011-04-08 2011-04-08 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101191317B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030040A (ja) 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030040A (ja) 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:한국멀티미디어학회
정재민, 윤경현, "가상 지역 광원을 이용한 카툰 쉐이딩", 한국HCI학회 2008년도 학술대회, pp.445-450, 2008년 2월.

Similar Documents

Publication Publication Date Title
Galdran Image dehazing by artificial multiple-exposure image fusion
US10339643B2 (en) Algorithm and device for image processing
Xie et al. Joint super resolution and denoising from a single depth image
US9317970B2 (en) Coupled reconstruction of hair and skin
Park et al. Single image dehazing with image entropy and information fidelity
US8374428B2 (en) Color balancing for partially overlapping images
US9159121B2 (en) Method for image denoising
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
US9569684B2 (en) Image enhancement using self-examples and external examples
Lo et al. Joint trilateral filtering for depth map super-resolution
CN111223059B (zh) 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法
US9892542B2 (en) Creating bump and normal maps from images with multi-scale control
CN103440662A (zh) Kinect深度图像获取方法与装置
US10475229B2 (en) Information processing apparatus and information processing method
US9600865B2 (en) Method for graph based processing of signals
CN108335267A (zh) 一种深度图像的处理方法、装置、设备和存储介质
Wang et al. An efficient method for image dehazing
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
KR101191317B1 (ko) 객체의 형태를 고려한 밝기 양자화에 의한 카툰 스타일 영상 생성 장치 및 방법
WO2011086594A1 (ja) 画像処理装置、及びその方法
Jung et al. Intensity-guided edge-preserving depth upsampling through weighted L0 gradient minimization
Pintus et al. A Streaming Framework for Seamless Detailed Photo Blending on Massive Point Clouds.
Prasenan et al. A Study of Underwater Image Pre-processing and Techniques

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee