KR101060322B1 - 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

Abstract

본 발명은 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 기준 픽셀에서 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 플로우 필드 생성부; 및 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 영상 픽셀들의 색상과 플로우 픽셀의 색상을 이용하여 플로우 픽셀의 색상을 결정하며, 결정된 플로우 픽셀의 색상을 토대로 영상에 대한 비실사 영상을 생성하는 영상 스타일화부를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치를 제공한다. 본 발명에 따르면, 비디오 내부 물체가 가지는 곡면적 특징을 그대로 유지할 수 있어 종래보다 더욱 비사실적 특징이 두드러지는 비디오를 생성할 수 있다. 또한, 실시간으로 비디오를 추상화시킬 수 있다.

비실사 영상, 비사실적 렌더링(NPR), 추상화 렌더링, 유화 렌더링, 플로우 필드, 비디오 스타일화, 편향치 벡터, 플로우 벡터

Description

비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 {Apparatus and method for generating non-photorealistic video using non-photorealistic rendering, and the recording media storing the program performing the said method}

본 발명은 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 비사실적 렌더링(NPR; Non-Photorealistic Rendering)을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.

최근 컴퓨터 그래픽스 분야나 컴퓨터 비젼 분야에서의 이미지(2차원 이미지 또는 3차원 이미지)의 스타일화에 관한 문제는 현실 속에 존재하는 예술적 창작 방법론을 실사 기반으로 묘사하는 방법으로 진행되고 있다. 이러한 스타일화 기법의 대표적인 예로 스트로크(stroke)에 기반한 유화 렌더링 기법과 라인 드로잉 기법 등을 들 수 있다. 유화 렌더링 기법의 경우 실사로 입력된 이미지를 비실사적으로 표현하기 위해 스트로크 형태의 텍스처를 주어진 입력에 적용하여 새롭게 렌더링한다. 반면, 라인 드로잉 방법은 이미지에 나타난 물체의 형태를 최대한 유지하기 위 해 편향치 에너지를 기반으로 하여 스트로크 텍스처를 배치시킨다.

그런데, 이러한 종래 방법들 중 이미지의 추상화를 위해선 양방향 필터링 (bilateral filtering)을 대표적으로 사용하였다. 기존의 기법의 경우 필터의 커널 형태가 등방형(isotropic)이기 때문에 이미지에서 곡선 형태의 특징점이 제거되며, 추상화된 이미지에 앨리어싱(aliasing)이 발생하는 문제점이 있다.

또한, 종래 필터 기반이 아닌 스트로크 기반의 스타일화 방법들은 계산량이 매우 복잡하여 실시간으로 비디오를 추상화시키는 것이 불가능하였다. 즉, 종래에는 많은 계산량을 요구하는 비디오 스타일화 보다는 이미지 스타일화가 중시되는 경향이 있어왔다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 커널 형태가 비등방형인 필터링을 통해 비디오를 추상화시키는 비실사 영상 생성 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.

또한, 본 발명은 플로우 벡터 필드에 기반하여 비디오를 추상화시키는 비실사 영상 생성 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 플로우 필드 생성부; 및 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 영상 스타일화부를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치를 제공한다.

바람직하게는, 상기 비실사 영상 생성 장치는 미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 텍스처 톤 매핑부를 더 포함한다. 더 바람직하게는, 상기 텍스처 톤 매핑부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하여 상기 질감 영상을 획득한다.

바람직하게는, 상기 영상 스타일화부는 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 파티클 시뮬레이션부; 및 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 비실사 영상 생성부를 포함한다.

더 바람직하게는, 상기 플로우 필드 생성부는 상기 플로우 벡터를 생성하는 경우, 상기 영상에서 상기 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하는 편향치 벡터 추출부; 및 상기 추출된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 플로우 벡터 생성부를 포함한다.

바람직하게는, 상기 플로우 필드 생성부는 상기 추출된 편향치 벡터들을 스 무딩(smoothing)시키는 편향치 벡터 안정화부; 또는 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시키는 플로우 벡터 안정화부를 더 포함한다. 더 바람직하게는, 상기 플로우 필드 생성부는 상기 인접 픽셀들로 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 인접 픽셀들 또는 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 인접 픽셀들을 이용한다. 더욱더 바람직하게는, 상기 편향치 벡터 안정화부는 상기 추출된 편향치 벡터들을 스무딩시킬 때에 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중치를 부여하는 크기 가중치 함수, 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수 중 적어도 하나의 가중치 함수를 고려한다.

바람직하게는, 상기 파티클 시뮬레이션부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려한다.

바람직하게는, 상기 플로우 벡터 생성부는 동일한 길이를 가지며 서로 인접하는 두 편향치 벡터들로부터 접선 벡터를 계산하는 접선 벡터 계산부; 및 상기 계산된 접선 벡터의 근사값을 계산하여 상기 플로우 벡터를 생성하는 근사값 계산부 를 포함한다.

바람직하게는, 상기 플로우 필드 생성부는 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용한다.

또한, 본 발명은 (a) 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 단계; 및 (b) 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 단계를 포함한다.

바람직하게는, 상기 비실사 영상 생성 방법은 상기 (b) 단계의 이후 단계로 (c) 미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 단계를 더 포함한다.

바람직하게는, 상기 (b) 단계는 (ba) 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 단계; 및 (bb) 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상 기 비실사 영상을 생성하는 단계를 포함한다. 더 바람직하게는, 상기 (ba) 단계는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려한다.

바람직하게는, 상기 (a) 단계는 (aa) 상기 영상에서 상기 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하는 단계; (ab) 상기 추출된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 단계; 및 (ac) 상기 생성된 플로우 벡터들로부터 상기 플로우 필드를 생성하는 단계를 포함한다. 더 바람직하게는, 상기 (aa) 단계와 상기 (ab) 단계의 중간 단계는 상기 추출된 편향치 벡터들을 스무딩시키는 단계를 포함하거나, 상기 (ac) 단계는 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시킨다. 또한, 상기 (ac) 단계는 상기 플로우 필드를 생성시킬 때에 상기 인접 픽셀들로 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 인접 픽셀들 또는 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 인접 픽셀들을 이용한다. 또한, 상기 (ac) 단계는 상기 생성된 플로우 벡터들을 스무딩시킬 때에 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중 치를 부여하는 크기 가중치 함수, 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수 중 적어도 하나의 가중치 함수를 고려한다. 또한, 상기 (aa) 단계는 상기 편향치 벡터를 추출할 때에 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용한다.

본 발명에 따르면, 커널 형태가 비등방형인 필터링을 통해 비디오를 추상화시킴으로써 비디오 내부 물체가 가지는 곡면적 특징을 그대로 유지할 수 있으며, 종래보다 더욱 비사실적 특징이 두드러지는 비디오를 생성할 수 있다.

또한, 본 발명에 따르면, 플로우 벡터 필드에 기반하여 비디오를 추상화시킴으로써 종래보다 연산량을 감축시킬 수 있고, 동일 연산의 반복으로 이루어지는 추상화 과정을 통해 GPU를 사용한 가속화 알고리즘 구현이 가능하며, 실시간으로 비디오를 추상화시킬 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 NPR(Non-Photorealistic Rendering) 영상 생성 장치의 내부 구성을 개략적으로 도시한 블록도이다. 도 1에 따르면, 본 실시예에 따른 NPR 영상 생성 장치(100)는 영상 입력부(110), 플로우 필드 생성부(120) 및 영상 스타일화부(130)를 포함한다.

NPR 영상 생성 장치(100)는 비사실적 렌더링(NPR; Non-Photorealistic Rendering)을 이용하여 비실사 영상을 생성하는 장치이다. 비사실적 렌더링이란 인간의 감성적 표현 기법을 디지털 기술로 재현하는 것으로서, 사실성을 추구하는 사실적 렌더링(PR; Photorealistic Rendering)과 달리 사람이 손으로 그린 듯한 느낌의 영상을 생성한다. 비사실적 렌더링은 광원, 위치, 색상 등 외부 정보를 고려하여 영상의 주요 특징을 잘 표현하여 그 의미와 느낌을 효과적으로 전달하는 것을 목적으로 한다. 비사실적 렌더링은 잉크화, 펜화, 만화, 수채화 등의 전통적인 드로잉 방식과 새로운 형태의 예술적 표현을 포괄적으로 다룬다. 비사실적 렌더링은 다양한 디지털 콘텐트 제작에 활용되고 있으며, 특히 드라마 타이틀 화면이나 게임, 광고 등의 제작에 활발하게 적용되고 있다.

영상 입력부(110)는 플로우 필드 생성부(120)로 영상(video)을 입력하는 기능을 수행한다. 영상은 다수개의 프레임으로 구성된 비디오로, 본 실시예에서 픽셀 좌표가 X=(x, y, t)인 I(X)로 정의된다. 여기서, x×y는 공간 개념(space)을 나타내며, t는 시간 개념(time)을 나타낸다.

플로우 필드 생성부(120)는 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며, 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 기능을 수행한다.

플로우 필드 생성부(120)는 본 실시예에서 편향치 벡터 추출부(121), 편향치 벡터 안정화부(122), 플로우 벡터 생성부(123), 플로우 벡터 안정화부(124) 등을 포함하여 이루어진다.

편향치 벡터 추출부(121)는 각 영상 프레임으로부터 픽셀의 색상 변화량이 가장 큰 편향치 벡터(gradient vector)를 추출하는 기능을 수행한다. 영상 프레임에서의 플로우 필드란 각 픽셀의 색상값을 기반으로 유사한 색상의 흐름을 따르는 방향을 의미한다. 따라서, 영상 프레임의 플로우 필드를 구성하기 위해서는 색상의 차이가 가장 큰 방향으로 구성되는 3차원 편향치 벡터(g(X)=▽I(X))를 먼저 계산해야 한다.

편향치 벡터 추출부(121)는 편향치 벡터를 추출하는 데에 소벨 오퍼레이터(sobel operator)를 이용한다. 본 실시예에서 추출되는 편향치 벡터가 3차원이므로, 소벨 오퍼레이터로 도 2에 도시된 바와 같이 큐빅 마스크(cubic mask)를 가지는 3차원 소벨 오퍼레이터를 이용한다. 소벨 오퍼레이터는 기준 프레임에 인접한 적어도 하나의 인접 프레임의 에지 화소들에 대한 가로 방향과 세로 방향의 에지 크기를 검출하는 기능을 수행한다.

편향치 벡터 추출부(121)는 각 축(x, y, t)에 대하여 가우시안 가중치(gaussian weight)를 할당하며 g_x(X), g_y(X), g_t(X)를 계산한다. 여기서, g_x(X), g_y(X), g_t(X)란 각각 x축, y축, t축에 따른 색상 변화량을 의미한다.

그런데, 소벨 오퍼레이터에 의해 추출된 편향치 벡터는 비디오 노이즈(video noise)나 균등 영역(homogeneous region)의 부재로 인해 불연속적인 경우가 많다. 그래서, 편향치 벡터를 안정화시키는 과정이 필요하다. 본 실시예에서는 이 안정화 기능을 편향치 벡터 안정화부(122)가 수행한다. 편향치 벡터 안정화부(122)가 편향치 벡터를 안정화시키면 편향치 벡터의 코히어런스(coherence)를 향상시킬 수 있다.

편향치 벡터의 안정화 방법은 편향치 벡터의 연속성을 보정하기 위해 반복적 형태의 벡터 안정화 과정인 ETF(Edge Tangent Flow) 생성 방법을 이용한다. 이하 이에 대해 설명한다.

본 실시예에서 3차원 편향치 벡터를 안정화시킬 때에 기준 픽셀에 대한 인접 픽셀을 이용한다. 인접 픽셀은 도 3에 도시된 바와 같이 공간적 인접(spatial neighborhood) 픽셀과 일시적 인접(temporal neighborhood) 픽셀로 구분된다. 공간적 인접 픽셀(Ω(X))은 동일 영상 프레임에서 기준 픽셀에 인접하는 적어도 하나의 픽셀을 의미하며, 일시적 인접 픽셀(Ψ(X))은 기준 픽셀이 속하는 기준 영상 프레 임에 인접하는 적어도 하나의 인접 영상 프레임으로부터 상기 기준 픽셀에 인접하는 적어도 하나의 픽셀을 의미한다. 여기서, 인접 영상 프레임의 범위는 기준 영상 프레임이 t번째 프레임일 경우 (t-v)번째 프레임 ~ (t+v)번째 프레임이다. t는 현재 영상 프레임의 인덱스를 의미하며, v는 일시적 인접 픽셀에 해당하는 커널들의 반경을 의미한다.

본 실시예에서는 3차원 편향치 벡터를 안정화시킬 때에 기준 픽셀에 대해 공간적 인접 픽셀과 일시적 인접 픽셀을 고려하여 비선형 벡터 스무딩(smoothing)을 수행한다. 이를 수학식으로 표시하면 다음과 같이 비선형 가중치 합 함수로 나타낼 수 있다.

수학식 1에서, g(X)는 3차원 편향치 벡터, u는 Ω(X) 커널들의 반경, v는 Ψ(X) 커널들의 반경, k는 벡터를 정규화시키는 상수이다. 또한, w_m, w_d, w_c 등 3종류의 가중치 함수들은 기준 픽셀의 좌표(X)와 그에 인접하는 인접 픽셀의 좌표(Y) 사이의 픽셀별 색상 유사도에 따라 스무딩 가중치를 할당하기 위한 것이다.

w_m은 크기 가중치 함수(magnitude weight function)로, 영상에서의 특징점의 방향을 유지시키기 위한 것이다. w_m을 수학식으로 나타내면 다음과 같다.

수학식 2에서,

는 정규화된 편향치 벡터의 크기를 의미한다. 즉,

는 [0, 1] 도메인을 가지는 편향치 벡터의 크기를 의미한다.

w_m은 이웃하는 두 픽셀 간의 편향치 벡터(g(X)와 g(Y))의 크기 차에 따라 단조 증가하는 함수이다. 그래서, w_m은 이웃하는 두 픽셀 간의 편향치 벡터(g(X)와 g(Y))의 크기가 기준 픽셀의 편향치 벡터(g(X))보다 상대적으로 클 경우 높은 값을 가진다. 다시 말해, w_m은 영상의 특징점 위에 있는 플로우 벡터의 방향을 보존하기 위한 함수라 볼 수 있다.

w_d는 방향 가중치 함수(directional weight function)로, 기준 편향치 벡터가 인접 편향치 벡터와 방향이 비슷할 경우 더욱 높은 가중치를 부여한다. w_d는 다음 수학식으로 표현할 수 있다.

w_d(X,Y)=|g(X)·g(Y)|

수학식 3에서, g(·)는 정규화된 편향치 벡터이다.

w_d는 고려되는 두 편향치 벡터(g(X), g(Y))가 평행에 가까울수록(즉, 두 편 향치 벡터의 사이각이 0° 또는 180°에 가까울수록) 큰 값을 가진다. 반면, 고려되는 두 편향치 벡터가 수직에 가까울수록(즉, 사이각이 90°에 가까울수록) 작은 값을 가진다.

w_c는 컬러 가중치 함수(color weight function)로, 일시적 인접 픽셀들의 편향치 벡터의 방향을 스무딩하는 데에 이용된다. w_c는 다음 수학식으로 나타낸다.

수학식 4에서,

는 [0, 1] 도메인을 가지는 정규화된 색상값을 의미한다.

w_c는 기준 픽셀과 인접 픽셀 사이의 색상 차가 작을수록 증가하는 경향을 보인다. 결과적으로, w_c는 유사 색상값을 가지는 편향치 벡터들의 변화량을 감소시키며, 영상 프레임에서 편향치 벡터 필드들 간의 시간 일관성(temporal coherence)을 향상시킨다.

마지막으로, φ(X,Y)는 두 편향치 벡터의 끼인각이 내각이 아닐 경우 내각으로 만들어주기 위한 사인 함수로, 다음과 같은 수학식으로 나타낼 수 있다.

수학식 1 ~ 수학식 5를 참조하여 상술한 내용은 이웃하는 두 편향치 벡터(기준 편향치 벡터와 인접 편향치 벡터)에 대한 것이다. 그런데, 영상의 특징점들을 따라 추출되는 편향치 벡터들은 3개 이상인 것이 일반이다. 따라서, 본 실시예에서 편향치 벡터의 안정화 방법은 다음과 같이 정리될 수 있다.

제1 단계에서, 소벨 필터에 의해 추출된 최초의 편향치 벡터를 기준 편향치 벡터 g⁰(X)로 설정한다. 제2 단계에서, g⁰(X)를 수학식 1에 적용시켜 g⁰(X)를 안정화시킨다. 제3 단계에서, gⁱ(X)→gⁱ⁺¹(X)에 따라 g¹(X)를 새로운 기준 편향치 벡터로 설정한다. 제4 단계에서, g¹(X)를 수학식 1에 적용시켜 g¹(X)를 안정화시킨다. 제3 단계와 제4 단계는 추출된 모든 편향치 벡터들이 안정화될 때까지 반복된다.

플로우 벡터 생성부(123)는 PDE(Partial Difference Equation)를 적용함으로써 안정화된 편향치 벡터로부터 플로우 벡터를 생성하는 기능을 수행한다. 편향치 벡터와 플로우 벡터는 반대적 개념을 가지므로, 일반적으로 2차원에서는 편향치 벡터를 수직 방향으로 회전시킴으로써 플로우 벡터를 구할 수 있다. 그런데, 3차원에서는 벡터의 무한대가 정규화된 편향치 벡터를 가지는 접평면과 수직이다. 따라서, 3차원에서는 후술하는 방법에 따라 편향치 벡터로부터 플로우 벡터를 계산한다. 이하 설명은 도 4를 참조한다.

도 4의 (a)를 참조하면, 편향치 벡터들은 색상 변화량이 최대인 방향을 따른다. 그래서, 이미지에서 대부분의 에지와 수직이어야 한다. 편향치 벡터 필드가 충분히 스무드(smooth)하고 각각의 편향치 벡터가 일정한 길이를 가진다면, 도 4의 (b)에 도시된 바와 같이 이웃하는 두 편향치 벡터들 간의 차이값을 계산함으로써 에지 곡선(edge curve)의 탄젠트(tangent)를 획득할 수 있다. 본 실시예에서 이 기능은 접선 벡터 계산부가 수행한다. 이후, 이웃하는 두 편향치 벡터들을 대상으로 적어도 두개의 접선 벡터를 획득하며 이 접선 벡터들의 근사값을 계산한다. 본 실시예에서 이 기능은 근사값 계산부가 수행한다. 그러면, 도 4의 (c)에서 보는 바와 같이 색상 변화량이 최소한 방향을 따르는 편향치 벡터들의 흐름, 즉 플로우 벡터를 계산할 수 있다. 플로우 벡터 계산 방법은 다음 수학식을 따른다.

수학식 6을 참조하면, 3차원 플로우 벡터의 근사치는 안정화된 3차원 편향치 벡터를 한번 더 미분함으로써 얻을 수 있음을 알 수 있다.

다시 도 1을 참조하여 설명한다.

플로우 벡터가 모두 계산되면, 플로우 벡터를 안정화시킬 필요가 있다. 이 기능은 플로우 벡터 안정화부(124)가 수행하며, 수학식 1 ~ 수학식 5를 토대로 한다. 즉, 수학식 1 ~ 수학식 5에 g(X), g(Y) 대신 f(X), f(Y)를 대입시킴으로써 플로우 벡터의 안정화를 구현한다. 본 실시예에서 플로우 벡터의 안정화 방법은 다음과 같이 정리된다.

제1 단계에서, 특정 플로우 벡터를 안정화 대상 플로우 벡터 f⁰(X)로 선정한 다. 제2 단계에서, f⁰(X)를 수학식 1에 적용시켜 f⁰(X)를 안정화시킨다. 제3 단계에서, fⁱ(X)→f^{i +1}(X)에 따라 f¹(X)를 새로운 대상 플로우 벡터로 선정한다. 제4 단계에서, f¹(X)를 수학식 1에 적용시켜 f¹(X)를 안정화시킨다. 제3 단계와 제4 단계는 모든 플로우 벡터들을 안정화시킬 때까지 반복 수행한다. 한편, f_t(X)<0일 때에는 f(X)의 방향을 리버싱(reversing)시킴으로써 시간축 t에 대한 플로우 벡터 필드의 흐름을 일정하게 유지시킬 수 있다.

이상 설명한 플로우 벡터의 안정화 방법은 플로우 벡터 필드의 시간 일관성(temporal coherence)과 공간 일관성(spatial coherence)을 모두 향상시키는 효과를 얻을 수 있다.

영상 스타일화부(130)는 안정화된 플로우 벡터들을 기반으로 대상 영상에 대한 비실사 영상을 생성하는 기능을 수행한다. 구체적으로, 영상 스타일화부(130)는 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 기능을 수행한다. 이러한 영상 스타일화부(130)는 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)를 포함한다.

파티클 시뮬레이션부(131)는 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 기능을 수행한다. 그리고, 비실사 영상 생성부(132)는 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 기능을 수행한다.

이하에서는 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)가 각각 어떻게 상기 기능을 수행하는지 이에 대해 상세히 설명한다.

본 실시예에서는 대상 영상으로부터 비실사 영상을 생성하기 위해 영상에서의 각 픽셀 I(X)를 파티클(particle)로 가정하고 각각의 파티클을 플로우 벡터 필드의 진행 방향에 따라 흘려 보내는 것을 골자로 한다.

파티클 시뮬레이션부(131)는 각 파티클에 대해 픽셀 그리드(pixel grid)의 각 셀에 중첩하는 범위에 비례하여 픽셀 그리드에 색상값을 축적시킨다. 이때, 파티클의 색상값 축적은 예컨대 삼선형 보간법(trilinear interpolation)을 이용한다. 이후, 파티클 시뮬레이션부(131)는 픽셀 그리드에 축적된 색상값을 토대로 플로우 벡터 필드의 진행 방향에 따라 정렬된 컬러 패턴을 생성한다. 그러면, 플로우 벡터 필드는 시간적으로 평탄해지며, 컬러 패턴은 영상 프레임들 사이에서 일관성을 가진다. 상기한 내용을 정리해 보면, 픽셀의 색상값을 플로우 벡터 필드의 진행 방향에 따라 이웃 픽셀로 이동시키며 이웃 픽셀은 자신의 색상값을 이전 픽셀의 컬러값에 더해주는 과정을 반복함으로써, 플로우 벡터 필드의 진행 방향에 따라 유사한 색상으로 수렴된다는 것이다.

플로우 벡터 필드에서 플로우 벡터를 정규화시킨 후에는 각 픽셀 파티클의 속도를 선정해줄 필요가 있다. 그 이유는 파티클 기반의 시뮬레이션에서 파티클의 속도를 조절함으로써 추상화의 정도를 컨트롤할 수 있기 때문이다. 예컨대, 파티클의 속도가 느릴 경우 색상의 이동이 적으므로 영상의 디테일이 더욱 정확하게 보존된다. 반면, 파티클의 속도가 빠를 경우 색상의 이동이 많아지므로 보다 단순화된 색상 표현이 가능해지며 더욱 추상화된 영상을 생성할 수 있다. 도 5는 파티클의 속도(v_g)에 따라 비실사 영상의 추상화 정도를 나타내는 예시도이다. 도 5에서 (a)는 입력 영상이며, (b)는 파티클의 속도가 느릴 경우(v_g=0.5)의 시뮬레이션 영상이고, (c)는 파티클의 속도가 빠를 경우(v_g=2.0)의 시뮬레이션 영상이다.

파티클 시뮬레이션부(131)부의 플로우 벡터 필드 기반 파티클 시뮬레이션을 수학식으로 나타내면 다음과 같다.

I(X) ← αI(X+v_gv_cf(X))+(1-α)I(X)

수학식 7에서, v_g와 v_c는 각 픽셀 파티클의 속도 조절 파라미터이고, α는 색상의 축적 비율을 조절하는 가중치이다. α는 I(X+v_gv_cf(X))와 I(X) 사이의 중첩 영역의 부피에 따라 결정된다. 즉, α는 이동한 파티클이 다른 픽셀과 얼마나 겹쳐져 있는지 여부에 따라 결정된다.

v_g는 멀티 해상도(multi-resolution)의 형태와 유사한 시뮬레이션을 위해 비디오 프레임의 편향치 에너지를 기반으로 하여 구할 수 있다. 이에 따라, v_g는 다음 수학식으로부터 구할 수 있다.

수학식 8에서, W(X)는 현재 픽셀 좌표 X에 이웃하는 공간적 인접 픽셀(spatial neighborhood)들을 정의하는 윈도우이다.

윈도우 내에 편향치 평균값이 높은 부분은 외곽선 부분이거나 주요한 특징점 요소일 가능성이 높으므로, 느린 속도로 파티클 시뮬레이션을 수행한다. 반면, 편향치 평균값의 크기가 낮은 부분은 보다 빠른 속도로 파티클 시뮬레이션을 수행한다. 이러한 방법은 추상화의 정도를 높여주는 데에 기여할 수 있다. 본 실시예에서 윈도우 W의 크기는 8×8이다.

v_c는 색상차에 기반하는 또다른 속도 조절 파라미터이다. 이러한 v_c는 파티클의 급격한 이동으로 영상에 구비되는 물체의 외곽선을 따라 픽셀 파티클이 침투하는 것을 방지하기 위해 필요하다. v_c는 다음 수학식으로부터 구할 수 있다.

수학식 9에서,

는 [0, 1] 사이의 도메인으로 정규화된 색상값을 의미한다.

앞서 언급했지만, v_c의 적용에 따라 외곽선 특징점의 붕괴를 방지하는 효과를 얻을 수 있다. 그 이유는 v_c 값이 파티클 시뮬레이션에 따라 원 픽셀과 이동된 픽셀의 증가 사이에서 색상차에 따라 감소하기 때문이다.

이상 설명한 파티클 기반 시뮬레이션에 따라 픽셀마다 색상값이 결정되면, 비실사 영상 생성부(132)는 이로부터 대상 영상에 대한 비실사 영상을 생성한다. 파티클 기반 시뮬레이션에 따라 비실사 영상을 생성하면 다음과 같은 효과를 얻을 수 있다. 첫째, 커널 필터를 사용하여 컨볼루션(convolution) 형태의 계산을 수행하지 않고 픽셀 단위로 단순 계산을 수행하기 때문에 계산 속도가 매우 빠르다. 둘째, 플로우 필드의 진행 방향을 따라가면서 색상이 축적되기 때문에 영상에서 물체의 형태를 유지하면서 추상화시킬 수가 있다. 세째, 바이레터럴 필터와 같이 반복적으로 적용 가능하므로 추상화의 정도를 용이하게 조절할 수 있다. 도 6은 파티클 시뮬레이션의 반복 횟수에 따라 추상화의 정도를 보여주는 예시도이다. 도 6에서 (a) ~ (c)는 각각 반복 횟수가 5 iterations, 15 iterations, 30 iterations인 예이다.

본 실시예에서 파티클 시뮬레이션부(131)와 비실사 영상 생성부(132)를 거쳐 생성되는 비실사 영상은 대상 영상을 추상화시킨 추상화 비디오이다. 그런데, 본 실시예에서는 대상 영상에 대해 플로우 필드 기반 텍스처 톤 맵핑(texture tone mapping)을 수행하는 텍스처 톤 매핑부(133)를 더 부가시키는 것도 가능하다. 텍스처 톤 매핑부(133)는 대상 영상에 대해 손으로 그린 듯한 느낌을 보다 강조함으로 써 비실사 영상이 유화적 비디오로 구현되도록 한다.

텍스처 톤 매핑부(133)는 이류 기반 텍스처 매핑 방법(advection based texture mapping)을 이용하여 각각의 픽셀에 시간 일관성을 가지는 텍스처 톤을 적용시킨다. 이에 따르면, 텍스처 톤 매핑부(133)는 플립핑 효과(flipping effect)나 샤워 도어 효과(shower door effect)와 같이 비디오 페인팅(video painting)의 전형적인 문제점을 줄이는 효과를 얻을 수 있다. 본 실시예에서 각 픽셀의 크기가 스트로크 텍스처(stroke texture)보다 작다면 텍스처 톤 매핑부(133)에 의해 플립핑 효과나 샤워 도어 효과를 더욱 줄일 수가 있다.

본 실시예에서는 텍스처 톤 매핑부(133)가 유화적 비디오를 구현하기 위해 유사 픽셀 기반 접근법을 이용한다. 텍스처 톤 매핑부(133)가 텍스처 톤 맵을 생성하는 방법은 다음과 같다.

초기 톤 맵 t⁰(X)는 [0, 1] 범위에서 의사 난수(pseudo random number)들로 가득차 있다. 초기 톤 맵 t⁰(X)는 도 7의 (a)에 도시된 바와 같다. 제1 단계에서, 입력 비디오의 플로우 필드를 이용하여 t⁰(X)에 대해 파티클 시뮬레이션을 수행한다. 이러한 파티클 시뮬레이션은 수학식 7을 이용한다.

본 실시예에서 비디오의 스타일화 과정을 위해 파티클 시뮬레이션은 다수회 반복된다. 이 과정이 제2 단계이며, 반복 횟수를 i라고 할 때 i번째 톤 맵 tⁱ(X)는 도 7의 (b)와 같다.

제3 단계에서는, 획득된 i번째 톤 맵 tⁱ(X)를 비실사 영상에 오버레이시킨다. 이에 따라, 텍스처 톤 맵이 반영된 비실사 영상은 도 7의 (c)와 같다.

텍스처 톤 맵이 반영된 비실사 영상은 비디오의 방향적 특징들이 향상되며, 플로우 필드의 방향에 따라 정렬된 브러시형 스무딩을 생성할 수 있다. 즉, 대상 영상으로부터 유화적 비디오의 생성이 가능하다.

3차원 플로우 필드를 사용한 비디오 스타일화의 결과를 확인하기 위해 입력 영상을 이용하여 바이레터럴 필터링 결과, 파티클 기반의 시뮬레이션 결과 및 톤 맵이 적용된 결과 등을 실험을 통해 도출해 보았다. 이하에서는 이에 대해 설명한다.

도 8은 종래 바이레터럴 필터링 결과와 본 실시예에 따른 플로우 필드 기반 방법을 비교하기 위한 도면이다. 도 8에서 (a)는 입력 영상이며, (b)는 바이레터럴 필터링을 통해 획득된 추상화 비디오이다. 또한, (c)는 플로우 기반 파티클 시뮬레이션이 적용된 추상화 비디오이며, (d)는 플로우 필드 기반 톤 맵이 적용된 유화적 비디오이다. (b)에서 보는 바와 같이 기존의 바이레터럴 필터링을 적용했을 경우 영상에서 주요한 특징점들이 사라지는 문제점이 있었다. 그러나, (c)에서 보는 바와 같이 플로우 필드 기반의 추상화를 적용하게 되면 곡선 형태가 보존되는 안정적인 추상화가 가능하다. 또한, (d)에서 보는 바와 같이 유화와 비슷한 느낌의 결과를 위해 질감을 이미지 형태로써 반영시키고 질감에서 얻어진 노말 벡터를 사용하여 플로우 필드를 흔들어 줌으로써 질감이 살아있는 추상화 결과를 생성할 수 있 다.

도 9는 비디오 스타일화의 결과를 확인하기 위한 실험 결과 도면이다. 실험에 사용된 영상은 740×480의 해상도를 가지며 u=v=5이다. 도 9에서 (a)는 입력 영상이고, (b)는 반복 횟수가 20회일 때의 파티클 시뮬레이션의 결과 영상이며, (c)는 톤 맵이 적용된 결과 영상이다.

표 1은 종래 바이레터럴 필터링 방법과 본 실시예에 따른 플로우 기반 방법에 따라 영상을 스타일화했을 때에 소요되는 시간을 보여준다. 본 실험에서는 Intel Core2 Quad 2.40GHz 프로세서와 2GB 메모리를 가진 PC로 시간을 체크하였다. 표 1에서 보는 바와 같이, 반복 횟수가 20회일 경우 종래 바이레터럴 필터링 방법보다 본 실시예에 따른 플로우 기반 방법이 처리 속도가 더 빠르다는 것을 확인할 수 있다.

다음으로, 본 발명의 바람직한 실시예에 따른 비실사 영상(NPR 영상) 생성 방법을 설명한다. 도 10은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 방법을 도시한 순서도이다. 이하 설명은 도 10을 참조한다.

먼저, 영상 입력부(110)가 플로우 필드 생성부(120)의 편향치 벡터 추출부(121)로 영상을 입력한다(S10). 이후, 편향치 벡터 추출부(121)가 각 영상 프레임으로부터 픽셀의 색상 변화량이 가장 큰 편향치 벡터를 추출한다(S20). 이후, 편향치 벡터 안정화부(122)가 추출된 편향치 벡터를 안정화시킨다(S30).

플로우 벡터 생성부(123)는 안정화된 편향치 벡터로부터 플로우 벡터를 계산한다(S40). 이후, 플로우 벡터 안정화부(124)가 계산된 플로우 벡터를 안정화시킨다(S50). 안정화된 플로우 벡터에 대한 정보는 플로우 필드 생성부(120)로부터 영상 스타일화부(130)로 전송된다.

파티클 시뮬레이션부(131)는 입력 영상에 대하여 파티클 기반의 시뮬레이션을 수행한다(S60). 파티클 기반의 시뮬레이션이 소정 횟수 반복됨에 따라 입력 영상의 추상화 정도가 결정된다. 이후, 비실사 영상 생성부(132)가 입력 영상을 추상화시킨 비실사 영상을 생성한다(S70).

한편, S60 단계 이후 텍스처 톤 매핑부(133)가 추상화된 비실사 영상에 텍스처 톤 맵을 적용시키는 것도 가능하다(S65). 추상화된 영상에 텍스처 톤 맵이 적용되면 S70 단계에서 비실사 영상 생성부(132)가 유화적 비디오를 생성할 수 있게 된다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

UCC의 제작을 위한 비전문적 영상 편집 툴을 포함하여, Adobe 등의 회사에서 제공하는 전문적인 영상 편집 툴에서도 사용자가 촬영한 영상을 추상화 또는 유화적 스타일화로 자동으로 바꾸어 주는 기능에 대한 시도가 계속되고 있다. 이러한 스타일화 기능의 목적은 전문가 또는 비전문가가 손쉽게 심미적 목적의 영상을 제작하는 것이며, 카툰 형태의 추상화 및 유화적 표현은 이러한 심미적 결과물의 대표적 예라 볼 수 있다. 하지만, 지금까지의 제공된 기능은 비디오(3차원 영상)보다는 이미지(2차원 영상)에 한정적이었으며, 비디오의 스타일화를 위해선 고성능의 컴퓨터가 요구되는 단점이 있었다.

본 발명은 기존의 비디오 스타일 결과보다 뛰어난 시간적 연계성을 가지며, 보다 빠른 계산 속도를 가지므로 현재 판매되는 다양한 영상 편집 툴에 높은 가치 로 추가될 수 있다. 또한, 독립적인 소프트웨어로써, 영화 산업이나 방송 산업 등에 적용될 수도 있다. 따라서, 본 발명은 국내외 영상 편집 툴 제작 업체에 코어 기술로 추가됨으로써, 세계 시장에서 관련 분야 점유율을 높이는 효과를 기대할 수 있다. 또한, 아직은 부족한 국내의 특수 효과 기술 시장에서 기존에 3차원 특수 효과가 아닌 영상 기반의 특수 효과의 기술적 선점으로 국내 뿐 아니라 세계적인 기술 선점까지도 기대할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 장치의 내부 구성을 개략적으로 도시한 블록도이다.

도 2는 본 발명에 적용되는 3차원 소벨 오퍼레이터의 일실시 예시도이다.

도 3은 본 발명에 적용되는 공간적 인접 픽셀과 일시적 인접 픽셀의 일실시 예시도이다.

도 4는 본 발명에 따라 편향치 벡터로부터 플로우 벡터를 계산하는 방법에 대한 일실시 예시도이다.

도 5는 파티클의 속도에 따라 비실사 영상의 추상화 정도를 나타내는 예시도이다.

도 6은 파티클 시뮬레이션의 반복 횟수에 따라 추상화의 정도를 보여주는 예시도이다.

도 7은 본 발명에 따라 텍스처 톤 맵을 생성하는 방법에 대한 일실시 예시도이다.

도 8은 종래 바이레터럴 필터링 결과와 본 발명에 따른 플로우 필드 기반 방법을 비교하기 위한 도면이다.

도 9는 비디오 스타일화의 결과를 확인하기 위한 실험 결과 도면이다.

도 10은 본 발명의 바람직한 실시예에 따른 비실사 영상 생성 방법을 도시한 순서도이다.

<도면의 주요 부분에 대한 부호의 설명>

100 : NPR 영상 생성 장치 110 : 영상 입력부

120 : 플로우 필드 생성부 121 : 편향치 벡터 추출부

122 : 편향치 벡터 안정화부 123 : 플로우 벡터 생성부

124 : 플로우 벡터 안정화부 130 : 영상 스타일화부

131 : 파티클 시뮬레이션부 132 : 비실사 영상 생성부

133 : 텍스처 톤 매핑부

Claims (22)

1. 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하는 것으로서, 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 공간적 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하고, 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 시간적 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제3 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제3 인접 픽셀로 향하는 편향치 벡터를 추출하는 편향치 벡터 추출부; 상기 공간적 인접 픽셀들, 상기 시간적 인접 픽셀들, 및 상기 기준 픽셀과 상기 제2 인접 픽셀 간 및 상기 기준 픽셀과 상기 제3 인접 픽셀 간 색상 유사도에 따른 가중치 함수를 이용하여 상기 추출된 편향치 벡터들을 스무딩(smoothing)시키는 편향치 벡터 안정화부; 상기 스무딩된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하는 것으로서, 동일한 길이를 가지며 서로 인접하는 스무딩된 두 편향치 벡터들로부터 접선 벡터를 계산하는 접선 벡터 계산부, 및 상기 계산된 접선 벡터의 근사값을 계산하여 상기 플로우 벡터를 생성하는 근사값 계산부를 포함하는 플로우 벡터 생성부; 및 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시키는 플로우 벡터 안정화부를 포함하며, 상기 편향치 벡터 안정화부는 상기 추출된 편향치 벡터들 중 일부 편향치 벡터를 스무딩시킬 때에 상기 가중치 함수로 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중치를 부여하는 크기 가중치 함수, 및 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수를 이용하며, 상기 일부 편향치 벡터를 제외한 나머지 편향치 벡터를 스무딩시킬 때에 상기 가중치 함수로 상기 크기 가중치 함수, 상기 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수를 이용하는 플로우 필드 생성부; 및

   상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 영상 스타일화부

   를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
2. 제 1 항에 있어서,

   미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 텍스처 톤 매핑부

   를 더 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
3. 제 1 항에 있어서,

   상기 영상 스타일화부는,

   상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 파티클 시뮬레이션부; 및

   상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 비실사 영상 생성부

   를 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
4. 삭제
5. 삭제
6. 제 3 항에 있어서,

   상기 파티클 시뮬레이션부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하는 것을 특징으로 하는 비실사 영상 생성 장치.
7. 삭제
8. 제 1 항에 있어서,

   상기 편향치 벡터 안정화부는 상기 일부 편향치 벡터로 상기 공간적 인접 픽셀들과 상기 기준 픽셀을 비교하여 얻은 편향치 벡터를 이용하고, 상기 나머지 편향치 벡터로 상기 시간적 인접 픽셀과 상기 기준 픽셀을 비교하여 얻은 편향치 벡터를 이용하는 것을 특징으로 하는 비실사 영상 생성 장치.
9. 제 1 항에 있어서,

   상기 영상 스타일화부는 실시간으로 상기 비실사 영상을 생성하는 것을 특징으로 하는 비실사 영상 생성 장치.
10. 제 1 항에 있어서,

    상기 플로우 필드 생성부는 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀 또는 상기 제3 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용하는 것을 특징으로 하는 비실사 영상 생성 장치.
11. 제 2 항에 있어서,

    상기 텍스처 톤 매핑부는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하여 상기 질감 영상을 획득하는 것을 특징으로 하는 비실사 영상 생성 장치.
12. 제 1 항에 있어서,

    상기 영상을 상기 플로우 필드 생성부에 입력시키는 영상 입력부

    를 더 포함하는 것을 특징으로 하는 비실사 영상 생성 장치.
13. (a) 영상에서 기준 픽셀에 인접하는 인접 픽셀들 중 상기 기준 픽셀과 비교시 색상 변화량이 미리 정해진 기준값보다 작은 적어도 하나의 제1 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제1 인접 픽셀로 향하는 플로우 벡터를 생성하며 상기 생성된 플로우 벡터들의 일방향 흐름으로 이루어진 플로우 필드를 생성하되, 동일 영상 프레임에서 상기 기준 픽셀에 인접하는 공간적 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제2 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제2 인접 픽셀로 향하는 편향치 벡터를 추출하고, 상기 영상 프레임에 이웃하는 적어도 하나의 이웃 영상 프레임으로부터 상기 기준 픽셀에 인접하는 시간적 인접 픽셀들 중 상기 기준 픽셀과 비교시 상기 색상 변화량이 상기 기준값보다 큰 적어도 하나의 제3 인접 픽셀에 대하여 상기 기준 픽셀에서 상기 제3 인접 픽셀로 향하는 편향치 벡터를 추출하는 편향치 벡터 추출 단계; 상기 공간적 인접 픽셀들, 상기 시간적 인접 픽셀들, 및 상기 기준 픽셀과 상기 제2 인접 픽셀 간 및 상기 기준 픽셀과 상기 제3 인접 픽셀 간 색상 유사도에 따른 가중치 함수를 이용하여 상기 추출된 편향치 벡터들을 스무딩(smoothing)시키는 편향치 벡터 안정화 단계; 상기 스무딩된 편향치 벡터들 간의 차이값인 상기 플로우 벡터를 생성하되, 동일한 길이를 가지며 서로 인접하는 스무딩된 두 편향치 벡터들로부터 접선 벡터를 계산하고, 상기 계산된 접선 벡터의 근사값을 계산하여 상기 플로우 벡터를 생성하는 플로우 벡터 생성 단계; 및 상기 생성된 플로우 벡터들을 스무딩시켜 상기 플로우 필드를 생성시키는 플로우 벡터 안정화 단계를 포함하며, 상기 편향치 벡터 안정화 단계는 상기 추출된 편향치 벡터들 중 일부 편향치 벡터를 스무딩시킬 때에 상기 가중치 함수로 인접하는 두 편향치 벡터들 간의 크기 차이에 따라 가중치를 부여하는 크기 가중치 함수, 및 인접하는 두 편향치 벡터들 간의 사이각 크기에 따라 가중치를 부여하는 방향 가중치 함수를 이용하며, 상기 일부 편향치 벡터를 제외한 나머지 편향치 벡터를 스무딩시킬 때에 상기 가중치 함수로 상기 크기 가중치 함수, 상기 방향 가중치 함수, 및 인접하는 두 편향치 벡터들을 각각 포함하는 두 픽셀들 간의 색상 차이에 따라 가중치를 부여하는 컬러 가중치 함수를 이용하는 플로우 필드 생성 단계; 및

    (b) 상기 영상에 구비되는 영상 픽셀들의 일방향 이동에 따라 상기 생성된 플로우 필드 상에 위치하는 플로우 픽셀에 중첩되는 상기 영상 픽셀들의 색상과 상기 플로우 픽셀의 색상을 이용하여 상기 플로우 픽셀의 색상을 결정하며, 상기 결정된 플로우 픽셀의 색상을 토대로 상기 영상에 대한 비실사 영상을 생성하는 영상 스타일화 단계

    를 포함하는 것을 특징으로 하는 비실사 영상 생성 방법.
14. 제 13 항에 있어서,

    (c) 미리 정해진 질감 영상을 상기 생성된 비실사 영상에 오버레이시키는 단계

    를 더 포함하는 것을 특징으로 하는 비실사 영상 생성 방법.
15. 제 13 항에 있어서,

    상기 (b) 단계는,

    (ba) 상기 영상 픽셀들이 상기 플로우 픽셀에 중첩된 정도를 고려하여 상기 영상 픽셀들의 색상을 상기 플로우 픽셀의 색상에 보간시켜 상기 플로우 픽셀의 색상을 결정하는 단계; 및

    (bb) 상기 생성된 플로우 필드 상에 위치하는 모든 플로우 픽셀들의 색상이 결정되면 상기 결정을 토대로 상기 비실사 영상을 생성하는 단계

    를 포함하는 것을 특징으로 하는 비실사 영상 생성 방법.
16. 삭제
17. 삭제
18. 제 15 항에 있어서,

    상기 (ba) 단계는 상기 영상 픽셀들의 일방향 이동을 적어도 2회 반복 수행하며, 상기 반복 수행시 상기 인접 픽셀들 중 적어도 하나의 인접 픽셀을 포함하는 픽셀 윈도우에 대하여 상기 기준 픽셀에서 상기 픽셀 윈도우로 향하는 벡터의 평균 값에 따라 상기 기준 픽셀의 이동 속도를 제어하는 속도 제어 파라미터 또는 상기 플로우 픽셀과 상기 영상 픽셀들의 색상 차이에 따라 상기 플로우 픽셀의 이동 속도를 제어하는 속도 제어 파라미터를 고려하는 것을 특징으로 하는 비실사 영상 생성 방법.
19. 제 13 항에 있어서,

    상기 (b) 단계는 실시간으로 상기 비실사 영상을 생성하는 것을 특징으로 하는 비실사 영상 생성 방법.
20. 제 13 항에 있어서,

    상기 (a) 단계에서 상기 편향치 벡터 안정화 단계는 상기 일부 편향치 벡터로 상기 공간적 인접 픽셀들과 상기 기준 픽셀을 비교하여 얻은 편향치 벡터를 이용하고, 상기 나머지 편향치 벡터로 상기 시간적 인접 픽셀과 상기 기준 픽셀을 비교하여 얻은 편향치 벡터를 이용하는 것을 특징으로 하는 비실사 영상 생성 방법.
21. 제 13 항에 있어서,

    상기 (a) 단계에서 상기 편향치 벡터 추출 단계는 상기 편향치 벡터를 추출할 때에 상기 제1 인접 픽셀로 상기 색상 변화량이 최소인 인접 픽셀을 이용하며, 상기 제2 인접 픽셀 또는 상기 제3 인접 픽셀로 상기 색상 변화량이 최대인 인접 픽셀을 이용하는 것을 특징으로 하는 비실사 영상 생성 방법.
22. 컴퓨터로 판독 가능한 기록매체에 있어서,

    제 13 항, 제 14 항, 제 15 항, 제 18 항, 제 19 항, 제 20 항, 및 제 21 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.

Images