KR101701519B1 - 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법 - Google Patents

Abstract

영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법이 개시된다. 일러스트레이션부는 입력받은 원본 동영상을 구성하는 시간적으로 연속하는 복수의 영상프레임 각각으로부터 추출된 외곽선을 선 형태의 스트로크로 변환하여 복수의 영상프레임에 대응하는 복수의 라인 일러스트를 생성한다. 필터링부는 복수의 라인 일러스트 중 시간적으로 인접한 영상프레임으로부터 생성된 라인 일러스트들에서 동일한 위치에 해당하는 화소들의 그래디언트 값을 필터링한다. 애니메이션 생성부는 필터링부에 의해 필터링된 복수의 라인 일러스트가 복수의 영상프레임의 시간적 순서에 대응하여 순차적으로 정렬된 라인 애니메이션을 출력한다. 본 발명에 따르면, 원본 동영상의 복수의 영상프레임으로부터 생성된 라인 일러스트의 그래디언트 값을 시간축 상에서 필터링함으로써, 노이즈 현상이 제거되고 손으로 그린듯한 효과를 가지는 자연스러운 라인 애니메이션을 생성할 수 있다.

Description

영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법{Apparatus and method for generating line animation from video for consistency between image frames}

본 발명은 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법에 관한 것으로, 보다 상세하게는, 연속하는 복수의 영상프레임으로 이루어진 동영상으로부터 외곽선을 추출하여 선 형태의 스트로크로 이루어진 라인 애니메이션을 생성하는 장치 및 방법에 관한 것이다.

입력된 단일 영상을 사람이 직접 그린듯한 느낌으로 스타일화하는 비사실적 렌더링 기술은 영상의 중요한 부분을 부각시키기 위해 과장을 하거나 사소한 부분을 생략하여 표현하는 것으로, 최근 컴퓨터 그래픽스 분야와 컴퓨터 비전 분야에서 다양한 방법으로 수행되고 있다. 예를 들면, 입력된 영상을 블록 형태로 단순화하거나 카툰 스타일로 변화하거나 사람이 직접 그린듯한 일러스트 형태로 변화함으로써 입력된 영상을 비사실적으로 표현하는 것이다.

그런데 기존의 비사실적 렌더링 기술들은 대부분 단일 영상에 대하여 적용되는 것으로, 복수의 영상프레임으로 이루어진 동영상에 적용된 사례는 거의 없으며, 동영상에 적용하는 경우에도 개별적인 영상프레임을 영상프레임 사이의 움직임을 고려하지 않는다. 그에 따라 동영상의 각 영상프레임을 일러스트 라인 효과로 변환하여 결과 애니메이션을 생성하면 스트로크의 급격한 위치 변화가 발생하는 등의 문제가 생길 수 있다.

사실적인 영상을 라인 애니메이션으로 변환하는 것은 입력영상의 외곽선의 흐름을 추출하여 그 흐름을 기반으로 스타일화하는 것인데, 인접 영상프레임의 작은 변화도 외곽선으로 인식하게 되어 노이즈가 발생하는 것과 같이 불필요한 스트로크가 급격하게 나타났다가 사라지는 경우가 발생하게 된다.

위와 같은 문제를 극복하고 입력된 동영상으로부터 손으로 그린 듯한 자연스러운 라인 애니메이션을 생성할 수 있는 방법의 필요성이 제기된다.

본 발명이 이루고자 하는 기술적 과제는, 동영상을 구성하는 복수의 영상프레임에 대응하여 선 형태의 스트로크로 이루어진 라인 애니메이션을 생성할 때 스트로크의 급격한 변화를 방지하여 자연스러운 애니메이션을 생성하는 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 동영상을 구성하는 복수의 영상프레임에 대응하여 선 형태의 스트로크로 이루어진 라인 애니메이션을 생성할 때 스트로크의 급격한 변화를 방지하여 자연스러운 애니메이션을 생성하는 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치는, 입력받은 원본 동영상을 구성하는 시간적으로 연속하는 복수의 영상프레임 각각으로부터 추출된 외곽선을 선 형태의 스트로크로 변환하여 상기 복수의 영상프레임에 대응하는 복수의 라인 일러스트를 생성하는 일러스트레이션부; 상기 복수의 라인 일러스트 중 시간적으로 인접한 영상프레임으로부터 생성된 라인 일러스트들에서 동일한 위치에 해당하는 화소들의 그래디언트 값을 필터링하는 필터링부; 및 상기 필터링부에 의해 필터링된 복수의 라인 일러스트가 상기 복수의 영상프레임의 시간적 순서에 대응하여 순차적으로 정렬된 라인 애니메이션을 출력하는 애니메이션 생성부;를 구비한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성방법은, 입력받은 원본 동영상을 구성하는 시간적으로 연속하는 복수의 영상프레임 각각으로부터 추출된 외곽선을 선 형태의 스트로크로 변환하여 상기 복수의 영상프레임에 대응하는 복수의 라인 일러스트를 생성하는 일러스트레이션단계; 상기 복수의 라인 일러스트 중 시간적으로 인접한 영상프레임으로부터 생성된 라인 일러스트들에서 동일한 위치에 해당하는 화소들의 그래디언트 값을 필터링하는 필터링단계; 및 상기 필터링단계에서 필터링된 복수의 라인 일러스트가 상기 복수의 영상프레임의 시간적 순서에 대응하여 순차적으로 정렬된 라인 애니메이션을 출력하는 애니메이션 생성단계;를 갖는다.

본 발명에 따른 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법에 의하면, 원본 동영상의 복수의 영상프레임으로부터 생성된 라인 일러스트의 그래디언트 값을 시간축 상에서 필터링함으로써, 노이즈 현상이 제거되고 손으로 그린듯한 효과를 가지는 자연스러운 라인 애니메이션을 생성할 수 있다.

도 1은 본 발명에 따른 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 기존의 가우시안 필터와 일러스트레이션부에 의해 사용되는 가우시안 필터에 의한 외곽선 추출 결과를 비교한 도면,
도 3은 시간적으로 서로 다른 영상프레임으로부터 생성된 라인 일러스트를 나타낸 도면,
도 4는 필터링부에 의한 시간축 상의 필터링의 효과를 설명하기 위한 도면,
도 5는 본 발명에 따른 라인 애니메이션 생성장치를 원본 동영상에 적용하여 얻어진 라인 애니메이션의 장면을 나타낸 도면, 그리고,
도 6은 본 발명에 따른 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 라인 애니메이션 생성장치는, 일러스트레이션부(110), 필터링부(120) 및 애니메이션 생성부(130)를 구비한다.

일러스트레이션부(110)는 입력받은 원본 동영상을 구성하는 시간적으로 연속하는 복수의 영상프레임 각각으로부터 추출된 외곽선을 선 형태의 스트로크로 변환하여 복수의 영상프레임에 대응하는 복수의 라인 일러스트를 생성한다.

본 발명에 따른 라인 애니메이션 생성장치는 사실적인 동영상을 입력받아 직접 손으로 그린듯한 라인 애니메이션, 즉 객체 및 배경이 선으로 표현된 애니메이션을 생성하기 위한 것이다. 원본 동영상으로부터 외곽선을 추출하여 이를 선 형태의 스트로크로 변환하기 위해서는 먼저 원본 동영상을 구성하는 각 영상프레임으로부터 특징을 추출하고, 영상프레임 사이의 움직임을 추정하여 전경과 배경을 구분할 필요가 있다. 이러한 과정은 기존에 이미 널리 사용되던 방법에 의해 수행 가능하므로 자세한 설명은 생략한다.

일러스트레이션부(110)는 전경과 배경의 구분에 의해 얻어진 정보를 사용하여 각각의 영상프레임으로부터 객체 및 배경의 외곽선을 추출하고, 이를 선 형태의 스트로크로 변환함으로써 각각의 영상프레임에 대응하는 라인 일러스트를 생성한다. 이때 라인 일러스트를 생성하기 위해 기존의 포토샵 등에서 제공하는 필터를 이용할 수도 있으나, 그러한 기존의 필터는 외곽선을 한 가지 종류의 선으로만 표현하므로 손으로 직접 그린듯한 느낌을 나타내기 어렵다.

따라서 일러스트레이션부(110)는 영상의 경계를 검출하는 가우시안(DoG) 필터를 기반으로 하여 커널의 모양과 크기를 지역적으로 조절함으로써 라인 일러스트를 생성한다. 가우시안 필터는 영상의 모든 픽셀에 대하여 두 개의 서로 다른 가우시안 분포를 가지는 커널을 사용하여 필터링을 수행한 후 두 영상의 차를 이용하여 영상의 경계를 검출하는 방법이다. 등방성의 가우시안 필터는 모든 픽셀에 방향성이 없는 커널을 적용시키는 것이고, 이방성의 가우시안 필터는 외곽선의 흐름의 방향으로 커널을 적용하기 때문에 방향성을 유지하여 균일하고 일관성 있는 선을 생성할 수 있다.

일러스트레이션부(110)는 특히 이러한 가우시안 필터를 확장하여 지역적인 곡률에 따라 모양과 크기가 변하는 가우시안 필터의 이종 또는 이방의 커널을 적용하여 다양한 선의 표현을 가능하게 한다. 구체적으로, 일러스트레이션부(110)는 다음 수학식 1과 같은 기존의 이방성 가우시안 필터를 다음의 수학식 2와 같이 확장하여 원본 동영상에 적용한다.

수학식 2의 가우시안 필터를 사용하여 호 길이 변수 s를 따라 일정하지 않은 가중치를 할당할 때 가우시안 분포의 값은 각 지역의 곡률에 따라 자동으로 정의된다. 따라서 곡률이 큰 지역에는 짧고 두꺼운 커널이 적용되고, 곡률이 작은 지역에서는 길고 가는 커널이 적용된다.

일러스트레이션부(110)는 이와 같이 외곽선의 각 부분의 곡률에 따라 커널의 크기 및 모양을 적응적으로 조절하기 위하여 '두께' 및 '스트로크 길이'라는 매개변수를 사용할 수 있다.

도 2는 기존의 가우시안 필터와 일러스트레이션부(110)에 의해 사용되는 가우시안 필터에 의한 외곽선 추출 결과를 비교한 도면이다. 도 2를 참조하면, (a) 및 (b)와 같은 원본 영상에 각각 기존의 등방성 가우시안 필터, 이방성 가우시안 필터 및 본 발명에서 사용되는 가우시안 필터를 적용한 결과가 (c) 내지 (h)에 나타나 있다. 본 발명에서 사용되는 가우시안 필터에 의해 얻어진 도 2의 (g) 및 (h)를 참조하면, 다른 외곽선 추출 결과에 비하여 외곽선의 각 부분마다 다양한 두께 및 길이의 스트로크가 적용되어 손으로 직접 그린듯한 결과가 얻어짐을 확인할 수 있다.

다음으로 필터링부(120)는 복수의 라인 일러스트 중 시간적으로 인접한 영상프레임으로부터 생성된 라인 일러스트들에서 동일한 위치에 해당하는 화소들의 그래디언트 값을 필터링한다.

앞에서 설명한 바와 같이 동영상으로부터 라인 애니메이션을 생성하는 것은 복수의 영상프레임을 사용함에 따라 단일 영상을 사용하는 경우와 달리 불필요한 스트로크가 급격하게 나타나거나 사라지는 경우가 발생할 수 있다는 문제를 가진다. 이는 복수의 영상프레임 각각으로부터 라인 일러스트를 생성하고 복수의 라인 일러스트를 단순히 순차적으로 정렬함에 따른 것으로, 영상프레임 간의 스트로크 일관성이 유지되도록 할 필요가 있다.

도 3은 시간적으로 서로 다른 영상프레임으로부터 생성된 라인 일러스트를 나타낸 도면으로, 도 3의 (a) 내지 (c)는 각각 복수의 영상프레임 중에서 5번째, 10번째 및 15번째 영상프레임에 대응하는 라인 일러스트를 나타낸다. 도 3의 (a) 내지 (c)에는 기존의 라인 애니메이션 생성 방법을 적용함에 따라 발생한 불필요한 스트로크가 원으로 표시되어 있다.

필터링부(120)는 이와 같은 불필요한 스트로크를 제거하여 라인 애니메이션의 품질을 향상시키기 위해 복수의 영상프레임에 대응하여 생성된 복수의 라인 일러스트에 대하여 시간축 상의 필터링을 수행한다. 예를 들면, 필터링부(120)는 시간적으로 인접한 영상프레임들로부터 생성된 라인 일러스트들에서 동일 위치의 화소의 그래디언트 값에 가우시안 필터를 적용함으로써 시간적으로 연속하는 라인 일러스트에서 그래디언트 값의 급격한 변화를 완화하여 불필요한 스트로크가 나타나는 것을 방지한다.

도 4는 필터링부(120)에 의한 시간축 상의 필터링의 효과를 설명하기 위한 도면으로, (a)는 기존의 coherent line drawing 기법에 의해 생성된 라인 일러스트, (b)는 필터링부(120)가 적용되지 않은 라인 일러스트, 그리고 (c)는 필터링부(120)에 의해 그래디언트 값이 필터링된 라인 일러스트를 나타낸 것이다. 도 4의 (b) 및 (c)를 대비하면, 노이즈와 같이 나타나는 불필요한 스트로크들이 필터링부(120)에 의해 제거되어 객체의 형상이 명확하게 나타나는 것을 확인할 수 있다.

마지막으로 애니메이션 생성부(130)는 필터링부(120)에 의해 필터링된 복수의 라인 일러스트가 복수의 영상프레임의 시간적 순서에 대응하여 순차적으로 정렬된 라인 애니메이션을 출력한다. 그에 따라 원본 동영상이 손으로 그린 듯한 기법으로 변환된 라인 애니메이션이 얻어진다.

도 5는 본 발명에 따른 라인 애니메이션 생성장치를 원본 동영상에 적용하여 얻어진 라인 애니메이션의 장면을 나타낸 도면이다. 도 5를 참조하면, 외곽선의 곡률에 따라 두께가 달라지는 스트로크가 적용되어 손으로 직접 그린듯한 애니메이션이 얻어지며, 색상의 추가 또는 원본 동영상과의 합성에 의해 다양한 형태의 라인 애니메이션이 얻어지는 것을 확인할 수 있다.

도 6은 본 발명에 따른 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 6을 참조하면, 일러스트레이션부(110)는 입력받은 원본 동영상을 구성하는 시간적으로 연속하는 복수의 영상프레임 각각으로부터 추출된 외곽선을 선 형태의 스트로크로 변환하여 복수의 영상프레임에 대응하는 복수의 라인 일러스트를 생성한다(S610). 이때 외곽선의 각 지점에 적용되는 가우시안 필터의 커널 형태는 해당 지점에서의 외곽선의 곡률에 따라 적응적으로 결정될 수 있다.

필터링부(120)는 복수의 라인 일러스트 중 시간적으로 인접한 영상프레임으로부터 생성된 라인 일러스트들에서 동일한 위치에 해당하는 화소들의 그래디언트 값을 필터링한다(S620). 이는 라인 애니메이션에서 시간의 흐름에 따라 급격하게 나타나거나 사라지는 스트로크를 제거하기 위한 것으로, 라인 애니메이션의 품질을 향상시킬 수 있다.

마지막으로 애니메이션 생성부(130)는 필터링부(120)에 의해 필터링된 복수의 라인 일러스트가 복수의 영상프레임의 시간적 순서에 대응하여 순차적으로 정렬된 라인 애니메이션을 출력한다(S630).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

110 - 일러스트레이션부
120 - 필터링부
130 - 애니메이션 생성부

Claims (7)

1. 입력받은 원본 동영상을 구성하는 시간적으로 연속하는 복수의 영상프레임 각각으로부터 추출된 외곽선을 선 형태의 스트로크로 변환하여 상기 복수의 영상프레임에 대응하는 복수의 라인 일러스트를 생성하는 일러스트레이션부;
   상기 복수의 라인 일러스트 중 시간적으로 인접한 영상프레임으로부터 생성된 라인 일러스트들에서 동일한 위치에 해당하는 화소들의 그래디언트 값을 필터링하는 필터링부; 및
   상기 필터링부에 의해 필터링된 복수의 라인 일러스트가 상기 복수의 영상프레임의 시간적 순서에 대응하여 순차적으로 정렬된 라인 애니메이션을 출력하는 애니메이션 생성부;를 포함하되,
   상기 일러스트레이션부는,
   상기 외곽선의 각 지점의 곡률에 따라 커널의 크기와 모양이 조절되는 가우시안 필터를 적용하여 상기 외곽선의 각 지점의 곡률에 따라 스트로크의 두께 및 길이를 상이하게 조절하여 상기 라인 일러스트를 생성하는 것을 특징으로 하는 라인 애니메이션 생성장치.
   
2. 삭제
3. 제 1항에 있어서,
   상기 필터링부는 가우시안 스무딩 기법에 의해 상기 그래디언트 값을 필터링하는 것을 특징으로 하는 라인 애니메이션 생성장치.
4. 입력받은 원본 동영상을 구성하는 시간적으로 연속하는 복수의 영상프레임 각각으로부터 추출된 외곽선을 선 형태의 스트로크로 변환하여 상기 복수의 영상프레임에 대응하는 복수의 라인 일러스트를 생성하는 일러스트레이션단계;
   상기 복수의 라인 일러스트 중 시간적으로 인접한 영상프레임으로부터 생성된 라인 일러스트들에서 동일한 위치에 해당하는 화소들의 그래디언트 값을 필터링하는 필터링단계; 및
   상기 필터링단계에서 필터링된 복수의 라인 일러스트가 상기 복수의 영상프레임의 시간적 순서에 대응하여 순차적으로 정렬된 라인 애니메이션을 출력하는 애니메이션 생성단계;를 포함하되,
   상기 일러스트레이션단계는,
   상기 외곽선의 각 지점의 곡률에 따라 커널의 크기와 모양이 조절되는 가우시안 필터를 적용하여 상기 외곽선의 각 지점의 곡률에 따라 스트로크의 두께 및 길이를 상이하게 조절하여 상기 라인 일러스트를 생성하는 것을 특징으로 하는 라인 애니메이션 생성방법.
   
5. 삭제
6. 제 4항에 있어서,
   상기 필터링단계에서, 가우시안 스무딩 기법에 의해 상기 그래디언트 값을 필터링하는 것을 특징으로 하는 라인 애니메이션 생성방법.
7. 제 4항에 기재된 라인 애니메이션 생성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images