KR101050135B1 - 광류 정보를 이용한 중간 영상 생성 방법 - Google Patents

Abstract

본 발명은 중간 영상 생성 방법에 관한 것이다. 상기 중간 영상 생성 방법은, (a) 제1 프레임과 제2 프레임에 대한 광류(optical flow) 정보를 계산하는 단계; (b) 제1 프레임과 제2 프레임에 대하여 각각 영상 분할(segmentation)하는 단계; (c) 상기 영상 분할된 결과 정보를 이용하여 상기 광류 정보를 보정하는 단계; (d) 외부로부터 입력된 라인 피팅(line fitting) 위치 정보를 이용하여 상기 광류를 보정하는 단계; (e) 상기 보정된 광류 정보를 이용하여 상기 제1 프레임과 제2 프레임의 중간 영상을 생성하는 단계;를 구비한다. 상기 영상 분할 방법은 그래프컷 알고리즘을 이용하여 사용자에 의해 지정된 관심 물체만을 분리하여 제2 프레임에서의 이동 영역을 확인하는 것을 특징으로 한다.

본 발명에 의하여 영상 분할 방법 및 사용자와의 인터페이스를 통해 얻은 정보들을 이용하여 두 프레임간의 광류 정보를 보정하고, 보정된 광류 정보로부터 보다 효율적으로 중간 영상을 생성하게 된다.

중간 영상 생성, 영상 분할, 라인 피팅, 광류

Description

광류 정보를 이용한 중간 영상 생성 방법{Method for generating interframe using optical flow algorithm}

본 발명은 광류 정보를 이용한 중간 영상 생성 방법에 관한 것으로서, 좀 더 상세하게는 영상 분할 방법 및 사용자와의 인터페이스를 통해 얻은 정보들을 이용하여 두 프레임간의 광류 정보를 보정하고, 보정된 광류 정보로부터 중간 영상을 생성하는 방법에 관한 것이다.

일반적으로, 프레임 레이트 변환이란 입력된 영상신호의 주파수를 출력규격에 맞게 변환하는 것을 말한다. 예를 들어, 50Hz의 영상신호를 100hz로 변환하기 위해서는 원 프레임들 사이에 새로운 프레임을 삽입하게 되는데, 단순히 원 프레임을 반복하거나 시간적인 선형 보간방법을 이용하는 경우에는 motion blurring(움직임 흐려짐)현상이 발생하게 된다. 그래서, 이러한 모션 블러 현상을 감소시키는데 효과적인 고화질 프레임 레이트 변환방법으로 움직임 추정 및 보상기법을 이용하는 것이 일반적이다.

한편, 이러한 움직임 추정 및 보상기법을 이용하여 프레임을 보간하기 위해 많은 다양한 방법이 활발히 개발되고 있다. 이러한 프레임 보간방법으로는 블록 정 합이라고 불리우는 방법이 널리 적용되고 있다. 이러한 프레임 보간에 있어서 정확한 움직임 벡터의 추정은 매우 중요한 문제이다. 잘못 추정된 움직임 벡터는 보간 프레임에서 블록킹 아티팩트(artifact) 현상을 유발하기 때문이다. 전술한 바와 같이, 움직임 추정 및 보상을 이용한 프레임 보간방법이 많이 개발되어 제안되고 있음에도 불구하고, 신호의 노이즈 교란 및 어퍼쳐(aperture) 등의 문제로 잘못된 움직임 벡터가 추정되는 경우가 종종 발생하고 있다. 또한, 블록킹 아티팩트(artifact) 현상이 발생하는 또 다른 하나의 이유는 현재 프레임과 보간된 프레임의 같은 위치의 블록이 시간 차이로 인해 다른 움직임 벡터를 갖기 때문이다. 만약 현재 프레임에서 추정된 움직임 벡터가 바로 보간되는 프레임의 움직임 벡터로 직접 사용된다면 블록킹 아티팩트(artifact) 현상이 발생될 것이다.

한편, 다시점 비디오 기술을 포함하는 3차원 비디오 기술 개발은 전 세계적으로 미국, 유럽 그리고 일본에서 연구활동이 활발하게 이루어지고 있다. 다시점 3차원 TV는, 관찰자의 위치에 따라 다른 입체 영상을 볼 수 있어 보다 자연스러운 입체감 있는 영상을 제공할 수 있다. 그러나, 모든 시점의 영상을 갖는 것은 현실적으로 불가능하며, 전송 측면에서도 모든 시점에 대한 다량의 데이터를 전송할 경우 큰 비용이 필요하다. 따라서, 존재하지 않는 시점에 대한 영상을 전송된 영상을 이용해 생성하는 중간 시점 영상 합성 기술(Intermediate Vector Interpolation)이 필요하다. 중간 시점 영상 합성은 두 영상의 유사점을 찾아 두 영상간의 변이를 벡터로 표현하는 변이 추정(Disparity Estimation)이다. 변이 추정은 영상의 특징점들을 검출하여 정합시키는 특징 기반 변이 추정 방법(Feature Based Disparity Estimation Scheme)과, 비용 함수(Cost Function)의 최단 경로를 찾아 매칭시키는 다이내믹 프로그래밍 변이 추정 기법(Dynamic Programming Disparity Estimation Scheme)이 있다. 그리고, 정합창(Window)의 상관성을 측정하여 매칭시키는 영역 기반 변이 추정 기법(Area Based Disparity Estimation Scheme)이 있다.

한편, 시간적으로 연속되는 2개의 프레임에 대한 중간 영상을 생성하기 위하여, 광류 정보를 이용하기도 한다. 도 1의 (a) 및 (b)는 중간영상을 생성하기 위한 제1 프레임과 제2 프레임이며, 도 2는 종래의 방법에 따라 광류(Optical flow)를 계산하여 표시한 것이며, 도 3은 도 2의 광류 정보를 이용하여 생성한 중간 영상을 도시한 것이다. 도 2를 참조하면, 영상에 대해 계산된 광류는 움직임의 방향은 거의 정확하나 움직임의 벡터의 크기는 정확하지 않음을 알 수 있으며, 오류로 계산된 부분도 확인할 수 있다. 전술한 오류를 갖는 광류를 이용하여 중간 영상을 생성하는 경우, 도 3에 도시된 바와 같이 빈 부분이나 잘못된 영상값이 입력되는 결과가 발생된다. 그 결과 중간 영상을 정확하게 생성하지 못하게 되는 문제점이 있다. optical flow의 정보가 완벽한 것은 아니므로 사용자가 직접 리타이밍에 개입하여 더 나은 영상을 만들 수 있도록 하는 인터페이스를 개발하는 것도 연구해야 할 부분이다. 예를 들어 머리카락처럼 움직이는 방향성이 매우 자유로운 물체는 optical flow 정보만으로는 좋은 두 영상간의 중간 이미지를 생성할 수가 없다. 이럴 때 사용자가 머리카락의 부분의 움직임을 자연스러운 운동 방향으로 유도해 줄 수 있는 장치가 필요할 것이다.

또한, 영상내의 물체의 움직임이 크면 optical flow 알고리즘으로는 움직임 을 정확하게 구할 수 없게 되는 문제점이 있다.

전술한 문제점을 해결하기 위한 본 발명의 목적은 제1 프레임과 제2 프레임에 대한 광류 정보의 오차를 검출하고 검출된 오차들을 수정하여 효율적으로 중간 영상을 생성하는 방법을 제공하는 것이다.

전술한 기술적 과제를 달성하기 위한 본 발명의 특징은 영상처리시스템에서 제1 프레임과 제2 프레임의 중간 영상을 생성하는 방법에 관한 것으로서,

(a) 제1 프레임과 제2 프레임에 대한 광류(optical flow) 정보를 계산하는 단계; (b) 제1 프레임과 제2 프레임에 대하여 각각 영상 분할(segmentation)하는 단계; (c) 상기 영상 분할된 결과 정보를 이용하여 상기 광류 정보를 보정하는 단계; (d) 외부로부터 입력된 라인 피팅(line fitting) 위치 정보를 이용하여 상기 광류를 보정하는 단계; (e) 상기 보정된 광류 정보를 이용하여 상기 제1 프레임과 제2 프레임의 중간 영상을 생성하는 단계;를 구비한다.

전술한 특징을 갖는 중간 영상 생성 방법에 있어서, 상기 (b) 단계는 제1 프레임과 제2 프레임을 각각 영상 분할하여 다수 개의 세그먼트들을 생성하고, 제1 프레임의 각 세그먼트들과 제2 프레임의 세그먼트들이 서로 일치하는 부분을 계산하고, 서로 일치하는 세그먼트를 구성하는 각 픽셀들을 이용하여 광류 정보를 보정하는 것이 바람직하다.

전술한 특징을 갖는 중간 영상 생성 방법에 있어서, 상기 (b) 단계는 그래프 컷 알고리즘을 이용하여 영상 분할하는 것이 바람직하며, 사용자 인터페이스를 통해 사용자로부터 제1 프레임의 배경과 관심 물체를 지정받고, 상기 지정된 배경과 관심 물체를 영상 분할한 후 상기 배경을 제거하고 관심 물체에 대한 세그먼트를 분리해 내는 것이 더욱 바람직하다.

전술한 특징을 갖는 중간 영상 생성 방법에 있어서, 상기 (d) 단계에서의 상기 라인 피팅 위치 정보는 사용자 인터페이스를 통해 사용자에 의해 지정된 관심 영역이며, 제1 프레임에서 지정된 관심 영역을 구성하는 각 픽셀이 제2 프레임에서 이동한 위치를 확인하여 움직임 데이터를 생성하고, 상기 관심 영역을 구성하는 각 픽셀의 움직임 데이터를 이용하여 상기 광류 정보를 보정하는 것이 바람직하다.

전술한 특징을 갖는 중간 영상 생성 방법에 있어서, 상기 (e) 단계는 양선형 보간법을 이용하여 광류 정보로부터 각 픽셀의 값을 구하여 최종적으로 중간 영상을 생성하는 것이 바람직하다.

본 발명에 따른 중간 영상 생성 방법은 영상분할방법 및 라인 피팅 과정을 통해 광류 정보의 오차를 제거하여 정확한 중간 영상을 효율적으로 생성한다. 또한, 본 발명에 따른 중간 영상 생성 방법은 영상 분할 방법을 통해 세부적인 프레임간의 정보를 이용하여 잘못된 광류 정보를 수정하고, 사용자 인터페이스를 제공하여 사용자로부터 대략의 관심 물체와 배경을 지정받아 관심 물체에 초점을 맞춘 중간 영상을 생성할 수 있다.

본 발명에 따른 중간 영상 생성 방법은 영상내의 물체의 움직임이 큰 경우에 도 영상분할방법을 이용하여 관심 물체의 움직임만을 따로 계산한다. 따라서, 두 프레임의 이미지에서 관심 물체를 배경과 분리한 다음, 관심 물체의 이동방향만 고려하여 optical flow 정보의 오차를 줄일 수 있게 된다.

이하, 도면을 참조하여 본 발명의 바람직한 실시예들에 대해서 상세히 설명한다.

본 발명에 따른 중간 영상 생성 방법은 영상 처리 시스템에 사용되는 것으로서, 시간적으로 연속되는 2개의 프레임에 대한 광류 정보들을 영상 분할 및 라인 피팅 과정을 통해 보정하고, 보정된 광류 정보를 이용하여 상기 2개의 프레임에 대한 중간 영상을 생성한다.

도 4는 본 발명에 따른 중간 영상 생성 방법을 전체적으로 도시한 흐름도이다. 도 4를 참조하면, 상기 중간 영상 생성 방법은 중간 영상을 생성하고자 하는 제1 프레임 및 제2 프레임에 대한 영상 정보를 입력받고(단계 400), 상기 제1 프레임과 제2 프레임에 대한 기본적인 광류(optical flow) 정보를 생성한다(단계 410). 카메라를 이용하여 시간적으로 연속적인 영상들을 얻을 때 물체에 대하여 카메라의 위치를 이동시키거나 카메라에 대해서 물체의 위치를 이동시키면 영상 내의 각 화소들의 밝기의 변화가 나타난다. 이러한 영상내의 명암의 이동을 광류(optical Flow)라고 한다. 광류 정보를 이용하여 명암의 이동을 분석하여 물체의 3차원 구조를 추론하기도 한다. 전술한 바와 같이 시간적으로 연속되는 2개의 영상에 대한 광류 정보는 이미 널리 공지된 기술로서 다양한 분야에서 사용되고 있으므로, 본 명 세서에서는 상기 광류 정보를 계산하는 과정은 구체적으로 설명하지 않는다.

다음, 영상 분할 방법을 이용하여 상기 기본적인 광류 정보를 조정한다(단계 420). 이하 단계 420에 대하여 구체적으로 설명한다. 먼저, 제1 프레임과 제2 프레임을 각각 영상 분할(Segmentation)하여 각 프레임에 대하여 세부영역들인 다수개의 세그먼트(segment)를 생성한 후, 제1 프레임의 세그먼트들과 이에 대응되는 제2 프레임의 세그먼트들간의 일치하는 부분을 계산한다. 상기 세그먼트들은 동일하거나 유사한 화소값을 갖는 픽셀들을 클러스터링하고 클러스터링된 픽셀들을 분할시켜 세그먼트를 생성하게 된다. 도 5는 제1 및 제2 프레임들에 대하여 완전히 세그먼테이션이 수행된 결과를 나타내는 것으로서, (a) 및 (b)는 제1 및 제2 프레임의 각각에 대한 세그먼트들을 표시한다.

전술한 과정을 통해 제1 프레임과 제2 프레임에서 서로 일치되는 세그먼트들을 구성하는 픽셀들에 대한 위치 정보를 이용하여 상기 광류 정보를 보정한다(단계 430). 영상분할을 통해 개선되는 부분은 물체의 외곽(boundry) 부분이다. 이 외곽부분에서는 주변 픽셀값을 이용하여 픽셀의 intensity를 사용하는 특성으로 인하여, optical flow도 주변의 움직임에 영향을 받게 된다. 그 결과, 도 2의 광류에 도시된 바와 같이, 병아리 주변의 배경부분도 물체를 따라 같이 움직이게 되는 것을 볼수 있다. 이를 막기 위해, 영상 분할 후 배경부분은 배경에 해당되는 이웃들의 움직임에 영향을 받게 재조정하고, 물체부분은 물체 이웃부분의 움직임에 영향을 받게 재조정하게 된다. 즉, 영상 분할(segmentation)을 통해 제1 프레임의 관심 영역인 실제 움직임이 있고 영상에서 중요한 부분에 대하여 제2 프레임에서 상기 관심 영역을 구성하는 픽셀들이 어디로 움직이는지 조사하고, 상기 관심 영역을 구성하는 픽셀들이 이동한 위치 정보를 이용하여 상기 광류 정보를 수정한다.

한편, 단계 420의 처리 과정에서 제1 프레임의 세그먼트들과 제2 프레임의 세그먼트들 간의 매칭이 수행되므로, 초기 단계에서는 가시적으로 비일관성인 세그먼테이션이 수행되는 것처럼 보일 수 있다. 하지만 이러한 처리가 반복될 경우 매칭되는 세그먼트를 찾아 적합하게 세그먼테이션이 수행되는 것을 확인할 수 있다. 도 5를 참조하면, 세그먼트가 움직임으로 인하여 가리워짐(occlusion)이 발생함을 알 수 있고 이러한 영역은 적합하게 처리되지 않고 있음을 알 수 있다. 앞서 설명한 일관성 있는 영상 분할 알고리즘은 계산 시간이 오래 걸리는 단점이 있다.

본 발명에 따른 중간 영상 생성 방법에서의 영상 분할 단계의 다른 실시 형태는 HD급 영상에 대해 영상 분할을 하기 위한 더 간결한 알고리즘인 그래프컷(Graphcut) 알고리즘을 사용한다. 상기 그래프 컷 알고리즘은 비교적 계산시간이 오래 걸리지 않는 알고리즘이라 할 수 있다. 도 6은 그래프컷 알고리즘을 설명하기 위하여 도시한 그림으로서, (a)는 이미지이며 (b)는 (a)에 대한 그래프이다. 도 6을 참조하면, 그래프컷 알고리즘은 도 6의 (a)와 같은 이미지(image)를 도 6의 (b)에 도시된 그래프(graph)로 만들고, 각 그래프의 edge weight들을 픽셀값들의 상관관계로 정의하여 픽셀 intensity의 차이가 두드러지는 부분을 자르는 방법이다. 이러한 그래프컷 알고리즘은 사용자에 의해 간략하게 관심물체와 배경이 지정되면, 배경을 없애고 관심 물체에 대한 부분만 영상에서 떼어낼 수 있기 때문에, 관심 물체의 움직임을 추적할 때 매우 유용하다.

도 7은 그래프 컷 알고리즘을 이용하여 영상분할된 이미지들을 예시적으로 도시한 것으로서, (a)는 사용자에 의해 영상내의 관심 물체와 배경을 지정한 것이며, (b)는 관심 물체와 배경을 분리하여 관심 물체만을 표시한 것이다. 도 7의 (a)에서 파란색으로 표시된 영역은 사용자에 의해 배경으로 지정된 영역(background-blue line)이며, 붉은 색으로 표시된 영역은 사용자에 의해 관심 물체로 지정된 영역(foreground-red line)이다. 이와 같이, 본 실시 형태에 따라 그래프컷 알고리즘을 사용한 영상분할방법은 사용자가 간략하게 영상 내의 관심 물체와 배경을 지정하면, 지정된 배경은 삭제하고 관심 물체만을 영상으로부터 떼어냄으로써, 배경으로부터 관심 물체를 비교적 간단하게 분리해 낸다. 본 실시 형태는 이러한 과정을 통해 제1 프레임 및 제2 프레임에서의 관심 물체를 배경으로부터 분리해 낸 후, 각 프레임에서의 관심 물체를 매칭시키고, 매칭된 각 픽셀의 위치 정보를 이용하여 광류 정보를 보정할 수 있게 된다.

다음, 라인 피팅 방법을 이용하여 광류 정보를 조정한다(단계 430). 이하 단계 430에 대하여 구체적으로 설명한다. 먼저, 사용자 인터페이스를 통해, 사용자로부터 제1 프레임에서의 라인 피팅(line fitting)할 관심 영역을 지정받고, 사용자에 의해 지정된 제1 프레임의 관심 영역을 구성하는 각 픽셀들이 제2 프레임의 어디로 이동하였는지를 검사하여, 제1 프레임의 관심 영역의 각 픽셀이 이동한 제2 프레임의 위치 정보를 포함하는 움직임 데이터를 생성한다. 여기서 관심 영역은 프레임에서 실제 움직임이 있고 영상에서 중요한 부분이 될 수 있다. 다음, 관심 영역에 대해 생성된 상기 움직임 데이터를 상기 광류 정보를 보정한다. 도 8은 제1 프레임에 대하여 사용자로부터 지정된 관심 영역이 붉은 색으로 표시된 것이다.

실제로 실사영상에 있어서 움직임은 최대한 5픽셀-10픽셀 이하로 제한된다. 이는 초당 23-30프레임이 실사 영상의 프레임 수인데 이보다 픽셀의 움직임이 있는 영상은 그리 많지 않다. 영상의 분할 부분이나 라인을 매칭하고자 할때는 위와 같은 제한조건을 이용하여 주변 픽셀값이나 라인을 추출하여 제1 프레임의 영역 또는 라인과 제2 프레임의 영역 또는 라인과 매칭을 시도하게 된다. 영상 전부분에 대하여 조사하는 것이 아니기 때문에 계산 시간은 그다지 크지 않다. 따라서, 전술한 과정을 통해 구한 이동한 위치 정보를 포함하는 움직임 데이터를 통해 기본적인 optical flow를 상당량 개선할 수 있게 된다.

다음, 관심 영역에 대한 광류 정보에 오류가 있는지 여부를 확인한다(단계 440). 만약 관심 영역에 대한 광류 정보에 오류가 없는 경우에는 상기 광류 정보를 이용하여 중간 영상을 생성하며(단계 450), 그렇지 아니한 경우 단계 420으로 되돌아가서 영상 분할 방법 및 라인 피팅 방법을 통해 광류 정보를 보정하는 과정을 반복적으로 수행한다.

이하, 단계 450의 상기 보정된 광류 정보를 이용하여 제1 프레임과 제2 프레임의 중간 영상을 생성하는 과정을 구체적으로 설명한다. 광류 정보를 이용하여 중간 영상을 생성하는 단계에서, 양선형 보간법(bilinear interpolation)을 이용하여 각 픽셀의 값을 구함으로써, 광류 정보가 각 픽셀값에 정확하게 위치하도록 한다. 이는 제1 프레임의 한 픽셀의 제2 프레임 기대 이동값이 소수를 포함하기 때문이다. 도 9는 전술한 양선형 보간법의 식을 설명하기 위하여 도시한 그림이다. 도 9 를 참조하면, 소수부분이 α와 β인 X 좌표에서의 픽셀 값을 구한다고 가정하고, 인접한 픽셀들을 A, B, C, D라고 가정하면, 도시된 수학식에 따라 X의 보간된 좌표를 구할 수 있다. 도 10은 (a)와 (c)가 각각 입력된 제1 프레임 및 제2 프레임을, (b)는 광류 정보로부터 생성된 중간 영상을 보여주고 있다. 한편, 도 11은 본 발명에 따른 방법을 이용하여 도 2의 제1 프레임과 제2 프레임에 대하여 생성한 중간 영상이다. 중간 이미지가 입력 이미지보다 선명도가 떨어지는 이유는 optical flow 알고리즘이 가지는 특성 때문이다. 즉, 광류 알고리즘은 특정 픽셀에 대한 주변 픽셀의 값들을 참조하여 상기 특정 픽셀에 대한 다음 프레임의 기대 움직임을 추정하는 시스템이기 때문에, 입력 이미지보다 중간 이미지의 선명도가 떨어지게 된다. 그러나 리타이밍은 이미지를 한 장씩 보는 기술이 아니라 영상으로 중간 이미지를 채워 넣는 시스템이기에 약간의 블러링(blurring)은 영상 자체의 질을 현저히 떨어뜨리지는 않게 된다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명에 따른 중간 영상 생성 방법은 실사 영상에서의 중간 영상을 생성하 는 영상 처리 시스템에 사용될 수 있다. 특히 중간 영상 생성 방법은 영상 후처리 작업에서 매우 유용하게 사용할 수 있는 기술이며, 또한 중간 영상이 소실된 필름이나 비교적 큰 부분의 복원이 필요할 때 사용할 수도 있는 기술이다. 현재의 HD급 또는 그 이상의 해상도를 가진 영상을 촬영할 때 문제는 메모리 사용이 비약적으로 증가하는 데 있으나, 본 발명에 의해 고속 카메라에 의한 촬영 효과를 쉽게 줄 수 있다.

도 1의 (a) 및 (b)는 중간영상을 생성하기 위한 제1 프레임과 제2 프레임이며, 도 2는 종래의 방법에 따라 광류(Optical flow)를 계산하여 표시한 것이며, 도 3은 도 2의 광류 정보를 이용하여 생성한 중간 영상을 도시한 것이다.

도 4는 본 발명에 따른 중간 영상 생성 방법을 전체적으로 도시한 흐름도이다.

도 5는 제1 및 제2 프레임들에 대하여 완전히 세그먼테이션이 수행된 결과를 나타내는 것으로서, (a) 및 (b)는 제1 및 제2 프레임의 각각에 대한 세그먼트들을 표시한다.

도 6은 그래프컷 알고리즘을 설명하기 위하여 도시한 그림으로서, (a)는 이미지이며 (b)는 (a)에 대한 그래프이다.

도 7은 그래프 컷 알고리즘을 이용하여 영상분할된 이미지들을 예시적으로 도시한 것으로서, (a)는 사용자에 의해 영상내의 관심 물체와 배경을 지정한 것이며, (b)는 관심 물체와 배경을 분리하여 관심 물체만을 표시한 것이다.

도 8은 제1 프레임에 대하여 사용자로부터 지정된 관심 영역이 붉은 색으로 표시된 것이다.

도 9는 전술한 양선형 보간법의 식을 설명하기 위하여 도시한 그림이다.

도 10은 (a)와 (c)가 각각 입력된 제1 프레임 및 제2 프레임을, (b)는 본 발명에 따른 방법을 이용하여 보정된 광류 정보로부터 생성된 중간 영상을 보여주고 있다.

도 11은 본 발명에 따른 방법을 이용하여 도 2의 제1 프레임과 제2 프레임에 대하여 생성한 중간 영상이다.

Claims (7)

1. 영상처리시스템에서 제1 프레임과 제2 프레임의 중간 영상을 생성하는 방법에 있어서,

   (a) 제1 프레임과 제2 프레임에 대한 광류(optical flow) 정보를 계산하는 단계;

   (b) 제1 프레임과 제2 프레임에 대하여 각각 영상 분할(segmentation)하는 단계;

   (c) 상기 영상 분할된 결과 정보를 이용하여 상기 광류 정보를 보정하는 단계;

   (d) 외부로부터 입력된 라인 피팅(line fitting) 위치 정보를 이용하여 상기 광류를 보정하는 단계;

   (e) 상기 보정된 광류 정보를 이용하여 상기 제1 프레임과 제2 프레임의 중간 영상을 생성하는 단계;

   를 구비하는 중간 영상 생성 방법.
2. 제1항에 있어서, 상기 (b) 단계는

   제1 프레임과 제2 프레임을 각각 영상 분할하여 다수 개의 세그먼트들을 생성하고, 제1 프레임의 각 세그먼트들과 제2 프레임의 세그먼트들이 서로 일치하는 부분을 계산하고, 서로 일치하는 세그먼트를 구성하는 각 픽셀들을 이용하여 광류 정보를 보정하는 것을 특징으로 하는 중간 영상 생성 방법.
3. 제1항에 있어서, 상기 (b) 단계는 그래프컷 알고리즘을 이용하여 제1 프레임 및 제2 프레임의 영상 분할하는 것을 특징으로 하는 중간 영상 생성 방법.
4. 제3항에 있어서, 사용자 인터페이스를 통해 사용자로부터 제1 프레임의 배경과 관심 물체를 지정받고, 상기 지정된 배경과 관심 물체를 영상 분할한 후 상기 배경을 제거하고 관심 물체에 대한 세그먼트를 분리해 내는 것을 특징으로 하는 중간 영상 생성 방법.
5. 제1항에 있어서, 상기 (d) 단계에서의 상기 라인 피팅 위치 정보는 사용자 인터페이스를 통해 사용자에 의해 지정된 관심 영역이며, 제1 프레임에서 지정된 관심 영역을 구성하는 각 픽셀이 제2 프레임에서 이동한 위치를 확인하여 움직임 데이터를 생성하고, 상기 관심 영역을 구성하는 각 픽셀의 움직임 데이터를 이용하여 상기 광류 정보를 보정하는 것을 특징으로 하는 중간 영상 생성 방법.
6. 제1항에 있어서, 상기 (e) 단계는 양선형 보간법을 이용하여 광류 정보로부터 각 픽셀의 값을 구하여 최종적으로 중간 영상을 생성하는 것을 특징으로 하는 중간 영상 생성 방법.
7. 제1항에 있어서, 상기 (e) 단계를 실행하기 전에 관심 영역에 대한 광류 정보에 오류가 있는지 여부를 판단하고, 만약 오류가 있는 경우 단계 (b), 단계 (c) 및 단계 (d)를 반복 수행하는 것을 특징으로 하는 중간 영상 생성 방법.

Images