KR100868076B1 - 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법 - Google Patents

인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법 Download PDF

Info

Publication number
KR100868076B1
KR100868076B1 KR1020060134733A KR20060134733A KR100868076B1 KR 100868076 B1 KR100868076 B1 KR 100868076B1 KR 1020060134733 A KR1020060134733 A KR 1020060134733A KR 20060134733 A KR20060134733 A KR 20060134733A KR 100868076 B1 KR100868076 B1 KR 100868076B1
Authority
KR
South Korea
Prior art keywords
image
frame
field
synthesizing
temporary
Prior art date
Application number
KR1020060134733A
Other languages
English (en)
Other versions
KR20080060531A (ko
Inventor
이영민
김병수
서정각
Original Assignee
에이알비전 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이알비전 (주) filed Critical 에이알비전 (주)
Priority to KR1020060134733A priority Critical patent/KR100868076B1/ko
Publication of KR20080060531A publication Critical patent/KR20080060531A/ko
Application granted granted Critical
Publication of KR100868076B1 publication Critical patent/KR100868076B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

본 발명은 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및 방법에 관한 것이다. 본 발명에 따른 인터레이스 방식의 동영상에서 이미지를 합성하는 방법은 프레임 단위로 입력되는 동영상 이미지를 필드 별로 분리하는 단계와, 분리된 필드들에 부족한 영상 정보를 보간법에 의해 복원하여 임시 프레임들을 생성하는 단계와, 생성된 임시 프레임들에 삽입 이미지를 소정 방법에 의해 합성하는 단계와, 삽입 이미지가 합성된 임시 프레임들에서 보간법에 의해 복원된 영상 정보를 제거하여 필드로 복원하는 단계 및, 복원된 필드를 합쳐 삽입 이미지가 합성된 프레임을 생성하는 단계를 포함한다. 본 발명에 의하면 녹화 방송에서 가상 광고 구현 시 카메라가 움직이면서 촬영된 동영상에도 떨림 현상 없이 가상 이미지를 합성시킬 수 있으며 합성 영역에 특징이 없더라도 합성 영역을 추정하여 가상 이미지를 삽입 할 수 있다.
합성, 가상, 인터레이스, 동영상, 이미지

Description

인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및 방법{Apparatus and Method for Image Synthesis in Interaced Moving Picture}
도 1은 본 발명의 일 실시예에 따른 인터레이스 방식의 동영상에서 삽입 이미지를 합성하는 장치를 설명하기 위해 제공되는 도면이다.
도 2는 도 1의 이미지 합성 장치를 자세하게 나타낸 블록도이고, 도 3은 본 발명의 일 실시예에 따른 이미지 합성 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 합성 방법의 흐름도이다.
도 4는 도 3의 삽입 이미지 합성 단계를 보다 상세히 나타낸 흐름도이다.
* 도면 부호의 설명 *
10 : 방송용 카메라 20 : 프레임 그래버
100 : 이미지 합성 장치 110 : 이미지 입력부
120 : 필드 분리부 130 : 임시 프레임 생성부
140 : 이미지 합성부 141 : 특징점 추적부
143 : 합성영역 추정부 145 : 합성 처리부
150 : 필드 복원부 160 : 프레임 복원부
본 발명은 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및 방법에 관한 것이다.
최근들어 배경 동영상에 삽입된 이미지가 실제로 존재했던 것처럼 보이도록 하는 이미지 삽입 합성 기술이 방송 기술 업계에서 많이 사용되고 있다. 스포츠 중계 방송 등에서 경기장에 존재하지 않는 광고 이미지를 경기장에 실제로 존재하는 것처럼 중계 화면에 삽입하여 시청자들에게 송출하는 가상 광고 시스템을 그 예로 들 수 있다.
이러한 이미지 삽입 합성 기술에서 중요한 것은 배경 동영상에서 같은 위치를 정확하게 추적하는 기술과 해당 위치에 삽입 이미지를 사실적으로 합성하는 기술이다.
배경 동영상에서 같은 위치를 추적하는 기술로 현재까지 연구된 알고리즘 중에서 대표적인 것은 Shi-Tomasi 방법, Tommasini 방법 및 Hailin Jin 방법이 있다. Shi-Tomasi 방법은 첫번째 영상과 현재 영상의 차이성(dissimilarity)을 계산하고 그 정보를 이용하여 추적의 정확성을 판별한 다음 정확성이 낮은 부분을 제거하는 방법이다. 그리고 Tommasini 방법은 Shi-Tomasi 방법에서 정확성을 판별하는 기준을 X84 법칙을 이용하여 자동으로 판별이 가능하도록 하는 방법으로 구현한다. 이러한 관심영역 추적방법은 해당 영역의 카메라 위치에 대한 변형을 고려하여 영역 내의 밝기 정보가 변하지 않는다는 가정을 두고 있다. 한편, Hailin Jin 방법은 광학 정보를 이용하여 영역 내의 밝기 정보가 빛의 밝기 변화에 의해 변하더라도 추적이 가능한 방법이다.
이러한 방법들은 관심영역이 다른 부분에 비해 밝기 분포가 뚜렷하여 구분이 되어야만 가능한 방법으로 관심영역의 특징에 상관없이 위치를 추적하고 광고를 삽입하는 것이 요구될 수 있는 가상광고에서는 문제점이 있었다.
한편 기존의 TV 방송용 동영상은 인터레이스 방식으로 이루어져 있다. 인터레이스 방식에 따르면 동영상은 초당 30 프레임으로 이루어지지만 실제로는 홀수 행과 짝수 행을 번갈아서 60 필드로 이루어진다. 즉, 한 프레임은 두 필드로 구성되며 이는 한 프레임이 두개의 서로 다른 시점에서 촬영됨을 의미한다. 따라서, 기존의 프레임 단위로 이미지를 합성하는 방식에 의하면 삽입 이미지는 서로 다른 두 시점의 배경 이미지에 함께 합성되는 것과 같다. 따라서 합성하고자 하는 영역에 움직임이 없을 경우에는 문제가 없으나 움직임이 있는 경우에는 합성 객체는 두 필드 사이에 정지되어 있는 것으로 보여 결과적으로 자연스럽지 못한 떨림 현상이 발생하는 문제점이 있었다.
따라서 본 발명이 이루고자 하는 기술적 과제는 합성하고자 하는 영역에 추적할만한 특징이 없더라도 합성위치를 계산할 수 있고 이미지 합성 시 발생하는 화면 떨림 현상을 없앨 수 있는 인터레이스 방식의 동영상에 이미지를 합성하는 장치 및 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 일 실시예에 따른 인터레이스 동영상의 이미지 합성 방법은 프레임 단위로 입력되는 동영상 이미지를 필드 별로 분리하는 단계와, 상기 분리된 필드들에 부족한 영상 정보를 보간법에 의해 복원하여 임시 프레임들을 생성하는 단계와, 상기 생성된 임시 프레임들에 삽입 이미지를 소정 방법에 의해 합성하는 단계와, 상기 삽입 이미지가 합성된 임시 프레임들을 보간법에 의해 복원된 영상 정보를 제거하여 필드로 복원하는 단계 및, 상기 복원된 필드를 합쳐 상기 삽입 이미지가 합성된 프레임을 생성하는 단계를 포함한다.
또한, 상기 프레임 단위로 입력되는 동영상 이미지는 홀수 필드와 짝수 필드로 분리되는 것이 바람직하다.
또한, 상기 삽입 이미지를 상기 임시 프레임에 합성하는 단계는, 상기 임시 프레임에서 특징점을 추적하는 단계와, 상기 추적된 특징점들로부터 구해지는 평면선형변환 행렬을 이용하여 상기 임시 프레임에서 합성 영역을 추정하는 단계 및 상기 추정된 합성 영역에 상기 삽입 이미지를 합성하는 단계를 포함하는 것이 바람직하다.
상기 특징점 추적은 하기 수학식을 이용하여 이루어지는 것이 바람직하다.
I(X,t) = I(g(X),t+1)
g(X) = AX+d
e = [I(g(X),t+1)-I(X,t)]2
여기서, X는 t번째 프레임의 한 점의 위치 벡터이고, I(X,t)는 점(X)의 이미지 값이며, g(X)는 X의 선형 변환이고, A는 아핀변환(affine transformation)계수 이며 d는 변위(displacement)로써 에러(e)를 최소로하는 값으로 구해진다.
또한, 상기 평면선형변환 행렬은 하기 수학식에 의해서 구해지는 것이 바람직하다.
HX=X'
여기서, X'는 t+1번째 프레임의 한 점의 위치 벡터이다.
또한, 상기 평면선형변환 행렬(H)은 상기 특징점 추적에 의해 t번째 프레임과 t+1번째 프레임 사이에 구해지는 일치점을 적어도 4개 이상 이용하여 구해지는 것이 바람직하다.
또한, 상기 추정된 합성 영역에 상기 삽입 이미지 합성은 와핑 계수를 이용한 와핑 방법에 의해 이루어지는 것이 바람직하다.
한편 상기 기술적 과제를 이루기 위한 본 발명의 일 실시예에 따른 인터레이스 동영상의 이미지 합성 장치는 프레임 단위로 입력되는 동영상 이미지를 필드 별로 분리하는 필드 분리부와, 상기 분리된 필드들에 부족한 영상 정보를 보간법에 의해 복원하여 임시 프레임들을 생성하는 임시 프레임 생성부와, 상기 생성된 임시 프레임들에 삽입 이미지를 소정 방법에 의해 합성하는 이미지 합성부와, 상기 삽입 이미지가 합성된 임시 프레임들을 보간법에 의해 복원된 영상 정보를 제거하여 필드로 복원하는 필드 복원부 및, 상기 복원된 필드를 합쳐 상기 삽입 이미지가 합성된 프레임을 생성하는 프레임 복원부를 포함한다.
여기서, 상기 이미지 합성부는, 상기 임시 프레임에서 특징점을 추적하는 특징점 추적부와, 상기 추적된 특징점들로부터 구해지는 평면선형변환 행렬을 이용하 여 상기 임시 프레임에서 합성 영역을 추정하는 합성 영역 추정부 및, 상기 추정된 합성 영역에 상기 삽입 이미지를 합성하는 합성 처리부를 포함하는 것이 바람직하다.
이하 첨부된 도면을 참조하여 본 발명에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인터레이스 방식의 동영상에서 삽입 이미지를 합성하는 장치를 설명하기 위해 제공되는 도면이다.
도 1을 참조하면, 방송용 카메라(10)로부터 촬영된 동영상은 프레임 그래버(20)를 통해 프레임 단위로 처리되어 프레임 버퍼(미도시)에 저장되고 본 발명에 따른 이미지 합성 장치(100)에 제공된다.
이미지 합성 장치(100)는 프레임 그래버(20)에서 프레임 단위로 입력되는 동영상 이미지에 소정 방법에 의해 운영자로부터 지정된 가상 이미지를 삽입하여 합성한 후 출력한다. 이에 의해, 시청자는 방송용 카메라(10)에서 촬영된 원본 동영상에 가상 이미지가 삽입된 동영상을 시청하게 되며, 촬영 현장 자체에 가상 이미지가 실제로 존재하는 것 처럼 느끼게 된다.
이하, 이미지 합성 장치(100)에서 삽입 이미지(가상 이미지)를 동영상 이미지에 합성하는 방법에 대해서 자세히 설명한다.
도 2는 도 1의 이미지 합성 장치를 자세하게 나타낸 블록도이고, 도 3은 본 발명의 일 실시예에 따른 이미지 합성 방법의 흐름도이다.
도 2를 참조하면, 본 발명에 따른 이미지 합성 장치(100)는 이미지 입력부(110), 필드 분리부(120), 임시 프레임 생성부(130), 이미지 합성부(140), 필드 복 원부(150) 및 프레임 복원부(160)를 포함할 수 있다. 이미지 합성부(140)는 특징점 추적부(141), 합성영역 추정부(143) 및 합성 처리부(145)를 포함한다.
도 2 및 도 3을 참조하면, 먼저 이미지 입력부(110)는 프레임 그래버(20)에서 프레임 단위로 동영상 이미지를 입력받는다(S310). 또한, 이미지 입력부(110)는 외부로부터 동영상 이미지에 합성될 삽입 이미지를 입력받을 수 있다.
한편 이미지 합성 장치(100)는 운영자로부터 이미지 합성 장치(100)의 동작 제어를 위한 명령을 입력받을 수 있으며 이미지 합성 장치(100)에서 합성 처리된 동영상 이미지를 표시하여 운영자가 확인할 수 있도록 하는 사용자 인터페이스부(미도시)를 포함할 수 있다.
다음으로, 필드 분리부(120)는 프레임 그래버(20)에서 입력된 인터레이스 방식의 동영상 이미지의 프레임들을 필드 별로 분리한다(S320). 필드 분리부(120)는 프레임을 홀수 필드와 짝수 필드로 분리할 수 있다. 여기서, 홀수 필드는 이미지 프레임에서 홀수 번째 수평 라인들로 이루어진 필드를 의미하며, 짝수 필드는 이미지 프레임에서 짝수 번째 수평 라인들로 이루어진 필드를 의미한다. 필드 분리부(130)는 하기 수학식 1에 의해서 이미지 프레임을 홀수 필드와 짝수 필드로 분리할 수 있다.
Fodd(x,y) = I(x,y), if y가 홀수
= 0 , if y가 짝수
Feven(x,y) = 0 , if y가 홀수
= I(x,y), if y가 짝수
여기서, I(x,y)는 이미지 프레임에서 좌표(x, y)에 해당하는 점(pixel:화소)의 이미지 값을 의미하며, Fodd(x,y)는 홀수 필드에서 좌표(x, y)에 해당하는 점의 이미지 값을 의미하고, Feven(x,y)는 짝수 필드에서 좌표(x, y)에 해당하는 점의 이미지 값을 의미한다.
이후, 임시 프레임 생성부(130)는 필드 분리부(120)에서 분리된 홀수 필드와 짝수 필드에서 부족한 영상 정보를 보간법을 이용하여 복원함으로써 임시 프레임들을 생성한다(S330). 임시 프레임 생성부(130)에서 생성되는 임시 프레임들은 필드 분리부(120)에서 분리된 홀수 필드 및 짝수 필드에 각각 대응된다. 임시 프레임 생성부(130)는 아래 수학식 2에 의해서 부족한 영상 정보를 복원시킬 수 있다.
F(x,y) = (F(x,y-1)+F(x,y+1))/2 , if F(x,y) = 0
= F(x,y) , if F(x,y) ≠ 0
다음으로 이미지 합성부(140)는 임시 프레임 생성부(130)에서 생성된 임시 프레임들에 소정의 방법에 의해 삽입 이미지를 합성시킨다(S340). 본 발명에 따르면 프레임 그래버(20)에서 입력된 원본 동영상 이미지 프레임을 2개의 임시 프레임들로 분리한 뒤 삽입 이미지를 합성한다. 여기서, 임시 프레임은 동일 시간대에서 촬영된 수평 라인들로 이루어져 있기 때문에 삽입 이미지는 각각의 시간대에 대해 서 합성되는 것과 같다. 따라서 본 발명에 따라 삽입 이미지를 합성하면 떨림 현상이 일어나지 않는다.
이하에서는 특징이 없는 영역에 삽입 이미지를 합성하기 위해서 기하 정보를 이용하여 합성 영역을 추정하는 방법에 대해서 도 4를 참조하여 자세히 설명한다. 도 4는 도 3의 삽입 이미지 합성 단계를 보다 상세히 나타낸 흐름도이다.
일반적으로 동영상에서 t번째 프레임의 한 점(X)의 이미지 값을 I(X,t)라고 하면 t+1번째 프레임 내의 일치점(g(X)) 사이에는 아래 수학식 3이 만족한다. 여기서, X는 t번째 프레임 내의 한 점의 위치 벡터를 의미한다.
I(X,t) = I(g(X),t+1)
여기서, g(X)는 X의 선형 변환으로 수학식 4로 나타낼 수 있다.
g(X) = AX+d
여기서, A는 아핀변환(affine transformation)이고, d는 변위(displacement)이다.
따라서 t번째 프레임 내의 한 점(X)을 포함하는 특정 영역과 t+1번째 프레임 내의 일치 영역을 구하는 문제는 아래의 수학식 5에 의해서 구할 수 있다.
e = [I(g(X),t+1)-I(X,t)]2
수학식 5에서 [I(g(X),t+1)-I(X,t)]2은 이미지값(I(g(X),t+1))과 이미지값(I(X,t)) 사이의 에러(e)를 의미하므로 변환 g(X)의 계수(A, d)는 에러(e)가 '0'이 되도록 하는 값으로 구해지는 것이 바람직하다. 다만, 실제적으로는 에러(e)가 '0'이 되기 어려우므로 변환 g(X)의 계수(A, d)는 에러(e)를 최소화하는 값으로 구할 수 있다. 이와 같이 수학식 5에 의해 변환 g(X)의 계수(A, d)를 구하면 t번째 프레임 내의 한 점(X)과 일치하는 t+1번째 프레임 내의 점(g(X))을 구할 수 있다. 따라서 본 발명에 따른 특징점 추적부(141)는 수학식 3, 4, 5를 이용하여 t번째 프레임과 t+1번째 프레임 사이의 일치점들(X, X')을 특징점으로 추적할 수 있다(S341).
한편, t번째 프레임의 한 점(X)과 t+1번째 프레임의 일치하는 점(X')이 평면선형변환 관계가 있는 경우에는 하기 수학식 6의 관계가 성립한다. 일반적으로는 다른 위치에서 얻어진 두 장의 영상 사이의 변화는 깊이 차이로 인해 평면선형변환 관계로 설명되지는 않는다. 그러나 카메라의 이동 없이 회전만으로 얻어진 영상 간에는 평면선형변환(planar transformation : homography) 관계가 있으며, 카메라의 이동이 있는 경우에도 대상 영역이 평면으로 이루어져 있다면 그 평면에 한해서는 평면선형변환의 관계가 있다. 따라서, 하기 수학식 6의 관계가 성립한다.
HX=X'
여기서 평면선형변환 행렬(H)은 3×3 행렬일 경우 특징점 추적부(141)에 의 해 추적된 4개 이상의 일치점들을 사용하여 DLT(Direct Linear Transform)방법으로 구할 수 있다. 여기서, 구해진 평면선형변환 행렬(H)은 뒤에서 영상 합성 시 와핑 계수(W)로 사용될 수 있다.
이후, 합성영역 추정부(143)는 수학식 6에 의해 구해진 평면선형변환 행렬(H)을 이용하여 동영상의 임시 프레임 상에서 합성 영역을 추정할 수 있다(S343). 예를 들어 t+1번째 프레임에서 합성 영역(A')는 t번째 프레임에서 합성 영역(A)를 평면선형변환 행렬(H)로 변환함으로써 구해진다.
다음으로 합성 처리부(145)는 추정된 합성 영역에 와핑 계수(W)를 이용하여 삽입 이미지를 합성한다(S345). 보다 자세하게는 합성 처리부(145)는 동영상의 임시 프레임 상에서 합성 영역이 결정된 후 삽입 이미지를 와핑 계수(W)를 이용하여 합성 영역에 맞도록 와핑(warping)한다. 와핑은 평면(삽입 이미지)에서 평면(동영상의 임시 프레임 상에서 합성 영역)으로 가는 평면선형변환에 의해 이루어지므로 상기한 바와 같이 와핑 계수는 평면선형변환 행렬(H)이 이용될 수 있다. 즉, 합성 처리부(145)는 와핑 계수(W)가 구해지면 하기 수학식 7에 의해 합성 영역에 삽입 이미지를 합성할 수 있다. 하기 수학식 7은 와핑계수(W)를 이용하여 t번째 프레임을 변형하여 t+1번째 영상(V)으로 저장하는 것을 나타낸 것이다.
I(W(X))=V(X)
여기서, W는 와핑 계수, X는 프레임의 한 점, W(X)는 동영상의 t번째 프레임에서 X를 와핑계수(W)를 이용하여 변환한 점, I(X)는 t번째 영상에서 점(X)의 이미 지값, V(X)는 t+1번째 영상에서 점(X)의 이미지값이다.
다시 도 2 및 도 3을 참조하면, 필드 복원부(150)는 삽입 이미지가 합성된 임시 프레임들로부터 임시 프레임 생성부(130)에서 임시 프레임 생성 시 복원되었던 영상 정보를 제거하여 다시 홀수 필드와 짝수 필드로 복원시킨다(S350). 영상 정보 제거는 상기 수학식 2에 의해 복원된 영상 정보를 다시 '0'으로 되돌리는 것으로 이루어질 수 있다.
마지막으로 프레임 복원부(160)는 복원된 홀수 필드와 짝수 필드를 다시 원형의 프레임으로 복원함으로써 동영상에 삽입 이미지가 합성된 합성 영상을 생성하여 출력한다(S360).
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
이와 같이 본 발명에 의하면 녹화 방송에서 가상 광고 구현 시 카메라가 움직이면서 촬영된 동영상에도 떨림 현상 없이 가상 이미지를 합성시킬 수 있는 장점이 있다. 또한 본 발명은 합성 영역에 특징이 없더라도 합성 영역을 추정하여 가상 이미지를 삽입 할 수 있는 장점이 있다.

Claims (12)

  1. 프레임 단위로 입력되는 동영상 이미지를 필드 별로 분리하는 단계;
    상기 분리된 필드들에 부족한 영상 정보를 보간법에 의해 복원하여 임시 프레임들을 생성하는 단계;
    상기 생성된 임시 프레임들에 삽입 이미지를 합성하는 단계;
    상기 삽입 이미지가 합성된 임시 프레임들에서 보간법에 의해 복원된 영상 정보를 제거하여 필드로 복원하는 단계; 및,
    상기 복원된 필드를 합쳐 상기 삽입 이미지가 합성된 프레임을 생성하는 단계; 를 포함하며,
    상기 프레임 단위로 입력되는 동영상 이미지는 홀수 필드와 짝수 필드로 분리되고,
    상기 삽입 이미지를 상기 임시 프레임에 합성하는 단계는,
    상기 임시 프레임에서 특징점을 추적하는 단계;
    상기 추적된 특징점들로부터 구해지는 평면선형변환 행렬을 이용하여 상기 임시 프레임에서 합성 영역을 추정하는 단계; 및,
    상기 추정된 합성 영역에 상기 삽입 이미지를 합성하는 단계; 를 포함하는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 분리된 필드들에서 부족한 영상 정보의 복원은 아래 수학식에 의해 이루어지는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 방법:
    F(x,y) = (F(x,y-1)+F(x,y+1))/2 , if F(x,y) = 0
    = F(x,y) , if F(x,y) ≠ 0
    여기서, F(x,y)는 영상에서 좌표(x, y)에 위치하는 화소(pixel)의 이미지 값이다.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 특징점 추적은 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 방법:
    I(X,t) = I(g(X),t+1)
    g(X) = AX+d
    e = [I(g(X),t+1)-I(X,t)]2
    여기서, X는 t번째 프레임의 한 점의 위치 벡터이고, I(X,t)는 점(X)의 이미지 값이며, g(X)는 X의 선형 변환이고, A는 아핀변환(affine transformation)계수이며 d는 변위(displacement)로써 에러(e)를 최소로하는 값으로 구해진다.
  6. 제 5 항에 있어서,
    상기 평면선형변환 행렬은 하기 수학식에 의해서 구해지는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 방법:
    HX=X'
    여기서, X'는 t+1번째 프레임의 한 점의 위치 벡터이다.
  7. 제 6 항에 있어서,
    상기 평면선형변환 행렬(H)은 상기 특징점 추적에 의해 t번째 프레임과 t+1번째 프레임 사이에 구해지는 일치점을 적어도 4개 이상 이용하여 구해지는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 방법.
  8. 제 5 항에 있어서,
    상기 추정된 합성 영역에 상기 삽입 이미지 합성은 와핑 계수를 이용한 와핑 방법에 의해 이루어지는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 방법.
  9. 프레임 단위로 입력되는 동영상 이미지를 필드 별로 분리하는 필드 분리부;
    상기 분리된 필드들에 부족한 영상 정보를 보간법에 의해 복원하여 임시 프레임들을 생성하는 임시 프레임 생성부;
    상기 생성된 임시 프레임들에 삽입 이미지를 합성하는 이미지 합성부;
    상기 삽입 이미지가 합성된 임시 프레임들을 보간법에 의해 복원된 영상 정보를 제거하여 필드로 복원하는 필드 복원부; 및,
    상기 복원된 필드를 합쳐 상기 삽입 이미지가 합성된 프레임을 생성하는 프레임 복원부; 를 포함하며,
    상기 이미지 합성부는,
    상기 임시 프레임에서 특징점을 추적하는 특징점 추적부;
    상기 추적된 특징점들로부터 구해지는 평면선형변환 행렬을 이용하여 상기 임시 프레임에서 합성 영역을 추정하는 합성 영역 추정부; 및,
    상기 추정된 합성 영역에 상기 삽입 이미지를 합성하는 합성 처리부; 를 포함하고,
    상기 특징점 추적은 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 장치:
    I(X,t) = I(g(X),t+1)
    g(X) = AX+d
    e = [I(g(X),t+1)-I(X,t)]2
    여기서, X는 t번째 프레임의 한 점의 위치 벡터이고, I(X,t)는 점(X)의 이미지 값이며, g(X)는 X의 선형 변환이고, A는 아핀변환(affine transformation)계수이며 d는 변위(displacement)로써 에러(e)를 최소로하는 값으로 구해진다.
  10. 제 9 항에 있어서,
    상기 필드 분리부는 상기 프레임 단위로 입력되는 동영상 이미지를 홀수 필드와 짝수 필드로 분리하는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 장치.
  11. 삭제
  12. 제 9 항에 있어서,
    상기 평면선형변환 행렬은 하기 수학식에 의해서 구해지는 것을 특징으로 하는 인터레이스 동영상의 이미지 합성 장치:
    HX=X'
    여기서, X'는 t+1번째 프레임의 한 점의 위치 벡터이다.
KR1020060134733A 2006-12-27 2006-12-27 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법 KR100868076B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060134733A KR100868076B1 (ko) 2006-12-27 2006-12-27 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060134733A KR100868076B1 (ko) 2006-12-27 2006-12-27 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법

Publications (2)

Publication Number Publication Date
KR20080060531A KR20080060531A (ko) 2008-07-02
KR100868076B1 true KR100868076B1 (ko) 2008-11-11

Family

ID=39813045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060134733A KR100868076B1 (ko) 2006-12-27 2006-12-27 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법

Country Status (1)

Country Link
KR (1) KR100868076B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674321A (zh) * 2008-09-12 2010-03-17 华为技术有限公司 一种消息处理方法、装置和系统
KR101307014B1 (ko) * 2012-02-28 2013-09-11 주식회사 케이쓰리아이 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법
WO2017051955A1 (ko) * 2015-09-25 2017-03-30 이정빈 동영상 이펙트 적용 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020096203A (ko) * 2001-06-18 2002-12-31 (주)디지털국영 입체영상을 확대/축소하는 방법
KR20030067158A (ko) * 2002-02-07 2003-08-14 삼성전자주식회사 부분 인터레이스 동영상 재생 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020096203A (ko) * 2001-06-18 2002-12-31 (주)디지털국영 입체영상을 확대/축소하는 방법
KR20030067158A (ko) * 2002-02-07 2003-08-14 삼성전자주식회사 부분 인터레이스 동영상 재생 방법 및 그 장치

Also Published As

Publication number Publication date
KR20080060531A (ko) 2008-07-02

Similar Documents

Publication Publication Date Title
US7511730B2 (en) Image processing apparatus and method and image pickup apparatus
EP3216216B1 (en) Methods and systems for multi-view high-speed motion capture
US7260274B2 (en) Techniques and systems for developing high-resolution imagery
US8928729B2 (en) Systems and methods for converting video
KR101092287B1 (ko) 화상 처리 장치 및 화상 처리 방법
US5920657A (en) Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US7477289B2 (en) Image processing apparatus and method, and image pickup apparatus
US8941667B2 (en) Method and apparatus for frame interpolation
US20160277677A1 (en) Image processing device and method, and program
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
JP2000215311A (ja) 仮想視点画像生成方法およびその装置
KR101666019B1 (ko) 외삽 뷰 생성을 위한 장치 및 방법
US8421847B2 (en) Apparatus and method for converting two-dimensional video frames to stereoscopic video frames
JP2018519697A (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
US20120169840A1 (en) Image Processing Device and Method, and Program
WO2003036565A2 (en) System and method for obtaining video of multiple moving fixation points within a dynamic scene
JP2011082919A (ja) 画像処理装置および方法、並びにプログラム
Schnyder et al. 2D to 3D conversion of sports content using panoramas
JP5225313B2 (ja) 画像生成装置、画像生成方法、及びプログラム
CA2238768A1 (en) Multi-camera virtual set system employing still store frame buffers for each camera
KR100868076B1 (ko) 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법
KR20100015141A (ko) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
JP5566196B2 (ja) 画像処理装置及びその制御方法
JP2006126965A (ja) 合成映像生成システム，方法，プログラム，及び、記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120827

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130826

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee