KR20100015141A - 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치 - Google Patents

스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치 Download PDF

Info

Publication number
KR20100015141A
KR20100015141A KR1020080076065A KR20080076065A KR20100015141A KR 20100015141 A KR20100015141 A KR 20100015141A KR 1020080076065 A KR1020080076065 A KR 1020080076065A KR 20080076065 A KR20080076065 A KR 20080076065A KR 20100015141 A KR20100015141 A KR 20100015141A
Authority
KR
South Korea
Prior art keywords
image
feature point
transformation matrix
synthesizing
image data
Prior art date
Application number
KR1020080076065A
Other languages
English (en)
Other versions
KR100945307B1 (ko
Inventor
김정환
김신형
길우성
Original Assignee
에이알비전 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이알비전 (주) filed Critical 에이알비전 (주)
Priority to KR1020080076065A priority Critical patent/KR100945307B1/ko
Publication of KR20100015141A publication Critical patent/KR20100015141A/ko
Application granted granted Critical
Publication of KR100945307B1 publication Critical patent/KR100945307B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및 장치에 관한 것이다. 본 발명에 따른 스테레오스코픽 동영상의 이미지 합성 방법은, 제1 스테레오 카메라와 제2 스테레오 카메라로부터 각각 제1 영상 데이터 및 제2 영상 데이터를 입력받는 단계, 제1 영상 데이터에서 추출된 제1 특징점을 프레임 단위로 추적하는 단계, 추적된 제1 특징점으로부터 구해지는 평면선형변환 행렬을 이용하여 2차원 합성 위치를 추정하는 단계, 제1 특징점과 제2 영상 데이터에서 추출된 제2 특징점을 매칭하는 단계, 매칭된 제1 및 제2 특징점으로부터 구해지는 평면사영변환 행렬을 이용하여 3차원 합성 위치를 추정하는 단계, 그리고 가상 이미지를 3차원 합성 위치에 합성시키는 단계를 포함한다. 본 발명에 따르면 스테레오스코픽 동영상에 3차원 가상 이미지를 삽입하여 합성함으로써, 보다 생동감이 있고 실감나는 입체 영상을 제공할 수 있다. 또한 3차원 가상 이미지를 광고용으로 사용할 경우 가상 이미지를 다양한 형태로 합성할 수 있으므로 시청자로 하여금 몰입감을 가지게 할 수 있으며, 광고 효과를 극대화 시킬 수 있다.
스테레오스코픽, 가상 이미지, 평면선형변환, 평면사영변환, 와핑 계수

Description

스테레오스코픽 동영상에서 이미지를 합성하는 방법 및 장치{METHOD AND APPARATUS FOR IMAGE SYNTHESIS IN STEREOSCOPIC MOVING PICTURE}
본 발명은 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 3차원 가상 이미지를 스테레오스코픽 동영상에 삽입하여 합성하는 스테레오스코픽 동영상의 이미지 합성 방법 및 장치에 관한 것이다.
1990년대 중반 이후 평면적인 영상 정보에 깊이 정보를 더하여 입체감을 실생활과 같이 느낄 수 있는 스테레오스코픽(stereoscopic) 디스플레이 시스템이 주목을 받기 시작하였고, 근래에는 3DTV, 입체 영상(stereoscopic vision) 게임, 3차원 애니메이션, 입체 영상 영화 등 영상 산업 전반에 걸쳐 빠르게 발전하고 있다.
스테레오스코픽 영상은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라가 동일한 피사체를 촬영하여 각각 획득한 1쌍의 좌영상과 우영상으로 이루어진다. 이러한 스테레오스코픽 영상은 피사체에 대한 입체감을 LCD(Liquid Crystal Display) 또는 PDP(Plasma Display Panel) 등과 같은 평면 디스플레이 장치에 구현하기 위하여 사용된다.
한편 최근 들어 배경 동영상에 삽입된 이미지가 실제로 존재했던 것처럼 보 이도록 하는 이미지 삽입 합성 기술이 방송 기술 업계에서 많이 사용되고 있다. 스포츠 중계 방송 등에서 존재하지 않는 광고 이미지를 경기장에 실제로 존재하는 것처럼 중계 화면에 삽입하여 시청자들에게 송출하는 가상 광고 시스템을 그 예로 들 수 있다. 이러한 이미지 삽입 합성 기술에서 중요한 것은 배경 동영상에서 같은 위치를 정확하게 추적하는 기술과 해당 위치에 가상 이미지를 사실적으로 합성하는 기술로서, 종래에는 주로 2차원 가상 이미지를 삽입 합성하는 기술이 적용되었다.
배경 동영상에서 같은 위치를 추적하는 기술로 현재까지 연구된 알고리즘 중에서 대표적인 것은 Shi-Tomasi 방법, Tommasini 방법 및 Hailin Jin 방법이 있다.　 Shi-Tomasi 방법은 첫번째 영상과 현재 영상의 차이성(dissimilarity)을 계산하고 그 정보를 이용하여 추적의 정확성을 판별한 다음 정확성이 낮은 부분을 제거하는 방법이다.　 그리고 Tommasini 방법은 Shi-Tomasi 방법에서 정확성을 판별하는 기준을 X84 법칙을 이용하여 자동으로 판별이 가능하도록 하는 방법으로 구현한다.　 이러한 관심영역 추적방법은 해당 영역의 카메라 위치에 대한 변형을 고려하여 영역 내의 밝기 정보가 변하지 않는다는 가정을 두고 있다.　 한편, Hailin Jin 방법은 광학 정보를 이용하여 영역 내의 밝기 정보가 빛의 밝기 변화에 의해 변하더라도 추적이 가능한 방법이다.
이러한 2차원 가상 이미지 삽입 기술은 연속된 프레임 간에 특징점 추출과 추적 과정을 거쳐 이루어지지만, 스테레오스코픽 영상에서 3차원 가상 이미지를 삽입하는 기술은 현재까지 상용화되지 못하고 있는 실정이다.
따라서 본 발명이 이루고자 하는 기술적 과제는 스테레오스코픽 영상에 3차원 가상 이미지를 삽입하는 방법 및 장치를 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 스테레오스코픽 동영상의 이미지 합성 방법은, 제1 스테레오 카메라와 제2 스테레오 카메라로부터 각각 제1 영상 데이터 및 제2 영상 데이터를 입력 받는 단계, 상기 제1 영상 데이터에서 추출된 제1 특징점을 프레임 단위로 추적하는 단계, 상기 추적된 제1 특징점으로부터 구해지는 평면선형변환 행렬을 이용하여 2차원 합성 위치를 추정하는 단계, 상기 제1 특징점과 상기 제2 영상 데이터에서 추출된 제2 특징점을 매칭하는 단계, 상기 매칭된 제1 및 제2 특징점으로부터 구해지는 평면사영변환 행렬을 이용하여 3차원 합성 위치를 추정하는 단계, 그리고 가상 이미지를 상기 3차원 합성 위치에 합성시키는 단계를 포함한다.
상기 제1 영상 데이터의 특징점 추적은 하기 수학식을 이용하여 이루어질 수 있다.
IL t(x) = IL t +1((Ax+d))
e = [ IL t +1(Ax+d) - IL t(x)]2
여기서, IL t 는 상기 좌측 스테레오 카메라로부터 전송되는 t번째 프레임의 제1 영상 데이터이고, x는 특징점의 위치 벡터이며, A는 아핀변환(affine transformation)이고, d는 변위(displacement)로서 에러(e)를 최소로 하는 값으로 구해진다.
상기 평면선형변환 행렬은 하기 수학식을 이용하여 이루어질 수 있다.
xL' = HLxL
여기서, xL과 xL' 은 각각 t번째 프레임과 t+1번째 프레임에서 좌측 영상에서 추적된 두 일치하는 점의 위치 벡터이고, HL은 좌측 영상에 대한 평면선형변환 행렬이다.
상기 제1 특징점과 제2 특징점을 매칭하는 단계는 하기 수학식을 이용하여 이루어질 수 있다.
Figure 112008055969534-PAT00001
여기서, f(xL)은 좌측 영상(IL)의 제1 특징점 xL 에 대하여 매칭이 되는 점인 우측 영상(IR)의 제2 특징점 xR을 찾기 위한 함수를 나타내고, S는 검색 범위 내의 점들의 집합을 나타내며, n은 제1 및 제2 특징점을 둘러싼 W 영역 내의 벡터를 나타낸다.
상기 평면사영변환 행렬은 하기 수학식을 이용하여 이루어질 수 있다.
xL = HLR xR
HLR은 좌측 영상(IL)과 우측 영상(IR) 사이의 대응되는 제1 특징점 xL과 제2 특징점 xR에 대한 평면사영변환 행렬이다.
상기 3차원 합성 위치에 상기 가상 이미지 합성은 와핑 계수를 이용한 와핑 방법에 의해 이루어질 수 있다.
본 발명의 다른 실시예에 따른 스테레오스코픽 동영상의 이미지 합성 장치는, 제1 스테레오 카메라와 제2 스테레오 카메라로부터 각각 제1 영상 데이터 및 제2 영상 데이터를 입력받는 입력부, 상기 제1 영상 데이터에서 추출된 제1 특징점을 프레임 단위로 추적하는 특징점 추적부, 상기 추적된 제1 특징점으로부터 구해지는 평면선형변환 행렬을 이용하여 2차원 합성 위치를 추정하는 2차원 위치 추정부, 상기 제1 특징점과 상기 제2 영상 데이터에서 추출된 제2 특징점을 매칭하는 특징점 매칭부, 상기 매칭된 제1 및 제2 특징점으로부터 구해지는 평면사영변환 행렬을 이용하여 3차원 합성 위치를 추정하는 3차원 위치 추정부, 그리고 가상 이미지를 상기 3차원 합성 위치에 합성시키는 합성 처리부를 포함한다.
이와 같이 본 발명에 의하면, 스테레오스코픽 동영상에 3차원 가상 이미지를 삽입하여 합성함으로써, 보다 생동감이 있고 실감나는 입체 영상을 제공할 수 있다. 또한 3차원 가상 이미지를 광고용으로 사용할 경우 가상 이미지를 다양한 형태로 합성할 수 있으므로 시청자로 하여금 몰입감을 가지게 할 수 있으며, 광고 효 과를 극대화 시킬 수 있다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 스테레오스코픽 영상에서 가상 이미지를 합성하는 장치를 설명하기 위해 제공되는 도면이고, 도 2는 스테레오 카메라를 통해 촬영된 영상을 설명하기 위한 예시도이다.
도 1에 따르면, 일정한 거리로 이격되어 있는 좌측 스테레오 카메라(10a)와 우측 스테레오 카메라(10b)를 통해 촬영된 좌측 영상(30a)과 우측 영상(30b)은 각각 이미지 합성 장치(100)로 제공된다. 도 2에 예시한 바와 같이, 일정한 거리로 이격되어 있는 좌측 스테레오 카메라(10a)와 우측 스테레오 카메라(10b)를 이용하여 동일한 피사체(20)를 촬영하면 1쌍의 좌측 영상(30a)과 우측 영상(30b)이 생성된다. 여기서 좌측 영상(30a)과 우측 영상(30b)은 서로 다른 각도에서 촬영된 영상이므로 각각 다른 영상이 생성된다.
이미지 합성 장치(100)는 좌측 스테레오 카메라(10a)와 우측 스테레오 카메라(10b)를 통해 제공된 2차원 영상인 좌측 영상(30a)과 우측 영상(30b)에 운영자로부터 지정된 3차원 가상 이미지를 삽입하여 합성한다. 그러면, 이미지 합성 장치(100)는 3차원 가상 이미지가 합성된 스테레오스코픽 영상을 출력하게 된다.
시청자는 3D 안경 또는 3D 모니터를 이용하여 이미지 합성 장치(100)를 통해 표시되는 스테레오스코픽 영상을 시청할 수 있다. 즉, 시청자는 스테레오 카메라(10a, 10b)에서 촬영된 영상에 가상 이미지가 삽입된 동영상을 시청하게 되며, 촬영 현장 자체에 가상 이미지가 실제로 존재하는 것처럼 느끼게 된다.
이하, 이미지 합성 장치(100)에서 가상 이미지를 동영상 이미지에 합성하는 방법에 대해서 자세히 설명한다.
도 3은 도 1의 이미지 합성 장치를 자세하게 나타낸 블록도이고, 도4는 본 발명의 실시예에 따른 이미지 합성 방법의 흐름도이다.
도 3을 참조하면, 본 발명에 따른 이미지 합성 장치(100)는 입력부(105), 제1 특징점 추출부(110), 제2 특징점 추출부(120), 특징점 추적부(130), 2차원 위치 추정부(140), 특징점 매칭부(150), 3차원 위치 추정부(160), 합성 처리부(170) 및 이미지 저장부(180)를 포함할 수 있다.　
도 3 및 도 4를 참조하면, 입력부(105)는 각각 좌측 스테레오 카메라(10a)와 우측 스테레오 카메라(10b)로부터 좌측 영상(IL)과 우측 영상(IR)을 동시에 입력 받는다(S410). 여기서, 좌측 영상(IL)과 우측 영상(IR)은 동영상과 정지 영상을 모두 포함한다.
입력부(105)는 운영자로부터 이미지 합성 장치(100)의 동작 제어를 위한 명령을 입력 받을 수 있으며 이미지 합성 장치(100)에서 합성 처리된 동영상 이미지를 표시하여 운영자가 확인할 수 있도록 하는 사용자 인터페이스부를 포함할 수 있다.
제1 특징점 추출부(110)와 제2 특징점 추출부(120)는 좌측 영상(IL)과 우측 영상(IR)에 대하여 각각 특징점을 추출한다(S420). 여기서, 제1 특징점 추출부(110)와 제2 특징점 추출부(120)는 각각 코너점 검출 기법을 이용하여 특징점인 코너점을 추출할 수 있다. 일반적으로 해리스(Harris) 추출 기법과 곡률 스케일 공간(Curvature Scale Space, CSS) 추출 기법이 이용될 수 있는데, 먼저 해리스 추출 기법은 영상에서 나타난 대상체가 이동하는 과정에서 명암의 평균적인 변화를 통하여 특징점을 검출하는 방식이다. 그리고, CSS 추출 기법은 영상에 나타난 대상체의 코너점(edge)을 이용하는 것으로, 곡률 절대치의 국소 최대값을 가지는 점을 특징점으로 추출하는 방법이다. 이외에 다양한 기법을 통하여 복수의 특징점을 추출할 수 있으며, 이에 대한 상세한 설명은 생략한다.
다음으로 특징점 추적부(130)는 프레임 단위로 연속적으로 촬영되어 입력되는 좌측 영상(IL)에 대하여 특징점을 추적한다(S430). 여기서, 좌측 스테레오 카메라(10a)와 우측 스테레오 카메라(10b)로부터 전송되는 t번째 프레임의 좌측, 우측 영상을 각각 IL t, IR t 라고 가정하면, t번째 프레임의 영상인 IL t 의 특정 영역 W와 t+1번째 프레임 영상인 IL t +1 내의 일치 영역 사이에는 아래의 수학식 1과 같은 관계가 성립된다.
IL t(x) = IL t +1((Ax+d))
여기서, A는 아핀변환(affine transformation)이고, d는 변위(displacement)이며, x는 특징점의 위치 벡터이다.　 여기서 t번째 프레임에서의 좌측 영상의 특정 영역과 t+1번째 프레임 내의 일치 영역은 아래의 수학식 2에 의해서 구할 수 있다.
e = [ IL t +1(Ax+d) - IL t(x)]2
수학식 2에서 [ IL t +1(Ax+d) - IL t(x)]2 은 이미지값(IL t +1(Ax+d))과 이미지값 (IL t(x)) 사이의 에러(e)를 의미하므로 변환 계수(A, d)는 에러(e)가 '0'이 되도록 하는 값으로 구해지는 것이 바람직하다.　 다만, 실제적으로는 에러(e)가 '0'이 되기 어려우므로 변환 계수(A, d)는 에러(e)를 최소화하는 값으로 구할 수 있다.　 이와 같이 수학식 2에 의해 변환 계수(A, d)를 구하면 t번째 프레임 내의 한 점(xL)과 일치하는 t+1번째 프레임 내의 점(xL')을 구할 수 있다.　 따라서 본 발명에 따른 특징점 추적부(130)는 수학식 1 및 수학식 2를 이용하여 t번째 프레임과 t+1번째 프레임 사이의 일치점들(xL, xL')을 특징점으로 추적할 수 있다.
한편, t번째 프레임의 한 점(xL)과 t+1번째 프레임의 일치하는 점(xL')이 평면선형변환(planar linear transformation, homography) 관계가 있는 경우에는 하 기 수학식 3의 관계가 성립한다.　 일반적으로는 다른 위치에서 얻어진 두 장의 영상 사이의 변화는 깊이 차이로 인해 평면선형변환 관계로 설명되지는 않는다.　 그러나 카메라의 이동 없이 회전만으로 얻어진 영상 간에는 평면선형변환 관계가 있으며, 카메라의 이동이 있는 경우에도 대상 영역이 평면으로 이루어져 있다면 그 평면에 한해서는 평면선형변환의 관계가 있다.　 따라서, 하기 수학식 3의 관계가 성립한다.
xL' = HLxL
여기서, xL과 xL' 은 각각 t번째 프레임과 t+1번째 프레임에서 좌측 영상에서 추적된 두 일치하는 점의 위치 벡터이고, HL은 좌측 영상에 대한 평면선형변환 행렬이다. 그리고, 평면선형변환 행렬(HL)은 3Ⅹ3 행렬인 경우 특징점 추적부(130)에 의해 추적된 4개 이상의 일치점들을 사용하여 DLT(Direct Linear Transform) 방법으로 구할 수 있다.
따라서, 2차원 위치 추정부(140)는 수학식 3을 이용하여 추적된 특징점 들로부터 평면선형변환 행렬(HL)을 구하고, 이를 이용하여 2차원 합성 위치를 추정한다(S440). 여기서, 구해진 평면선형변환 행렬(HL)은 뒤에서 영상 합성 시 와핑 계수(W)로 사용될 수 있다.
이와 같이 2차원 합성 위치를 추정하면, 이미지 합성 장치(100)는 좌측 영 상(IL)과 우측 영상(IR)을 이용하여 가상 이미지의 3차원 합성 위치를 추정하도록 한다. 즉, 스테레오스코픽 동영상에 삽입되는 가상 이미지가 3차원 정보를 유지하기 위해서는 좌측 영상 및 우측 영상에 대한 특징점 매칭이 수반되어야 하고, 삽입하려고 하는 3차원 합성 위치를 예측해야 한다.
먼저, 특징점 매칭부(150)는 입력된 좌측 영상(IL)과 우측 영상(IR)에 대하여 각각 대응되는 특징점을 매칭시키도록 한다(S450).
Figure 112008055969534-PAT00002
여기서, f(xL)은 좌측 영상(IL)의 한 점 xL 에 대하여 매칭이 되는 점인 우측 영상(IR)의 한 점 xR을 찾기 위한 함수를 나타내고, S는 검색 범위 내의 점들의 집합을 나타내며, n은 특징점을 둘러싼 W 영역 내의 벡터를 나타낸다. 특징점 매칭부(150)는 수학식 4를 이용하여 좌측 영상(IL)에서 하나의 특징점(xL)을 둘러싼W 영역의 이미지 값과 우측 영상(IR)의 이미지 값의 차이가 최소가 되도록 하는 점을 특징점(xR)으로 설정한다. 이와 같은 방식으로, 특징점 매칭부(150)는 4개 이상의 특징점(xL)에 각각 대응되는 4개 이상의 특징점(xR)을 검출한다.
3차원 위치 추정부(160)는 수학식 4로부터 검출된 최소 4개의 대응되는 특징점 xL과 xR을 하기 수학식 5에 대입한다.
즉, 스테레오스코픽 영상을 형성하는 스테레오 카메라(10a, 10b)로부터 촬영된 좌측 영상(IL)과 우측 영상(IR) 사이에는 수학식 5와 같은 평면사영변환(planar projective transformation) 관계가 있다.
xL = HLR xR
HLR은 좌측 영상(IL)과 우측 영상(IR) 사이의 대응되는 특징점 xL과 xR에 대한 평면사영변환 행렬이다.
따라서, 3차원 위치 추정부(160)는 수학식 4로부터 검출된 최소 4개의 대응되는 특징점 xL과 xR을 수학식 5에 대입하여 평면사영변환 행렬(HLR)을 구한다. 평면사영변환 행렬(HLR)은 3Ⅹ3 행렬인 경우 특징점 매칭부(150)에 의해 매칭된 4개 이상의 대응되는 특징점들을 사용하여 DLT(Direct Linear Transform) 방법으로 구할 수 있다. 여기서, 평면사영변환 행렬(HLR)은 평면선형변환 행렬(HL)과 마찬가지로 영상 합성 시 와핑 계수(W)로 사용될 수 있다.
이와 같은 방법으로 3차원 위치 추정부(160)는 매칭된 특징점들로부터 평면사영변환 행렬(HLR)을 구하고, 평면사영변환 행렬(HLR)을 이용하여 3차원 합성 위치를 추정할 수 있다(S460). 3차원 합성 위치를 추정함으로써, 가상 이미지가 삽입될 화면상의 위치뿐만 아니라 깊이, 높이, 원근 등과 같은 3차원적인 위치 요소를 결정할 수 있다.
단계 S440과 단계 S460을 통하여 스테레오스코픽 영상에서 삽입될 가상 이미지의 2차원 합성 위치와 3차원 합성 위치를 추정하면, 합성 처리부(170)는 추정된 합성 영역에 와핑 계수(W)를 이용하여 이미지 저장부(180)에 저장되어 있는 가상 이미지를 합성한다(S470). 보다 상세하게는 합성 처리부(170)는 동영상의 합성 영역이 결정된 후 가상 이미지를 와핑 계수(W)를 이용하여 합성 영역에 맞도록 와핑(warping)한다. 와핑은 평면(가상 이미지)에서 평면(영상 내에서의 합성 영역)으로 가는 평면선형변환으로 이루어지므로, 와핑 계수는 평면선형변환 행렬(HL)과 평면사영변환 행렬(HLR)이 이용될 수 있다. 즉, 합성 처리부(170)는 와핑 계수(W)가 구해지면, 하기 수학식 6에 의해 합성 영역에 가상 이미지를 합성할 수 있다.　 하기 수학식 6은 와핑 계수(W)를 이용하여 t번째 프레임을 변형하여 t+1번째 영상(V)으로 저장하는 것을 나타낸 것이다.
I(W(X))=V(X)
여기서, W는 와핑 계수, X는 프레임의 한 점, W(X)는 동영상의 t번째 프레임에서 X를 와핑 계수(W)를 이용하여 변환한 점, I(X)는 t번째 영상에서 점(X)의 이미지값, V(X)는 t+1번째 영상에서 점(X)의 이미지값이다.
마지막으로, 합성 처리부(170)는 가상 이미지가 삽입된 좌측 영상과 우측 영상을 3차원적인 스테레오스코픽 영상으로 합성하여 출력한다(S480).
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발 명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
도 1은 본 발명의 실시예에 따른 스테레오스코픽 영상에서 가상 이미지를 합성하는 장치를 설명하기 위해 제공되는 도면이다.
도 2는 스테레오 카메라를 통해 촬영된 영상을 설명하기 위한 예시도이다.
도 3은 도 1의 이미지 합성 장치를 자세하게 나타낸 블록도이다.
도4는 본 발명의 실시예에 따른 이미지 합성 방법의 흐름도이다.

Claims (12)

  1. 제1 스테레오 카메라와 제2 스테레오 카메라로부터 각각 제1 영상 데이터 및 제2 영상 데이터를 입력 받는 단계,
    상기 제1 영상 데이터에서 추출된 제1 특징점을 프레임 단위로 추적하는 단계,
    상기 추적된 제1 특징점으로부터 구해지는 평면선형변환 행렬을 이용하여 2차원 합성 위치를 추정하는 단계,
    상기 제1 특징점과 상기 제2 영상 데이터에서 추출된 제2 특징점을 매칭하는 단계,
    상기 매칭된 제1 및 제2 특징점으로부터 구해지는 평면사영변환 행렬을 이용하여 3차원 합성 위치를 추정하는 단계, 그리고
    가상 이미지를 상기 3차원 합성 위치에 합성시키는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 방법.
  2. 제1항에 있어서,
    상기 제1 영상 데이터의 특징점 추적은 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 방법:
    IL t(x) = IL t +1((Ax+d))
    e = [ IL t +1(Ax+d) - IL t(x)]2
    여기서, IL t 는 상기 좌측 스테레오 카메라로부터 전송되는 t번째 프레임의 제1 영상 데이터이고, x는 특징점의 위치 벡터이며, A는 아핀변환(affine transformation)이고, d는 변위(displacement)로서 에러(e)를 최소로 하는 값으로 구해진다.
  3. 제1항에 있어서,
    상기 평면선형변환 행렬은 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 방법:
    xL' = HLxL
    여기서, xL과 xL' 은 각각 t번째 프레임과 t+1번째 프레임에서 좌측 영상에서 추적된 두 일치하는 점의 위치 벡터이고, HL은 좌측 영상에 대한 평면선형변환 행렬이다.
  4. 제1항에 있어서,
    상기 제1 특징점과 제2 특징점을 매칭하는 단계는 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 방법:
    Figure 112008055969534-PAT00003
    여기서, f(xL)은 좌측 영상(IL)의 제1 특징점 xL 에 대하여 매칭이 되는 점인 우측 영상(IR)의 제2 특징점 xR을 찾기 위한 함수를 나타내고, S는 검색 범위 내의 점들의 집합을 나타내며, n은 제1 및 제2 특징점을 둘러싼 W 영역 내의 벡터를 나타낸다.
  5. 제1항에 있어서,
    상기 평면사영변환 행렬은 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 방법:
    xL = HLR xR
    HLR은 좌측 영상(IL)과 우측 영상(IR) 사이의 대응되는 제1 특징점 xL과 제2 특징점 xR에 대한 평면사영변환 행렬이다.
  6. 제1항에 있어서,
    상기 3차원 합성 위치에 상기 가상 이미지 합성은 와핑 계수를 이용한 와핑 방법에 의해 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 방법.
  7. 제1 스테레오 카메라와 제2 스테레오 카메라로부터 각각 제1 영상 데이터 및 제2 영상 데이터를 입력받는 입력부,
    상기 제1 영상 데이터에서 추출된 제1 특징점을 프레임 단위로 추적하는 특징점 추적부,
    상기 추적된 제1 특징점으로부터 구해지는 평면선형변환 행렬을 이용하여 2차원 합성 위치를 추정하는 2차원 위치 추정부,
    상기 제1 특징점과 상기 제2 영상 데이터에서 추출된 제2 특징점을 매칭하는 특징점 매칭부,
    상기 매칭된 제1 및 제2 특징점으로부터 구해지는 평면사영변환 행렬을 이용하여 3차원 합성 위치를 추정하는 3차원 위치 추정부, 그리고
    가상 이미지를 상기 3차원 합성 위치에 합성시키는 합성 처리부를 포함하는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 장치.
  8. 제7항에 있어서,
    상기 제1 영상 데이터의 특징점 추적은 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 장치:
    IL t(x) = IL t +1((Ax+d))
    e = [ IL t +1(Ax+d) - IL t(x)]2
    여기서, IL t 는 상기 좌측 스테레오 카메라로부터 전송되는 t번째 프레임의 제1 영상 데이터이고, x는 특징점의 위치 벡터이며, A는 아핀변환(affine transformation)이고, d는 변위(displacement)로서 에러(e)를 최소로 하는 값으로 구해진다.
  9. 제7항에 있어서,
    상기 평면선형변환 행렬은 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 장치:
    xL' = HLxL
    여기서, xL과 xL' 은 각각 t번째 프레임과 t+1번째 프레임에서 좌측 영상에서 추적된 두 일치하는 점의 위치 벡터이고, HL은 좌측 영상에 대한 평면선형변환 행렬이다.
  10. 제7항에 있어서,
    상기 제1 특징점과 제2 특징점을 매칭하는 단계는 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 장치:
    Figure 112008055969534-PAT00004
    여기서, f(xL)은 좌측 영상(IL)의 제1 특징점 xL 에 대하여 매칭이 되는 점인 우측 영상(IR)의 제2 특징점 xR을 찾기 위한 함수를 나타내고, S는 검색 범위 내의 점들의 집합을 나타내며, n은 제1 및 제2 특징점을 둘러싼 W 영역 내의 벡터를 나타낸다.
  11. 제7항에 있어서,
    상기 평면사영변환 행렬은 하기 수학식을 이용하여 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 장치:
    xL = HLR xR
    HLR은 좌측 영상(IL)과 우측 영상(IR) 사이의 대응되는 제1 특징점 xL과 제2 특징점 xR에 대한 평면사영변환 행렬이다.
  12. 제7항에 있어서,
    상기 3차원 합성 위치에 상기 가상 이미지 합성은 와핑 계수를 이용한 와핑 방법에 의해 이루어지는 것을 특징으로 하는 스테레오스코픽 동영상의 이미지 합성 장치.
KR1020080076065A 2008-08-04 2008-08-04 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치 KR100945307B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080076065A KR100945307B1 (ko) 2008-08-04 2008-08-04 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080076065A KR100945307B1 (ko) 2008-08-04 2008-08-04 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치

Publications (2)

Publication Number Publication Date
KR20100015141A true KR20100015141A (ko) 2010-02-12
KR100945307B1 KR100945307B1 (ko) 2010-03-03

Family

ID=42088321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080076065A KR100945307B1 (ko) 2008-08-04 2008-08-04 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치

Country Status (1)

Country Link
KR (1) KR100945307B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644557B2 (en) 2010-11-15 2014-02-04 Samsung Techwin Co., Ltd. Method and apparatus for estimating position of moving vehicle such as mobile robot
US9898829B2 (en) 2012-09-18 2018-02-20 Hanwha Techwin Co., Ltd. Monitoring apparatus and system using 3D information of images and monitoring method using the same
US9934585B2 (en) 2014-10-23 2018-04-03 Hanwha Land Systems Co., Ltd. Apparatus and method for registering images
KR101868057B1 (ko) * 2017-01-20 2018-06-18 재단법인대구경북과학기술원 파노라마 영상 생성 방법 및 그 장치
KR20210155536A (ko) * 2020-06-16 2021-12-23 남서울대학교 산학협력단 스테레오 영상과 딥러닝을 이용한 교통량 산정 시스템 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190263B2 (ja) * 2002-11-25 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
JP2005045338A (ja) 2003-07-23 2005-02-17 Clarion Co Ltd 車載用三次元表示用モニタシステム
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644557B2 (en) 2010-11-15 2014-02-04 Samsung Techwin Co., Ltd. Method and apparatus for estimating position of moving vehicle such as mobile robot
US9898829B2 (en) 2012-09-18 2018-02-20 Hanwha Techwin Co., Ltd. Monitoring apparatus and system using 3D information of images and monitoring method using the same
US9934585B2 (en) 2014-10-23 2018-04-03 Hanwha Land Systems Co., Ltd. Apparatus and method for registering images
KR101868057B1 (ko) * 2017-01-20 2018-06-18 재단법인대구경북과학기술원 파노라마 영상 생성 방법 및 그 장치
KR20210155536A (ko) * 2020-06-16 2021-12-23 남서울대학교 산학협력단 스테레오 영상과 딥러닝을 이용한 교통량 산정 시스템 및 그 방법

Also Published As

Publication number Publication date
KR100945307B1 (ko) 2010-03-03

Similar Documents

Publication Publication Date Title
JP3745117B2 (ja) 画像処理装置及び画像処理方法
US9300947B2 (en) Producing 3D images from captured 2D video
KR100271384B1 (ko) 패턴 키 삽입 기법을 이용하는 비디오 합성방법 및 장치
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
US20180192033A1 (en) Multi-view scene flow stitching
CN102047288B (zh) 利用正向和反向深度预测进行图像的深度提取的系统和方法
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
JPH0927969A (ja) 複数画像の中間像生成方法及び視差推定方法および装置
US20130121559A1 (en) Mobile device with three dimensional augmented reality
US20120120202A1 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
US8611642B2 (en) Forming a steroscopic image using range map
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
Zhi et al. Toward dynamic image mosaic generation with robustness to parallax
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
US20090207238A1 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
KR20050066400A (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US20100302234A1 (en) Method of establishing dof data of 3d image and system thereof
Schnyder et al. 2D to 3D conversion of sports content using panoramas
KR100945307B1 (ko) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
US10764493B2 (en) Display method and electronic device
KR20120123087A (ko) 3ｄ 텍스트를 3ｄ 콘텐츠와 결합하기 위한 시스템 및 방법
JP2002159019A (ja) 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
US20120087571A1 (en) Method and apparatus for synchronizing 3-dimensional image
US6965699B2 (en) Camera information coding/decoding method for synthesizing stereoscopic real video and a computer graphic image
KR101066542B1 (ko) 가상시점 영상 생성방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121210

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131210

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141210

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161122

Year of fee payment: 7

R401 Registration of restoration
LAPS Lapse due to unpaid annual fee