KR101526868B1 - 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법 - Google Patents

스테레오 영상에 대한 다시점 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101526868B1
KR101526868B1 KR1020080118896A KR20080118896A KR101526868B1 KR 101526868 B1 KR101526868 B1 KR 101526868B1 KR 1020080118896 A KR1020080118896 A KR 1020080118896A KR 20080118896 A KR20080118896 A KR 20080118896A KR 101526868 B1 KR101526868 B1 KR 101526868B1
Authority
KR
South Korea
Prior art keywords
image
viewpoint position
view
viewpoint
maximum parallax
Prior art date
Application number
KR1020080118896A
Other languages
English (en)
Other versions
KR20100060330A (ko
Inventor
곽영신
정영주
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080118896A priority Critical patent/KR101526868B1/ko
Publication of KR20100060330A publication Critical patent/KR20100060330A/ko
Application granted granted Critical
Publication of KR101526868B1 publication Critical patent/KR101526868B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오 영상에 대한 다시점 영상 생성 장치 및 방법이 개시된다. 다시점 영상 생성 장치 및 방법에 따르면, 스테레오 영상이 다시점 영상에서 위치하는 시점 위치를 결정하고, 시점 위치에 대응하는 왼쪽 영상과 오른쪽 영상을 이용하여 다시점 영상을 생성할 수 있다. 입력된 스테레오 영상을 모두 활용하여 다시점 영상을 생성함으로써 다시점 영상의 화질 저하를 방지할 수 있다.
스테레오 영상, 다시점 영상, 시차(disparity), 시점 위치

Description

스테레오 영상에 대한 다시점 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR CREATING MULTI-VIEW IMAGE FOR STEREO IMAGE}
본 발명의 일실시예는 다시점 시점 영상을 생성하는 영상 처리 분야, 3D 디스플레이에 관한 것이다.
최근 오브젝트의 입체감을 표현하기 위한 다시점 디스플레이(multi-view display)가 개발되고 있다. 그러나, 다시점 디스플레이를 위해 생성된 다시점 3D 영상은 많지 않다. 대부분의 3D 영상들은 스테레오 타입의 디스플레이에 최적으로 표현될 수 있도록 스테레오(stereo) 영상 형태로 있다. 결국, 다시점 디스플레이가 점차적으로 일반화될 경우, 다시점 디스플레이에 스테레오 영상을 표현할 수 있는 영상 처리 기술이 요구될 수 있다.
이 때, 스테레오 영상은 다시점 디스플레이에 최적화된 형태가 아니기 때문에, 스테레오 영상에서 다시점 영상을 생성하는 경우 화질 저하가 발생할 수 있다. 예를 들어, LCD, Lenticular sheet 또는 parallax barrier와 같은 다시점 디스플레이는 영상을 표현할 수 있는 제한 조건이 존재한다. 이러한 제한 조건으로 인해, 시각적 피로를 유발하지 않고 영상을 표현할 수 있는 깊이감 정도가 감소될 수 있 으며, 심한 영상 왜곡으로 3D 표현이 불가능할 수 있다.
따라서, 다시점 디스플레이의 물리적 특성을 고려하여 스테레오 영상에서 다시점 영상을 생성하는 기술이 요구된다.
본 발명의 일실시예에 따른 다시점 영상 생성 장치는 다시점 영상에서 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각이 출력될 시점(view) 위치를 결정하는 시점 위치 결정부 및 상기 시점 위치에 기초하여 상기 스테레오 영상으로부터 적어도 하나의 다시점 영상을 생성하는 다시점 영상 생성부를 포함할 수 있다.
본 발명의 일측면에 따르면, 다시점 영상 생성 장치는 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각의 화소별 시차(disparity) 정보를 추출하는 시차 정보 추출부를 더 포함할 수 있다.
본 발명의 일측면에 따르면, 시점 위치 결정부는 스테레오 영상의 제1 최대 시차와 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 이용하여 상기 다시점 영상에서의 시점 위치를 결정할 수 있다.
본 발명의 일측면에 따르면, 다시점 영상 생성부는 상기 왼쪽 영상의 시점 위치의 왼쪽 시점 위치에 대응하는 적어도 하나의 제1시점 영상을 생성하는 제1 시점 영상 생성부, 상기 왼쪽 영상의 시점 위치와 상기 오른쪽 영상의 시점 위치 사이의 시점 위치에 대응하는 적어도 하나의 제2 시점 영상을 생성하는 제2 시점 영상 생성부 및 상기 오른쪽 영상의 시점 위치의 오른쪽 시점 위치에 대응하는 적어도 하나의 제3 시점 영상을 생성하는 제3 시점 영상 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 다시점 영상 생성 방법은 다시점 영상에서 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각이 출력될 시점(view) 위치를 결정하는 단계 및 상기 시점 위치에 기초하여 상기 스테레오 영상으로부터 적어도 하나의 다시점 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 다시점 영상 생성 장치는 스테레오 영상을 구성하는 왼쪽 영상과 오른쪽 영상을 모두 고려하여 다시점 영상을 생성함으로써, 출력 다시점 영상의 화질을 향상시킬 수 있다.
본 발명의 일실시예에 따른 다시점 영상 생성 장치는 스테레오 영상의 시차 정보와 다시점 영상을 표현하는 다시점 디스플레이의 시차 정보를 고려하여 스테레오 영상의 시점 위치를 결정함으로써, 자연스러운 3D 다시점 영상을 생성할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명의 일실시예에 따른 다시점 영상 생성 방법은 다시점 영상 생성 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 다시점 영상 생성 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 1을 참고하면, 다시점 영상 생성 장치(100)는 시차 정보 추출부(101), 시점 위치 결정부(102) 및 다시점 영상 생성부(103)를 포함할 수 있다.
시차 정보 추출부(101)는 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각의 픽셀별 시차 정보를 추출할 수 있다. 이 때, 시차 정보는 왼쪽 영상과 오른쪽 영상 각각의 픽셀별 시차(disparity) 값을 의미할 수 있다. 일례로, 시차 정보 추출부(101)는 왼쪽 영상과 오른쪽 영상 각각의 시차도(disparity map)를 이용하여 시차 정보를 추출할 수 있다. 여기서, 시차도는 동일한 오브젝트에 대해 왼쪽 영상과 오른쪽 영상의 시차에 따라 발생되는 위치 차이 정보를 나타낸 것을 의미할 수 있다.
도 1에서 볼 수 있듯이, 스테레오 영상의 왼쪽 영상 및 오른쪽 영상 각각에 대한 시차도가 입력되는 경우, 시차 정보를 별도로 추출되지 않아도 된다.
시점 위치 결정부(102)는 다시점 영상에서 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각이 출력될 시점(view) 위치를 결정할 수 있다. 일례로, 시점 위치 결정부는 왼쪽 영상 또는 오른쪽 영상 중 어느 하나의 영상에 대한 시차 정보를 이용하여 다시점 영상에서의 시점 위치를 결정할 수 있다.
이 때, 시점 위치 결정부(102)는 스테레오 영상의 최대 시차와 다시점 디스플레이가 표현할 수 있는 최대 시차를 함께 고려하여 다시점 영상에서의 시점 위치를 결정할 수 있다. 도 1에서, NL은 왼쪽 영상의 시점 위치를 의미하고, NR은 오른쪽 영상의 시점 위치를 의미할 수 있다. 본 발명의 일실시예에 따른 다시점 영상 생성 장치는 스테레오 영상의 양쪽 영상을 모두 사용하고, 다시점 영상을 표현하는 다시점 디스플레이의 물리적인 특징으로 함께 고려하여 다시점 영상을 생성할 수 있다.
다시점 영상 생성부(103)는 왼쪽 영상과 오른쪽 영상의 시점 위치에 기초하여 스테레오 영상으로부터 다시점 영상을 생성할 수 있다. 구체적으로, 다시점 영상 생성부(103)는 다시점 영상에서 왼쪽 영상과 오른쪽 영상의 시점 위치를 고려하여 왼쪽 영상과 오른쪽 영상을 통해 비워진 시점 위치에 대응하는 시점 영상을 생성할 수 있다.
다시점 영상 생성부(103)의 구체적인 동작은 도 4 내지 도 7을 통해 설명된다.
도 2는 본 발명의 일실시예에 따른 다시점 영상 생성 장치의 시차 정보 추출부의 동작을 설명하기 위한 도면이다.
도 2를 참고하면, 왼쪽 영상(201)과 오른쪽 영상(202)으로 구성된 스테레오 영상이 시차 정보 추출부(101)에 입력될 수 있다. 이 때, 왼쪽 영상(201)과 오른쪽 영상(202)에서 별의 위치에 대해 위치 차이가 발생한 것을 알 수 있다. 여기서, 왼쪽 영상(201)을 참고하면, 중심에서 오른쪽으로 D1만큼 떨어진 곳에 별이 위치하고, 오른쪽 영상(202)을 참고하면, 중심에서 왼쪽으로 D2만큼 떨어진 곳에 별이 위치한다. D1과 D2는 방향만 다르고 같은 크기일 수 있다.
시차 정보 추출부(101)는 왼쪽 영상(201)과 오른쪽 영상(202) 각각에 대한 시차도를 생성하여, 왼쪽 영상(201)과 오른쪽 영상 각각에 대한 시차 정보(203, 204)를 추출할 수 있다. 일례로, 시차 정보 추출부(101)는 스테레오 영상으로부터 스테레오 매칭 방법을 이용하여 왼쪽 영상(201)과 오른쪽 영상(202) 각각에 대한 시차도를 추출할 수 있다. 또는, 시차 정보 추출부(101)에 처음부터 스테레오 영 상의 시차도가 입력될 수 있다. 이 때, 시차 정보는 스테레오 영상의 시차(disparity value)을 의미할 수 있다.
도 2를 참고하면, 시차 정보 추출부(101)는 왼쪽 영상(201)에 대한 시차 정보인 시차 D1을 추출할 수 있고, 오른쪽 영상(202)에 대한 시차 정보인 시차 D2를 추출할 수 있다.
도 3은 본 발명의 일실시예에 따른 다시점 영상 생성 장치의 시점 위치 결정부의 동작을 설명하기 위한 도면이다.
시점 위치 결정부(102)는 다시점 영상에서 스테레오 영상의 왼쪽 영상(301)과 오른쪽 영상(302) 각각이 출력될 시점 위치를 결정할 수 있다. 이 때, 시점 위치 결정부(102)는 왼쪽 영상(301) 또는 오른쪽 영상(302) 중 어느 하나의 영상에 대한 시차 정보를 이용하여 다시점 영상에서의 시점 위치를 결정할 수 있다.
일례로, 시점 위치 결정부(102)는 스테레오 영상의 제1 최대 시차와 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 이용하여 다시점 영상에서의 왼쪽 영상(301)과 오른쪽 영상(302) 각각에 대한 시점 위치를 결정할 수 있다.
도 3을 참고하면, 시점 위치 결정부(102)에 왼쪽 영상(301)에 대한 시차, 오른쪽 영상(302)에 대한 시차가 입력될 수 있다.
일례로, 시점 위치 결정부(102)는 왼쪽 영상(301)에 대한 시차 또는 오른쪽 영상(302)에 대한 시차를 통해 스테레오 영상의 제1 최대 시차를 결정할 수 있다. 이 때, 제1 최대 시차는 스테레오 영상에서 픽셀 간격으로 표현되는 최대 시차를 의미할 수 있다.
그러면, 시점 위치 결정부(102)는 스테레오 영상의 제1 최대 시차와 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 비교하여 왼쪽 영상과 오른쪽 영상 사이에 존재하는 시점 개수를 계산할 수 있다. 일례로, 시점 위치 결정부(102)는 하기 수학식 1에 따라 시점 개수를 계산할 수 있다.
Figure 112008081914049-pat00001
여기서, NoV는 왼쪽 영상과 오른쪽 영상 사이의 시점 개수를 의미한다. 그리고,
Figure 112008081914049-pat00002
는 제1 최대 시차를 의미하고,
Figure 112008081914049-pat00003
는 제2 최대 시차를 의미한다.
일례로, 시점 위치 결정부(102)는 하기 수학식 2에 따라 왼쪽 영상의 시점 위치(NL)와 오른쪽 영상의 시점 위치(NR)를 결정할 수 있다.
Figure 112008081914049-pat00004
여기서,
Figure 112008081914049-pat00005
는 다시점 영상(303)에 대한 최대 시점 개수를 의미한다. 예 를 들어,
Figure 112008081914049-pat00006
가 4이고,
Figure 112008081914049-pat00007
가 10인 경우, NL은 3이고, NR은 7으로 결정된다. 즉, 10개의 시점을 표현할 수 있는 다시점 영상(303)에서 왼쪽 영상은 3번 시점 위치로 결정되고, 오른쪽 영상은 7번 시점 위치로 결정된다. 이 때,
Figure 112008081914049-pat00008
가
Figure 112008081914049-pat00009
보다 큰 경우, NL=1 또는 NR=
Figure 112008081914049-pat00010
로 결정될 수 있다. 본 발명의 일실시예는
Figure 112008081914049-pat00011
가
Figure 112008081914049-pat00012
보다 작은 경우를 위주로 설명된다.
시점 위치 결정부(102)는 상기 수학식1 및 2를 이용하여 각 프레임 마다 입력된 스테레오 영상들에 대한 출력 시점 위치를 설정하거나, 또는 각 프로그램 마다 고정된 값을 사용할 수 있다. 그러나 입력된 스테레오 영상들의 출력 시점 위치가 각 프레임마다 변하면, 시청 거리가 갑작스럽게 변하는 현상이 나타날 수 있다. 그리고, 스테레오 영상들의 출력 시점 위치를 각 프로그램마다 고정된 값을 사용하는 경우 영상에 대한 입체감이 감소될 수 있다.
시점 위치 결정부(102)는 프레임별 깊이 특성변화를 고려하여 자연스럽게 출력 시점 위치가 변하도록 함으로써, 앞으로 물체가 튀어나오거나 뒤로 들어가는 입체 효과를 좀더 효과적으로 표현할 수 있다.
일례로, 시점 위치 결정부(102)는 장면별 최대 시차(disparity)를 이용하여 스테레오 영상들의 시점 위치를 결정할 수 있다. 이 때, 시점 위치 결정부(102)는 특정 장면에 대해서 입력된 스테레오 영상이 동일한 시점 위치에 출력되도록 시점 위치를 결정할 수 있다.
예를 들어, 새로운 장면이 입력되면 시점 위치 결정부(102)는 상기 입력된 장면의 입력 프레임의 시차인 Input_Dmax값을 장면별 최대 시차인 Scene_Max값으로 설정한 후, Scene_Max값을 이용하여 시점 위치를 결정할 수 있다. 이 때, 다음 프레임의 Input_Dmax값이 저장된 Scene_Max값보다 큰 경우, 시점 위치 결정부(102)는 다음 프레임의 Input_Dmax값을 장면의 Scene_Max값으로 재설정하여 새로운 시점 위치를 결정할 수 있다.
상기 과정을 장면이 변할 때까지 계속적으로 수행하면, 입력되는 장면의 Scene_Max값이 특정 값으로 수렴할 수 있다. 결국, Scene_Max값이 특정값으로 고정됨으로써, 본 발명의 일실시예에 따르면, 특정 장면 동안 시점 위치의 변화 없이, 장면 특성에 최적화된 입체감을 제공할 수 있다. 즉, 시점 위치 결정부(201)는 수렴된 장면의 Scene_Max값을 상기 수학식 1의 Input_Dmax로 설정하여 스테레오 영상들의 시점 위치를 결정할 수 있다.
일례로, 영상 내 고정된 위치에 참조 블록(reference block)들을 설정한 후, 프레임 간 참조 블록 들의 색값(color) 차이에 따라 장면의 변화를 판단할 수 있다. 이 때, 색값 차이가 기 설정된 임계값보다 큰 경우, 시점 위치 결정부(201)는 장면이 바뀐 것으로 판단할 수 있다. 장면이 변화된 것을 판단되면, 시점 위치 결정부(201)는 Scene_Max값을 리셋할 수 있다.
또 다른 일례로, 시점 위치 결정부(201)는 현재 프레임에 대한 이전 프레임 및 이후 프레임의 시점 위치 정보를 활용하여 현재 프레임의 시점 위치를 결정할 수 있다.
일례로, 시점 위치를 결정하고자 하는 프레임을 현재 프레임(f)으로 가정한 다. 그리고, 현재 프레임의 시점 위치를 결정할 때 참조할 이전 프레임(f-n) 및 이후 프레임(f+n)으로 가정한다. 그러면, 시점 위치 결정부(201)는 이전 프레임, 현재 프레임 및 이후 프레임 최대 시차(Input_Dmax)인 Df-n, Df 및 Df+n 를 비교하여 현재 프레임의 시점 위치를 결정할 수 있다. 예를 들어, 시점 위치 결정부(201)는 아래 과정에 따라 현재 프레임의 시점 위치를 결정할 수 있다. 아래 과정은 일례에 불과하고, 시스템의 구성에 따라 변경될 수 있다.
A. Df가 Df-n 및 Df+n보다 작은 경우, 시점 위치 결정부(201)는 이전 프레임의 시점 위치를 현재 프레임의 시점 위치로 결정할 수 있다.
B. Df가 Df-n 및 Df+n보다 큰 경우, 시점 위치 결정부(201)는 이전 프레임의 시점 위치를 현재 프레임의 시점 위치로 결정할 수 있다. 이 때, 시점당 시차가 최대값을 초과하여 크로스톡크(crosstalk)이 유발될 수 있다. 크로스톡크가 유발되더라도, 출력 영상의 입체 효과 극대화를 위해, 시점 위치 결정부(201)는 이전 프레임의 시점 위치를 현재 프레임의 시점 위치로 결정할 수 있다..
C. Df가 Df-n보다 크고, Df+n보다 작은 경우, 또는 Df가 Df-n보다 작고 Df+n보다 큰 경우, 시점 위치 결정부(201)는 이전 프레임 및 이후 프레임의 시점 위치를 이용하지 않고, 상기 수학식 1에 따라 시점 위치를 결정할 수 있다.
이 때, 현재 프레임의 시점 위치를 결정할 때, 사용할 이전 프레임인 f-n 및 이후 프레임인 f+n에 대해 n은 임의의 값으로 될 수 있다.
도 4는 본 발명의 일실시예에 따른 다시점 영상 생성 장치의 다시점 영상 생성부의 상세 구성을 도시한 블록 다이어그램이다.
도 4를 참고하면, 다시점 영상 생성부(103)는 제1 시점 영상 생성부(401), 제2 시점 영상 생성부(402) 및 제3 시점 영상 생성부(403)를 포함한다.
제1 시점 영상 생성부(401)는 왼쪽 영상의 시점 위치의 왼쪽 시점 위치에 대응하는 적어도 하나의 제1 시점 영상을 생성할 수 있다. 도 3의 예를 참고하면, 왼쪽 영상의 시점 위치가 3번 위치 시점으로 결정된 경우, 제1 시점 영상 생성부(401)는 왼쪽 영상의 왼쪽 시점 위치(n<NL)인 1번 시점 위치 및 2번 시점 위치에 대응하는 제1 시점 영상을 생성할 수 있다. 이 때, 제1 시점 영상 생성부(401)는 보외법(extrapolation)을 이용하여 왼쪽 영상으로부터 제1 시점 영상을 생성할 수 있다.
제2 시점 영상 생성부(402)는 왼쪽 영상의 시점 위치와 상기 오른쪽 영상의 시점 위치 사이의 시점 위치에 대응하는 적어도 하나의 제2 시점 영상을 생성할 수 있다. 도 3의 예를 참고하면, 왼쪽 영상의 시점 위치가 3번 시점 위치로 결정되고, 오른쪽 영상의 시점 위치가 7번 시점 위치로 결정된 경우, 제2 시점 영상 생성부(402)는 왼쪽 영상과 오른쪽 영상의 시점 위치 사이(NL<n<NR)인 4번, 5번 및 6번 시점 위치에 대응하는 제2 시점 영상을 생성할 수 있다. 이 때, 제2 시점 영상 생성부(402)는 보간법(interpolation)을 이용하여 왼쪽 영상과 오른쪽 영상으로부터 제2 시점 영상을 생성할 수 있다.
제3 시점 영상 생성부(403)는 오른쪽 영상의 시점 위치의 오른쪽 시점 위치에 대응하는 적어도 하나의 제3 시점 영상을 생성할 수 있다. 도 3의 예를 참고하면, 오른쪽 영상의 시점 위치가 7번 위치 시점으로 결정된 경우, 제3 시점 영상 생 성부(403)는 오른쪽 영상의 오른쪽 시점 위치(n>NR)인 8번, 9번 및 10번 시점 위치에 대응하는 제3 시점 영상을 생성할 수 있다. 이 때, 제3 시점 영상 생성부(403)는 보외법(extrapolation)을 이용하여 오른쪽 영상으로부터 제3 시점 영상을 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 스테레오 영상의 왼쪽 영상으로부터 제1 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
제1 시점 영상 생성부(401)는 왼쪽 영상의 시차 정보에 따라 왼쪽 영상의 픽셀값을 이동시킬 수 있다(S501). 그리고, 제1 시점 영상 생성부(401)는 왼쪽 영상의 픽셀값을 이동시키면서 제1 시점 영상을 생성할 수 있다(S502). 일례로, 제1 시점 영상 생성부(401)는 하기 수학식 3에 따라 제1 시점 영상을 생성할 수 있다.
Figure 112008081914049-pat00013
여기서,
Figure 112008081914049-pat00014
는 생성되는 제1 시점 영상의 각 픽셀값을 의미하고,
Figure 112008081914049-pat00015
는 왼쪽 영상의 각 픽셀값을 의미한다.
Figure 112008081914049-pat00016
은 픽셀값의 이동 정도를 의미하며,
Figure 112008081914049-pat00017
은 시차가 발생한 오브젝트를 구성하는 픽셀의 시차(D1)을 나타낸다. 그리고, 본 발명에서 왼쪽으로 이동하는 시차를 (+)로 정의한다면, 수학식 3에서
Figure 112008081914049-pat00018
은 -1을 나타낸다.
즉, 왼쪽 영상에서 시차가 발생한 오브젝트를 구성하는 픽셀들은 오른쪽으로 이동하게 된다. 만약, 왼쪽 영상이 3번 시점 위치인 경우, 1번 시점 위치와 2번 시점 위치에 대응하는 제1 시점 영상이 생성되며, 수학식 3에 의하면, 픽셀값의 이동 정도는 각 시점 위치와 왼쪽 영상의 시차에 따라 결정된다. 결국, 제1 시점 영상 생성부(401)는 보외법을 통해 왼쪽 영상으로부터 적어도 하나의 제1 시점 영상을 생성할 수 있다.
시차 정보에 따라 픽셀값을 이동시키는 경우, 생성된 제1 시점 영상에서 영상 정보가 없는 영역이 존재할 수 있다. 그러면, 제1 시점 영상 생성부(401)는 영상 정보가 없는 영역을 채울 수 있다(S403). 이 때, 제1 시점 영상 생성부(401)는 영상 정보가 없는 영역(disocclusion area)의 주변 정보(예를 들면, 인접한 배경 정보)를 이용하여 영역을 채울 수 있다.
도 6은 본 발명의 일실시예에 따른 스테레오 영상의 왼쪽 영상과 오른쪽 영상으로부터 제2 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
제2 시점 영상 생성부(402)는 왼쪽 영상과 왼쪽 영상의 시차 정보에 따라 왼쪽 영상의 픽셀값을 이동시킬 수 있다(S601). 또한, 제2 시점 영상 생성부(402)는 오른쪽 영상과 오른쪽 영상의 시차 정보에 따라 오른쪽 영상의 픽셀값을 이동시킬 수 있다(S601).
그러면, 제2 시점 영상 생성부(402)는 왼쪽 영상에 대한 왼쪽 시점 영상을 생성할 수 있다(S602). 그리고, 제2 시점 영상 생성부(402)는 오른쪽 영상에 대한 오른쪽 시점 영상을 생성할 수 있다(S603). 제2 시점 영상 생성부(402)는 왼쪽 시 점 영상과 오른쪽 시점 영상을 통해 왼쪽 영상과 오른쪽 영상의 사이의 시점 위치에 대응하는 제2 시점 영상을 생성할 수 있다(S604). 일례로, 제2 시점 영상 생성부(402)는 하기 수학식 4에 따라 제2 시점 영상을 생성할 수 있다.
Figure 112008081914049-pat00019
여기서,
Figure 112008081914049-pat00020
는 왼쪽 영상을 의미하고,
Figure 112008081914049-pat00021
는 왼쪽 영상에 대한 왼쪽 시점 영상을 의미한다. 그리고,
Figure 112008081914049-pat00022
는 오른쪽 영상을 의미하고,
Figure 112008081914049-pat00023
는 오른쪽 시점 영상을 의미한다.
Figure 112008081914049-pat00024
과
Figure 112008081914049-pat00025
은 각각 왼쪽 영상과 오른쪽 영상에서의 픽셀 이동 정도를 의미한다. 또한,
Figure 112008081914049-pat00026
과
Figure 112008081914049-pat00027
은 각각 왼쪽 영상과 오른쪽 영상에 대한 시차 정보(시차)를 의미한다.
수학식 4를 참고하면, 제2 시점 영상 생성부(402)는 생성된 왼쪽 시점 영상과 오른쪽 시점 영상 각각의 픽셀 위치에 대해 영상값을 비교하여, 왼쪽 시점 영상과 오른쪽 시점 영상 모두 영상값을 가지고 있는 경우, 영상값을 평균하여 제2 시 점 영상을 생성할 수 있다. 그리고, 두 영상 중 어느 하나만 영상값을 가지고 있는 경우, 제2 시점 영상 생성부(402)는 영상값이 존재하는 영상을 제2 시점 영상으로 결정할 수 있다. 결국, 제2 시점 영상 생성부(402)는 보간법을 통해 왼쪽 영상과 오른쪽 영상으로부터 제2 시점 영상을 생성할 수 있다.
제2 시점 영상을 생성하는 경우, 왼쪽 영상과 오른쪽 영상을 모두 고려하기 때문에, 영상 정보가 없는 영역이 필요하지 않아 영역을 채우는 과정이 필요하지 않을 수 있다.
도 7은 본 발명의 일실시예에 따른 스테레오 영상의 오른쪽 영상으로부터 제3 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
제3 시점 영상 생성부(403)는 오른쪽 영상의 시차 정보에 따라 오른쪽 영상의 픽셀값을 이동시킬 수 있다(S701). 그리고, 제3 시점 영상 생성부(401)는 오른쪽 영상의 픽셀값을 이동시키면서 제3 시점 영상을 생성할 수 있다(S702). 일례로, 제1 시점 영상 생성부(401)는 하기 수학식 5에 따라 제1 시점 영상을 생성할 수 있다.
Figure 112008081914049-pat00028
여기서,
Figure 112008081914049-pat00029
는 생성되는 제3 시점 영상의 각 픽셀값을 의미하고,
Figure 112008081914049-pat00030
는 오른쪽 영상의 각 픽셀값을 의미한다.
Figure 112008081914049-pat00031
은 픽셀 값의 이동 정도를 의미하며,
Figure 112008081914049-pat00032
은 시차가 발생한 오브젝트를 구성하는 픽셀의 시차(D2)을 나타낸다. 그리고, 본 발명에서 왼쪽으로 이동하는 시차를 (+)로 정의한다면, 수학식 5에서
Figure 112008081914049-pat00033
은 +1을 나타낸다.
즉, 오른쪽 영상에서 시차가 발생한 오브젝트를 구성하는 픽셀들은 왼쪽으로 이동하게 된다. 만약, 오른쪽 영상이 7번 시점 위치인 경우, 8번, 9번, 10번 시점 위치에 대응하는 제3 시점 영상이 생성되며, 수학식 5에 의하면, 픽셀값의 이동 정도는 각 시점 위치와 오른쪽 영상의 시차에 따라 결정된다. 결국, 제3 시점 영상 생성부(403)는 보외법을 통해 오른쪽 영상으로부터 적어도 하나의 제3 시점 영상을 생성할 수 있다.
시차 정보에 따라 픽셀값을 이동시키는 경우, 생성된 제3[1] 시점 영상에서 영상 정보가 없는 영역이 존재할 수 있다. 그러면, 제1 시점 영상 생성부(401)와 마찬가지로, 제3 시점 영상 생성부(403)는 영상 정보가 없는 영역을 채울 수 있다(S703). 이 때, 제3 시점 영상 생성부(403)는 영상 정보가 없는 영역의 주변 정보(예를 들면, 인접한 배경 정보)를 이용하여 영역을 채울 수 있다.
도 8은 본 발명의 일실시예에 따른 다시점 영상 생성 장치를 통해 다시점 영상을 생성하는 전체 과정을 설명하기 위한 도면이다.
도 8을 참고하면, 시점 위치 결정부(102)는 다시점 영상(801)에서 왼쪽 영상(803)과 오른쪽 영상(804) 각각의 시점 위치(NL, NR)를 결정할 수 있다. 이 때, 시점 위치 결정부(102)는 왼쪽 영상(803) 또는 오른쪽 영상(804)의 시차 정보를 이 용하여 시점 위치를 결정할 수 있다. 그리고, 시점 위치 결정부(102)는 다시점 영상(801)을 표현하는 디스플레이의 시차 정보도 함께 고려하여 시점 위치를 결정할 수 있다.
그러면, 다시점 영상 생성부(103)는 다시점 영상(801)에서 왼쪽 영상(803) 및 오른쪽 영상(804)의 시점 위치를 제외한 나머지 시점 위치에 대한 영상을 생성할 수 있다. 구체적으로, 다시점 영상 생성부(103)는 왼쪽 영상(801)의 왼쪽 시점 위치에 대응하는 적어도 하나의 제1 시점 영상(시점 영상(802)를 포함)을 생성할 수 있다. 즉, 다시점 영상 생성부(103)는 보외법(left view extrapolation)을 통해 왼쪽 영상으로부터 적어도 하나의 제1 시점 영상을 생성할 수 있다. 이 때, 제1 시점 영상에서 영상 정보가 없는 영역에 대해 다시점 영상 생성부(103)는 주변 정보를 통해 영상 정보를 채울 수 있다.
그리고, 다시점 영상 생성부(103)는 왼쪽 영상(801)과 오른쪽 영상(803)의 시점 위치 사이의 시점 위치에 대응하는 적어도 하나의 제2 시점 영상을 생성할 수 있다. 구체적으로, 다시점 영상 생성부(103)는 왼쪽 영상에 대한 왼쪽 시점 영상 및 오른쪽 영상에 대한 오른쪽 시점 영상을 생성한 후, 생성된 시점 영상을 이용하여 제2 시점 영상을 생성할 수 있다. 즉, 다시점 영상 생성부(103)는 보간법(view interpolation)을 통해 왼쪽 시점 영상과 오른쪽 시점 영상을 이용하여 적어도 하나의 제2 시점 영상을 생성할 수 있다.
또한, 다시점 영상 생성부(103)는 오른쪽 영상(804)의 오른쪽 시점 위치에 대응하는 적어도 하나의 제3 시점 영상(시점 영상(805)를 포함)을 생성할 수 있다. 즉, 다시점 영상 생성부(103)는 보외법(right view extrapolation)을 통해 오른쪽 영상으로부터 적어도 하나의 제3 시점 영상을 생성할 수 있다. 이 때, 제3 시점 영상에서 영상 정보가 없는 영역에 대해 다시점 영상 생성부(103)는 주변 정보를 통해 영상 정보를 채울 수 있다.
도 9는 본 발명의 일실시예에 따른 다시점 영상 생성 방법의 전체 과정을 도시한 플로우차트이다.
단계(S901)에서, 다시점 영상 생성 장치는 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각의 화소별 시차 정보를 추출할 수 있다. 이 때, 시차 정보는 왼쪽 영상과 오른쪽 영상 각각의 시차도를 통해 추출될 수 있다. 일례로, 다시점 영상 생성 장치는 스테레오 매칭 방식을 통해 스테레오 영상으로부터 시차도를 추출할 수 있다.
단계(S902)에서, 다시점 영상 생성 장치는 다시점 영상 생성 장치는 다시점 영상에서 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각이 출력될 시점 위치를 결정할 수 있다. 즉, 다시점 영상 생성 장치는 다시점 영상에서 왼쪽 영상과 오른쪽 영상이 몇 번째 시점에서 출력될 것인가를 결정할 수 있다.
일례로, 다시점 영상 생성 장치는 왼쪽 영상 또는 오른쪽 영상 중 어느 하나의 영상에 대한 시차 정보를 이용하여 다시점 영상에서의 시점 위치를 결정할 수 있다. 구체적으로, 다시점 영상 생성 장치는 스테레오 영상의 제1 최대 시차와 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 이용하여 시점 위치를 결정할 수 있다. 이 때, 다시점 영상 생성 장치는 제1 최대 시차와 제2 최대 시차를 비교 하여 왼쪽 영상과 오른쪽 영상 사이의 시점 개수를 계산할 수 있다. 그러면, 다시점 영상 생성 장치는 시점 개수와 제2 최대 시차를 이용하여 다시점 영상에 대한 왼쪽 영상과 오른쪽 영상 각각의 시점 위치를 결정할 수 있다.
일례로, 다시점 영상 생성 장치는 스테레오 영상의 장면별 최대 시차인 제1 최대 시차와 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 이용하여 다시점 영상에서의 장면별 시점 위치를 결정할 수 있다.
이 때, 다시점 영상 생성 장치는 스테레오 영상의 프레임 간 색값 차이에 기초하여 프레임마다 장면의 변화를 감지할 수 있다. 일례로, 다시점 영상 생성 장치는 프레임 간 고정된 위치의 참조 블록의 색값 차이에 기초하여 장면 변화를 감지할 수 있다. 예를 들어, 참조 블록의 색값 차이가 미리 설정한 임계값보다 큰 경우, 다시점 영상 생성 장치는 장면 변화를 감지할 수 있다.
그리고, 다시점 영상 생성 장치는 장면의 변화가 발생하면, 장면의 변화가 발생된 최초 프레임의 최대 시차를 이용하여 제1 최대 시차를 결정할 수 있다. 여기서, 다시점 영상 생성 장치는 최초 프레임의 최대 시차를 제1 최대 시차로 설정할 수 있다. 다음 프레임의 최대 시차가 제1 최대 시차보다 큰 경우, 제1 최대 시차는 다음 프레임의 최대 시차로 재설절될 수 있다. 이러한 과정은 장면 변화가 발생되는 프레임까지 계속해서 반복된다. 결국, 장면별 최대 시차인 제1 최대 시차는 특정값으로 수렴하게 되어, 특정 장면에 대해 고정된 시점 위치가 결정될 수 있다.
그러면, 다시점 영상 생성 장치는 제1 최대 시차와 제2 최대 시차를 비교하 여 왼쪽 영상과 오른쪽 영상의 사이의 시점 개수를 계산할 수 있다. 그리고, 다시점 영상 생성 장치는 계산된 시점 개수와 제2 최대 시차를 이용하여 다시점 영상에 대한 왼쪽 영상과 오른쪽 영상 각각의 시점 위치를 결정할 수 있다.
일례로, 다시점 영상 생성 장치는 시점 위치를 결정하고자 하는 현재 프레임에 대해 이전 프레임 및 이후 프레임을 참조하여 현재 프레임의 시점 위치를 결정할 수 있다. 이 때, 다시점 영상 생성 이전 프레임, 이후 프레임 및 현재 프레임 각각의 최대 시차를 비교한 결과에 따라 현재 프레임의 시점 위치를 결정할 수 있다.
단계(S903)에서, 다시점 영상 생성 장치는 시점 위치에 기초하여 상기 스테레오 영상으로부터 다시점 영상을 생성할 수 있다. 일례로, 다시점 영상 생성 장치는 왼쪽 영상의 시점 위치의 왼쪽 시점 위치에 대응하는 적어도 하나의 제1 시점 영상을 생성할 수 있다. 즉, 다시점 영상 생성 장치는 보외법(left view extrapolation)을 통해 왼쪽 영상으로부터 적어도 하나의 제1 시점 영상을 생성할 수 있다. 이 때, 제1 시점 영상에서 영상 정보가 없는 영역은 주변 정보를 통해 채워질 수 있다.
그리고, 다시점 영상 생성 장치는 왼쪽 영상과 오른쪽 영상의 시점 위치 사이의 시점 위치에 대응하는 적어도 하나의 제2 시점 영상을 생성할 수 있다. 이 때, 다시점 영상 생성 장치는 왼쪽 영상에 대한 왼쪽 시점 영상과 오른쪽 영상에 대한 오른쪽 영상 시점을 결정한 후, 왼쪽 시점 영상과 오른쪽 시점 영상을 이용하여 적어도 하나의 제2 시점 영상을 생성할 수 있다. 즉, 다시점 영상 생성 장치는 보간법(view interpolation)을 통해 왼쪽 영상과 오른쪽 영상으로부터 적어도 하나의 제2 시점 영상을 생성할 수 있다.
다시점 영상 생성 장치는 오른쪽 영상의 시점 위치의 오른쪽 시점 위치에 대응하는 적어도 하나의 제3 시점 영상을 생성할 수 있다. 즉, 다시점 영상 생성 장치는 보외법(right view extrapolation)을 통해 오른쪽 영상으로부터 적어도 하나의 제3 시점 영상을 생성할 수 있다. 이 때, 제3 시점 영상에서 영상 정보가 없는 영역은 주변 정보를 통해 채워질 수 있다.
그러면, 다시점 영상 생성 장치는 생성된 적어도 하나의 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 다시점 디스플레이의 특성에 따라 결합하여 최종적인 다시점 영상을 생성할 수 있다.
도 9에서 설명되지 않은 부분은 도 1 내지 도 8의 설명을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 다시점 영상 생성 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 실시예에 한정되는 것은 아니며, 이는 본 발명의 일실시예가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 다시점 영상 생성 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 다시점 영상 생성 장치의 시차 정보 추출부의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 다시점 영상 생성 장치의 시점 위치 결정부의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 다시점 영상 생성 장치의 다시점 영상 생성부의 상세 구성을 도시한 블록 다이어그램이다.
도 5는 본 발명의 일실시예에 따른 스테레오 영상의 왼쪽 영상으로부터 제1 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 스테레오 영상의 왼쪽 영상과 오른쪽 영상으로부터 제2 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 스테레오 영상의 오른쪽 영상으로부터 제3 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 다시점 영상 생성 장치를 통해 다시점 영상을 생성하는 전체 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 다시점 영상 생성 방법의 전체 과정을 도시한 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 다시점 영상 생성 장치
101: 시차 정보 추출부
102: 시점 위치 결정부
103: 다시점 영상 생성부

Claims (20)

  1. 스테레오 영상의 제1 최대 시차 및 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 이용하여, 상기 다시점 디스플레이에서 디스플레이되는 다시점 영상에서 상기 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각이 출력될 시점(view) 위치를 결정하는 시점 위치 결정부; 및
    상기 시점 위치에 기초하여 상기 스테레오 영상으로부터 다시점 영상을 생성하는 다시점 영상 생성부
    를 포함하는, 다시점 영상 생성 장치.
  2. 제1항에 있어서,
    상기 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각의 픽셀별 시차(disparity) 정보를 추출하는 시차 정보 추출부
    를 더 포함하고,
    상기 시점 위치 결정부는,
    상기 왼쪽 영상 또는 상기 오른쪽 영상 중 어느 하나의 영상에 대한 시차 정보를 이용하여 다시점 영상에서의 시점 위치를 결정하는, 다시점 영상 생성 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 시점 위치 결정부는,
    상기 스테레오 영상의 장면별 최대 시차인 제1 최대 시차와 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 이용하여 상기 다시점 영상에서의 장면별 시점 위치를 결정하는, 다시점 영상 생성 장치.
  5. 제4항에 있어서,
    상기 시점 위치 결정부는,
    상기 스테레오 영상의 프레임 간 색값 차이에 기초하여 상기 프레임마다 장면의 변화를 감지하고,
    상기 장면의 변화가 발생하면, 상기 장면의 변화가 발생된 최초 프레임의 최대 시차를 이용하여 상기 제1 최대 시차를 결정하는, 다시점 영상 생성 장치.
  6. 제5항에 있어서,
    상기 시점 위치 결정부는,
    상기 최초 프레임의 최대 시차를 상기 제1 최대 시차로 설정하고,
    상기 최초 프레임으로부터 장면 변화가 발생된 프레임까지 프레임마다 최대 시차를 비교하여 상기 제1 최대 시차를 재설정하는, 다시점 영상 생성 장치.
  7. 제1항에 있어서,
    상기 시점 위치 결정부는,
    상기 제1 최대 시차와 상기 제2 최대 시차를 비교하여 상기 왼쪽 영상과 오른쪽 영상의 사이의 시점 개수를 계산하고, 상기 시점 개수와 상기 제2 최대 시차를 이용하여 다시점 영상에 대한 상기 왼쪽 영상과 오른쪽 영상 각각의 시점 위치를 결정하는, 다시점 영상 생성 장치.
  8. 제1항에 있어서,
    상기 시점 위치 결정부는,
    시점 위치를 결정하고자 하는 현재 프레임에 대해 이전 프레임 및 이후 프레임을 참조하여 상기 현재 프레임의 시점 위치를 결정하는, 다시점 영상 생성 장치.
  9. 제8항에 있어서,
    상기 시점 위치 결정부는,
    상기 이전 프레임, 이후 프레임 및 상기 현재 프레임 각각의 최대 시차를 비교한 결과에 따라 상기 현재 프레임의 시점 위치를 결정하는, 다시점 영상 생성 장치.
  10. 제1항에 있어서,
    상기 다시점 영상 생성부는,
    상기 왼쪽 영상의 시점 위치의 왼쪽 시점 위치에 대응하는 적어도 하나의 제1시점 영상을 생성하는 제1 시점 영상 생성부;
    상기 왼쪽 영상의 시점 위치와 상기 오른쪽 영상의 시점 위치 사이의 시점 위치에 대응하는 적어도 하나의 제2 시점 영상을 생성하는 제2 시점 영상 생성부; 및
    상기 오른쪽 영상의 시점 위치의 오른쪽 시점 위치에 대응하는 적어도 하나의 제3 시점 영상을 생성하는 제3 시점 영상 생성부
    를 포함하는, 다시점 영상 생성 장치.
  11. 스테레오 영상의 제1 최대 시차 및 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 이용하여, 상기 다시점 디스플레이에서 디스플레이되는 다시점 영상에서 상기 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각이 출력될 시점 위치를 결정하는 단계; 및
    상기 시점 위치에 기초하여 상기 스테레오 영상으로부터 다시점 영상을 생성하는 단계
    를 포함하는, 다시점 영상 생성 방법.
  12. 제11항에 있어서,
    상기 스테레오 영상의 왼쪽 영상과 오른쪽 영상 각각의 픽셀별 시차(disparity) 정보를 추출하는 단계
    를 더 포함하고,
    상기 시점 위치를 결정하는 단계는,
    상기 왼쪽 영상 또는 상기 오른쪽 영상 중 어느 하나의 영상에 대한 시차 정보를 이용하여 다시점 영상에서의 시점 위치를 결정하는, 다시점 영상 생성 방법.
  13. 삭제
  14. 제11항에 있어서,
    상기 시점 위치를 결정하는 단계는,
    상기 스테레오 영상의 장면별 최대 시차인 제1 최대 시차와 다시점 디스플레이가 표현할 수 있는 제2 최대 시차를 이용하여 상기 다시점 영상에서의 장면별 시점 위치를 결정하는, 다시점 영상 생성 방법.
  15. 제14항에 있어서,
    상기 시점 위치를 결정하는 단계는,
    상기 스테레오 영상의 프레임 간 색값 차이에 기초하여 상기 프레임마다 장면의 변화를 감지하는 단계; 및
    상기 장면의 변화가 발생하면, 상기 장면의 변화가 발생된 최초 프레임의 최대 시차를 이용하여 상기 제1 최대 시차를 결정하는 단계
    를 포함하는, 다시점 영상 생성 방법.
  16. 제15항에 있어서,
    상기 제1 최대 시차를 결정하는 단계는,
    상기 최초 프레임의 최대 시차를 상기 제1 최대 시차로 설정하는 단계; 및
    상기 최초 프레임으로부터 장면 변화가 발생된 프레임까지 프레임마다 최대 시차를 비교하여 상기 제1 최대 시차를 재설정하는 단계
    를 포함하는, 다시점 영상 생성 방법.
  17. 제11항에 있어서,
    상기 시점 위치를 결정하는 단계는,
    상기 제1 최대 시차와 상기 제2 최대 시차를 비교하여 상기 왼쪽 영상과 오른쪽 영상의 사이의 시점 개수를 계산하는 단계; 및
    상기 시점 개수와 상기 제2 최대 시차를 이용하여 다시점 영상에 대한 상기 왼쪽 영상과 오른쪽 영상 각각의 시점 위치를 결정하는 단계
    를 포함하는, 다시점 영상 생성 방법.
  18. 제11항에 있어서,
    상기 시점 위치를 결정하는 단계는,
    시점 위치를 결정하고자 하는 현재 프레임에 대해 이전 프레임 및 이후 프레임을 참조하여 상기 현재 프레임의 시점 위치를 결정하는, 다시점 영상 생성 방법.
  19. 제18항에 있어서,
    상기 시점 위치를 결정하는 단계는,
    상기 이전 프레임, 이후 프레임 및 상기 현재 프레임 각각의 최대 시차를 비교한 결과에 따라 상기 현재 프레임의 시점 위치를 결정하는, 다시점 영상 생성 방법.
  20. 제11항에 있어서,
    상기 다시점 영상을 생성하는 단계는,
    상기 왼쪽 영상의 시점 위치의 왼쪽 시점 위치에 대응하는 적어도 하나의 제1시점 영상을 생성하는 단계;
    상기 왼쪽 영상의 시점 위치와 상기 오른쪽 영상의 시점 위치 사이의 시점 위치에 대응하는 적어도 하나의 제2 시점 영상을 생성하는 단계; 및
    상기 오른쪽 영상의 시점 위치의 오른쪽 시점 위치에 대응하는 적어도 하나의 제3 시점 영상을 생성하는 단계
    를 포함하는, 다시점 영상 생성 방법.
KR1020080118896A 2008-11-27 2008-11-27 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법 KR101526868B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080118896A KR101526868B1 (ko) 2008-11-27 2008-11-27 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080118896A KR101526868B1 (ko) 2008-11-27 2008-11-27 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100060330A KR20100060330A (ko) 2010-06-07
KR101526868B1 true KR101526868B1 (ko) 2015-06-08

Family

ID=42361262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080118896A KR101526868B1 (ko) 2008-11-27 2008-11-27 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101526868B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101667011B1 (ko) * 2011-11-24 2016-10-18 에스케이플래닛 주식회사 입체 영상의 장면 전환 검출 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050102156A (ko) * 2004-04-20 2005-10-25 쓰리알 주식회사 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
KR100560464B1 (ko) * 2005-03-30 2006-03-13 (주)디노스 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050102156A (ko) * 2004-04-20 2005-10-25 쓰리알 주식회사 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
KR100560464B1 (ko) * 2005-03-30 2006-03-13 (주)디노스 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법

Also Published As

Publication number Publication date
KR20100060330A (ko) 2010-06-07

Similar Documents

Publication Publication Date Title
KR101633627B1 (ko) 입력 ３차원 비디오 신호를 프로세싱하는 방법 및 시스템
EP2477158B1 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
JP5011316B2 (ja) 出力画像のレンダリング
KR101491556B1 (ko) 깊이 추정 장치 및 방법
US8817073B2 (en) System and method of processing 3D stereoscopic image
US8810564B2 (en) Apparatus and method for reducing three-dimensional visual fatigue
EP2175663A1 (en) Image processing apparatus and method
EP2169619A2 (en) Conversion method and apparatus with depth map generation
EP2618303A2 (en) Image processing method and apparatus for generating disparity value
KR20100053935A (ko) 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US9147281B2 (en) Rendering apparatus and method for generating multi-views
KR101697181B1 (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
JP6128442B2 (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｓｔｅｒｅｏ ｂａｓｅ ｅｘｔｅｎｓｉｏｎ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ｝
EP2498501A2 (en) 3D image display method and apparatus thereof
EP2472880A1 (en) Method and device for generating an image view for 3D display
JP5627498B2 (ja) 立体画像生成装置及び方法
WO2013128765A1 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
KR101526868B1 (ko) 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법
KR102180068B1 (ko) 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
JP5492311B2 (ja) 視点画像生成装置、視点画像生成方法及び立体画像印画装置
KR20120073804A (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee