KR101269302B1 - 스테레오 영상에서 중간시점영상 합성 방법 - Google Patents

스테레오 영상에서 중간시점영상 합성 방법 Download PDF

Info

Publication number
KR101269302B1
KR101269302B1 KR1020060133769A KR20060133769A KR101269302B1 KR 101269302 B1 KR101269302 B1 KR 101269302B1 KR 1020060133769 A KR1020060133769 A KR 1020060133769A KR 20060133769 A KR20060133769 A KR 20060133769A KR 101269302 B1 KR101269302 B1 KR 101269302B1
Authority
KR
South Korea
Prior art keywords
image
region
view image
quot
synthesizing
Prior art date
Application number
KR1020060133769A
Other languages
English (en)
Other versions
KR20080059883A (ko
Inventor
이건일
안상준
김수현
박선영
윤주현
한영섭
최광철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060133769A priority Critical patent/KR101269302B1/ko
Publication of KR20080059883A publication Critical patent/KR20080059883A/ko
Application granted granted Critical
Publication of KR101269302B1 publication Critical patent/KR101269302B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 스테레오 영상에서 중간시점영상 합성 시 발생하는 블록킹 현상을 방지하기 위한 방법에 관한 것이다.
이를 위하여 본 발명은 좌시점 영상과 우시점 영상을 이용하여 중간시점영상 합성 시 발생하는 블록킹 현상을 방지하기 위한 방법에 있어서, 좌시점 영상과 우시점 영상이 입력되면, 상기 좌시점 영상과 우시점 영상을 이용하여 움직임 예측을 통해 움직임 백터 정보를 생성하는 과정과, 상기 좌시점 영상과 우시점 영상간의 프레임 차영상 정보를 생성하는 과정과, 상기 움직임 벡터 정보와 프레임 차영상 정보를 이용하여 정지 영역(stationary region), 움직임 영역(moving region), 언커버드 영역(uncovered region), 커버드 영역(covered region)으로 분할하는 과정과, 상기 분할된 각 영역에 대한 중간 프레임의 영역값을 생성하여 중간시점영상을 합성하는 과정을 포함하여 이루어진 것을 특징으로 한다.
Figure R1020060133769
스테레오 영상, 중간시점영상, 블록킹 현상

Description

스테레오 영상에서 중간시점영상 합성 방법{INTERMEDIATE VIEW RECONSTRUCTION METHOD IN STEREO IMAGE}
도 1은 본 발명의 실시 예에 따라 입력되는 좌시점 영상과 우시점 영상에 대하여 중간시점영상을 합성하기 위한 시스템의 내부 구성도,
도 2는 본 발명의 실시 예에 따라 스테레오 영상에서 중간시점영상 합성 시 블록킹 현상을 방지하기 과정을 도시하는 흐름도,
도 3은 본 발명의 실시 예에 따라 4개의 영역을 설명하기 위한 좌, 우시점 영상을 도시하는 예시도,
도 4는 본 발명의 실시 예에 따라 좌, 우시점 및 각각의 좌, 우시점으로부터 합성된 중간시점영상을 도시하는 예시도,
도 5는 본 발명의 실시 예에 따라 좌, 우시점 영상에서 가려진(Occlusion) 영역을 설명하기 위한 예시도.
본 발명은 스테레오 영상에서 중간시점영상 합성 시 발생하는 블록킹 현상을 방지하기 위한 방법에 관한 것이다.
최근들어 영상 기술이 2차원 영상에서 3차원 영상으로 구현하는 방식에 대한 연구 쪽으로 활발히 진행되고 있다. 이러한 3차원 영상은 2차원 영상에 비해 보다 사실적이고 현실감 있는 영상 정보를 표현할 수 있다. 인간 시각 특성을 활용하여 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 해당 위치에 주사한 후, 좌시점과 우시점을 사용자의 좌안과 우안에 분리하여 상이 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정받고 있다. 이와 같이 3차원 영상을 생성하는 방법을 이용한 초기 모델은 좌우 영상에 대한 각각 2시점으로 이미지를 표현함으로써 실감있는 표현에 한계가 많았으며, 이를 극복하기 위해 여러 위치에서도 3차원 영상을 감지함으로써 입체감을 더욱 높여 주기 위해 다시점 3차원 영상 디스플레이 장치들이 선보이고 있다. 다시점 표현을 위해서는 관찰자의 미세한 시각 위치 변화에 해당하는 영상들에 대한 정보를 모두 가지고 있다가, 해당 시각 위치에 대한 좌안과 우안에 대한 영상정보들만을 관찰자의 망막에 투사되게 함으로써 여러 각도에서 3차원 입체감을 느끼게 하는 방법이다. 그러나, 이와 같은 다시점 3차원 영상 생성을 위해서는 미세한 시각 위치 변화에 해당하는 영상들을 촬영하기 위한 많은 수의 카메라와 같은 정보 입력장치가 필요하며, 이 정보전달을 위한 방대한 채널 용량이 요구된다. 이러한 문제점을 극복하기 위해 두 시점의 영상에서 중간 영상 합성을 통해 중간 시점 영상을 합성하는 중간시점영상 합성(intermediate view reconstruction : IVR) 기법을 이용하여 다시점 3차원 영상 디스프레이를 수행할 수 있도록 하였다. 이와 같은 중간시점영상은 필요한 전 체 시점에 해당하는 모든 영상정보를 카메라도 획득하거나 전송하지 않고서, 그 중 일부 시점에 해당하는 영상정보를 균일하게 샘플링하여 획득 전송한 후 나머지 전송되지 않은 영상에 대한 정보들은 전송된 두 시점의 영상을 활용하여 두 시점의 영상에 대한 중간시점영상을 합성함으로서 생성할 수 있다. 이와 같은 방법은 작은 용량의 정보 및 전송 채널만으로 필요한 대 용량의 정보를 생성할 수 있어 많이 활용되고 있다.
이와 같은 중간시점영상 합성 방법에서 대표적인 방법 중 하나는 움직임 예측과 움직임 보상을 활용한 방법이다. 이러한 방법은 우선, 어느 한 시점 영상과 인접한 시점 영상을 대상으로 시점 간의 차이(disparity)를 추정한다. 이후 추정된 차이(disparity)에 대한 중간 차이(disparity)에 해당하는 위치에 새로운 영상을 합성하는 방법을 사용하여 전체적으로 중간 영상을 합성하게 된다. 이때, 두 시점의 영상간의 차이(disparity)에 대한 추정은 블록 기반의 차이 추정 방법을 사용한다.
이와 같은 블록 기반 차이 추정(DE : disparity estimation)에 대해 설명하면, 이는 블록 기반 움직임 예측과 유사한데, 움직임 예측에서는 시간적으로 인접하여 입력되는 두 영상에 대해 기준이 되는 영상을 균일한 블록단위로 영역을 나누고 각각의 블록에 대한 움직인 차이(motion disparity)를 다른 영상에서 수직 수평 방향으로 찾는 방법을 활용한다. 이때, 기준 영상과 인접한 영상 사이의 움직임 차이(motion disparity)를 흔히 움직임 벡터(motion vector)라고 부른다. 이와 같은 블록 기반 차이 추정에 의한 중간시점영상 합성은 우선 좌시점 영상과 우시점 영상 중 어느 한 영상을 기준으로 기준영상을 균일한 블록으로 분할한다. 이후 기준 블록을 이용하여 상대편 영상에서 가장 유사한 블록을 찾아서 그 때의 해당 차이(disparity)의 절반 차이(disparity)에 해당하는 위치에 새로운 영상을 합성하는 방법이다.
상술한 바와 같은 종래 기술에 따른 중간 영상 합성 방법은 블록단위로 처리되기 때문에 합성된 중간 영상에서의 모자이크 현상이라고 불리는 블록킹 현상(blocking artifacts)이 발생한다. 이와 같은 블록킹 현상으로 인해 영상의 품질 저하를 일으킬 수 있다.
또한, 스테레오 영상의 특성상 좌시점 영상과 우시점 영상에는 두 시점 중에서 어느 한 시점에만 존재하는 영역인 가려진(occlusion) 영역이 존재하게 된다. 따라서, 중간시점영상 합성 기법을 사용하여 중간시점영상을 합성할 시 가려진(occlusion) 영역에 대한 예외 처리 없이 일반 영역과 같은 방법으로 처리하기 때문에 합성된 중간 영상에서의 품질 저하가 심해질 수 있는 문제점이 있다.
따라서, 본 발명은 중간시점영상 합성 기법을 사용하여 중간시점영상을 합성할 시 발생하는 가려진(occlusion) 영역에 대한 처리를 효과적으로 해줌으로써 합성된 중간 영상의 품질을 향상시키기 위한 방법을 제공한다.
또한, 본 발명은 중간시점영상 합성 기법을 사용하여 중간시점영상을 합성할 시 블록단위 처리로 인해 발생하는 블록킹 현상에 의한 영상의 품질 저하를 위한 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 좌시점 영상과 우시점 영상을 이용하여 중간시점영상 합성 시 발생하는 블록킹 현상을 방지하기 위한 방법에 있어서, 좌시점 영상과 우시점 영상이 입력되면, 상기 좌시점 영상과 우시점 영상을 이용하여 움직임 예측을 통해 움직임 백터 정보를 생성하는 과정과, 상기 좌시점 영상과 우시점 영상간의 프레임 차영상 정보를 생성하는 과정과, 상기 움직임 벡터 정보와 프레임 차영상 정보를 이용하여 정지 영역(stationary region), 움직임 영역(moving region), 언커버드 영역(uncovered region), 커버드 영역(covered region)으로 분할하는 과정과, 상기 분할된 각 영역에 대한 중간 프레임의 영역값을 생성하여 중간시점영상을 합성하는 과정을 포함하여 이루어진 것을 특징으로 한다.
이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명은 좌시점 영상과 우시점 영상의 움직임 정보와 프레임 차영상 정보를 이용하여 영상을 4개의 영역인 정지 영역(stationary region), 움직임 영역(moving region), 언커버드 영역(uncovered region), 커버드 영역(covered region)으로 분류하고, 각각의 영역에 대해 서로 다른 처리 방법을 이용하여 중간영상을 합성하는 방안을 제안한다.
먼저, 도 1을 참조하여 입력되는 좌시점 영상과 우시점 영상에 대하여 중간시점영상을 합성하기 위한 시스템에 대하여 살펴보도록 한다. 본 발명에 따른 중간시점영상 합성을 위한 시스템은 움직임 예측부(100), 프레임 차영상 생성부(102), 영역 분할부(104), 중간시점영상 합성부(106)를 포함하여 구성될 수 있다. 여기서, 움직임 예측부(100)는 좌시점 영상과 우시점 영상을 이용하여 움직임 정보를 구한다. 각 영상으로부터 움직임 정보를 구하는 기술은 일반적인 영상처리 기술에서 움직임 정보 추출방법을 사용하여 구할 수 있으므로, 본 발명에서 구체적인 설명은 생략하도록 한다. 또한, 프레임 차영상 생성부(102)는 좌시점 영상과 우시점 영상에 대한 차영상을 생성한다. 또한, 영역 분할부(104)에서는 상기의 움직임 예측부(100)에서 예측된 움직임 정보와 프레임 차영상 생성부(102)로부터 생성된 차영상 정보를 이용하여 영상을 4개의 영역으로 구분한다. 이때, 4개의 영역은 정지 영역(stationary region), 움직임 영역(moving region), 언커버드 영역(uncovered region), 커버드 영역(covered region)으로 구분할 수 있다. 도 3을 참조하여 상기의 4개의 영역에 대하여 살펴보면, 정지 영역(Stationary region)이란 좌시점 영상과 우시점 영상 둘다 움직인이 없는 즉, 영상의 변화가 없는 영역이고, 움직임 영역(moving region)이란 움직임이 있는 영역이다. 예를 들어 도 3에서 300과 301 및 310과 311영역은 움직임 영역이다. 또한, 언커버드 영역(Uncovered region)은 물체가 움직임으로서 가리워져 있던 부분이 나타난 영역이며, 커버드 영역(covered region)은 보였다가 가리워진 영역이다. 예를 들어, 도 3에서 320, 330은 커버드 영역이다. 즉, 언커버드 영역(Uncovered region)과 커버드 영역(covered region)이 가려진 영역(Occlusion region)이다. 도 5를 참조하면, 이와 같은 가려진 영역(Occlusion region)을 살펴보면, 500, 502는 가려진 영역(Occlusion region)이 될 수 있다. 즉, 좌시점 영상(a)에 있던 영역인 500가 우시점 영상(b)에서는 없으므로 이 영역은 커버드 영역(covered region)이 되고, 좌시점 영상(b)에 없던 영역인 502가 우시점 영상(b)에서는 있으므로 이 영역은 언커버드 영역(Uncovered region)이 된다.
상기와 같은 4개의 영역으로 분할하는 방법에 대하여 하기의 수학식들을 이용하여 각 영역으로 분할할 수 있다.
먼저, 하기의 수학식에서 사용되는 변수에 대한 정의를 설명하도록 한다.
Figure 112006096254815-pat00001
은 프레임 간 차영상의 (x,y)위치에서의 이진화 값으로, 차영상의 값이 존재하면 1, 존재하지 않으면 0을 나타낸다.
Figure 112006096254815-pat00002
은 합성된 총 프레임 수이다. 또한,
Figure 112006096254815-pat00003
는 i번째 합성된 프레임의 인덱스이고,
Figure 112006096254815-pat00004
는 순방향, 역방향 수평, 수직 움직임 벡터를 나타낸다.
1. 정지 영역(stationary region)
프레임 내에서 배경 부분과 같이 움직임이 없는 영역을 말하며, 하기의 <수학식 1>을 이용하여 영역을 분할할 수 있다.
Figure 112006096254815-pat00005
2. 움직임 영역(moving region)
움직임이 있는 영역을 말하며, 하기의 <수학식 2> 및 <수학식 3>을 이용하여 영역을 분할할 수 있다.
Figure 112006096254815-pat00006
Figure 112006096254815-pat00007
3. 언커버드 영역(uncovered region)
물체가 움직여서 가리워져 있던 부분이 나타난 영역을 말하며, 하기의 <수학식4> 및 <수학식5>를 이용하여 분할할 수 있다.
Figure 112006096254815-pat00008
Figure 112006096254815-pat00009
4. 커버드 영역(covered region)
물체가 움직여서 보였다가 가려진 영역을 말하며, 하기의 <수학식6> 및 <수학식7>을 이용하여 분할할 수 있다.
Figure 112006096254815-pat00010
Figure 112006096254815-pat00011
상기와 같이 각각의 좌시점 영상과 우시점 영상으로부터 움직임 벡터 정보와 좌시점 영상과 우시점 영상간의 차영상 정보를 이용한 상기의 수학식들과 같이 계산하면 4개의 영역으로 분할할 수 있다. 이와 같이 좌시점 영상과 우시점 영상을 4개의 영역으로 분할하는 예는 도 4와 같이 도시할 수 있다.
도 4를 참조하면, 좌시점 영상에서 a와 우시점 영상에서 A는 정지영역으로 동일하므로 합성된 중간시점 영상에서 같은 위치에 1영역으로 합성된다. 또한, 좌시점 영상에서 움직임 영역은 b영역이고, 우시점 영상에서 움직임 영역은 C영역이므로 합성된 중간시점 영상에서는 중간 위치인 3영역으로 합성된다. 또한, 좌시점 영상에서는 있었지만 우시점 영상에서는 없는 c영역은 합성된 중간시점 영상에서 4영역으로 합성되고, 좌시점 영상에서는 없었지만 우시점 영상에서는 있는 B영역은 합성된 중간시점 영상에서 2영역으로 합성된다.
한편, 중간시점영상 합성부(106)는 각각의 4개의 영역에 대해 서로 다른 방법을 사용하여 중간 영상을 합성하게 된다. 이에 대하여 구체적으로 도 5를 참조하여 살펴보도록 한다.
도 5를 참조하면, 스테레오 영상의 특성상 좌시점 영상과 우시점 영상에는 두 시점 중에서 500과 502와 같이 어느 한 시점에만 존재하는 영역인 가려진(occlusion) 영역이 존재하게 된다. 좌시점 영상의 가려진 영역(occlusion region)인 500은 움직여서 보였다가 가려진 영역(occlusion region)으로 상기의 커버드 영역(covered region) 분할을 위한 <수학식 6> 및 <수학식 7>을 이용하여 분할할 수 있다. 또한, 우시점 영상의 가려진 영역(occlusion region)인 502는 움직여서 가리워져 있던 부분이 나타난 영역으로 언커버드 영역(uncovered region) 분할을 위한 <수학식 4> 및 <수학식 5>를 이용하여 분할할 수 있다.
종래에서는 상기와 같이 4가지 영역을 고려하지 않고, 모든 영역을 동일한 특성을 가진 것으로 중간영상을 합성했기 때문에 합성된 중간영상이 블록킹 현상을 가지는 등과 같은 품질 저하를 일으키는 문제가 발생하였다. 그러나, 본 발명에서는 상기와 같이 영상을 각기 다른 특성을 가지는 4개의 영역으로 분할하고, 분할된 각 영역마다 서로 다른 영상 합성 방법을 적용하여 중간 영상을 합성함으로써 합성된 영상 품질의 향상을 가져올 수 있도록 한다.
그러면, 이제 상기와 같이 영역 분할부(104)에서 분할된 각 영역에 대하여 미리 설정된 다른 합성 방법을 이용하여 중간시점 영상 합성부(106)에서 중간시점 영상을 합성하는 방법에 대하여 설명하도록 한다. 먼저, 하기에서
Figure 112006096254815-pat00012
은 k번째 프레임의 (x,y) 위치에서의 화소 값이다.
1. 정지 영역(stationary region)
움직임이 없는 영역이며, 영역에 대한 정보가 (k-n)번째 프레임 및 k번째 프레임에 모두 있기 때문에 다음과 같은 <수학식 8>과 같이 선형 인터폴레이션(linear interpolation)을 이용하여 생성한다.
Figure 112006096254815-pat00013
2. 움직임 영역(moving region)
영역에 대한 정보가 (k-n)번째 프레임 및 k번째 프레임에 모두 있고, 움직임이 있는 영역이므로 다음과 같은 <수학식 9>과 같이 양방향 움직임 보상을 이용하여 생성한다.
Figure 112006096254815-pat00014
3. 언커버드 영역(uncovered region)
영역에 대한 정보가 k번째 프레임에만 있기 때문에 다음과 같은 <수학식 10>과 같이 역방향 예측을 통하여 생성한다.
Figure 112006096254815-pat00015
4. 커버드 영역(covered region)
영역에 대한 정보가 (k-n)번째 프레임에만 있기 때문에 다음과 같은 <수학식 11>과 같이 순방향 예측을 통하여 생성한다.
Figure 112006096254815-pat00016
상기에서는 한 장의 중간시점영상을 합성하는 방안에 대하여 설명하였지만, 상기의 방법을 이용하여 임의의 여러 장의 중간영상을 합성할 수 있다.
그러면, 상기와 도 1과 같이 구성되는 시스템에서 좌시점 영상과 우시점 영상으로부터 중간시점영상을 합성하는 과정에 대하여 도 1 및 2를 참조하여 살펴보도록 한다.
먼저, 202단계에서 좌시점, 우시점 영상이 움직임 예측부(100)에 입력되면, 204단계에서 움직임 예측부(100)는 좌시점, 우시점 영상을 이용하여 움직임 예측을 수행한다. 이때, 움직임 예측은 일반적으로 동영상 압축 표준에서 널리 사용되는 블록단위로 움직임을 예측하는 블록 매칭 알고리듬을 사용한다. 도 3에 나타낸 블록 매칭 알고리듬은 입력 영상을 블록 단위로 나눈 다음 기준 블록을 이전 프레임의 정해진 탐색 범위 내의 여러 개의 블록과 비교하여 가장 닮은 블록을 찾아내 기준 블록에 대하여 매칭된 블록의 위치를 움직임 벡터로 정하는 기법이다. 즉, 검색 영역 안에서 어떤 블록이 현재 프레임의 정해진 블록으로 이동하였는가를 찾음으로 써 움직임 예측을 수행하여 움직임 벡터 정보를 도출할 수 있다.
206단계에서 프레임차 영상 생성부(102)는 좌시점 영상과 우시점 영상 간의 프레임 차를 생성한다.
208단계에서 영역 분할부(104)는 움직임 예측을 통해서 도출된 움직임 벡터 정보와 프레임 차영상 정보를 이용하여 영상을 4개의 영역으로 분할한다. 이때, 4개의 영역으로의 분할은 상기의 도 1의 설명에서 영역 분할부(104)에서 기재한 방식으로 분할 가능하다.
이후, 210단계에서 중간시점 영상 합성부(106)는 각각 분할된 영역에 대한 중간 프레임의 영역 값을 생성하여 중간시점영상을 합성한다. 이때, 4개의 각각 분할된 영역에 대한 중간 프레임의 영역 값을 생성은 상기의 도 1의 설명에서 중간시점영상 합성부(106)에서 기재한 방식으로 합성 가능하다.
상술한 바와 같이 본 발명은 좌시점 영상과 우시점 영상의 움직임 정보와 프레임 차영상 정보를 이용하여 영상을 4개의 영역 (stationary, moving, uncovered, and covered region)으로 분류하고 각각의 영역에 대해 각각에 영역에 따른 처리 방법을 이용하여 중간시점영상을 합성한다. 이로 인해 스테레오 영상의 특성상 존재하게 되는 가려진 영역에 대한 처리를 효과적으로 해줌으로써 합성된 중간 영상의 품질을 더욱 향상시킬 수 있다. 또한, 픽셀단위 처리로 인하여 기존의 블록단위 처리로 인해 발생하는 블록킹 현상에 의한 영상의 품질 저하를 피할 수 있는 이점 이 있다.

Claims (10)

  1. 좌시점 영상과 우시점 영상을 이용하여 중간시점영상 합성 시 발생하는 블록킹 현상을 방지하기 위한 방법에 있어서,
    좌시점 영상과 우시점 영상이 입력되면, 상기 좌시점 영상과 우시점 영상을 이용하여 움직임 예측을 통해 움직임 백터 정보를 생성하는 과정과,
    상기 좌시점 영상과 우시점 영상간의 프레임 차영상 정보를 생성하는 과정과,
    상기 움직임 벡터 정보와 프레임 차영상 정보를 이용하여 정지 영역(stationary region), 움직임 영역(moving region), 언커버드 영역(uncovered region), 커버드 영역(covered region)으로 분할하는 과정과,
    상기 분할된 각 영역에 대한 중간 프레임의 영역값을 생성하여 중간시점영상을 합성하는 과정을 포함하여 이루어진 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
  2. 제 1항에 있어서,
    상기 정지 영역(Stationary region)은 좌시점 영상과 우시점 영상 둘다 움직임이 없는 영역이고, 상기 움직임 영역(moving region)은 움직임이 있는 영역이고, 상기 언커버드 영역(Uncovered region)은 물체가 움직임으로서 가리워져 있던 부분 이 나타난 영역이고, 커버드 영역(covered region)은 보였다가 가리워진 영역인 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
  3. 제 2항에 있어서,
    상기 정지 영역(stationary region)은 하기의 <수학식 1>을 이용하여 영역을 분할할 수 있는 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
    [수학식 1]
    Figure 112006096254815-pat00017
    여기서,
    Figure 112006096254815-pat00018
    은 프레임 간 차영상의 (x,y)위치에서의 이진화 값으로, 차영상의 값이 존재하면 1, 존재하지 않으면 0을 나타냄.
  4. 제 2항에 있어서,
    상기 움직임 영역(moving region)은 하기의 <수학식 2> 및 <수학식 3>을 이용하여 영역을 분할할 수 있는 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
    [수학식 2]
    Figure 112006096254815-pat00019
    [수학식 3]
    Figure 112006096254815-pat00020
    여기서,
    Figure 112006096254815-pat00021
    은 프레임 간 차영상의 (x,y)위치에서의 이진화 값으로, 차영상의 값이 존재하면 1, 존재하지 않으면 0을 나타내고,
    Figure 112006096254815-pat00022
    은 합성된 총 프레임 수이고,
    Figure 112006096254815-pat00023
    는 i번째 합성된 프레임의 인덱스이고,
    Figure 112006096254815-pat00024
    는 순방향, 역방향 수평, 수직 움직임 벡터를 나타냄.
  5. 제 2항에 있어서,
    상기 언커버드 영역(uncovered region)은 하기의 <수학식 4> 및 <수학식 5>을 이용하여 영역을 분할할 수 있는 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
    [수학식 4]
    Figure 112006096254815-pat00025
    [수학식 5]
    Figure 112006096254815-pat00026
    여기서,
    Figure 112006096254815-pat00027
    은 프레임 간 차영상의 (x,y)위치에서의 이진화 값으로, 차영상의 값이 존재하면 1, 존재하지 않으면 0을 나타내고,
    Figure 112006096254815-pat00028
    은 합성된 총 프레임 수이고,
    Figure 112006096254815-pat00029
    는 i번째 합성된 프레임의 인덱스이고,
    Figure 112006096254815-pat00030
    는 순방향, 역방향 수평, 수직 움직임 벡터를 나타냄.
  6. 제 2항에 있어서,
    커버드 영역(covered region)은 하기의 <수학식 6> 및 <수학식 7>을 이용하여 영역을 분할할 수 있는 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
    [수학식 6]
    Figure 112006096254815-pat00031
    [수학식 7]
    Figure 112006096254815-pat00032
    여기서,
    Figure 112006096254815-pat00033
    은 프레임 간 차영상의 (x,y)위치에서의 이진화 값으로, 차영상의 값이 존재하면 1, 존재하지 않으면 0을 나타내고,
    Figure 112006096254815-pat00034
    은 합성된 총 프레임 수이고,
    Figure 112006096254815-pat00035
    는 i번째 합성된 프레임의 인덱스이고,
    Figure 112006096254815-pat00036
    는 순방향, 역방향 수평, 수직 움직임 벡터를 나타냄.
  7. 제 2항에 있어서,
    상기 정지 영역(stationary region)에 대하여는 하기의 <수학식 8>과 같이 선형 인터폴레이션(linear interpolation)을 이용하여 중간시점영상을 생성하는 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
    [수학식 8]
    Figure 112006096254815-pat00037
    이때,
    Figure 112006096254815-pat00038
    은 k번째 프레임의 (x,y) 위치에서의 화소 값임.
  8. 제 2항에 있어서,
    상기 움직임 영역(moving region)에 대하여는 하기의 <수학식 9>과 같이 양방향 움직임 보상을 이용하여 중간시점영상을 생성하는 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
    [수학식 9]
    Figure 112006096254815-pat00039
    이때,
    Figure 112006096254815-pat00040
    은 k번째 프레임의 (x,y) 위치에서의 화소 값임.
  9. 제 2항에 있어서,
    상기 언커버드 영역(uncovered region)에 대하여는 하기의 <수학식 10>과 역방향 예측을 통하여 생성하는 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
    [수학식 10]
    Figure 112006096254815-pat00041
    이때,
    Figure 112006096254815-pat00042
    은 k번째 프레임의 (x,y) 위치에서의 화소 값임.
  10. 제 2항에 있어서,
    상기 커버드 영역(covered region)에 대하여는 하기의 <수학식 11>과 순방향 예측을 통하여 생성하는 것을 특징으로 하는 스테레오 영상에서 중간시점영상 합성 방법.
    [수학식 11]
    Figure 112006096254815-pat00043
    이때,
    Figure 112006096254815-pat00044
    은 k번째 프레임의 (x,y) 위치에서의 화소 값임.
KR1020060133769A 2006-12-26 2006-12-26 스테레오 영상에서 중간시점영상 합성 방법 KR101269302B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060133769A KR101269302B1 (ko) 2006-12-26 2006-12-26 스테레오 영상에서 중간시점영상 합성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060133769A KR101269302B1 (ko) 2006-12-26 2006-12-26 스테레오 영상에서 중간시점영상 합성 방법

Publications (2)

Publication Number Publication Date
KR20080059883A KR20080059883A (ko) 2008-07-01
KR101269302B1 true KR101269302B1 (ko) 2013-05-29

Family

ID=39812595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060133769A KR101269302B1 (ko) 2006-12-26 2006-12-26 스테레오 영상에서 중간시점영상 합성 방법

Country Status (1)

Country Link
KR (1) KR101269302B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666019B1 (ko) 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
KR20140039649A (ko) 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990026807A (ko) * 1997-09-26 1999-04-15 윤종용 영상 압축 장치 및 방법
JP2001169308A (ja) * 1999-12-06 2001-06-22 Mixed Reality Systems Laboratory Inc 奥行き情報計測装置及び複合現実感提示システム
JP2001222707A (ja) * 2000-02-08 2001-08-17 Sanyo Electric Co Ltd 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体
KR20050082764A (ko) * 2004-02-20 2005-08-24 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990026807A (ko) * 1997-09-26 1999-04-15 윤종용 영상 압축 장치 및 방법
JP2001169308A (ja) * 1999-12-06 2001-06-22 Mixed Reality Systems Laboratory Inc 奥行き情報計測装置及び複合現実感提示システム
JP2001222707A (ja) * 2000-02-08 2001-08-17 Sanyo Electric Co Ltd 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体
KR20050082764A (ko) * 2004-02-20 2005-08-24 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치

Also Published As

Publication number Publication date
KR20080059883A (ko) 2008-07-01

Similar Documents

Publication Publication Date Title
KR100517517B1 (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR101345303B1 (ko) 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
EP2560398B1 (en) Method and apparatus for correcting errors in stereo images
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
US8866884B2 (en) Image processing apparatus, image processing method and program
JP4056154B2 (ja) ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
KR100731979B1 (ko) 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR100720722B1 (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
US20110304708A1 (en) System and method of generating stereo-view and multi-view images for rendering perception of depth of stereoscopic image
US8803947B2 (en) Apparatus and method for generating extrapolated view
JP5673032B2 (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
JPH0927969A (ja) 複数画像の中間像生成方法及び視差推定方法および装置
KR20120074925A (ko) 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
JPH09275578A (ja) 多視点画像符号化装置および復号装置
JP6128442B2 (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｓｔｅｒｅｏ ｂａｓｅ ｅｘｔｅｎｓｉｏｎ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ｝
KR20140021766A (ko) 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
WO2012070372A1 (en) A method and a system for displaying a pair of stereoscopic images on a display
KR101269302B1 (ko) 스테레오 영상에서 중간시점영상 합성 방법
McVeigh et al. Algorithm for automated eye-strain reduction in real stereoscopic images and sequences
JP5627498B2 (ja) 立体画像生成装置及び方法
JP4815004B2 (ja) 多視点画像符号化装置
KR101336956B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR100322727B1 (ko) 2차원/스테레오영상변환방법및장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee