KR20140016735A - 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치 - Google Patents

3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치 Download PDF

Info

Publication number
KR20140016735A
KR20140016735A KR1020120083953A KR20120083953A KR20140016735A KR 20140016735 A KR20140016735 A KR 20140016735A KR 1020120083953 A KR1020120083953 A KR 1020120083953A KR 20120083953 A KR20120083953 A KR 20120083953A KR 20140016735 A KR20140016735 A KR 20140016735A
Authority
KR
South Korea
Prior art keywords
frame
depth
key
frames
motion vector
Prior art date
Application number
KR1020120083953A
Other languages
English (en)
Inventor
이미연
한승훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120083953A priority Critical patent/KR20140016735A/ko
Priority to US13/940,704 priority patent/US20140035905A1/en
Priority to EP13177854.0A priority patent/EP2693753A1/en
Priority to CN201310328463.6A priority patent/CN103581646A/zh
Publication of KR20140016735A publication Critical patent/KR20140016735A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3D 영상 변환 방법 및 이를 적용한 디스플레이 장치를 제공한다. 디스플레이 장치의 3D 영상 변환 방법은 복수의 영상 프레임 중에서 키 프레임들에 대한 뎁스 프레임을 생성하고, 영상 프레임들간의 모션 벡터를 산출하며, 뎁스 프레임 및 모션 벡터를 이용하여, 키 프레임 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 보간하고, 뎁스 프레임 및 보간 뎁스 프레임을 이용하여 복수의 입력 프레임에 대한 좌안 영상 및 우안 영상을 생성한다. 이에 의해, 디스플레이 장치는 오류 발생을 최소화하면서 실제와 근사한 뎁스 프레임을 생성할 수 있게 된다.

Description

3Ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치{Method for converting 2-dimension images into 3-dimension images and Display apparatus thereof}
본 발명은 3D 영상 변환 방법 및 이를 적용한 디스플레이 장치에 관한 것으로서, 더욱 상세하게는 복수의 영상 프레임으로 구성된 2D 영상을 3D 영상으로 변환하는 3D 영상 변환 방법 및 이를 적용한 디스플레이 장치에 관한 것이다.
3D 영상 기술은 정보통신, 방송, 의료, 교육, 훈련, 군사, 게임, 애니메이션, 가상현실, CAD, 산업 기술 등 그 응용 분야가 매우 다양하며 이러한 여러 분야에서 공통적으로 요구되는 차세대 3D 입체 멀티미디어 정보 통신의 핵심 기반 기술이라고 할 수 있다.
특히, 근래에는 디스플레이 장치(예를 들어, TV)에 3D 영상을 제공함으로써, 사용자에게 더욱 다양한 시청 환경을 제공한다. 사용자에게 3D 영상을 제공하기 위하여, 종래의 디스플레이 장치는 3D 영상 포맷의 영상 데이터를 입력받아야 했으나, 근래의 디스플레이 장치는 2D 영상 포맷의 영상 데이터를 3D 영상 포맷으로 변환함으로써, 사용자에게 3D 영상을 제공할 수 있다.
2D 영상 포맷의 영상 데이터를 3D 영상 포맷으로 변환하기 위해서는 2D 영상의 뎁스 정보를 나타내는 뎁스 프레임(또는 뎁스 맵)이 생성되어야 한다. 종래에는 뎁스 프레임을 생성하기 위하여, 뎁스 카메라를 이용하는 방법, 영상 프레임의 공간적 특징(예를 들어, 오브젝트의 크기, 배치, 이동 속도 등)을 이용하여 각 영상 프레임마다 뎁스 프레임을 생성하는 방법, 특정 영상 프레임으로부터 뎁스 프레임을 생성하고, 뎁스 프레임으로부터 시간적 보간법을 이용하여 다른 영상 프레임들에 대한 뎁스 프레임을 순차적으로 생성하는 방법 등이 사용되었다.
그러나, 뎁스 카메라를 이용하는 방법은 별도의 뎁스 카메라가 구비되어야 한다는 문제점이 존재한다. 또한, 영상 프레임의 공간적 특징을 이용하여 각 영상 프레임마다 뎁스 프레임을 생성하는 방법은 각 영상 프레임마다 뎁스 프레임을 생성해야하므로 과도한 연산 처리가 수행되는 문제점이 존재한다. 또한, 시간적 보간법을 이용하여 다른 영상 프레임들에 대한 뎁스 프레임을 순차적으로 생성하는 방법은 뎁스 프레임 생성시 오류가 발생할 경우, 오류가 점점 누적되는 문제점이 존재한다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 복수의 영상 프레임 중 키 프레임에 대응되는 뎁스 프레임을 이용하여 키 프레임들 사이의 중간 프레임에 대응되는 중간 뎁스 프레임을 보간함으로써, 오류 누적을 방지하고 실제와 근접한 뎁스 프레임을 생성할 수 있는 3D 영상 변환 방법 및 이를 적용한 디스플레이 장치를 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치의 3D 영상 변환 방법은, 복수의 영상 프레임 중에서 키 프레임들에 대한 뎁스 프레임을 생성하는 단계; 상기 영상 프레임들간의 모션 벡터를 산출하는 단계; 상기 뎁스 프레임 및 상기 모션 벡터를 이용하여, 상기 키 프레임 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 보간하는 단계; 및 상기 뎁스 프레임 및 상기 보간 뎁스 프레임을 이용하여 상기 복수의 입력 프레임에 대한 좌안 영상 및 우안 영상을 생성하는 단계;를 포함한다.
그리고, 상기 중간 뎁스 프레임을 보간하는 단계는, 상기 영상 프레임들 중에서 제1 및 제2 키 프레임들 사이의 중간 프레임과 상기 제1 키 프레임 사이의 제1 모션 벡터와, 상기 중간 프레임과 상기 제2 키 프레임 사이의 제2 모션 벡터를 비교하는 단계; 상기 비교 결과에 따라 상기 제1 키 프레임에 대응되는 제1 뎁스 프레임에 대한 제1 가중치 및 상기 제2 키 프레임에 대응되는 제2 뎁스 프레임에 대한 제2 가중치를 산출하는 단계; 및 상기 제1 뎁스 프레임에 대해 상기 제1 가중치를 반영하고, 상기 제2 뎁스 프레임에 대해 상기 제2 가중치를 반영하여, 상기 제1 뎁스 프레임 및 상기 제2 뎁스 프레임 사이의 중간 뎁스 프레임을 보간하는 단계;를 포함할 수 있다.
또한, 상기 제1 및 제2 가중치 각각은 상기 제1 모션 벡터 및 상기 제2 모션 벡터 각각의 크기에 반비례할 수 있다.
그리고, 제1 키 프레임 및 제2 키 프레임 사이에 복수 개의 중간 프레임이 있는 경우, 상기 중간 뎁스 프레임을 보간하는 단계는, 상기 복수 개의 중간 프레임에 대응되는 중간 뎁스 프레임을 계층적으로 보간할 수 있다.
또한, 상기 제1 키 프레임 및 상기 제2 키 프레임 사이에 제1 중간 프레임, 제2 중간 프레임 및 제3 중간 프레임이 있는 경우, 상기 중간 뎁스 프레임을 보간하는 단계는, 상기 제1 키 프레임에 대응되는 제1 뎁스 프레임, 제2 키 프레임에 대응되는 제2 뎁스 프레임, 상기 제1 키 프레임과 상기 제2 중간 프레임 사이의 모션 벡터 및 상기 제2 키 프레임과 상기 제2 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간하는 단계; 상기 제1 뎁스 프레임, 상기 제2 중간 뎁스 프레임, 상기 제1 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터 및 상기 제2 중간 프레임과 상기 제1 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간하는 단계; 및 상기 제2 뎁스 프레임, 제2 중간 뎁스 프레임, 상기 제2 중간 프레임과 상기 제3 중간 프레임 사이의 모션 벡터 및 상기 제3 중간 프레임과 상기 제2 키 프레임 사이의 모션 벡터를 이용하여, 상기 제3 중간 프레임에 대응되는 제3 중간 뎁스 프레임을 보간하는 단계;를 포함할 수 있다.
그리고, 상기 제1 키 프레임 및 상기 제2 키 프레임 사이에 제1 중간 프레임 및 제2 중간 프레임이 있는 경우, 상기 중간 뎁스 프레임을 보간하는 단계는, 상기 제1 키 프레임에 대응되는 제1 뎁스 프레임, 제2 키 프레임에 대응되는 제2 뎁스 프레임, 상기 제1 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터 및 상기 제2 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간하는 단계; 상기 제1 중간 뎁스 프레임, 상기 제2 뎁스 프레임, 상기 제1 중간 프레임과 상기 제2 중간 프레임 사이의 모션 벡터 및 상기 제2 중간 프레임과 상기 제2 키 프레임 사이의 모션 벡터를 이용하여, 상기 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간하는 단계;를 포함할 수 있다.
또한, 상기 복수의 영상 프레임 내에서 기 설정된 개수 단위의 영상 프레임마다 하나의 영상 프레임을 상기 키 프레임으로 선택하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 2D 영상을 3D 영상으로 변환하기 위한 디스플레이 장치는, 복수의 영상 프레임 중에서 키 프레임들에 대한 뎁스 프레임을 생성하는 뎁스 프레임 생성부; 상기 영상 프레임들간의 모션 벡터를 산출하는 모션 벡터 산출부; 상기 뎁스 프레임 및 상기 모션 벡터를 이용하여, 상기 키 프레임 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 보간하는 중간 뎁스 보간부; 및 상기 뎁스 프레임 및 상기 보간 뎁스 프레임을 이용하여 상기 복수의 입력 프레임에 대한 좌안 영상 및 우안 영상을 생성하는 3D 영상 생성부;를 포함한다.
그리고, 상기 중간 뎁스 보간부는, 상기 영상 프레임들 중에서 제1 및 제2 키 프레임들 사이의 중간 프레임과 상기 제1 키 프레임 사이의 제1 모션 벡터와, 상기 중간 프레임과 상기 제2 키 프레임 사이의 제2 모션 벡터를 비교하여, 상기 제1 키 프레임에 대응되는 제1 뎁스 프레임에 대한 제1 가중치 및 상기 제2 키 프레임에 대응되는 제2 뎁스 프레임에 대한 제2 가중치를 산출하고, 상기 제1 뎁스 프레임에 대해 상기 제1 가중치를 반영하며, 상기 제2 뎁스 프레임에 대해 상기 제2 가중치를 반영하여, 상기 제1 뎁스 프레임 및 상기 제2 뎁스 프레임 사이의 중간 뎁스 프레임을 보간할 수 있다.
또한, 상기 제1 및 제2 가중치 각각은 상기 제1 모션 벡터 및 상기 제2 모션 벡터 각각의 크기에 반비례할 수 있다.
그리고, 제1 키 프레임 및 제2 키 프레임 사이에 복수 개의 중간 프레임이 있는 경우, 상기 중간 뎁스 보간부는, 상기 복수 개의 중간 프레임에 대응되는 중간 뎁스 프레임을 계층적으로 보간할 수 있다.
또한, 상기 제1 키 프레임 및 상기 제2 키 프레임 사이에 제1 중간 프레임, 제2 중간 프레임 및 제3 중간 프레임이 있는 경우, 상기 중간 뎁스 보간부는, 상기 제1 키 프레임에 대응되는 제1 뎁스 프레임, 제2 키 프레임에 대응되는 제2 뎁스 프레임, 상기 제1 키 프레임과 상기 제2 중간 프레임 사이의 모션 벡터 및 상기 제2 키 프레임과 상기 제2 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간하고, 상기 제1 뎁스 프레임, 상기 제2 중간 뎁스 프레임, 상기 제1 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터 및 상기 제2 중간 프레임과 상기 제1 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간하며, 상기 제2 뎁스 프레임, 제2 중간 뎁스 프레임, 상기 제2 중간 프레임과 상기 제3 중간 프레임 사이의 모션 벡터 및 상기 제3 중간 프레임과 상기 제2 키 프레임 사이의 모션 벡터를 이용하여, 상기 제3 중간 프레임에 대응되는 제3 중간 뎁스 프레임을 보간할 수 있다.
그리고, 상기 제1 키 프레임 및 상기 제2 키 프레임 사이에 제1 중간 프레임 및 제2 중간 프레임이 있는 경우, 상기 중간 뎁스 보간부는, 상기 제1 키 프레임에 대응되는 제1 뎁스 프레임, 제2 키 프레임에 대응되는 제2 뎁스 프레임, 상기 제1 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터 및 상기 제2 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간하며, 상기 제1 중간 뎁스 프레임, 상기 제2 뎁스 프레임, 상기 제1 중간 프레임과 상기 제2 중간 프레임 사이의 모션 벡터 및 상기 제2 중간 프레임과 상기 제2 키 프레임 사이의 모션 벡터를 이용하여, 상기 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간할 수 있다.
또한, 상기 뎁스 프레임 생성부는, 상기 복수의 영상 프레임 내에서 기 설정된 개수 단위의 영상 프레임마다 하나의 영상 프레임을 상기 키 프레임으로 선택하여 뎁스 프레임을 생성할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의하면, 디스플레이 장치는 오류 발생을 최소화하면서 실제와 근사한 뎁스 프레임을 생성할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 일 실시예에 따른, 복수의 영상 프레임 중 키 프레임에 대응되는 뎁스 프레임을 생성하는 방법을 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른, 키 프레임에 대응되는 뎁스 프레임 및 모션 벡터를 이용하여 중간 뎁스 프레임을 생성하는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른, 키 프레임들 사이에 세 개의 중간 프레임이 있는 경우, 중간 프레임에 대응되는 중간 뎁스 프레임을 생성하는 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른, 키 프레임들 사이에 두 개의 중간 프레임이 있는 경우, 중간 프레임에 대응되는 중간 뎁스 프레임을 생성하는 방법을 설명하기 위한 도면, 그리고,
도 6은 본 발명의 일 실시예에 따른, 3D 영상 변환 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 디스플레이 장치(100)는 영상 입력부(110), 뎁스 프레임 생성부(120), 모션 벡터 산출부(130), 중간 뎁스 보간부(140), 3D 영상 생성부(150) 및 3D 영상 출력부(160)를 포함한다. 이때, 디스플레이 장치(100)는 스마트 TV일 수 있으나, 이에 한정되는 것이 아니며, 태블릿 PC, 모니터, 프로젝션 TV 등과 같은 다양한 디스플레이 장치로 구현될 수 있다.
영상 입력부(110)는 영상 데이터를 입력받는다. 구체적으로, 영상 입력부(110)는 외부의 방송국 또는 외부기기로부터 영상 데이터를 입력받을 수 있으며, 저장부(미도시)에 저장된 영상 데이터를 입력받을 수 있다.
이때, 영상 입력부(110)에 입력되는 영상 데이터는 복수의 영상 프레임으로 구성될 수 있다.
뎁스 프레임 생성부(120)는 영상 입력부(110)를 입력되는 복수의 영상 프레임 중 키 프레임들에 대한 뎁스 프레임을 생성한다. 여기서, 뎁스 프레임이라 함은 입력된 영상 프레임들에 대한 깊이 정보(또는 뎁스 정보)를 가지는 프레임으로서, 0부터 255 그레이스케일(grayscale)로 표현될 수 있다. 즉, 영상 프레임에 포함된 오브젝트의 뎁스가 높을수록 해당 오브젝트의 그레이스케일은 255에 가까워지며, 뎁스가 낮을수록 해당 오브젝트의 그레이스케일은 0에 가까워진다.
뎁스 프레임 생성부(120)가 뎁스 프레임을 생성하는 방법에 대해 자세히 설명하면, 우선, 뎁스 프레임 생성부(120)는 영상 입력부(110)를 통해 입력된 복수의 영상 프레임 중 키 프레임을 선택한다.
이때, 뎁스 프레임 생성부(120)는 복수의 영상 프레임 중 기설정된 프레임 간격으로 키 프레임을 선택할 수 있다. 예를 들어, 복수의 영상 프레임으로 구성된 영상 데이터가 수신된 경우, 뎁스 프레임 생성부(120)는 4프레임 간격으로 키 프레임을 선택할 수 있다. 그러나, 뎁스 프레임 생성부(120)가 기 설정된 간격으로 뎁스 프레임을 생성하는 것은 일 실시예에 불과할 뿐, 불규칙한 간격으로 뎁스 프레임을 생성하는 실시예 역시 본 발명의 기술적 사상이 적용될 수 있다.
그리고, 뎁스 프레임 생성부(120)는 선택된 키 프레임에 대한 뎁스 프레임(120)을 생성한다. 이때, 뎁스 프레임 생성부(120)는 키 프레임의 공간적인 특성(예를 들어, 오브젝트의 크기, 배치, 움직임 여부, 이동 속도 등)을 분석하여 뎁스 프레임(120)을 생성할 수 있다. 예를 들어, 뎁스 프레임 생성부(120)는 오브젝트의 크기가 클수록 뎁스가 높다고 판단할 수 있으며, 오브젝트가 아래쪽에 배치될수록 뎁스가 높다고 판단할 수 있으며, 오브젝트가 움직이고 있다면 뎁스가 높다고 판단할 수 있다. 그러나, 뎁스 프레임 생성부(120)가 키 프레임의 공간적인 특성을 분석하여 뎁스 프레임을 생성하는 것은 일 실시예에 불과할 뿐, 다른 방법으로 뎁스 프레임을 생성할 수 있다. 예를 들어, 사용자가 직접 키 프레임들에 대한 뎁스 정보를 입력하여 뎁스 프레임을 생성할 수 있다.
본 발명의 일 실시예로, 도 2에 도시된 바와 같이, 복수의 영상 프레임(210-1,210-2,210-3,...)이 영상 입력부(110)를 통해 입력된 경우, 뎁스 프레임 생성부(120)는 4프레임 간격으로 키 프레임(210-1,210-5,210-9,...)을 선택하고, 선택된 키 프레임(210-1,210-5,210-9,...)에 대응되는 뎁스 프레임들(220-1,220-5,220-9,..)을 생성할 수 있다.
모션 벡터 산출부(130)는 영상 입력부(110)를 통해 입력된 복수의 영상 프레임들에 대한 모션 벡터를 산출한다. 이때, 모션 벡터는 영상 프레임에 포함된 블럭들의 움직임 변화에 대한 값일 수 있다. 이때, 모션 벡터 산출부(130)는 영상 프레임을 구성하는 블럭의 움직임이 많은 경우, 모션 벡터값을 높게 산출하며, 영상 프레임을 구성하는 블럭의 움직임이 작은 경우, 모션 벡터값을 작게 산출할 수 있다.
중간 뎁스 보간부(140)는 뎁스 프레임 생성부(120)에서 생성된 뎁스 프레임 및 모션 벡터 산출부(130)에서 산출된 모션 벡터를 이용하여, 키 프레임 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 보간한다.
중간 뎁스 보간부(140)가 뎁스 프레임 및 모션 벡터를 이용하여, 키 프레임 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 보간하는 방법에 대해 도 3을 참조하여 설명하기로 한다.
우선, 제1 키 프레임, 중간 프레임, 제2 키 프레임으로 구성된 영상 데이터가 수신된 경우, 중간 뎁스 보간부(140)는 제1 키 프레임과 중간 프레임 사이의 제1 모션 벡터(mv1)와, 중간 프레임과 제2 키 프레임 사이의 제2 모션 벡터(mv2)를 비교할 수 있다.
그리고, 중간 뎁스 보간부(140)는 모션 벡터의 비교 결과에 따라 제1 뎁스 프레임에 대한 제1 가중치(w1) 및 제2 뎁스 프레임에 대한 제2 가중치(1-w1)를 산출할 수 있다. 이때, 제1 및 제2 가중치 각각(w1,1-w1)은 제1 모션 벡터(mv1) 및 제2 모션 벡터(mv2) 각각의 크기에 반비례할 수 있다. 즉, 제1 모션 벡터(mv1)의 값이 클수록 제1 가중치(w1)는 점점 작아지며, 제2 모션 벡터(mv2)의 값이 클수록 제2 가중치(1-w1)는 점점 커질 수 있다. 예를 들어, 제1 가중치(w1)는 아래와 같은 수학식 1에 의해 계산될 수 있다.
Figure pat00001
이는 모션 벡터가 작은 경우, 즉, 움직임이 없는 경우, 인접 프레임이 유사하기 때문에, 가중치가 높게 산출될 수 있다.
그리고, 중간 뎁스 보간부(140)는 제1 뎁스 프레임에 대해 제1 가중치(w1)를 반영하고, 제2 뎁스 프레임에 대해 제2 가중치(1-w1)를 반영하여, 제1 뎁스 프레임 및 제2 뎁스 프레임 사이의 중간 뎁스 프레임을 보간할 수 있다.
특히, 제1 키 프레임 및 제2 키 프레임 사이에 복수 개의 중간 프레임이 있는 경우, 중간 뎁스 보간부(140)는 복수 개의 중간 프레임에 대응되는 중간 뎁스 프레임을 계층적으로 보간할 수 있다.
본 발명의 일 실시예로, 제1 키 프레임 및 제2 키 프레임 사이에 세 개의 중간 프레임이 있는 실시예에 대해 도 4를 참조하여 설명하기로 한다.
도 4에 도시된 바와 같이, 제1 키 프레임 및 제2 키 프레임 사이에 제1 내지 제3 중간 프레임이 있는 경우, 중간 뎁스 보간부(140)는 제1 뎁스 프레임, 제2 뎁스 프레임, 제1 키 프레임과 제2 중간 프레임 사이의 모션 벡터(mv1) 및 제2 키 프레임과 제2 중간 프레임 사이의 모션 벡터(mv2)를 이용하여, 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간할 수 있다.
구체적으로, 중간 뎁스 보간부(140)는 제1 키 프레임과 제2 중간 프레임 사이의 모션 벡터(mv1)와, 제2 중간 프레임과 제2 키 프레임 사이의 모션 벡터(mv2)를 비교할 수 있다. 그리고, 중간 뎁스 보간부(140)는 모션 벡터(mv1,mv2)의 비교 결과에 따라 제1 뎁스 프레임에 대한 제1 가중치(w1) 및 제2 뎁스 프레임에 대한 제2 가중치(1-w1)를 산출할 수 있다. 그리고, 중간 뎁스 보간부(140)는 제1 뎁스 프레임에 대해 제1 가중치(w1)를 반영하고, 제2 뎁스 프레임에 대해 제2 가중치(1-w1)를 반영하여, 제1 뎁스 프레임 및 제2 뎁스 프레임 사이의 제2 중간 뎁스 프레임을 보간할 수 있다.
제2 중간 뎁스 프레임이 보간된 후, 중간 뎁스 보간부(140)는 제1 뎁스 프레임, 제2 중간 뎁스 프레임, 제1 키 프레임과 제1 중간 프레임 사이의 모션 벡터(mv3) 및 제2 중간 프레임과 제1 중간 프레임 사이의 모션 벡터(mv4)를 이용하여, 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간할 수 있다.
구체적으로, 중간 뎁스 보간부(140)는 제1 키 프레임과 제1 중간 프레임 사이의 모션 벡터(mv3)와, 제1 중간 프레임과 제2 중간 프레임 사이의 모션 벡터(mv4)를 비교할 수 있다. 그리고, 중간 뎁스 보간부(140)는 모션 벡터(mv3,mv4)의 비교 결과에 따라 제1 뎁스 프레임에 대한 제3 가중치(w2) 및 제2 중간 뎁스 프레임에 대한 제4 가중치(1-w2)를 산출할 수 있다. 그리고, 중간 뎁스 보간부(140)는 제1 뎁스 프레임에 대해 제3 가중치(w2)를 반영하고, 제2 중간 뎁스 프레임에 대해 제4 가중치(1-w2)를 반영하여, 제1 뎁스 프레임 및 제2 중간 뎁스 프레임 사이의 제1 중간 뎁스 프레임을 보간할 수 있다.
제1 중간 뎁스 프레임이 보간된 후, 중간 뎁스 보간부(140)는 제2 뎁스 프레임, 제2 중간 뎁스 프레임, 제2 중간 프레임과 제3 중간 프레임 사이의 모션 벡터(mv5) 및 제3 중간 프레임과 제2 키 프레임 사이의 모션 벡터(mv6)를 이용하여, 제3 중간 프레임에 대응되는 제3 중간 뎁스 프레임을 보간할 수 있다.
구체적으로, 중간 뎁스 보간부(140)는 제2 중간 프레임과 제3 중간 프레임 사이의 모션 벡터(mv5)와, 제3 중간 프레임과 제2 키 프레임 사이의 모션 벡터(mv6)를 비교할 수 있다. 그리고, 중간 뎁스 보간부(140)는 모션 벡터(mv5,mv6)의 비교 결과에 따라 제2 중간 뎁스 프레임에 대한 제5 가중치(w3) 및 제2 뎁스 프레임에 대한 제6 가중치(1-w3)를 산출할 수 있다. 그리고, 중간 뎁스 보간부(140)는 제2 중간 뎁스 프레임에 대해 제5 가중치(w3)를 반영하고, 제2 뎁스 프레임에 대해 제6 가중치(1-w3)를 반영하여, 제2 중간 뎁스 프레임 및 제2 뎁스 프레임 사이의 제3 중간 뎁스 프레임을 보간할 수 있다.
결국, 도 4에서 설명한 바와 같이, 중간 뎁스 보간부(140)는 제1 뎁스 프레임 및 제2 뎁스 프레임을 이용하여, 제2 중간 뎁스 프레임, 제1 중간 뎁스 프레임, 제3 중간 뎁스 프레임을 계층적으로 보간할 수 있다.
본 발명의 일 실시예로, 제1 키 프레임 및 제2 키 프레임 사이에 두 개의 중간 프레임이 있는 실시예에 대해 도 5를 참조하여 설명하기로 한다.
도 5에 도시된 바와 같이, 제1 키 프레임 및 제2 키 프레임 사이에 제1 및 제2 중간 프레임이 있는 경우, 중간 뎁스 보간부(140)는 제1 뎁스 프레임, 제2 뎁스 프레임, 제1 키 프레임과 제1 중간 프레임 사이의 모션 벡터(mv1) 및 제2 키 프레임과 제1 중간 프레임 사이의 모션 벡터(mv2)를 이용하여, 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간할 수 있다.
구체적으로, 중간 뎁스 보간부(140)는 제1 키 프레임과 제1 중간 프레임 사이의 모션 벡터(mv1)와, 제1 중간 프레임과 제2 키 프레임 사이의 모션 벡터(mv2)를 비교할 수 있다. 그리고, 중간 뎁스 보간부(140)는 모션 벡터(mv1,mv2)의 비교 결과에 따라 제1 뎁스 프레임에 대한 제1 가중치(w1) 및 제2 뎁스 프레임에 대한 제2 가중치(1-w1)를 산출할 수 있다. 그리고, 중간 뎁스 보간부(140)는 제1 뎁스 프레임에 대해 제1 가중치(w1)를 반영하고, 제2 뎁스 프레임에 대해 제2 가중치(1-w1)를 반영하여, 제1 뎁스 프레임 및 제2 뎁스 프레임 사이의 제1 중간 뎁스 프레임을 보간할 수 있다.
제1 중간 뎁스 프레임이 보간된 후, 중간 뎁스 보간부(140)는 제1 중간 뎁스 프레임, 제2 뎁스 프레임, 제1 중간 프레임과 제2 중간 프레임 사이의 모션 벡터(mv3) 및 제2 중간 프레임과 제2 키 프레임 사이의 모션 벡터(mv4)를 이용하여, 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간할 수 있다.
구체적으로, 중간 뎁스 보간부(140)는 제1 중간 프레임과 제2 중간 프레임 사이의 모션 벡터(mv3)와, 제2 중간 프레임과 제2 키 프레임 사이의 모션 벡터(mv4)를 비교할 수 있다. 그리고, 중간 뎁스 보간부(140)는 모션 벡터(mv3,mv4)의 비교 결과에 따라 제1 중간 뎁스 프레임에 대한 제3 가중치(w2) 및 제2 뎁스 프레임에 대한 제4 가중치(1-w2)를 산출할 수 있다. 그리고, 중간 뎁스 보간부(140)는 제1 중간 뎁스 프레임에 대해 제3 가중치(w2)를 반영하고, 제2 뎁스 프레임에 대해 제4 가중치(1-w2)를 반영하여, 제1 중간 뎁스 프레임 및 제2 뎁스 프레임 사이의 제2 중간 뎁스 프레임을 보간할 수 있다.
결국, 도 5에서 설명한 바와 같이, 중간 뎁스 보간부(140)는 제1 뎁스 프레임 및 제2 뎁스 프레임을 이용하여, 제1 중간 뎁스 프레임, 제2 중간 뎁스 프레임을 계층적으로 보간할 수 있다.
한편, 도 4 및 도 5에서 설명한 실시예에서는 제1 키 프레임 및 제2 키 프레임 사이에 두 개 또는 세 개의 중간 프레임이 있는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 네 개 이상의 중간 프레임을 가지는 경우 역시 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 제1 키 프레임 및 제2 키 프레임 사이에 4개의 중간 프레임이 있는 경우, 중간 뎁스 보간부(140)는 제1 키 프레임 및 제2 키 프레임을 이용하여 제2 중간 뎁스 프레임, 제3 중간 뎁스 프레임, 제1 중간 뎁스 프레임, 제4 중간 뎁스 프레임을 계층적으로 보간할 수 있다.
다시 도 2에 대해 설명하면, 3D 영상 생성부(150)는 뎁스 프레임 생성부(120)에서 생성된 뎁스 프레임들과 중간 뎁스 보간부(140)에서 보간된 중간 뎁스 프레임들을 이용하여, 영상 입력부(110)에 입력된 복수의 영상 프레임에 대한 좌안 영상 및 우안 영상을 생성한다.
구체적으로, 3D 영상 생성부(150)는 복수의 영상 프레임을 좌안 영상 및 우안 영상 중 하나로 설정하고, 복수의 영상 프레임 각각에 대응되는 뎁스 정보를 바탕으로 디스패러티(diparity)가 부가된 신규 영상 프레임을 좌안 영상 및 우안 영상 중 다른 하나로 설정할 수 있다. 또는, 3D 영상 생성부(150)는 복수의 영상 프레임 각각에 대응되는 뎁스 정보를 이용하여 복수의 영상 프레임 각각에 대한 신규 좌안 영상 프레임 및 신규 우안 영상 프레임을 생성할 수 있다.
3D 영상 출력부(160)는 3D 영상 생성부(150)에서 생성된 좌안 영상 및 우안 영상을 교번적으로 출력한다.
상술한 바와 같이, 키 프레임들에 대응되는 뎁스 프레임을 이용하여, 키 프레임들 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 계층적으로 보간함으로써, 디스플레이 장치는 뎁스 프레임 보간시 발생할 수 있는 오류를 최소화하면서 실제와 근사한 뎁스 프레임을 생성할 수 있게 된다.
이하에서는 도 6을 참조하여, 본 발명의 3D 영상 변환 방법에 대해 상세히 설명하도록 한다.
우선, 디스플레이 장치(100)는 복수의 영상 프레임을 입력받는다(S610). 이때, 복수의 영상 프레임은 2D 포맷의 영상 데이터이다.
그리고, 디스플레이 장치(100)는 키 프레임에 대한 뎁스 프레임을 생성한다(S620). 구체적으로, 디스플레이 장치(100)는 입력된 복수의 영상 프레임 중 기설정된 프레임 간격 또는 불규칙한 프레임 간격으로 키 프레임을 선택할 수 있다. 그리고, 디스플레이 장치(100)는 키 프레임의 공간적인 특징(예를 들어, 오브젝트의 크기, 배치, 움직임 여부 등)을 바탕으로 키 프레임에 대응되는 뎁스 프레임을 생성할 수 있다. 또는 디스플레이 장치(100)는 사용자의 입력을 통해 키 프레임에 대응되는 뎁스 프레임을 생성할 수 있다.
그리고, 디스플레이 장치(100)는 영상 프레임들 간의 모션 벡터를 산출한다(S630).
그리고, 디스플레이 장치(100)는 뎁스 프레임 및 모션 벡터를 이용하여 중간 뎁스 프레임을 생성한다(S640). 구체적으로, 제1 키 프레임, 중간 프레임, 제2 키 프레임으로 구성된 영상 데이터가 수신된 경우, 디스플레이 장치(100)는 제1 키 프레임과 중간 프레임 사이의 제1 모션 벡터와, 중간 프레임과 제2 키 프레임 사이의 제2 모션 벡터를 비교할 수 있다. 그리고, 디스플레이 장치(100)는 모션 벡터의 비교 결과에 따라 제1 키 프레임에 대응되는 제1 뎁스 프레임에 대한 제1 가중치(w1) 및 제2 키 프레임에 대응되는 제2 뎁스 프레임에 대한 제2 가중치(1-w1)를 산출할 수 있다. 이때, 제1 및 제2 가중치 각각(w1,1-w1)은 제1 모션 벡터(mv1) 및 제2 모션 벡터(mv2) 각각의 크기에 반비례할 수 있다. 그리고, 디스플레이 장치(100)는 제1 뎁스 프레임에 대해 제1 가중치(w1)를 반영하고, 제2 뎁스 프레임에 대해 제2 가중치(1-w1)를 반영하여, 제1 뎁스 프레임 및 제2 뎁스 프레임 사이의 중간 뎁스 프레임을 보간할 수 있다.
또한, 제1 키 프레임 및 제2 키 프레임 사이에 복수 개의 중간 프레임이 있는 경우, 디스플레이 장치(100)는 복수 개의 중간 프레임에 대응되는 중간 뎁스 프레임을 도 4 및 도 5에서 설명한 바와 같이, 계층적으로 보간할 수 있다.
그리고, 디스플레이 장치(100)는 뎁스 프레임 및 중간 뎁스 프레임을 이용하여 복수의 영상 프레임에 대한 좌안 영상 및 우안 영상을 생성한다(S650).
상술한 바와 같은 3D 영상 변환 방법에 의해, 디스플레이 장치는 오류 발생을 최소화하면서 실제와 근사한 뎁스 프레임을 생성할 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 디스플레이 장치의 3D 영상 변환 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
구체적으로는, 복수의 영상 프레임 중에서 키 프레임들에 대한 뎁스 프레임을 생성하는 단계, 상기 영상 프레임들간의 모션 벡터를 산출하는 단계, 상기 뎁스 프레임 및 상기 모션 벡터를 이용하여, 상기 키 프레임 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 보간하는 단계 및 상기 뎁스 프레임 및 상기 보간 뎁스 프레임을 이용하여 상기 복수의 입력 프레임에 대한 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 영상 입력부 120: 뎁스 프레임 생성부
130: 모션 벡터 산출부 140: 중간 뎁스 보간부
150: 3D 영상 생성부 160: 3D 영상 출력부

Claims (14)

  1. 디스플레이 장치의 3D 영상 변환 방법에 있어서,
    복수의 영상 프레임 중에서 키 프레임들에 대한 뎁스 프레임을 생성하는 단계;
    상기 영상 프레임들 간의 모션 벡터를 산출하는 단계;
    상기 뎁스 프레임 및 상기 모션 벡터를 이용하여, 상기 키 프레임 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 보간하는 단계; 및
    상기 뎁스 프레임 및 상기 보간 뎁스 프레임을 이용하여 상기 복수의 입력 프레임에 대한 좌안 영상 및 우안 영상을 생성하는 단계;를 포함하는 3D 영상 변환 방법.
  2. 제1항에 있어서,
    상기 중간 뎁스 프레임을 보간하는 단계는,
    상기 영상 프레임들 중에서 제1 및 제2 키 프레임들 사이의 중간 프레임과 상기 제1 키 프레임 사이의 제1 모션 벡터와, 상기 중간 프레임과 상기 제2 키 프레임 사이의 제2 모션 벡터를 비교하는 단계;
    상기 비교 결과에 따라 상기 제1 키 프레임에 대응되는 제1 뎁스 프레임에 대한 제1 가중치 및 상기 제2 키 프레임에 대응되는 제2 뎁스 프레임에 대한 제2 가중치를 산출하는 단계;
    상기 제1 뎁스 프레임에 대해 상기 제1 가중치를 반영하고, 상기 제2 뎁스 프레임에 대해 상기 제2 가중치를 반영하여, 상기 제1 뎁스 프레임 및 상기 제2 뎁스 프레임 사이의 중간 뎁스 프레임을 보간하는 단계;를 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
  3. 제2항에 있어서,
    상기 제1 및 제2 가중치 각각은 상기 제1 모션 벡터 및 상기 제2 모션 벡터 각각의 크기에 반비례하는 것을 특징으로 3D 영상 변환 방법.
  4. 제1항에 있어서,
    제1 키 프레임 및 제2 키 프레임 사이에 복수 개의 중간 프레임이 있는 경우,
    상기 중간 뎁스 프레임을 보간하는 단계는,
    상기 복수 개의 중간 프레임에 대응되는 중간 뎁스 프레임을 계층적으로 보간하는 것을 특징으로 하는 3D 영상 변환 방법.
  5. 제4항에 있어서,
    상기 제1 키 프레임 및 상기 제2 키 프레임 사이에 제1 중간 프레임, 제2 중간 프레임 및 제3 중간 프레임이 있는 경우,
    상기 중간 뎁스 프레임을 보간하는 단계는,
    상기 제1 키 프레임에 대응되는 제1 뎁스 프레임, 제2 키 프레임에 대응되는 제2 뎁스 프레임, 상기 제1 키 프레임과 상기 제2 중간 프레임 사이의 모션 벡터 및 상기 제2 키 프레임과 상기 제2 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간하는 단계;
    상기 제1 뎁스 프레임, 상기 제2 중간 뎁스 프레임, 상기 제1 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터 및 상기 제2 중간 프레임과 상기 제1 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간하는 단계; 및
    상기 제2 뎁스 프레임, 제2 중간 뎁스 프레임, 상기 제2 중간 프레임과 상기 제3 중간 프레임 사이의 모션 벡터 및 상기 제3 중간 프레임과 상기 제2 키 프레임 사이의 모션 벡터를 이용하여, 상기 제3 중간 프레임에 대응되는 제3 중간 뎁스 프레임을 보간하는 단계;를 포함하는 3D 영상 변환 방법.
  6. 제4항에 있어서,
    상기 제1 키 프레임 및 상기 제2 키 프레임 사이에 제1 중간 프레임 및 제2 중간 프레임이 있는 경우,
    상기 중간 뎁스 프레임을 보간하는 단계는,
    상기 제1 키 프레임에 대응되는 제1 뎁스 프레임, 제2 키 프레임에 대응되는 제2 뎁스 프레임, 상기 제1 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터 및 상기 제2 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간하는 단계;
    상기 제1 중간 뎁스 프레임, 상기 제2 뎁스 프레임, 상기 제1 중간 프레임과 상기 제2 중간 프레임 사이의 모션 벡터 및 상기 제2 중간 프레임과 상기 제2 키 프레임 사이의 모션 벡터를 이용하여, 상기 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간하는 단계;를 포함하는 3D 영상 변환 방법.
  7. 제1항에 있어서,
    상기 복수의 영상 프레임 내에서 기 설정된 개수 단위의 영상 프레임마다 하나의 영상 프레임을 상기 키 프레임으로 선택하는 단계;를 더 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
  8. 2D 영상을 3D 영상으로 변환하기 위한 디스플레이 장치에 있어서,
    복수의 영상 프레임 중에서 키 프레임들에 대한 뎁스 프레임을 생성하는 뎁스 프레임 생성부;
    상기 영상 프레임들간의 모션 벡터를 산출하는 모션 벡터 산출부;
    상기 뎁스 프레임 및 상기 모션 벡터를 이용하여, 상기 키 프레임 사이의 중간 프레임들에 대응되는 중간 뎁스 프레임을 보간하는 중간 뎁스 보간부; 및
    상기 뎁스 프레임 및 상기 보간 뎁스 프레임을 이용하여 상기 복수의 입력 프레임에 대한 좌안 영상 및 우안 영상을 생성하는 3D 영상 생성부;를 포함하는 디스플레이 장치.
  9. 제8항에 있어서,
    상기 중간 뎁스 보간부는,
    상기 영상 프레임들 중에서 제1 및 제2 키 프레임들 사이의 중간 프레임과 상기 제1 키 프레임 사이의 제1 모션 벡터와, 상기 중간 프레임과 상기 제2 키 프레임 사이의 제2 모션 벡터를 비교하여, 상기 제1 키 프레임에 대응되는 제1 뎁스 프레임에 대한 제1 가중치 및 상기 제2 키 프레임에 대응되는 제2 뎁스 프레임에 대한 제2 가중치를 산출하고, 상기 제1 뎁스 프레임에 대해 상기 제1 가중치를 반영하며, 상기 제2 뎁스 프레임에 대해 상기 제2 가중치를 반영하여, 상기 제1 뎁스 프레임 및 상기 제2 뎁스 프레임 사이의 중간 뎁스 프레임을 보간하는 것을 특징으로 하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 제1 및 제2 가중치 각각은 상기 제1 모션 벡터 및 상기 제2 모션 벡터 각각의 크기에 반비례하는 것을 특징으로 디스플레이 장치.
  11. 제8항에 있어서,
    제1 키 프레임 및 제2 키 프레임 사이에 복수 개의 중간 프레임이 있는 경우,
    상기 중간 뎁스 보간부는,
    상기 복수 개의 중간 프레임에 대응되는 중간 뎁스 프레임을 계층적으로 보간하는 것을 특징으로 하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 제1 키 프레임 및 상기 제2 키 프레임 사이에 제1 중간 프레임, 제2 중간 프레임 및 제3 중간 프레임이 있는 경우,
    상기 중간 뎁스 보간부는,
    상기 제1 키 프레임에 대응되는 제1 뎁스 프레임, 제2 키 프레임에 대응되는 제2 뎁스 프레임, 상기 제1 키 프레임과 상기 제2 중간 프레임 사이의 모션 벡터 및 상기 제2 키 프레임과 상기 제2 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간하고,
    상기 제1 뎁스 프레임, 상기 제2 중간 뎁스 프레임, 상기 제1 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터 및 상기 제2 중간 프레임과 상기 제1 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간하며,
    상기 제2 뎁스 프레임, 제2 중간 뎁스 프레임, 상기 제2 중간 프레임과 상기 제3 중간 프레임 사이의 모션 벡터 및 상기 제3 중간 프레임과 상기 제2 키 프레임 사이의 모션 벡터를 이용하여, 상기 제3 중간 프레임에 대응되는 제3 중간 뎁스 프레임을 보간하는 것을 특징으로 하는 디스플레이 장치.
  13. 제11항에 있어서,
    상기 제1 키 프레임 및 상기 제2 키 프레임 사이에 제1 중간 프레임 및 제2 중간 프레임이 있는 경우,
    상기 중간 뎁스 보간부는,
    상기 제1 키 프레임에 대응되는 제1 뎁스 프레임, 제2 키 프레임에 대응되는 제2 뎁스 프레임, 상기 제1 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터 및 상기 제2 키 프레임과 상기 제1 중간 프레임 사이의 모션 벡터를 이용하여, 상기 제1 중간 프레임에 대응되는 제1 중간 뎁스 프레임을 보간하며,
    상기 제1 중간 뎁스 프레임, 상기 제2 뎁스 프레임, 상기 제1 중간 프레임과 상기 제2 중간 프레임 사이의 모션 벡터 및 상기 제2 중간 프레임과 상기 제2 키 프레임 사이의 모션 벡터를 이용하여, 상기 제2 중간 프레임에 대응되는 제2 중간 뎁스 프레임을 보간하는 것을 특징으로 하는 디스플레이 장치.
  14. 제8항에 있어서,
    상기 뎁스 프레임 생성부는,
    상기 복수의 영상 프레임 내에서 기 설정된 개수 단위의 영상 프레임마다 하나의 영상 프레임을 상기 키 프레임으로 선택하여 뎁스 프레임을 생성하는 것을 특징으로 하는 디스플레이 장치.
KR1020120083953A 2012-07-31 2012-07-31 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치 KR20140016735A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120083953A KR20140016735A (ko) 2012-07-31 2012-07-31 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치
US13/940,704 US20140035905A1 (en) 2012-07-31 2013-07-12 Method for converting 2-dimensional images into 3-dimensional images and display apparatus thereof
EP13177854.0A EP2693753A1 (en) 2012-07-31 2013-07-24 Method of converting 2-dimension images into 3-dimension images and display apparatus thereof
CN201310328463.6A CN103581646A (zh) 2012-07-31 2013-07-31 将二维图像转换成三维图像的方法及其显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120083953A KR20140016735A (ko) 2012-07-31 2012-07-31 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR20140016735A true KR20140016735A (ko) 2014-02-10

Family

ID=48874168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120083953A KR20140016735A (ko) 2012-07-31 2012-07-31 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치

Country Status (4)

Country Link
US (1) US20140035905A1 (ko)
EP (1) EP2693753A1 (ko)
KR (1) KR20140016735A (ko)
CN (1) CN103581646A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108079A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 3차원 정보를 검출하는 방법 및 장치
KR102613032B1 (ko) * 2022-11-16 2023-12-12 주식회사 지디에프랩 사용자의 시야 영역에 매칭되는 뎁스맵을 바탕으로 양안 렌더링을 제공하는 전자 장치의 제어 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150262380A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Adaptive resolution in optical flow computations for an image processing system
US20160112528A1 (en) * 2014-10-16 2016-04-21 Futurewei Technologies, Inc. Method and System for Serving a Virtual Desktop to a Client
US20170155886A1 (en) * 2015-06-24 2017-06-01 Derek John Hartling Colour-Z: Low-D Loading to High-D Processing
US11423005B2 (en) * 2017-04-03 2022-08-23 Mitsubishi Electric Corporation Map data generator and method for generating map data
JP7105062B2 (ja) * 2017-12-21 2022-07-22 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
CN111862183A (zh) * 2020-07-02 2020-10-30 Oppo广东移动通信有限公司 深度图像处理方法和系统、电子设备及存储介质
US20220038654A1 (en) * 2020-07-30 2022-02-03 Nvidia Corporation Techniques to generate interpolated video frames

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988879B2 (ja) * 2003-01-24 2007-10-10 日本電信電話株式会社 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
KR100736041B1 (ko) * 2005-06-30 2007-07-06 삼성전자주식회사 에러 은닉 방법 및 장치
KR101345364B1 (ko) * 2006-02-27 2013-12-30 코닌클리케 필립스 엔.브이. 출력 영상 렌더링
EP2160037A3 (en) * 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
US8743109B2 (en) * 2006-08-31 2014-06-03 Kent State University System and methods for multi-dimensional rendering and display of full volumetric data sets
US8253780B2 (en) * 2008-03-04 2012-08-28 Genie Lens Technology, LLC 3D display system using a lenticular lens array variably spaced apart from a display screen
CN101814953B (zh) * 2010-03-01 2014-03-19 中兴通讯股份有限公司 一种实现传输设备自动保护倒换的方法和系统
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
EP2393298A1 (en) * 2010-06-03 2011-12-07 Zoltan Korcsok Method and apparatus for generating multiple image views for a multiview autostereoscopic display device
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
US8644596B1 (en) * 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108079A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 3차원 정보를 검출하는 방법 및 장치
KR102613032B1 (ko) * 2022-11-16 2023-12-12 주식회사 지디에프랩 사용자의 시야 영역에 매칭되는 뎁스맵을 바탕으로 양안 렌더링을 제공하는 전자 장치의 제어 방법

Also Published As

Publication number Publication date
US20140035905A1 (en) 2014-02-06
EP2693753A1 (en) 2014-02-05
CN103581646A (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
KR20140016735A (ko) 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치
CN109672886B (zh) 一种图像帧预测方法、装置及头显设备
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
Alexiou et al. On the performance of metrics to predict quality in point cloud representations
US8768043B2 (en) Image display apparatus, image display method, and program
JP6837279B2 (ja) ３ｄ表示のための装置及び方法
KR20140037425A (ko) 중간 시점 영상 합성 장치 및 방법과 이에 관한 기록매체
CN104067310A (zh) 显示图像的改进
CN104081434A (zh) 经配置以基于运动传感器数据计算3d模型的移动装置
KR20060133764A (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
WO2023103576A1 (zh) 视频处理方法、装置、计算机设备及存储介质
CN104349155A (zh) 模拟立体图像显示方法及显示设备
JP2003274414A (ja) 動きベクトル検出方法、補間画像作成方法及び画像表示システム
JP4892113B2 (ja) 画像処理方法及び装置
KR20210038659A (ko) 2차원 이미지를 외삽하기 위해 깊이 정보를 사용하는 시스템 및 방법
US9007404B2 (en) Tilt-based look around effect image enhancement method
US9495793B2 (en) Method and device for generating an image view for 3D display
CN111798545A (zh) 骨骼动画的播放方法、装置、电子设备和可读存储介质
WO2016186782A1 (en) Video encoding and decoding
JP2020028096A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
CN111583350A (zh) 图像处理方法、装置、系统及服务器
CN104254875A (zh) 信息处理装置、信息处理方法及信息处理计算机程序产品
JP2016511962A (ja) 内挿方法および対応する装置
US20180150134A1 (en) Method and apparatus for predicting eye position
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid