KR20140030735A - 디스플레이 장치 및 방법 - Google Patents

디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR20140030735A
KR20140030735A KR1020120097259A KR20120097259A KR20140030735A KR 20140030735 A KR20140030735 A KR 20140030735A KR 1020120097259 A KR1020120097259 A KR 1020120097259A KR 20120097259 A KR20120097259 A KR 20120097259A KR 20140030735 A KR20140030735 A KR 20140030735A
Authority
KR
South Korea
Prior art keywords
image
frames
frame
key
key frame
Prior art date
Application number
KR1020120097259A
Other languages
English (en)
Inventor
안원석
한승훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120097259A priority Critical patent/KR20140030735A/ko
Priority to EP13181885.8A priority patent/EP2704436A3/en
Priority to CN201310388542.6A priority patent/CN103686137A/zh
Priority to US14/016,715 priority patent/US9262858B2/en
Publication of KR20140030735A publication Critical patent/KR20140030735A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

디스플레이 장치 및 방법가 개시된다. 본 발명에 따른 디스플레이 장치는, 영상을 수신하는 수신부, 수신된 영상을 분석하고, 분석 결과에 기초하여 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하는 그룹핑부, 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임을 결정하고, 결정된 키 프레임 내에 포함된 오브젝트 별 뎁스를 할당하는 뎁스 할당부 및 키 프레임에 할당된 뎁스 값에 기초하여 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하는 이미지 생성부를 포함한다. 이에 따라, 디스플레이 장치는 수신된 영상을 구성하는 프레임에 포함된 오브젝트에 높은 품질의 뎁스값을 할당할 수 있다.

Description

디스플레이 장치 및 방법{Apparatus and method for display}
본 발명의 디스플레이 장치 및 방법에 관한 것으로서, 보다 상세하게는 3D 영상을 제공하는 디스플레이 장치 및 방법에 관한 것이다.
종래의 디스플레이 장치는 아래와 같은 방법 중 하나를 이용하여 수신된 영상을 3D 영상으로 변환한다.
일반적으로, 디스플레이 장치는 영상이 수신되면, 수신된 영상을 분석하여 뎁스값을 결정하고, 그 결정된 뎁스값에 기초하여 좌안 및 우안 이미지에 대한 3D 이미지를 생성한다. 또다른 방법으로써, 디스플레이 장치는 수신된 영상을 구성하는 복수 개의 프레임을 분석하여 각 프레임에 포함된 오브젝트의 에지를 추적하여 해당 오브젝트 별 뎁스값을 결정하고, 그 결정된 뎁스값에 기초하여 좌안 및 우안 이미지에 대한 3D 이미지를 생성한다.
그러나, 이 같은 종래의 3D 영상 변환 방법은 균일한 뎁스값을 획득하지 못하거나, 각 프레임에 포함된 오브젝트에 대한 검출이 정교하게 이루어지지 못하는 문제가 있다. 뿐만 아니라, 종래의 3D 영상 변환 방법은 오브젝트 별 추정된 뎁스값을 조정 시, 해당 뎁스값에 대한 조정 여부를 판단 및 그 판단 결과에 따라 조정하는데 있어 많은 시간이 소요되는 문제가 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은,　보다 효율적으로 2D 영상을 3D 영상으로 변환하기 위한 디스플레이 장치 및 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는 영상을 수신하는 수신부, 상기 수신된 영상을 분석하고, 상기 분석 결과에 기초하여 상기 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하는 그룹핑부, 상기 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임을 결정하고, 상기 결정된 키 프레임 내에 포함된 오브젝트 별 뎁스를 할당하는 뎁스 할당부 및 상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하는 이미지 생성부를 포함한다.
그리고, 상기 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임에 포함된 오브젝트에 대한 움직임 정보를 검출하는 영상 분석부를 더 포함하며, 상기 이미지 생성부는, 상기 검출된 움직임 정보 및 상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성할 수 있다.
또한, 상기 이미지 생성부는, 상기 검출된 움직임 정보에 기초하여 상기 나머지 프레임에 포함된 오브젝트 위치를 결정하는 위치 결정부, 상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 위치가 결정된 오브젝트에 대한 뎁스 값을 추정하고, 상기 추정된 뎁스 값을 상기 위치가 결정된 오브젝트에 할당하여 상기 나머지 프레임에 대응되는 3D 영상 프레임을 생성하는 프레임 생성부 및 상기 생성된 3D 영상 프레임에 대한 좌안 및 우안 이미지를 생성하는 3D 이미지 생성부를 포함할 수 있다.
그리고, 상기 이미지 생성부는, 상기 키 프레임에 포함된 오브젝트가 상기 키 프레임을 제외한 나머지 프레임에 포함된 오브젝트와 동일한 경우, 상기 나머지 프레임에 포함된 오브젝트에 상기 키 프레임에 포함된 오브젝트와 동일한 뎁스값을 할당하여 상기 3D 이미지를 생성할 수 있다.
또한, 상기 뎁스 할당부는, 상기 이미지 생성부에서 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 상기 키 프레임의 개수를 결정할 수 있다.
그리고, 상기 결정된 적어도 두 개의 키 프레임을 기설정된 작업 사이즈로 스케일링하는 스케일링부를 더 포함할 수 있다.
또한, 상기 스케일링부는, 상기 이미지 생성부에서 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 상기 작업 사이즈를 결정할 수 있다.
그리고, 상기 나머지 프레임에 포함된 오브젝트의 밝기 정보에 기초하여 상기 추정된 뎁스 값을 조정하는 제어부를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치에서 입력된 2D 영상을 3D 영상으로 변환하여 디스플레이하는 디스플레이 방법에 있어서, 상기 방법은 영상을 수신하는 단계, 상기 수신된 영상을 분석하고, 상기 분석 결과에 기초하여 상기 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하는 단계, 상기 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임을 결정하고, 상기 결정된 키 프레임에 내에 포함된 오브젝트 별 뎁스를 할당하는 단계 및 상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하는 단계를 포함한다.
그리고, 상기 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임에 포함된 오브젝트에 대한 움직임 정보를 검출하는 단계를 더 포함하며, 상기 3D 이미지를 생성하는 단계는, 상기 검출된 움직임 정보 및 상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성할 수 있다.
또한, 상기 3D 이미지를 생성하는 단계는, 상기 검출된 움직임 정보에 기초하여 상기 나머지 프레임이 포함된 오브젝트 위치를 결정하는 단계, 상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 위치가 결정된 오브젝트에 대한 뎁스 값을 추정하고, 상기 추정된 뎁스 값을 상기 위치가 결정된 오브젝트에 할당하여 상기 나머지 프레임에 대응되는 3D 영상 프레임을 생성하는 단계 및 상기 생성된 3D 영상 프레임에 대한 좌안 및 우안 이미지를 생성하는 단계를 포함할 수 있다.
그리고, 상기 3D 이미지를 생성하는 단계는, 상기 키 프레임이 포함된 오브젝트가 상기 키 프레임을 제외한 나머지 프레임에 포함된 오브젝트와 동일한 경우, 상기 나머지 프레임에 포함된 오브젝트에 상기 키 프레임에 포함된 오브젝트와 동일한 뎁스 값을 할당하여 상기 3D 이미지를 생성할 수 있다.
또한, 상기 뎁스를 할당하는 단계는, 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 상기 키 프레임의 개수를 결정할 수 있다.
그리고, 상기 결정된 적어도 두 개의 키 프레임을 기설정된 작업 사이즈로 스케일링하는 단계를 더 포함할 수 있다.
또한, 상기 스케일링하는 단계는, 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 상기 작업 사이즈를 결정할 수 있다.
그리고, 상기 3D 이미지를 생성하는 단계는, 상기 나머지 프레임에 포함된 오브젝트의 밝기 정보에 기초하여 상기 추정된 뎁스 값을 조정할 수 있다.
이상과 같이, 본 발명의 다양한 실시예에 따르면, 디스플레이 장치는 수신된 영상을 구성하는 프레임에 포함된 오브젝트에 뎁스값을 할당하기 위한 작업 시간을 최소화하면서 보다 높은 품질의 뎁스값을 할당할 수 있으며, 추정된 뎁스값에 대한 조정을 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치에서 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하는 예시도,
도 3은 본 발명의 일 실시예에 따른 이미지 생성부의 세부 구성에 대한 블록도,
도 4는 본 발명의 본 발명의 일 실시예에 따른 이미지 생성부에서 키 프레임 및 나머지 프레임에 포함된 오브젝트가 동일한 경우에 3D 이미지를 생성하는 예시도,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 2D 영상을 3D 영상으로 변환하여 디스플레이하는 방법의 흐름도,
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 3D 이미지를 생성하는 방법의 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도이다.
도 1에 도시된 바와 같이, 디스플레이 장치(100)는 수신부(110), 그룹핑부(120), 뎁스 할당부(130) 및 이미지 생성부(140)를 포함한다. 영상을 수신하는 수신부(110)는 방송 네트워크를 통해 방송국으로부터 영상을 수신하거나 혹은 인터넷을 통해 웹 서버로부터 영상을 수신할 수 있다. 방송 네트워크를 통해 방송국으로부터 영상을 수신하는 경우, 수신부(110)는 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함하는 형태로 구현될 수 있다. 그리고, 인터넷을 통해 웹 서버로부터 영상을 수신하는 경우, 수신부(110)는 네트워크 인터페이스부(미도시)로 구현될 수 있다. 뿐만 아니라, 수신부(110)는 디스플레이 장치(100) 내에 마련되거나 디스플레이 장치(100)에 연결된 각종 기록 매체 재생 장치로부터 영상을 수신할 수 있다. 여기서, 기록 매체 재생 장치란 CD, DVD, 하드디스크, 블루레이 디스크, 메모리 카드, USB 메모리 등과 같은 다양한 유형의 기록 매체에 저장된 영상을 재생하는 장치를 의미한다.
그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 통신부(미도시)를 통해 외부 장치로부터 영상을 수신할 수 있다. 이 같은 통신부(미도시)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기서, 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 장치와 무선 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스(Bluetooth), 지그비(Zigbee) 등이 될 수 있다. 무선 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 통신 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Ling Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수 있다.
이와 같이, 수신부(110) 및 통신부(미도시) 중 하나를 통해 영상이 수신되면, 그룹핑부(120)는 수신된 영상을 분석하고, 분석 결과에 기초하여 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑한다. 이 같이, 수신된 영상을 구성하는 복수 개의 프레임이 그룹핑되면, 뎁스 할당부(130)는 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임을 결정하고, 결정된 키 프레임 내에 포함된 오브젝트 별 뎁스를 할당한다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치에서 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하는 예시도이다.
도 2에 도시된 바와 같이, 그룹핑부(120)는 수신부(110) 혹은 통신부(미도시)를 통해 영상이 수신되면, 수신된 영상을 구성하는 복수 개의 프레임(210~250)들로부터 장면 변화, 움직임 특성 및 화면 구성 중 적어도 하나의 영상 특성을 분석한다. 실시예에 따라, 그룹핑부(120)는 수신된 영상을 구성하는 장면 변화에 대한 영상 특성을 분석하여 복수 개의 프레임(210~250)들 중 동일한 장면을 포함하는 프레임(210~240)을 하나의 그룹으로 그룹핑 할 수 있다. 이와 같이, 영상을 구성하는 복수 개의 프레임(210~250)들의 영상 특성을 분석하여 프레임(210~240)에 대해서 하나의 그룹으로 그룹핑되면, 그룹핑부(120)는 각 그룹으로 그룹핑된 복수 개의 프레임을 저장부(180)에 임시 저장할 수 있다.
한편, 그룹핑부(120)를 통해 수신된 영상을 구성하는 복수 개의 프레임의 그룹핑이 완료되면, 뎁스 할당부(130)는 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임을 결정하고, 결정된 키 프레임 내에 포함된 오브젝트 별 뎁스를 할당한다. 구체적으로, 도 2에서 설명한 바와 같이, 그룹핑부(120)를 통해 영상을 구성하는 복수 개의 프레임(210~250)들의 영상 특성을 분석하여 프레임(210~240)에 대해서 하나의 그룹으로 그룹핑되면, 뎁스 할당부(130)는 그룹핑된 프레임(210~240) 중 적어도 두 개의 키 프레임을 결정할 수 있다. 그러나, 본 발명은 이에 한정되지 않으면, 뎁스 할당부(130)는 그룹핑된 프레임(210~240) 중 하나의 프레임을 키 프레임을 결정할 수 있다. 본 발명에서는 적어도 그룹핑된 복수의 프레임 중 적어도 두 개의 키 프레임을 결정하는 것에 대해서 한정하여 설명하도록 한다.
예를 들어, 그룹핑된 프레임(210~240) 중 프레임(210,240)이 키 프레임으로 결정되면, 뎁스 할당부(130)는 키 프레임으로 결정된 프레임(210,240)에 포함된 오브젝트(10,40)에 뎁스를 할당할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 뎁스 할당부(130)는 키 프레임으로 결정된 프레임(210,240)에 포함된 오브젝트(10,40) 뿐만 아니라, 해당 오브젝트(10,40)를 제외한 나머지 영역에 대한 뎁스를 할당할 수 있다.
이와 같이, 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임 내에 포함된 오브젝트 별 뎁스가 할당되면, 이미지 생성부(140)는 키 프레임이 할당된 뎁스 값에 기초하여 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성한다. 이 같은 이미지 생성부(140)의 구체적인 설명은 하기에서 상세히 설명하도록 한다.
한편, 본 발명의 추가적인 양상에 따라, 디스플레이 장치(100)는 영상 분석부(150)를 더 포함할 수 있다. 영상 분석부(150)는 그룹핑부(120)를 통해 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임에 포함된 오브젝트에 대한 움직임 정보를 검출한다. 구체적으로, 도 2에서 설명한 바와 같이, 예를 들어, 수신된 영상을 구성하는 복수 개의 프레임(210~250)들 중 프레임(210~240)에 대해서 하나의 그룹으로 그룹핑되면, 영상 분석부(150)는 그룹핑된 프레임(210~240) 각각에 포함된 오브젝트(10~40)에 대한 움직임 정보를 검출한다.
일 실시예에 따라, 영상 분석부(150)는 모션 검출 알고리즘을 이용하여 프레임(210~240) 각각에 포함된 오브젝트(10~40)에 대한 움직임 정보를 검출할 수 있다. 또다른 실시예에 따라, 영상 분석부(150)는 프레임(210~240) 각각에 포함된 오브젝트(10~40)들 각각의 특징점을 추적(tracking)하여 각 오브젝트(10~40)들의 위치와 각도(또는 방향) 정보를 획득하고, 획득한 정보를 이용하여 각각의 오브젝트(10~40)에 대한 움직임 정보를 검출할 수 있다.
이와 같이, 영상 분석부(150)를 통해 하나의 그룹으로 그룹핑된 프레임에 포함된 오브젝트에 대한 움직임 정보가 검출되면, 이미지 생성부(140)는 검출된 움직임 정보 및 뎁스 할당부(130)에 의해 해당 그룹 내 프레임 중 키 프레임으로 결정된 프레임의 오브젝트에 할당된 뎁스 값에 기초하여 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성할 수 있다. 이와 함께, 이미지 생성부(140)는 검출된 움직임 정보를 저장부(180)에 임시 저장함이 바람직하다. 이와 같이, 뎁스 할당부(130)를 통해 할당된 뎁스 값 및 영상 분석부(150)를 통해 검출된 움직임 정보에 기초하여 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성할 경우, 이미지 생성부(140)는 도 3과 같이 세부 구성으로 이루어질 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 생성부의 세부 구성에 대한 블록도이다.
도 3에 도시된 바와 같이, 이미지 생성부(140)는 위치 결정부(141), 프레임 생성부(142) 및 3D 이미지 생성부(143)를 포함한다.
위치 결정부(141)는 영상 분석부(150)를 통해 검출된 움직임 정보에 기초하여 나머지 프레임에 포함된 오브젝트 위치를 결정한다. 그리고, 프레임 생성부(142)는 뎁스 할당부(130)를 통해 결정된 적어도 두 개의 키 프레임에 할당된 뎁스 값에 기초하여 위치 결정부(141)를 통해 위치가 결정된 오브젝트에 대한 뎁스 값을 추정한다. 이후, 프레임 생성부(142)는 추정된 뎁스 값을 위치가 결정된 오브젝트에 할당하여 나머지 프레임에 대응되는 3D 영상 프레임을 생성한다. 그리고, 3D 이미지 생성부(143)는 프레임 생성부(142)를 통해 생성된 3D 영상 프레임에 대한 좌안 및 우안 이미지를 생성한다.
예를 들어, 도 2에서 설명한 바와 같이, 그룹핑부(120)를 통해 영상을 구성하는 복수 개의 프레임(210~250) 중 프레임(210~240)이 하나의 그룹으로 그룹핑될 수 있다. 이 경우, 영상 분석부(150)는 하나의 그룹으로 그룹핑된 프레임(210~240) 각각에 포함된 오브젝트(10~40)들의 움직임 정보를 검출하여 저장부(180)에 저장할 수 있다. 따라서, 위치 결정부(141)는 저장부(180)에 저장된 움직임 정보에 기초하여 그룹핑부(120)를 통해 그룹핑된 프레임(210~240) 중 키 프레임으로 결정된 프레임(210,240)을 제외한 나머지 프레임 즉, 프레임(220,230) 각각에 포함된 오브젝트(20,30)들의 위치를 결정할 수 있다.
이와 같이, 그룹핑된 프레임(210~240) 중 키 프레임으로 결정된 프레임(210,240)을 제외한 나머지 프레임 즉, 프레임(220,230) 각각에 포함된 오브젝트(20,30)들의 위치가 결정되면, 프레임 생성부(142)는 뎁스 할당부(130)를 통해 키 프레임으로 결정된 프레임(210,240)에 할당된 뎁스 값에 기초하여 프레임(220,230) 각각에 포함된 오브젝트(20,30)에 대한 뎁스 값을 추청할 수 있다. 이후, 프레임 생성부(142)는 키 프레임으로 결정된 프레임(210,240)를 제외한 나머지 프레임 즉, 프레임(220,230)에 대응되는 제1 및 제2 3D 영상 프레임을 생성한다.
이후, 프레임 생성부(142)는 위치 결정부(141)를 통해 결정된 프레임(220)의 오브젝트(20)에 대한 위치 정보에 기초하여 해당 오브젝트(20)에 대응되는 제1 오브젝트를 제1 3D 영상 프레임에 생성하고, 오브젝트(20)와 관련하여 추정된 뎁스 값을 제1 오브젝트에 할당한다. 이와 동일하게, 프레임 생성부(142)는 위치 결정부(141)를 통해 결정된 프레임(230)의 오브젝트(30)에 대한 위치 정보에 기초하여 해당 오브젝트(30)에 대응되는 제2 오브젝트를 제2 3D 영상 프레임에 생성하고, 오브젝트(30)와 관련하여 추정된 뎁스 값을 제2 오브젝트에 할당한다. 이와 같이, 3D 영상 프레임이 생성되면, 3D 이미지 생성부(143)는 3D 영상 프레임에 대한 좌안 및 우안 이미지를 생성한다. 이때, 3D 이미지 생성부(143)는 키 프레임으로 결정된 프레임(210,240)에 대한 좌안 및 우안 이미지를 함께 생성함이 바람직하다.
한편, 키 프레임에 포함된 오브젝트와 키 프레임을 제외한 나머지 프레임에 포함된 오브젝트와 동일한 경우, 이미지 생성부(140)는 나머지 프레임에 포함된 오브젝트의 뎁스 값을 키 프레임에 포함된 오브젝트에 할당된 뎁스 값으로 할당하여 3D 이미지를 생성할 수 있다.
도 4는 본 발명의 본 발명의 일 실시예에 따른 이미지 생성부에서 키 프레임 및 나머지 프레임에 포함된 오브젝트가 동일한 경우에 3D 이미지를 생성하는 예시도이다.
도 4에 도시된 바와 같이, 키 프레임(410)에 포함된 오브젝트(411)와 동일한 오브젝트(411',421)가 나머지 프레임(420)에 포함될 수 있다. 그리고, 나머지 프레임(420)에 포함된 오브젝트(411')는 키 프레임(410)에 포함된 오브젝트(411)와 동일한 위치에 형성될 수 있다. 이 경우, 이미지 생성부(140)는 나머지 프레임(420)에 포함된 오브젝트(411')에 대해서 별도의 움직임 정보를 검출하지 않고, 키 프레임(410)에 포함된 오브젝트(411)에 할당된 뎁스 값을 나머지 프레임(420)에 포함된 오브젝트(411')에 할당할 수 있다.
한편, 전술한 뎁스 할당부(130)는 이미지 생성부(140)에서 그룹핑된 복수의 프레임 중 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 키 프레임의 개수를 상이하게 결정할 수 있다. 즉, 전술한 이미지 생성부(140)는 Bilateral 필터, Trilateral 필터, De-noising 필터와 같은 알고리즘을 이용하여 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당할 수 있다. 여기서, Bilateral 필터, Trilateral 필터, De-noising 필터는 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
이 같이, 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당하기 위한 알고리즘 타입에 따라, 뎁스 할당부(130)는 해당 그룹을 구성하는 복수 개의 프레임 중 키 프레임의 개수를 결정할 수 있다. 예를 들어, 하나의 그룹에 10개의 프레임으로 구성되며, 이미지 생성부(140)에서 나머지 프레임에 뎁스 값을 할당하기 위한 알고리즘의 성능이 우수할 경우, 뎁스 할당부(130)는 10개의 프레임 중 두 개의 프레임을 키 프레임을 결정할 수 있다. 한편, 이미지 생성부(140)에서 나머지 프레임에 뎁스 값을 할당하기 위한 알고리즘의 성능이 낮을 경우, 뎁스 할당부(130)는 10개의 프레임 중 5 개의 프레임을 키 프레임으로 결정할 수 있다. 즉, 뎁스 할당부(130)는 이미지 생성부(140)에서 나머지 프레임에 뎁스 값을 할당하기 위한 알고리즘의 성능에 따라, 하나의 그룹으로 그룹핑된 복수 개의 프레임 중 키 프레임으로 결정할 프레임의 개수를 줄이거나 늘릴 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 디스플레이 장치(100)는 수신된 영상을 구성하는 프레임을 기설정된 작업 사이즈로 스케일링하는 스케일링부(160)를 더 포함할 수 있다. 구체적으로, 스케일링부(160)는 뎁스 할당부(130)를 통해 하나의 그룹으로 그룹핑된 복수 개의 프레임 중 키 프레임으로 결정된 프레임을 기설정된 작업 사이즈로 스케일링한다. 그러나, 본 발명은 이에 한정되지 않으며, 스케일링부(160)는 그룹핑부(11)를 통해 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하기에 앞서, 해당 영상을 구성하는 복수 개의 프레임을 기설정된 작업 사이즈로 스케일링할 수 있다. 본 발명에서는, 스케일링부(160)가 키 프레임으로 결정된 프레임을 기설정된 작업 사이즈로 스케일링하는 동작에 대해서만 설명하도록 한다.
이 같은 스케일링부(160)는 이미지 생성부(140)에서 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 작업 사이즈를 상이하게 결정한다. 전술한 이미지 생성부(140)는 Bilateral 필터, Trilateral 필터, De-noising 필터와 같은 알고리즘을 이용하여 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당할 수 있다. 이 같이, 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당하기 위한 알고리즘 타입에 따라, 스케일링부(160)는 해당 그룹을 구성하는 복수 개의 프레임 중 키 프레임으로 결정된 프레임의 작업 사이즈를 상이하게 조정할 수 있다. 즉, 스케일링부(160)는 이미지 생성부(140)에서 나머지 프레임에 뎁스 값을 할당하기 위한 알고리즘의 성능이 우수할수록 키 프레임으로 결정된 프레임의 작업 사이즈를 축소할 수 있다.
한편, 본 발명에 따른 디스플레이 장치(100)는 전술한 각 구성의 동작을 제어하는 제어부(170)를 더 포함할 수 있다. 전술한 각 구성의 동작을 전반적으로 제어하는 제어부(170)는 하나의 그룹으로 그룹핑된 복수의 프레임 중 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트의 밝기 정보에 기초하여 프레임 생성부(142)를 통해 추정된 뎁스 값을 조정할 수 있다. 구체적으로, 제어부(170)는 그룹핑된 복수 개의 프레임 중 키 프레임을 제외한 나머지 프레임에 포함된 오브젝트의 밝기 정보를 획득하여 저장부(180)에 저장할 수 있다. 예를 들어, 도 2에서 설명한 바와 같이, 하나의 그룹으로 그룹핑된 복수 개의 프레임(210~240) 중 프레임(210,220)이 키 프레임으로 각각 결정될 경우, 제어부(170)는 나머지 프레임(220,230)에 포함된 오브젝트(20,30)에 대한 밝기 정보를 획득하여 저장부(180)에 저장할 수 있다.
이후, 프레임 생성부(142)를 통해 나머지 프레임(220,230)에 대응되는 제1 및 제2 3D 영상 프레임 각각에 생성된 제1 및 제2 오브젝트에 뎁스 값이 할당되면, 제어부(170)는 저장부(180)에 저장된 오브젝트(20,30)의 밝기 정보에 기초하여 오브젝트(20,30)와 서로 대응되는 제1 및 제2 오브젝트의 뎁스 값을 조정할 수 있다. 따라서, 3D 이미지 생성부(143)는 뎁스 값이 조정된 오브젝트를 포함하는 3D 영상 프레임의 좌안 및 우안 이미지를 생성할 수 있다.
지금까지, 본 발명에 따른 입력 영상을 3D 영상으로 변환하는 디스플레이 장치(100)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 디스플레이 장치(100)에서 입력 영상 즉, 2D 영상을 3D 영상으로 변환하는 방법에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 2D 영상을 3D 영상으로 변환하여 디스플레이하는 방법의 흐름도이다.
도 5에 도시된 바와 같이, 디스플레이 장치는 외부 장치로부터 영상을 수신한다(S510). 구체적으로, 디스플레이 장치는 방송 네트워크를 통해 방송국으로부터 영상을 수신하거나 혹은 인터넷을 통해 웹 서버로부터 영상을 수신하거나, 혹은 무선 통신을 통해 외부 장치로부터 영상을 수신할 수 있다. 뿐만 아니라, 디스플레이 장치는 장치 내에 마련되거나 혹은 디스플레이 장치와 연결된 각종 기록 매체 재생 장치로부터 영상을 수신할 수 있다. 여기서, 기록 매체 장치란, CD, DVD, 하드디스크, 블루레이 디스크, 메모리 카드, USB 메모리 등과 같은 다양한 유형의 기록 매체에 저장된 영상을 재생하는 장치를 의미한다.
여기서, 수신된 영상은 2D 영상임이 바람직하다. 이 같은 영상이 수신되면, 디스플레이 장치는 수신된 영상을 분석하고, 분석 결과에 기초하여 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑한다(S520). 이 같이, 수신된 영상을 구성하는 복수 개의 프레임이 그룹핑되면, 디스플레이 장치는 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임을 결정하고, 그 결정된 키 프레임 내에 포함된 오브젝트 별 뎁스를 할당한다(S530,S540).
구체적으로, 디스플레이 장치는 영상이 수신되면, 수신된 영상을 구성하는 복수 개의 프레임들로부터 장면 변화, 움직임 특성 및 화면 구성 중 적어도 하나의 영상 특성을 분석한다. 도 2에서 설명한 바와 같이, 복수 개의 프레임(210~250)들 중 동일한 장면을 포함하는 프레임(210~240)을 하나의 그룹으로 그룹핑되면, 디스플레이 장치는 하나의 그룹으로 그룹핑된 프레임(210~240) 중 프레임(210,240)을 키 프레임으로 결정할 수 있다. 이 같이, 프레임(210,240)이 키 프레임으로 결정되면, 디스플레이 장치는 키 프레임으로 결정된 프레임(210,240)에 포함된 오브젝(10,40)에 뎁스를 할당할 수 있다.
이와 같이, 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임 내에 포함된 오브젝트 별 뎁스가 할당되면, 디스플레이 장치는 키 프레임에 할당된 뎁스 값에 기초하여 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성한다(S550).
실시예에 따라, 디스플레이 장치는 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임에 포함된 오브젝트에 대한 움직임 정보를 검출하고, 그 검출된 움직임 정보와 키 프레임에 할당된 뎁스 값에 기초하여 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성할 수 있다. 구체적으로, 디스플레이 장치는 모션 검출 알고리즘을 이용하여 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임에 포함된 오브젝트에 대한 움직임 정보를 검출할 수 있다. 또다른 움직임 정보 검출 방법으로써, 디스플레이 장치는 하나의 그룹을 구성하는 복수 개의 프레임 각각에 포함된 오브젝트들 각각의 특징점을 추적하여 각 오브젝트들의 위치와 각도(또는 방향) 정보를 획득하고, 그 획득한 정보를 이용하여 각각의 오브젝트에 대한 움직임 정보를 검출할 수 있다.
이와 같이, 하나의 그룹으로 그룹핑된 복수 개의 프레임에 포함된 각 오브젝트 별 움직임 정보가 검출되면, 디스플레이 장치는 검출된 각 움직인 정보 및 키 프레임으로 결정된 프레임에 포함된 오브젝트에 할당된 뎁스 값에 기초하여 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성할 수 있다.
이하에서는 도 6을 통해 디스플레이 장치에서 검출된 움직임 정보와 키 프레임에 할당된 뎁스 값에 기초하여 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하는 방법에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 3D 이미지를 생성하는 방법의 흐름도이다.
도 6에 도시된 바와 같이, 디스플레이 장치는 하나의 그룹으로 그룹핑된 복수 개의 프레임에 포함된 각 오브젝트 별 검출된 움직임 정보에 기초하여 나머지 프레임에 포함된 오브젝트의 위치를 결정한다(S610). 이후, 디스플레이 장치는 키 프레임에 할당된 뎁스 값에 기초하여 위치가 결정된 나머지 프레임에 포함된 오브젝트에 대한 뎁스 값을 추정한다(S620). 나머지 프레임에 포함된 오브젝트에 대한 뎁스 값이 추정되면, 디스플레이 장치는 추정된 뎁스 값을 위치가 결정된 오브젝트에 할당하여 나머지 프레임에 대응되는 3D 영상 프레임을 생성한다(S630). 이후, 디스플레이 장치는 나머지 프레임에 대응하여 생성된 3D 영상 프레임에 대한 좌안 및 우안 이미지를 생성한다(S640).
예를 들어, 도 2에서 설명한 바와 같이, 영상을 구성하는 복수 개의 프레임(210~250) 중 프레임(210~240)이 하나의 그룹으로 그룹핑되면, 디스플레이 장치는 하나의 그룹으로 그룹핑된 프레임(210~240) 각각에 포함된 오브젝트(10~40)들의 움직임 정보를 검출하여 저장한다. 따라서, 디스플레이 장치는 기저장된 움직임 정보에 기초하여 하나의 그룹으로 그룹핑된 프레임(210~240) 중 키 프레임으로 결정된 프레임(210,240)를 제외한 나머지 프레임 즉, 프레임(220,230) 각각에 포함된 오브젝트(20,30)들의 위치를 결정할 수 있다.
이 같이, 프레임(220,230) 각각에 포함된 오브젝트(20,30)들의 위치가 결정되면, 디스플레이 장치는 키 프레임으로 결정된 프레임(210,240)에 할당된 뎁스 값에 기초하여 프레임(220,230) 각각에 포함된 오브젝트(20,30)에 대한 뎁스 값을 추정할 수 있다. 이 같이, 오브젝트(20,30)에 대한 뎁스 값이 추정되면, 디스플레이 장치는 키 프레임으로 결정된 프레임(210,240)을 제외한 나머지 프레임 즉, 프레임(220,230)에 대으오디는 제1 및 제2 3D 영상 프레임을 생성한다.
이후, 디스플레이 장치는 단계 S610을 통해 결정된 프레임(220)의 오브젝트(20)에 대한 위치 정보에 기초하여 해당 오브젝트(20)에 대응되는 제1 오브젝트를 제1 3D 영상 프레임에 생성하고, 오브젝트(20)와 관련하여 추정된 뎁스 값을 제1 오브젝트에 할당한다. 이와 동일하게, 디스플레이 장치는 단계 S610를통해 결정된 프레임(230)의 오브젝트(30)에 대한 위치 정보에 기초하여 해당 오브젝트(30)에 대응되는 제2 오브젝트를 제2 3D영상 프레임에 생성하고, 오브젝트(30)와 관련하여 추정된 뎁스 값을 제2 오브젝트에 할당한다. 이와 같이, 3D 영상 프레임이 생성되면, 디스플레이 장치는 생성된 3D 영상 프레임에 대한 좌안 및 우안 이미지를 생성한다. 이때, 디스플레이 장치는 키 프레임으로 결정된 프레임(210,240)에 대한 좌안 및 우안 이미지를 함께 생성함이 바람직하다.
한편, 키 프레임에 포함된 오브젝트와 키 프레임을 제외한 나머지 프레임에 포함된 오브젝트가 동일한 경우, 디스플레이 장치는 나머지 프레임에 포함된 오브젝트의 뎁스 값을 키 프레임에 포함된 오브젝트에 할당된 뎁스 값으로 결정하여 할당하여 3D 이미지를 생성할 수 있다. 도 4에서 설명한 바와 같이, 예를 들어, 키 프레임(410)에 포함된 오브젝트(411)와 동일한 오브젝트(411',421)가 나머지 프레임(420)에 포함될 수 있다. 그리고, 나머지 프레임(420)에 포함된 오브젝트(411')는 키 프레임(410)에 포함된 오브젝트(411)와 동일한 위치에 형성될 수 있다. 이 경우, 디스플레이 장치는 나머지 프레임(420)에 포함된 오브젝트(411')에 대해서 별도의 움직임 정보를 검출하지 않고, 키 프레임(410)에 포함된 오브젝트(411)에 할당된 뎁스 값을 나머지 프레임(420)에 포함된 오브젝트(411')에 할당할 수 있다.
한편, 단계 S540에서 디스플레이 장치는 하나의 그룹으로 그룹핑된 복수 개의 프레임 중 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 일고리즘 타입에 따라 키 프레임의 개수를 상이하게 결정할 수 있다. 구체적으로, 디스플레이 장치는 ilateral 필터, Trilateral 필터, De-noising 필터와 같은 알고리즘을 이용하여 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당할 수 있다. 여기서, Bilateral 필터, Trilateral 필터, De-noising 필터는 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
이 같이, 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당하기 위한 알고리즘 타입에 따라, 디스플레이 장치는 해당 그룹을 구성하는 복수 개의 프레임 중 키 프레임의 개수를 결정할 수 있다. 예를 들어, 하나의 그룹에 10개의 프레임으로 구성되며, 나머지 프레임에 뎁스 값을 할당하기 위한 알고리즘의 성능이 우수할 경우, 디스플레이 장치는 10개의 프레임 중 두 개의 프레임을 키 프레임을 결정할 수 있다. 한편, 나머지 프레임에 뎁스 값을 할당하기 위한 알고리즘의 성능이 낮을 경우, 디스플레이 장치는 10개의 프레임 중 5 개의 프레임을 키 프레임으로 결정할 수 있다. 즉, 디스플레이 장치는 나머지 프레임에 뎁스 값을 할당하기 위한 알고리즘의 성능에 따라, 하나의 그룹으로 그룹핑된 복수 개의 프레임 중 키 프레임으로 결정할 프레임의 개수를 줄이거나 늘릴 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 디스플레이 장치는 수신된 영상을 구성하는 프레임을 기설정된 작업 사이즈로 스케일링할 수 있다. 구체적으로, 디스플레이 장치는 하나의 그룹으로 그룹핑된 복수 개의 프레임 중 키 프레임으로 결정된 프레임을 기설정된 작업 사이즈로 스케일링한다. 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치는 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하기에 앞서, 해당 영상을 구성하는 복수 개의 프레임을 기설정된 작업 사이즈로 스케일링할 수 있다. 본 발명에서는, 디스플레이 장치에서 키 프레임으로 결정된 프레임을 기설정된 작업 사이즈로 스케일링하는 동작에 대해서만 설명하도록 한다.
즉, 디스플레이 장치는 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 작업 사이즈를 상이하게 결정할 수 있다. 전술한 바와 같이, 디스플레이 장치는 Bilateral 필터, Trilateral 필터, De-noising 필터와 같은 알고리즘을 이용하여 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당할 수 있다. 이 같이, 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당하기 위한 알고리즘 타입에 따라, 디스플레이 장치는 해당 그룹을 구성하는 복수 개의 프레임 중 키 프레임으로 결정된 프레임을 작업 사이즈를 상이하게 조정할 수 있다. 즉, 디스플레이 장치는 나머지 프레임에 포함된 오브젝트에 뎁스 값을 할당하기 위한 알고리즘의 성능이 우수할수록 키 프레임으로 결정된 프레임의 작업 사이즈를 축소할 수 있다.
한편, 디스플레이 장치는 하나의 그룹으로 그룹핑된 복수 개의 프레임 중 키 프레임으로 결정된 프레임을 제외한 나머지 프레임에 포함된 오브젝트의 밝기 정보에 기초하여 나머지 프레임에 포함된 오브젝트에 할당하기 위한 뎁스 값을 조정할 수 있다. 구체적으로, 디스플레이 장치는 그룹핑된 복수 개의 프레임 중 키 프레임을 제외한 나머지 프레임에 포함된 오브젝트의 밝기 정보를 획득하여 저장할 수 있다 예를 들어, 도 2에서 설명한 바와 같아, 하나의 그룹으로 그룹핑된 복수 개의 프레임(210~240) 중 프레임(210,220)이 키 프레임으로 결정될 경우, 디스플레이 장치는 나머지 프레임(220,230)에 포함된 오브젝트(20,30)에 대한 밝기 정보를 획득하여 저장할 수 있다.
이후, 나머지 프레임(220,230)에 대응되는 제1 및 제2 3D 영상 프레임 각각에 생성된 제1 및 제2 오브젝트에 뎁스 값이 할당되면, 디스플레이 장치는 기저장된 오브젝트(20,30)의 밝기 정보에 기초하여 오브젝트(20,30)와 서로 대응되는 제1 및 제2 오브젝트의 뎁스 값을 조정할 수 있다. 따라서, 디스플레이 장치는 뎁스 값이 조정된 오브젝트를 포함하는 3D 영상 프레임의 좌안 및 우안 이미지를 생성할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 수신부 120 : 그룹핑부
130 : 뎁스 할당부 140 : 이미지 생성부
150 : 영상 분석부 160 : 스케일링부
170 : 제어부 180 : 저장부

Claims (16)

  1. 영상을 수신하는 수신부;
    상기 수신된 영상을 분석하고, 상기 분석 결과에 기초하여 상기 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하는 그룹핑부;
    상기 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임을 결정하고, 상기 결정된 키 프레임 내에 포함된 오브젝트 별 뎁스를 할당하는 뎁스 할당부; 및
    상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하는 이미지 생성부;
    를 포함하는 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임에 포함된 오브젝트에 대한 움직임 정보를 검출하는 영상 분석부;를 더 포함하며,
    상기 이미지 생성부는,
    상기 검출된 움직임 정보 및 상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하는 것을 특징으로 하는 디스플레이 장치.
  3. 제 2 항에 있어서,
    상기 이미지 생성부는,
    상기 검출된 움직임 정보에 기초하여 상기 나머지 프레임에 포함된 오브젝트 위치를 결정하는 위치 결정부;
    상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 위치가 결정된 오브젝트에 대한 뎁스 값을 추정하고, 상기 추정된 뎁스 값을 상기 위치가 결정된 오브젝트에 할당하여 상기 나머지 프레임에 대응되는 3D 영상 프레임을 생성하는 프레임 생성부; 및
    상기 생성된 3D 영상 프레임에 대한 좌안 및 우안 이미지를 생성하는 3D 이미지 생성부;
    를 포함하는 것을 특징으로 하는 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 이미지 생성부는,
    상기 키 프레임에 포함된 오브젝트가 상기 키 프레임을 제외한 나머지 프레임에 포함된 오브젝트와 동일한 경우, 상기 나머지 프레임에 포함된 오브젝트에 상기 키 프레임에 포함된 오브젝트와 동일한 뎁스값을 할당하여 상기 3D 이미지를 생성하는 것을 특징으로 하는 디스플레이 장치.
  5. 제 1 항에 있어서,
    상기 뎁스 할당부는,
    상기 이미지 생성부에서 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 상기 키 프레임의 개수를 결정하는 것을 특징으로 하는 디스플레이 장치.
  6. 제 1 항에 있어서,
    상기 결정된 적어도 두 개의 키 프레임을 기설정된 작업 사이즈로 스케일링하는 스케일링부;
    를 더 포함하는 것을 특징으로 하는 디스플레이 장치
  7. 제 6 항에 있어서,
    상기 스케일링부는,
    상기 이미지 생성부에서 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 상기 작업 사이즈를 결정하는 것을 특징으로 하는 디스플레이 장치.
  8. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 나머지 프레임에 포함된 오브젝트의 밝기 정보에 기초하여 상기 추정된 뎁스 값을 조정하는 제어부;
    를 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  9. 디스플레이 장치에서 입력된 2D 영상을 3D 영상으로 변환하여 디스플레이하는 디스플레이 방법에 있어서,
    영상을 수신하는 단계;
    상기 수신된 영상을 분석하고, 상기 분석 결과에 기초하여 상기 수신된 영상을 구성하는 복수 개의 프레임을 그룹핑하는 단계;
    상기 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임 중 적어도 두 개의 키 프레임을 결정하고, 상기 결정된 키 프레임에 내에 포함된 오브젝트 별 뎁스를 할당하는 단계; 및
    상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하는 단계;
    를 포함하는 디스플레이 방법.
  10. 제 9 항에 있어서,
    상기 그룹핑된 적어도 하나의 그룹을 구성하는 복수 개의 프레임에 포함된 오브젝트에 대한 움직임 정보를 검출하는 단계;를 더 포함하며,
    상기 3D 이미지를 생성하는 단계는,
    상기 검출된 움직임 정보 및 상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하는 것을 특징으로 하는 디스플레이 방법.
  11. 제 10 항에 있어서,
    상기 3D 이미지를 생성하는 단계는,
    상기 검출된 움직임 정보에 기초하여 상기 나머지 프레임이 포함된 오브젝트 위치를 결정하는 단계;
    상기 키 프레임에 할당된 뎁스 값에 기초하여 상기 위치가 결정된 오브젝트에 대한 뎁스 값을 추정하고, 상기 추정된 뎁스 값을 상기 위치가 결정된 오브젝트에 할당하여 상기 나머지 프레임에 대응되는 3D 영상 프레임을 생성하는 단계; 및
    상기 생성된 3D 영상 프레임에 대한 좌안 및 우안 이미지를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 디스플레이 방법.
  12. 제 9 항에 있어서,
    상기 3D 이미지를 생성하는 단계는,
    상기 키 프레임이 포함된 오브젝트가 상기 키 프레임을 제외한 나머지 프레임에 포함된 오브젝트와 동일한 경우, 상기 나머지 프레임에 포함된 오브젝트에 상기 키 프레임에 포함된 오브젝트와 동일한 뎁스 값을 할당하여 상기 3D 이미지를 생성하는 것을 특징으로 하는 디스플레이 방법.
  13. 제 9 항에 있어서,
    상기 뎁스를 할당하는 단계는,
    상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 상기 키 프레임의 개수를 결정하는 것을 특징으로 하는 디스플레이 방법.
  14. 제 9 항에 있어서,
    상기 결정된 적어도 두 개의 키 프레임을 기설정된 작업 사이즈로 스케일링하는 단계;
    를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  15. 제 14 항에 있어서,
    상기 스케일링하는 단계는,
    상기 키 프레임을 제외한 나머지 프레임에 대응되는 3D 이미지를 생성하기 위한 알고리즘 타입에 따라 상기 작업 사이즈를 결정하는 것을 특징으로 하는 디스플레이 방법.
  16. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 3D 이미지를 생성하는 단계는,
    상기 나머지 프레임에 포함된 오브젝트의 밝기 정보에 기초하여 상기 추정된 뎁스 값을 조정하는 것을 특징으로 하는 디스플레이 방법.
KR1020120097259A 2012-09-03 2012-09-03 디스플레이 장치 및 방법 KR20140030735A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120097259A KR20140030735A (ko) 2012-09-03 2012-09-03 디스플레이 장치 및 방법
EP13181885.8A EP2704436A3 (en) 2012-09-03 2013-08-27 Display apparatus and method
CN201310388542.6A CN103686137A (zh) 2012-09-03 2013-08-30 用于显示的装置和方法
US14/016,715 US9262858B2 (en) 2012-09-03 2013-09-03 Apparatus and method for display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120097259A KR20140030735A (ko) 2012-09-03 2012-09-03 디스플레이 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140030735A true KR20140030735A (ko) 2014-03-12

Family

ID=49054405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120097259A KR20140030735A (ko) 2012-09-03 2012-09-03 디스플레이 장치 및 방법

Country Status (4)

Country Link
US (1) US9262858B2 (ko)
EP (1) EP2704436A3 (ko)
KR (1) KR20140030735A (ko)
CN (1) CN103686137A (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2017116578A (ru) * 2014-10-14 2018-11-15 Конинклейке Филипс Н.В. Обработка диспарантности трехмерного изображения
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
CN113397472A (zh) 2015-03-16 2021-09-17 奇跃公司 穿戴式增强现实装置和穿戴式虚拟现实装置
DE102015206341A1 (de) 2015-04-09 2016-10-13 Sirona Dental Systems Gmbh Verfahren und ein Vermessungssystem zur optischen Vermessung eines Objekts
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11010910B2 (en) 2015-12-18 2021-05-18 Iris Automation, Inc. Systems and methods for dynamic object tracking using a single camera mounted on a moving object
CA3019946C (en) 2016-04-08 2023-02-28 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US10217231B2 (en) * 2016-05-31 2019-02-26 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
KR20230157533A (ko) 2017-02-23 2023-11-16 매직 립, 인코포레이티드 가변 파워 반사기를 갖는 디스플레이 시스템
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA03001171A (es) * 2000-08-09 2003-06-30 Dynamic Digital Depth Res Pty Tecnicas de conversion y codificacion de imagenes.
ATE514285T1 (de) * 2007-07-26 2011-07-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur tiefenbezogenen informationspropagierung

Also Published As

Publication number Publication date
US9262858B2 (en) 2016-02-16
EP2704436A2 (en) 2014-03-05
CN103686137A (zh) 2014-03-26
EP2704436A3 (en) 2014-04-02
US20140063005A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
KR20140030735A (ko) 디스플레이 장치 및 방법
JP7376496B2 (ja) 優先順位付けされた変換に基づいて動的点群を最適化するためのシステムおよび方法
US11394978B2 (en) Video fidelity measure
CN105830415B (zh) 用于管理媒体流的方法、无线通信设备和基站设备
CN105228226A (zh) WiFi热点的选择方法及装置
RU2749092C1 (ru) Управление распределением ресурсов и управление уведомлением по интерфейсам ran
US20120106803A1 (en) Apparatus and method for dynamically controlling integration time of depth camera for accuracy improvement
EP2912844B1 (en) Adaptive stereoscopic 3d streaming
US11651749B2 (en) Display layout optimization of multiple media streams
EP3528500B1 (en) Method and apparatus for allocating differential bandwidth for each screen region by using image complexity information
US20240033624A1 (en) 5g optimized game rendering
CN105515743A (zh) 一种导频信号的传输控制方法、系统及相关设备
US10152803B2 (en) Multiple view image display apparatus and disparity estimation method thereof
KR102411911B1 (ko) 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
KR101941595B1 (ko) 셀룰라 통신 시스템에서 셀간 간섭을 완화하는 장치 및 방법
CN111083715A (zh) 确定传输功率
US10959053B1 (en) Location information for user equipment connected to a wireless network
KR101634044B1 (ko) 무선 통신 시스템에서 데이터 송수신 방법 및 장치
KR102037165B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20120055183A (ko) 무선 랜에서 데이터 방송 서비스를 위한 ＱｏＳ 제어 방법 및 시스템, 이를 위한 액세스 포인트
EP3291596A1 (en) Downlink information transmission method, base station, and user equipment
KR102095207B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20120107418A (ko) 음향의 깊이 제어방법 및 제어장치
KR20120069826A (ko) 무선 랜에서 멀티미디어 방송 서비스를 위한 서비스 품질 제어 방법 및 시스템, 이를 위한 액세스 포인트

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid