KR20120127992A - 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체 - Google Patents

컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체 Download PDF

Info

Publication number
KR20120127992A
KR20120127992A KR1020110045843A KR20110045843A KR20120127992A KR 20120127992 A KR20120127992 A KR 20120127992A KR 1020110045843 A KR1020110045843 A KR 1020110045843A KR 20110045843 A KR20110045843 A KR 20110045843A KR 20120127992 A KR20120127992 A KR 20120127992A
Authority
KR
South Korea
Prior art keywords
content
depth
frame
frames
key frame
Prior art date
Application number
KR1020110045843A
Other languages
English (en)
Inventor
권오윤
허혜현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110045843A priority Critical patent/KR20120127992A/ko
Priority to EP20110190016 priority patent/EP2525582A3/en
Priority to MX2013013321A priority patent/MX337087B/es
Priority to AU2012256626A priority patent/AU2012256626A1/en
Priority to PCT/KR2012/000072 priority patent/WO2012157833A1/en
Priority to CN2012100316202A priority patent/CN102790897A/zh
Priority to US13/432,681 priority patent/US20120293617A1/en
Priority to JP2012088785A priority patent/JP2012244623A/ja
Publication of KR20120127992A publication Critical patent/KR20120127992A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

본 발명은 2D컨텐츠를 3D컨텐츠로 변환하는 컨텐츠변환장치, 컨텐츠변환방법 및 그 저정 매체에 관한 것으로서, 컨텐츠변환방법은, 영상컨텐츠인 2D컨텐츠의 복수의 프레임 중에서 키프레임을 선정하는 단계와; 선정된 상기 키프레임에 대하여 오브젝트를 추출하는 단계와; 추출된 상기 오브젝트에 대하여 3D컨텐츠로의 변환을 위한 깊이(depth)를 할당하는 단계와; 상기 복수의 프레임 중에서 상기 키프레임을 제외한 나머지 프레임에 대하여 트래킹을 수행하는 단계와; 상기 깊이가 할당된 키프레임 및 상기 트래킹이 수행된 프레임에 대하여 렌더링을 수행하는 단계를 포함한다.
이에 의하여, 적은 비용으로 2D컨텐츠를 변환하여 우수한 품질의 3D컨텐츠를 얻을 수 있다.

Description

컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체{APPARATUS AND METHOD FOR CONVERTING 2D CONTENT INTO 3D CONTENT, AND COMPUTER-READABLE STORAGE MEDIUM THEREOF}
본 발명은, 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체에 관한 것으로서, 보다 상세하게는, 2D컨텐츠를 3D컨텐츠로 변환하는 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체에 관한 것이다.
영화, 드라마, 스포츠경기 등과 같은 영상컨텐츠(이하, 간략히, '컨텐츠'라고 함)는 TV, PC, 스마트폰, 스마트패드, PMP(portable multimedia player), MP3플레이어 등과 같이 컨텐츠재생기능을 가진 디스플레이장치에 의해 재생된다.
한편, 근래 3차원 영상 디스플레이 기술의 발달로, 이러한 컨텐츠가 3D컨텐츠로 만들어져, 3차원 영상 디스플레이가 가능한 디스플레이장치에 의해 재생되고도 있다.
그런데, 이러한 3D컨텐츠를 만드는데는 통상 막대한 규모의 장치와, 개발인력이 필요하여 매우 큰 비용과, 시간이 소요되므로, 아직까지는 우수한 품질의 3D컨텐츠가 많지 않은 실정이다.
따라서 본 발명의 목적은, 적은 비용으로 2D컨텐츠를 변환하여 우수한 품질의 3D컨텐츠를 얻을 수 있는 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체를 제공하는 것이다.
본 발명의 상기 목적은, 컨텐츠변환장치를 이용하여 2D컨텐츠를 3D컨텐츠로 변환하는 컨텐츠변환방법에 있어서, 영상컨텐츠인 2D컨텐츠의 복수의 프레임 중에서 키프레임을 선정하는 단계와; 선정된 상기 키프레임에 대하여 오브젝트를 추출하는 단계와; 추출된 상기 오브젝트에 대하여 3D컨텐츠로의 변환을 위한 깊이(depth)를 할당하는 단계와; 상기 복수의 프레임 중에서 상기 키프레임을 제외한 나머지 프레임에 대하여 트래킹을 수행하는 단계와; 상기 깊이가 할당된 키프레임 및 상기 트래킹이 수행된 프레임에 대하여 렌더링을 수행하는 단계를 포함하는 컨텐츠변환방법에 의해서 달성될 수 있다.
상기 키프레임을 선정하는 단계는, 상기 프레임의 영상의 모션에 기초하여 상기 키프레임을 선정하는 단계를 포함할 수 있다.
상기 트래킹을 수행하는 단계는, 상기 키프레임에 할당된 깊이에 기초하여 상기 나머지 키프레임의 깊이를 할당하는 단계를 포함할 수 있다.
상기 오브젝트를 추출하는 단계 및 상기 깊이를 할당하는 단계 중 적어도 하나는, 처리되는 상기 프레임의 장면의 내용 및 전개과정에 관한 정보에 기초하여 수행될 수 있다.
상기 오브젝트를 추출하는 단계 및 상기 깊이를 할당하는 단계 중 적어도 하나는 사용자의 입력에 따라 수행될 수 있다.
상기 컨텐츠변환방법은, 상기 렌더링이 수행된 상기 복수의 프레임에 대하여 3D화질처리를 수행하는 단계를 더 포함할 수 있다.
본 발명의 상기 목적은, 2D컨텐츠를 3D컨텐츠로 변환하는 컨텐츠변환장치에 있어서, 영상컨텐츠인 2D컨텐츠의 복수의 프레임 중에서 키프레임을 선정하고, 선정된 상기 키프레임에 대하여 오브젝트를 추출하고, 추출된 상기 오브젝트에 대하여 3D컨텐츠로의 변환을 위한 깊이(depth)를 할당하고, 상기 복수의 프레임 중에서 상기 키프레임을 제외한 나머지 프레임에 대하여 트래킹을 수행하고, 상기 깊이가 할당된 키프레임 및 상기 트래킹이 수행된 프레임에 대하여 렌더링을 수행하는 변환부를 포함하는 컨텐츠변환장치에 의해서도 달성될 수 있다.
상기 변환부는, 상기 프레임의 영상의 모션에 기초하여 상기 키프레임을 선정할 수 있다.
상기 변환부는, 상기 키프레임에 할당된 깊이에 기초하여 상기 나머지 키프레임의 깊이를 할당하여 상기 트래킹을 수행할 수 있다.
상기 변환부는, 처리되는 상기 프레임의 장면의 내용 및 전개과정에 관한 정보에 기초하여 상기 오브젝트의 추출 및 상기 깊이의 할당 중 적어도 하나를 수행할 수 있다.
상기 컨텐츠변환장치는, 사용자의 입력을 수신하는 사용자입력부를 더 포함하고, 상기 변환부는, 상기 사용자의 입력에 따라 상기 오브젝트의 추출 및 상기 깊이의 할당 중 적어도 하나를 수행할 수 있다.
상기 변환부는, 상기 렌더링이 수행된 상기 복수의 프레임에 대하여 3D화질처리를 더 수행할 수 있다.
본 발명의 상기 목적은, 컴퓨터로 실행가능한 명령(instructions)을 갖는 컴퓨터로 판독 가능한 저장 매체에 있어서, 상기 컴퓨터의 프로세서에 의해 상기 명령이 수행될 때, 상기 명령은 2D컨텐츠를 3D 컨텐츠로 변환하는 컨텐츠변환방법을 수행하고, 상기 컨텐츠변환방법은, 영상컨텐츠인 2D컨텐츠의 복수의 프레임 중에서 키프레임을 선정하는 단계; 선정된 상기 키프레임에 대하여 오브젝트를 추출하는 단계; 추출된 상기 오브젝트에 대하여 3D컨텐츠로의 변환을 위한 깊이(depth)를 할당하는 단계; 상기 복수의 프레임 중에서 상기 키프레임을 제외한 나머지 프레임에 대하여 트래킹을 수행하는 단계; 및 상기 깊이가 할당된 키프레임 및 상기 트래킹이 수행된 프레임에 대하여 렌더링을 수행하는 단계를 포함하는 컴퓨터로 판독 가능한 저장 매체에 의해서도 달성될 수 있다.
상기 키프레임을 선정하는 단계는, 상기 프레임의 영상의 모션에 기초하여 상기 키프레임을 선정하는 단계를 포함할 수 있다.
상기 트래킹을 수행하는 단계는, 상기 키프레임에 할당된 깊이에 기초하여 상기 나머지 키프레임의 깊이를 할당하는 단계를 포함할 수 있다.
상기 오브젝트를 추출하는 단계 및 상기 깊이를 할당하는 단계 중 적어도 하나는, 처리되는 상기 프레임의 장면의 내용 및 전개과정에 관한 정보에 기초하여 수행될 수 있다.
상기 오브젝트를 추출하는 단계 및 상기 깊이를 할당하는 단계 중 적어도 하나는 사용자의 입력에 따라 수행될 수 있다.
상기 컨텐츠변환방법은, 상기 렌더링이 수행된 상기 복수의 프레임에 대하여 3D화질처리를 수행하는 단계를 더 포함할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 적은 비용으로 2D컨텐츠를 변환하여 우수한 품질의 3D컨텐츠를 얻을 수 있다.
도 1은 본 발명의 일실시예에 의한 컨텐츠변환장치의 구성을 도시한 블록도이며,
도 2는 도 1에 도시된 컨텐츠변환장치의 동작을 도시한 흐름도이며,
도 3은 도 1에 도시된 컨텐츠변환장치의 키프레임 선정 등을 도시하며,
도 4는 도 1 및 3에 도시된 컨텐츠변환장치의 동작의 다른 예를 도시한 흐름도이다.
이하, 본 발명의 일실시예에 관하여 상세히 설명한다.
도 1은 본 발명의 일실시예에 의한 컨텐츠변환장치의 구성을 도시한 블록도이다. 컨텐츠변환장치(1)는 2차원의 컨텐츠(이하, '2D컨텐츠'라고 함)를 3D컨텐츠로 변환한다. 본 실시예의 컨텐츠는, 동영상컨텐츠로서, 예컨대 영화, 드라마, 스포츠경기 등의 컨텐츠를 포함한다.
컨텐츠변환장치(1)는 소정의 2D컨텐츠제공장치(도시 안됨)로부터 3D컨텐츠로 변환할 2D컨텐츠를 제공받을 수 있다. 컨텐츠변환장치(1)는 소정의 네트워크(도시 안됨)를 통해서 2D컨텐츠제공장치로부터 2D컨텐츠를 제공받을 수 있다. 2D컨텐츠제공장치는 예컨대 네트워크서버로서, 2D컨텐츠를 저장하고, 컨텐츠변환장치(1)의 요청에 따라 2D컨텐츠를 컨텐츠변환장치(1)에 전송할 수 있다.
다른 실시예로서, 컨텐츠변환장치(1)는, 네트워크가 아닌 다른 데이터 전송 수단을 통하여 2D컨텐츠제공장치로부터 2D컨텐츠를 제공받을 수도 있다. 예컨대, 2D컨텐츠제공장치는 2D컨텐츠를 저장하는 하드디스크, 플래시메모리 등과 같은 저장수단을 구비하는 장치로서, 컨텐츠변환장치(1)에 로컬 장치로서 연결되어 컨텐츠변환장치(1)의 요청에 따라 2D컨텐츠를 컨텐츠변환장치(1)에 전송할 수 있다. 이 경우, 2D컨텐츠의 데이터 전송을 위한 것이라면, 컨텐츠변환장치(1)와, 2D컨텐츠제공장치 간의 로컬 연결 방식에는 제한이 없으며, 예컨대, USB 등을 포함한다.
또 다른 실시예로서, 컨텐츠변환장치(1)는, 3D컨텐츠제공장치(도시 안됨)로부터 2D컨텐츠를 제공받을 수도 있다. 예컨대, 3D컨텐츠제공장치는 2D컨텐츠를 컨텐츠변환장치(1)에 전달하고, 컨텐츠변환장치(1)에 의해 변환된 3D컨텐츠를 수신하여, 이를 소정의 사용자단말기(도시 안됨)에 제공할 수 있다. 사용자단말기는 컨텐츠변환장치(1)로부터 제공된 3D컨텐츠를 3차원의 입체 영상으로 디스플레이할 수 있는 기능을 가지며, 예컨대, TV, PC, 스마트폰, 스마트패드, PMP, MP3플레이어 등일 수 있다.
또 다른 실시예로서, 컨텐츠변환장치(1)는, 변환된 3D컨텐츠를 3차원의 입체 영상으로 디스플레이할 수 있는 기능을 가지는 사용자단말기에 전송할 수 있다. 컨텐츠변환장치(1)는, 예컨대, 네트워크를 통해서 사용자단말기에 3D컨텐츠를 제공할 수 있다.
본 실시예에서의 네트워크에 있어서, 2D컨텐츠 및/또는 3D컨텐츠의 전송을 위한 데이터 통신이라면, 유선 및/또는 무선 통신 방식 등 네트워크의 통신 방식에는 아무런 제한이 없으며, 알려진 통신 방식을 모두 포함한다.
컨텐츠변환장치(1)는, 도 1에 도시된 바와 같이, 변환부(11) 및 통신부(14)를 포함할 수 있다. 변환부(11)는 2D컨텐츠를 3D컨텐츠로 변환한다. 2D컨텐츠는 복수의 영상프레임(이하, '프레임'이라고 함)을 포함한다. 3D컨텐츠는 시청자의 양안 시차를 이용하는 것으로서, 복수의 좌안프레임 및 복수의 우안프레임을 포함할 수 있다. 복수의 좌안프레임 및 복수의 우안프레임 중 한 쌍의 좌안프레임과, 우안프레임은, 2D컨텐츠의 복수의 프레임 중에서 대응하는 적어도 어느 하나로부터 각각 변환될 것일 수 있다. 변환부(11)에 의해 수행되는 2D컨텐츠로부터 3D컨텐츠로의 변환(이하, '2D-3D변환'이라고 함)에 대해서는 아래에 다시 상술한다.
통신부(14)는 2D컨텐츠제공장치 및 컨텐츠변환장치(1) 간의 데이터 통신, 3D컨텐츠제공장치 및 컨텐츠변환장치(1) 간의 데이터 통신, 또는 사용자단말기 및 컨텐츠변환장치(1) 간의 데이터 통신을 수행할 수 있다.
변환부(11)는, 저장부(111), RAM(112) 및 CPU(113)를 포함할 수 있다. 저장부(111)는 2D-3D변환을 수행하기 위한 변환프로그램(114), 변환할 2D컨텐츠(115) 및 2D컨텐츠로부터 변환되는 3D컨텐츠(116)를 저장할 수 있다. 저장부(111)는 하드디스크, 플래시메모리 등의 비휘발성의 메모리로 구현될 수 있다. RAM(112)에는 변환부(11)의 동작 시 변환프로그램(114)의 적어도 일부가 로딩되며, CPU(113)는 RAM(112)에 로딩된 변환프로그램(114)을 실행한다. 변환프로그램(114)은 CPU(113)에 의해 실행 가능한 명령(instructions)을 가진다. 저장부(111)는 컴퓨터로 판독 가능한 저장 매체의 일례이다.
도 2는 도 1에 도시된 컨텐츠변환장치(1)의 동작을 도시한 흐름도이다. 도 2에 도시된 컨텐츠변환장치(1)의 동작(이하, '2D-3D변환 프로세스'라고도 함)은, 변환프로그램(114)의 명령에 의해 수행되는 컨텐츠변환방법에 대응한다. 본 실시예의 2D-3D변환 프로세스는, 키프레임 선정(201), 오브젝트 추출(202), 깊이(depth) 할당(203), 트래킹(tracking; 204) 및 렌더링(rendering; 205)을 포함할 수 있다.
먼저, 키프레임 선정(201)에서는, 2D컨텐츠의 복수의 프레임 중에서 임의의 키프레임이 선정된다. 도 3은 본 실시예의 키프레임 선정(201)을 도시한다. 부호 301은 변환될 2D컨텐츠의 복수의 프레임을 나타낸다. 부호 302는 복수의 프레임(301) 중에서 키프레임으로 선정된 프레임을, 부호 303은 나머지 프레임을 각각 나타낸다. 키프레임(302)으로서는, 2D컨텐츠의 복수의 프레임(301) 중에서 영상의 내용을 대표할 수 있는 프레임이 선정될 수 있다. 예컨대, 키프레임(302)은, 장면이 전환되는 프레임, 장면의 주인공이 클로즈업되는 프레임 등일 수 있다. 키프레임(302)은 해당 프레임의 영상의 모션에 기초하여 선정될 수 있다. 예컨대, 영상의 모션이 소정치 이상인 프레임을 키프레임(302)으로 선정할 수 있다.
다시 도 2를 참조하면, 오브젝트 추출(202)에서는, 선정된 키프레임(302)에 대하여 3차원 효과가 반영될 오브젝트가 추출된다(도 3의 304 참조). 오브젝트는 각 프레임의 장면 중에 포함된 주요한 이미지로서, 예컨대, 주인공이 등장하는 장면에서 주인공인 인물의 이미지, 차량이 달리는 장면에서 해당 차량의 이미지 등을 들 수 있다. 오브젝트 추출(202)에서는, 해당 프레임의 영상을 분할(segmentation)하여 그 결과로부터 오브젝트의 경계(boundary)를 추출할 수 있다.
깊이 할당(203)에서는, 오브젝트 추출의 프로세스(202)에서 추출된 오브젝트에 대하여 깊이가 할당된다(도 3의 304 참조). 깊이는 3차원의 시각 효과를 내기 위한 파라미터로서, 대응하여 생성되는 좌안프레임 및 우안프레임에서 오브젝트를 할당된 파라미터의 값만큼 각각 좌측 및 우측방향으로 이동(shift)시키는데 이용된다. 깊이 할당(203)에서는, 미리 마련된 정형화된 템플릿(template)을 이용하여 깊이가 할당될 수 있다.
트래킹(204)에서는, 키프레임(302)이 아닌 나머지 프레임(303)에 대하여 대응하는 좌안프레임 및 우안프레임이 생성된다(도 3의 305 참조). 트래킹(204)은 키프레임(302)에 수행된 오브젝트 추출(202) 및 깊이 할당(203)을 참조하여 수행될 수 있다.
이상과 같이, 본 실시예에 의하면, 주요한 키프레임(302)을 선정하여 키프레임(302)에 대하여 오브젝트 추출(202), 깊이 할당(203)을 수행하고, 나머지 프레임(303)에 대하여 키프레임(302)을 참조하여 트래킹(204)을 수행함으로써, 품질적으로 우수함을 유지하면서도, 비용적, 시간적으로 효율적인 변환 처리를 수행할 수 있다.
렌더링(205)에서는 깊이 할당(203) 및 트래킹(204)이 수행된 좌안프레임 및 우안프레임에 대하여 완성된 3차원의 영상을 위한 이미지 처리가 수행된다. 예컨대, 렌더링(205)에서는 프레임의 영상에서 오브젝트의 이동에 따라 발생한 빈 영역을 채우는 처리, 이른바, 인페인팅(inpainting) 등이 수행될 수 있다.
본 실시예의 2D-3D변환 프로세스 중 적어도 하나는, 처리되는 프레임의 장면의 내용 및 전개과정에 관한 정보(이하, '스토리텔링(storytelling)정보'라고도 함)에 기초하여 수행될 수 있다. 스토리텔링정보는 컨텐츠의 제작자가 의도한 바에 따라 컨텐츠의 스토리 전개에 맞추어 3차원의 시각 효과가 대응적으로 일어날 수 있도록 하는데 이용되는 정보이다. 본 실시예에서는, 오브젝트 추출(202), 깊이 할당(203) 등의 프로세스가 스토리텔링정보에 기초하여 수행될 수 있다. 스토리텔링정보를 이용하는 예로서는, 두 인물이 대화를 나누는 장면에서, 대화를 나누는 두 인물의 뒤를 다른 주요 인물이 지나가는 경우, 다른 주요 인물을 해당 프레임에서의 오브젝트로 추출하도록 하거나, 추출된 다른 주요 인물의 오브젝트에 깊이를 충분히 적용하도록 하는 등의 예를 들 수 있다. 이러한 예에서, 스토리텔링정보는 오브젝트 추출을 위한 다른 주요 인물의 이미지에 관한 정보나, 깊이 할당을 위하여 스토리 전개 상의 주요한 정도를 나타내는 값 등을 포함할 수 있으며, 해당 프레임에 대응하여 미리 마련되어 저장부(111)에 저장될 수 있다. 변환부(11)는 해당 프레임에 대한 프로세스 시 저장부(111)에 저장된 스토리텔링정보를 참조하여 프로세스를 수행할 수 있다.
본 실시예의 2D-3D변환 프로세스 중 적어도 하나의 프로세스는, 사용자의 입력에 따라 수행되는 수동프로세스 및 미리 정해진 기준정보에 따라 수행되는 자동프로세스를 포함할 수 있다. 예컨대, 오브젝트 추출(202), 깊이 할당(203) 등의 프로세스에서, 일부의 프레임은 수동프로세스에 의해 처리되고, 나머지 프레임에 대해서는 자동프로세스에 의해 처리될 수 있다.
수동프로세스에서는, 사용자(컨텐츠 변환 작업을 수행하는 개발자)의 입력에 따라 변환 처리가 수행될 수 있다. 컨텐츠변환장치(1)는 사용자의 입력을 위하여 키보드, 마우스, 태블릿 등과 같은 사용자입력부(12)을 더 포함할 수 있다. 또한, 컨텐츠변환장치(1)는 사용자가 변환 처리 상황을 확인할 수 있도록, 변환 처리되는 영상을 디스플레이하는 모니터 등과 같은 디스플레이부(13)를 더 포함할 수 있다. 컨텐츠변환장치(1)는 효과적으로 사용자의 입력을 수신하기 위하여, 디스플레이부(13)에 처리되는 프레임의 영상과, 소정 입력메뉴 등을 포함하는 GUI(도시 안됨)을 표시할 수 있다. 사용자는 디스플레이부(13)에 표시되는 프레임의 영상을 확인하면서, GUI의 입력메뉴 등을 이용하여 변환 처리를 위한 입력을 할 수 있다. 예컨대, 사용자는 프레임의 영상에 포함된 오브젝트를 확인하면서, GUI의 입력메뉴 등을 이용하여 해당 오브젝트가 추출되도록 입력 조작을 할 수 있다.
자동프로세스에서는, 미리 정해진 기준정보에 따라 프로세스가 수행된다. 예컨대, 오브젝트 추출(202)에 있어서, 컨텐츠변환장치(1)는 프레임의 영상을 분석하여, 영상 내의 어느 오브젝트의 경계에서 화소값의 변화가 소정 문턱치 이상인 오브젝트를 추출할 오브젝트로 선택할 수 있다. 여기에서 기준정보는 추출할 오브젝트로 선택하도록 하는, 오브젝트의 경계에서의 화소값의 변화의 문턱치일 수 있다.
본 실시예의 2D-3D변환 프로세스는, 3D컨텐츠의 품질에 대응하여 수행될 수 있다. 3D컨텐츠의 품질은, 어느 2D-3D변환 프로세스에 있어서, 수동프로세스 및 자동프로세스가 각각 얼마나 수행되는지를 나타낼 수 있다. 예컨대, 오브젝트 추출(202)에 있어서, 수동프로세스와, 자동프로세스가 각각 절반씩 이루어진 경우 등을 들 수 있다. 3D컨텐츠의 품질은, 어느 2D-3D변환 프로세스 전체 중에서 자동프로세스(혹은 수동프로세스)가 수행되는 비율(이하, '조합비율'이라고도 함)로 나타낼 수 있다. 어느 2D-3D변환 프로세스에 있어서 자동프로세스로 처리될지, 아니면 수동프로세스로 처리될지의 구분은 예컨대 프레임 단위로 이루어질 수 있다.
3D컨텐츠의 품질은, 복수의 품질모드를 포함하며, 복수의 품질모드 중 선택된 어느 하나에 대응하여 2D-3D변환 프로세스가 수행될 수 있다. 복수의 품질모드는, 예컨대, 품질이 높아지는 순으로, '간이(Simple) 모드', '기본(Basic) 모드', '향상된(Advanced) 모드' 및 '전문가(Expert) 모드'를 포함할 수 있다. 이들 품질모드는, 각각의 조합비율(자동프로세스의 수행 비율)이, 해당 프로세스 전체 중에서 예컨대 85% 초과, 85%, 70% 및 50%일 수 있다.
3D컨텐츠의 품질은, 2D컨텐츠의 종류 혹은 속성에 따라 결정될 수 있다. 예컨대, 2D컨텐츠가 최신 개봉작인 영화의 경우, 상대적으로 높은 품질로 결정되고, 제작된지 오래된 영화는 상대적으로 낮은 품질로 결정될 수 있다. 다른 예로서, 블록버스터와 같은 스케일이 큰 영화의 경우, 상대적으로 높은 품질로 결정되고, 스토리 전개 위주의 영화는 상대적으로 낮은 품질로 결정될 수 있다. 또 다른 예로서, 스포츠, 영화, 드라마 등과 같은 컨텐츠의 장르에 따라 3D컨텐츠의 품질이 결정될 수도 있다. 또 다른 예로서, 3D컨텐츠의 품질은 사용자의 입력에 따라 결정될 수도 있다. 3D컨텐츠의 품질의 결정을 위한 사용자의 입력은 사용자입력부(12)로부터 수신될 수도 있고, 통신부(14)를 통해 다른 장치로부터 수신될 수도 있다.
도 4는 도 1에 도시된 컨텐츠변환장치(1)의 동작의 다른 예를 도시한 흐름도이다. 도 4에 도시된 컨텐츠변환장치(1)에 관하여 도 3을 참조하여 설명한 컨텐츠변환장치(1)와 동일 내지 유사한 구성에 대해서는 설명을 생략한다. 도 4에 도시된 컨텐츠변환장치(1)에 의해 수행되는 2D-3D변환 프로세스는, 키프레임 선정(401), 오브젝트 추출(402), 깊이 할당(403), 트래킹(404), 렌더링(405) 및 3D화질처리(406)를 포함할 수 있다.
먼저, 키프레임 선정(401)에서는, 2D컨텐츠의 복수의 프레임 중에서 임의의 키프레임이 선정된다. 오브젝트 추출(402)에서는, 선정된 키프레임에 대하여 오브젝트가 추출된다. 깊이 할당(403)에서는, 오브젝트 추출(402)의 프로세스에서 추출된 오브젝트에 대하여 깊이가 할당된다. 트래킹(404)에서는, 키프레임이 아닌 나머지 프레임에 대하여 대응하는 좌안프레임 및 우안프레임이 생성된다. 렌더링(405)에서는 깊이 할당(403) 및 트래킹(404)이 수행된 좌안프레임 및 우안프레임에 대하여 완성된 3차원의 영상을 위한 이미지 처리가 수행된다.
3D화질처리(406)에서는, 렌더링(205)이 수행된 프레임에 대하여 3D화질처리가 수행된다. 3D화질처리(406)는 콘트라스트향상(contrast enhancement), 디테일향상(detail enhancement) 등을 포함할 수 있다. 3D화질처리(406)에 의해, 3D컨텐츠의 실제 디스플레이 시 화질의 측면에서 디스플레이하는 장치에 최적화되도록 화질 개선이 이루어질 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
1: 컨텐츠변환장치
11: 변환부
12: 사용자입력부
13: 디스플레이부
14: 통신부

Claims (18)

  1. 컨텐츠변환장치를 이용하여 2D컨텐츠를 3D컨텐츠로 변환하는 컨텐츠변환방법에 있어서,
    영상컨텐츠인 2D컨텐츠의 복수의 프레임 중에서 키프레임을 선정하는 단계와;
    선정된 상기 키프레임에 대하여 오브젝트를 추출하는 단계와;
    추출된 상기 오브젝트에 대하여 3D컨텐츠로의 변환을 위한 깊이(depth)를 할당하는 단계와;
    상기 복수의 프레임 중에서 상기 키프레임을 제외한 나머지 프레임에 대하여 트래킹을 수행하는 단계와;
    상기 깊이가 할당된 키프레임 및 상기 트래킹이 수행된 프레임에 대하여 렌더링을 수행하는 단계를 포함하는 컨텐츠변환방법.
  2. 제1항에 있어서,
    상기 키프레임을 선정하는 단계는,
    상기 프레임의 영상의 모션에 기초하여 상기 키프레임을 선정하는 단계를 포함하는 컨텐츠변환방법.
  3. 제1항에 있어서,
    상기 트래킹을 수행하는 단계는,
    상기 키프레임에 할당된 깊이에 기초하여 상기 나머지 키프레임의 깊이를 할당하는 단계를 포함하는 컨텐츠변환방법.
  4. 제1항에 있어서,
    상기 오브젝트를 추출하는 단계 및 상기 깊이를 할당하는 단계 중 적어도 하나는, 처리되는 상기 프레임의 장면의 내용 및 전개과정에 관한 정보에 기초하여 수행되는 컨텐츠변환방법.
  5. 제1항에 있어서,
    상기 오브젝트를 추출하는 단계 및 상기 깊이를 할당하는 단계 중 적어도 하나는 사용자의 입력에 따라 수행되는 컨텐츠변환방법.
  6. 제1항에 있어서,
    상기 렌더링이 수행된 상기 복수의 프레임에 대하여 3D화질처리를 수행하는 단계를 더 포함하는 컨텐츠변환방법.
  7. 2D컨텐츠를 3D컨텐츠로 변환하는 컨텐츠변환장치에 있어서,
    영상컨텐츠인 2D컨텐츠의 복수의 프레임 중에서 키프레임을 선정하고, 선정된 상기 키프레임에 대하여 오브젝트를 추출하고, 추출된 상기 오브젝트에 대하여 3D컨텐츠로의 변환을 위한 깊이(depth)를 할당하고, 상기 복수의 프레임 중에서 상기 키프레임을 제외한 나머지 프레임에 대하여 트래킹을 수행하고, 상기 깊이가 할당된 키프레임 및 상기 트래킹이 수행된 프레임에 대하여 렌더링을 수행하는 변환부를 포함하는 컨텐츠변환장치.
  8. 제7항에 있어서,
    상기 변환부는, 상기 프레임의 영상의 모션에 기초하여 상기 키프레임을 선정하는 컨텐츠변환장치.
  9. 제7항에 있어서,
    상기 변환부는, 상기 키프레임에 할당된 깊이에 기초하여 상기 나머지 키프레임의 깊이를 할당하여 상기 트래킹을 수행하는 컨텐츠변환장치.
  10. 제7항에 있어서,
    상기 변환부는, 처리되는 상기 프레임의 장면의 내용 및 전개과정에 관한 정보에 기초하여 상기 오브젝트의 추출 및 상기 깊이의 할당 중 적어도 하나를 수행하는 컨텐츠변환장치.
  11. 제7항에 있어서,
    사용자의 입력을 수신하는 사용자입력부를 더 포함하고,
    상기 변환부는, 상기 사용자의 입력에 따라 상기 오브젝트의 추출 및 상기 깊이의 할당 중 적어도 하나를 수행하는 컨텐츠변환장치.
  12. 제7항에 있어서,
    상기 변환부는, 상기 렌더링이 수행된 상기 복수의 프레임에 대하여 3D화질처리를 더 수행하는 컨텐츠변환장치.
  13. 컴퓨터로 실행가능한 명령(instructions)을 갖는 컴퓨터로 판독 가능한 저장 매체에 있어서,
    상기 컴퓨터의 프로세서에 의해 상기 명령이 수행될 때, 상기 명령은 2D컨텐츠를 3D 컨텐츠로 변환하는 컨텐츠변환방법을 수행하고, 상기 컨텐츠변환방법은,
    영상컨텐츠인 2D컨텐츠의 복수의 프레임 중에서 키프레임을 선정하는 단계;
    선정된 상기 키프레임에 대하여 오브젝트를 추출하는 단계;
    추출된 상기 오브젝트에 대하여 3D컨텐츠로의 변환을 위한 깊이(depth)를 할당하는 단계;
    상기 복수의 프레임 중에서 상기 키프레임을 제외한 나머지 프레임에 대하여 트래킹을 수행하는 단계; 및
    상기 깊이가 할당된 키프레임 및 상기 트래킹이 수행된 프레임에 대하여 렌더링을 수행하는 단계를 포함하는 컴퓨터로 판독 가능한 저장 매체.
  14. 제13항에 있어서,
    상기 키프레임을 선정하는 단계는,
    상기 프레임의 영상의 모션에 기초하여 상기 키프레임을 선정하는 단계를 포함하는 컴퓨터로 판독 가능한 저장 매체.
  15. 제13항에 있어서,
    상기 트래킹을 수행하는 단계는,
    상기 키프레임에 할당된 깊이에 기초하여 상기 나머지 키프레임의 깊이를 할당하는 단계를 포함하는 컴퓨터로 판독 가능한 저장 매체.
  16. 제13항에 있어서,
    상기 오브젝트를 추출하는 단계 및 상기 깊이를 할당하는 단계 중 적어도 하나는, 처리되는 상기 프레임의 장면의 내용 및 전개과정에 관한 정보에 기초하여 수행되는 컴퓨터로 판독 가능한 저장 매체.
  17. 제13항에 있어서,
    상기 오브젝트를 추출하는 단계 및 상기 깊이를 할당하는 단계 중 적어도 하나는 사용자의 입력에 따라 수행되는 컴퓨터로 판독 가능한 저장 매체.
  18. 제13항에 있어서,
    상기 컨텐츠변환방법은,
    상기 렌더링이 수행된 상기 복수의 프레임에 대하여 3D화질처리를 수행하는 단계를 더 포함하는 컴퓨터로 판독 가능한 저장 매체.
KR1020110045843A 2011-05-16 2011-05-16 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체 KR20120127992A (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020110045843A KR20120127992A (ko) 2011-05-16 2011-05-16 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체
EP20110190016 EP2525582A3 (en) 2011-05-16 2011-11-21 Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
MX2013013321A MX337087B (es) 2011-05-16 2012-01-04 Aparato y metodo para convertir contenido bidimensional en contenido tridimensional, medio de almacenamiento legible en computadora para el mismo.
AU2012256626A AU2012256626A1 (en) 2011-05-16 2012-01-04 Apparatus and method for converting 2D content into 3D content, and computer-readable storage medium thereof
PCT/KR2012/000072 WO2012157833A1 (en) 2011-05-16 2012-01-04 Apparatus and method for converting 2d content into 3d content, and computer-readable storage medium thereof
CN2012100316202A CN102790897A (zh) 2011-05-16 2012-02-09 用于将2d内容转换为3d内容的设备和方法
US13/432,681 US20120293617A1 (en) 2011-05-16 2012-03-28 Apparatus and method for converting 2d content into 3d content, and computer-readable storage medium thereof
JP2012088785A JP2012244623A (ja) 2011-05-16 2012-04-09 コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110045843A KR20120127992A (ko) 2011-05-16 2011-05-16 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체

Publications (1)

Publication Number Publication Date
KR20120127992A true KR20120127992A (ko) 2012-11-26

Family

ID=45002770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110045843A KR20120127992A (ko) 2011-05-16 2011-05-16 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체

Country Status (8)

Country Link
US (1) US20120293617A1 (ko)
EP (1) EP2525582A3 (ko)
JP (1) JP2012244623A (ko)
KR (1) KR20120127992A (ko)
CN (1) CN102790897A (ko)
AU (1) AU2012256626A1 (ko)
MX (1) MX337087B (ko)
WO (1) WO2012157833A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104994365B (zh) * 2015-04-30 2017-09-26 西安电子科技大学 一种获取非关键帧深度图像的方法以及2d视频立体化方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4698831B2 (ja) * 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
US7116324B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US7639838B2 (en) * 2002-08-30 2009-12-29 Jerry C Nims Multi-dimensional images system for digital image input and output
KR100607072B1 (ko) * 2004-06-21 2006-08-01 최명렬 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법
KR20070095031A (ko) * 2006-03-20 2007-09-28 정기철 오프라인 이차원 이미지를 3차원 이미지로 변환
KR101387212B1 (ko) * 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
KR101082046B1 (ko) * 2009-10-30 2011-11-10 엘지이노텍 주식회사 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치
KR101181962B1 (ko) * 2009-12-24 2012-09-11 동신대학교산학협력단 3ｄ 입체영상 변환장치 및 변환방법

Also Published As

Publication number Publication date
JP2012244623A (ja) 2012-12-10
CN102790897A (zh) 2012-11-21
EP2525582A2 (en) 2012-11-21
MX337087B (es) 2016-02-11
EP2525582A3 (en) 2013-10-23
US20120293617A1 (en) 2012-11-22
MX2013013321A (es) 2014-02-10
WO2012157833A1 (en) 2012-11-22
AU2012256626A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
US11089330B2 (en) Method for sub-PU motion information inheritance in 3D video coding
KR20140037069A (ko) 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체
US9392218B2 (en) Image processing method and device
US9154772B2 (en) Method and apparatus for converting 2D content into 3D content
KR20130138824A (ko) 동화상 배신 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배신 시스템
KR20140045349A (ko) 3d컨텐츠제공장치 및 3d컨텐츠제공방법
US10037335B1 (en) Detection of 3-D videos
KR20130026078A (ko) 컨텐츠변환장치 및 컨텐츠변환방법
US20120170841A1 (en) Image processing apparatus and method
JP6025740B2 (ja) エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法
KR20120127992A (ko) 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체
KR101859412B1 (ko) 컨텐츠변환장치 및 컨텐츠변환방법
KR20120133640A (ko) 3ｄ 영상변환장치 그 구현방법 및 그 저장매체
TWI825892B (zh) 立體格式影像偵測方法與使用該方法的電子裝置
TWI502960B (zh) 二維轉三維轉換裝置及其方法
CN114095655A (zh) 一种串流数据的显示方法及设备

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid