KR20150120659A - 다시점 컨텐츠의 생성 방법 및 장치 - Google Patents

다시점 컨텐츠의 생성 방법 및 장치 Download PDF

Info

Publication number
KR20150120659A
KR20150120659A KR1020140046505A KR20140046505A KR20150120659A KR 20150120659 A KR20150120659 A KR 20150120659A KR 1020140046505 A KR1020140046505 A KR 1020140046505A KR 20140046505 A KR20140046505 A KR 20140046505A KR 20150120659 A KR20150120659 A KR 20150120659A
Authority
KR
South Korea
Prior art keywords
image
mesh surface
view
editing
depth map
Prior art date
Application number
KR1020140046505A
Other languages
English (en)
Inventor
노준용
이상우
김범기
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020140046505A priority Critical patent/KR20150120659A/ko
Publication of KR20150120659A publication Critical patent/KR20150120659A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다시점 2D 컨텐츠의 보급에 따라 효과적인 다시점 2D 이미지의 편집 및 합성 방법이 필요가 있음에도, 기존의 편집 방법들은 다시점 2D 이미지의 각 시점을 각각 편집하였기에 효율성이 떨어진다는 문제점이 있었다.
본 발명은 이러한 문제점을 해결하기 위하여, 다시점 2D 이미지와 뎁스맵(depth map)을 이용하여 3D 메쉬 서피스(surface)를 생성하고, 3D 메쉬 서피스를 이용하여 편집을 수행하고, 편집된 3D 메쉬 서피로부터 가상 카메라 렌더링을 통하여 최종 다시점 2D 이미지를 생성함으로써 보다 효율적인 다시점 2D 이미지의 편집 방법을 제공할 수 있을 뿐만 아니라, 더욱 복잡한 다시점 2D 이미지의 편집을 가능하게 한다.

Description

다시점 컨텐츠의 생성 방법 및 장치{METHOD FOR GENERATING MULTI-VIEW CONTENTS AND APPARATUS TEHREOF}
본 발명은 다시점 2D(2-Dimensional) 영상의 합성 및 편집에 관한 것으로, 특히 다시점 2D 영상과 뎁스맵(depth map) 정보에 기초하여 생성된 3D 메쉬 서피스(mesh surface)를 이용하여 다시점 2D 영상을 합성 및 편집하는 방법에 관한 것이다.
3D 영상을 시청할 수 있는 디스플레이 디바이스의 보급과 함께 다양한 3D 컨텐츠의 제작이 시도되고 있다. 일반적으로, 3D 컨텐츠는 양안시차 기초하여 2대의 카메라에 의하여 제작되고 있어 2시점의 2D 영상으로 구성된다. 또한, 3D 무안경식 스테레오스코픽 3D 입체영상을 생성하기 위하여, 8, 16, 32 시점 등, 다시점을 지원하는 영상 프로토콜에 따라, 하나의 오브젝트를 2 이상의 카메라들로 촬영한 다시점 2D 영상 또한 제작되고 있다.
그러나, 이러한 다시점 2D 영상들은 각 시점별로 이미지를 포함하고 있어, 그 편집이 쉽지 않다. 즉, 종래에는 다시점 2D 영상을 편집하기 위하여는, 각 시점별 이미지를 각각 편집해야 하기 때문에 편집되어야할 이미지가 급증하게되고, 다시점 2D 이미지의 각 시점별 이미지 사이의 영향을 고려하여야 하기 때문에, 그 편집이 매우 어렵다. 또한, 2D 이미지에 대한 물리 기반 시뮬레이션은 매우 어렵기 때문에 다시점 2D 영상들 각각의 시점에 대하여 물리 기반 시뮬레이션과 같은 복잡한 편집을 적용하기가 매우 어렵다는 문제가 있다.
본 발명은 상술한 문제점을 해결하기 위하여 제안된 것으로, 다시점 2D 영상과 뎁스맵에 기초하여 생성된 3D 메쉬 서피스를 이용함으로써, 그 편집 및 합성이 용이한 다시점 2D 영상을 생성하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적 및 장점들은, 하기의 설명에 의하여 이해될 수 있으며, 청구범위에 나타난 수단 및 그 조합에 의하여 실현될 수 있음을 통상의 기술자는 이해할 수 있을 것이다.
본 발명의 일 실시예에 따른 다시점 2D 이미지 처리 장치는, 다시점 2D 이미지와 다시점 2D 이미지에 대응하는 2D 뎁스맵(depth map)에 기초하여 3D 메쉬 서피스(mesh surface)를 생성하는 3D 메쉬 서피스 생성 유닛으로서, 3D 메쉬 서피스는 다시점 2D 이미지가 2D 뎁스맵에 기초하여 3D 공간상에 분리되어 배치된 지오메트리(geometry)인, 3D 메쉬 서피스 생성 유닛, 생성된 3D 메쉬 서피스를 편집하는 편집 유닛, 및 복수의 가상 카메라들에 의하여 편집된 3D 메쉬 서피스를 가상 카메라 렌더링(rendering)함으로써 최종 다시점 2D 이미지를 생성하는 가상 카메라 렌더링 유닛을 포함하고, 다시점 2D 이미지를 이용함으로써 폐색영역을 추정하지 않는 것을 특징으로 한다. 또한, 본 발명의 일 실시예에 따른 다시점 2D 이미지 처리 장치는 복수의 가상 카메라들의 시점들에 기초하여 3D 메쉬 서피스의 오브젝트들의 거리 및 크기 중 적어도 하나를 캘리브레이션하는 장면 매칭 유닛을 더 포함할 수 있다. 또한, 편집 유닛은, 생성된 메쉬 서피스에 대한 물리기반 시물레이션, 오브젝트 추가 또는 삭제, 라이팅(lighting) 편집, 쉐도잉(shawdowing) 편집 및 실사-컴퓨터 그래픽 합성 중 적어도 하나를 수행할 수 있다. 또한, 본 발명의 일 실시예에 따른 다시점 2D 이미지 처리 장치는, 다시점 2D 이미지와 2D 뎁스맵을 동기화시키는 캘리브레이션(calibration) 유닛을 더 포함할 수 있다.
본 발명에 개시된 기술은, 다시점 2D 이미지와 뎁스맵에 기초한 3D 메쉬 서피스를 이용함으로써, 실사와 CG(Computer Graphic) 사이의 합성 및 편집을 용이하게 할 수 있으며, 다시점 컨텐츠의 합성 및 편집을 효과적으로 할 수 있다. 또한, 3D 메쉬 서피스를 이용한 오브젝트의 분리를 통하여 무안경식 다시점 입체영상의 산업 발전을 촉진하고 다시점 3D 입체 컨텐츠의 제작을 활성화할 수 있다.
다만, 본 발명의 특정 실시예가 상술한 효과를 전부 포함하여야 한다거나, 상술한 효과만을 포함하여야 하는 것은 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되서는 아니될 것이다.
도 1은 본 발명의 일 실시예에 따른 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 구성도이다.
도 3은 2D 이미지 및 뎁스맵이다.
도 4는 본 발명의 일 실시예에 따른 3D 메시 서피스이다.
도 5는 본 발명의 일 실시예에 따른 다시점 렌더링을 위한 다시점 가상 카메라이다.
도 6은 본 발명의 일 실시예에 따른 캘리브레이션된 다시점 가상 카메라이다.
도 7은 본 발명의 일 실시예에 따른 최종 2D 이미지이다.
도 8은 본 발명의 일 실시예에 따른 다시점 렌더링 유닛의 인터페이스이다.
본문에 개시되어 있는 본 발명의 실시예들에 대하여, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "커플링되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...기", "모듈", "유닛" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시에를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대하여는 동일한 참조부호를 사용하고 동일한 구성요소에 대한 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 흐름도이다. 본 발명의 일 실시예에 따른 다시점 2D 이미지 처리 방법은, 입력으로서 다시점 2D 이미지 및 뎁스맵을 수신(101)한다. 다시점 2D 이미지는 8, 16, 32 시점 등의 무안경식 스테레오스코픽 3D 입체 영상을 생성하기 위한 이미지를 포함한다. 이러한 다시점 2D 이미지는 리그(rig)를 통해 정렬된 다수의 카메라를 이용하여 획득될 수 있다. 또한, 뎁스맵은 다수의 카메라와 캘리브레이션된 뎁스 카메라를 통해 얻어질 수 있다. 다수의 카메라와 텝스 카메라는 서로 클록-동기화될 수도 있으며, 다시점 2D 이미지와 뎁스맵은 추후에 동기화될 수도 있다.
다시점 2D 이미지 및 뎁스맵을 수신한 뒤, 다시점 2D 이미지 및 다시점 2D 이미지에 대응하는 댑스맵에 기초하여 3D 메쉬 서피스를 생성(102)한다. 3D 메쉬 서피스는 다시점 2D 이미지가 2D 뎁스맵에 기초하여 3D 공간상에 분리되어 배치된 지오메트리(geometry)이다. 즉, 3D 메쉬 서피스에서, 뎁스 정보가 반영된 2D 이미지가 3차원 공간상의 지오메트리의 형태로서 나타나게 된다.
이후, 3D 메쉬 서피스에 기초하여 다시점 컨텐츠를 합성 및 편집(103)한다. 이러한 편집은 3차원 지오메트리 환경에서 이루어지기 때문에, 물리기반 시뮬레이션, 라이팅, 쉐도잉 등의 편집이 가능하며, 물리기반 시뮬레이션은 유체, 충돌(collision)과 같은 다양한 상황에 대한 시물레이션을 포함할 수도 있다. 또한, 새로운 오브젝트의 추가 또는 삭제, 실사와 컴퓨터 그래픽의 합성 등이 가능하다. 본 발명은 이렇게 3D 메쉬 서피스를 이용하여 다시점 2D 이미지를 한꺼번에 편집할 수 있기 때문에, 그 편집이 매우 용이할 뿐만 아니라, 기존의 각각의 시점에 대하여 편집하는 방식에 비하여 더욱 복잡한 편집이 가능하다.
또한, 가상 카메라 렌더링(104)을 통하여 최종 다시점 이미지를 생성(105)한다. 이때, 가상 카메라 렌더링은 복수의 가상 카메라를 3D 공간상에 위치시킴으로써 수행될 수 있으며, 가상 카메라 렌더링을 수행하기 위하여 가상 카메라와 3D 공간을 캘리브레이션할 수도 있다. 이러한 가상 카메라와 3D 공간의 캘리브레이션은 3D 메쉬 서피스 상의 오브젝트들의 크기 및/또는 거리의 조정을 포함할 수도 있다. 또한, 가상 카메라의 갯수를 조정함으로써 기존의 시점보다 더 많은 시점을 가지도록 시점 편집도 가능하다.
이러한 다시점 2D 이미지들은 무안경 방식의 3D 입체 영상을 제작하기 위한 것일 수도 있으며, 본 발명은 이러한 다시점 2D 이미지들과 뎁스맵을 이용함으로써, 폐색영역에 대한 고려 없이 다시점 2D 이미지를 편집할 수 있다. 즉, 본 발명은 다시점 2D 이미지를 3D 메쉬 서피스를 이용하여 한번에 편집하기 때문에, 단일 시점 2D 이미지를 3D 메쉬 서피스를 이용하여 편집할 때보다 훨씬 적은 폐색영역을 가진다. 따라서, 본 발명의 다시점 2D 이미지 편집은 폐색영역에 대한 추정을 수행하지 않는 범위내에서 이루어질 수 있으며, 이는 3D 메쉬 서피스를 이용한 2D 이미지 편집의 계산적 복잡성을 매우 감소시킨다. 특히, 가상 카메라 렌더링의 가상 카메라가 입력된 다시점 2D 이미지와 동일한 시점을 가질 때에는, 폐색영역을 고려할 필요가 없다. 아울러, 3D 메쉬 서피스와 가상 카메라들을 캘리브레이션함에 있어서, 폐색영역을 고려할 필요가 없도록 가상 카메라들이 배치되도록 할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 구성도이다. 이미지 처리 장치(200)는 3D 메쉬 서피스 생성 유닛(201)을 포함할 수도 있다. 3D 메쉬 서피스 유닛(201)은 다시점 2D 이미지와 뎁스맵을 이용하여 3D 메쉬 서피스를 생성한다. 또한, 이미지 처리 장치(200)는 편집 유닛(202)을 포함할 수 있으며, 편집 유닛(202)은 3D 메쉬 서피스 상에서 다양한 편집이 가능하며, 이는 도 1과 관련하여 상술한 바와 같다. 이미지 처리 장치(200)는 장면 매칭 유닛(203)을 포함할 수도 있다. 장면 매칭 유닛(203)은 3D 메쉬 서피스와 각종 3D 효과 및 합성 오브젝트들을 카메라에 관계없이 시점을 유지시키는 것으로서, 이는 가상 카메라와 3D 공간(3D 메쉬 서피스)을 캘리브레이션하는 기능을 수행한다. 장면 매칭 유닛(203)이 3D 지오메트리들의 거리 및 크기 등을 가상 카메라의 화각에 맞게 캘리브레이션을 시켰기 때문에 렌더링을 했을 때 원래의 이미지 형태가 다시 복원될 수 있다. 이미지 처리 장치(200)는 가상 카메라 렌더링 유닛(204)을 포함할 수 있다. 가상 카메라 렌더링 유닛(204)은 도 1과 관련하여 상술한 가상 카메라 렌더링을 수행한다.
한편, 도 2에는 도시되어 있지 않으나, 이미지 처리 장치(200)의 각 유닛들(201, 202, 203 및 204)은 프로세서 및 메모리에 연결되어 있을 수도 있으며, 다시점 2D 이미지 및 뎁스맵 수신을 위한 커뮤니 케이션 유닛을 더 포함하고 있을 수도 있다.
각 유닛들(201, 202, 203 및 204)은 각각 별도의 구성들로 구현될 수도 있으나, 하나 또는 그 복수의 프로세서들의 조합에 의하여 구현될 수도 있다.
이하에서는, 도 3 내지 도 7을 참조하여 본 발명의 일 실시예를 설명한다. 먼저, 도 3은 2D 이미지 및 뎁스맵으로, 도 3의 (a)는 2D 이미지를 도 3의 (b)는 그 2D 이미지의 뎁스맵으로 이하에서의 설명에서 입력으로써 이용되는 2D 이미지와 뎁스맵이다.
도 4는 본 발명의 일 실시예에 따른 3D 메시 서피스로서, 도 4에 도시된 바와 같이, 뎁스맵의 정보에 따라 2D 이미지의 오브젝트들이 분리되어 3D 공간상에 배치되어 있다. 즉, 도 3의 (a)의 2D 이미지의 오브젝트들이 도 3의 (b)의 뎁스맵에 따라 분리된 것이다.
도 5는 본 발명의 일 실시예에 따른 다시점 렌더링을 위한 다시점 가상 카메라이다. 3D 서피스를 포함하는 3D 공간 상에 다시점 가상 카메라들을 배치함으로써, 다시점 2D 이미지를 렌더링할 수 있다. 아울러, 입력된 2D 이미지와 동일한 시점 및 갯수를 갖는 가상 카메라를 설정할 수 있으나, 입력된 2D 이미지와는 그 시점 및/또는 갯수가 상이한 가상 카메라를 설정할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 캘리브레이션된 다시점 가상 카메라이다. 이와 같이 가상 카메라를 3D 메쉬 서피스와 캘리브레이션 함으로써, 폐색영역을 고려하지 않고 다시점 2D 이미지를 생성할 수 있다. 도 7은 본 발명의 일 실시예에 따른 최종 2D 이미지이다. 가상 카메라와 3D 메쉬 서피스를 켈리브레이션 했기 때문에 원래의 이미지가 다시 복원될 수 있다.
도 8은 본 발명의 일 실시예에 따른 다시점 렌더링 유닛의 인터페이스이다. 인터페이스에 도시된 바와 같이, 카메라 컨트롤과 출력 콘트롤을 제공할 수 있으며, 사용자는 카메라 컨트롤을 이용하여 가상 카메라들 내외부의 파라미터를 조정할 수 있다. 아울러, 사용자는 출력 컨트롤을 이용하여 결과 이미지의 포맷이나 다시점 카메라간의 거리, 렌더링할 카메라의 선택 등을 조정할 수 있다.
한편, 본 발명은 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 실행 가능한 명령들에 의하여 구현될 수 있다. 본원의 컴퓨터 판독가능 저장 매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
컴퓨터 판독가능 저장 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파 (예를 들어, 인터넷을 통한 전송) 의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상술한 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (12)

  1. 다시점 2D(dimensional) 이미지 처리 장치로서,
    다시점 2D 이미지와 상기 다시점 2D 이미지에 대응하는 2D 뎁스맵(depth map)에 기초하여 3D 메쉬 서피스(mesh surface)를 생성하는 3D 메쉬 서피스 생성 유닛으로서, 상기 3D 메쉬 서피스는 상기 다시점 2D 이미지가 상기 2D 뎁스맵에 기초하여 3D 공간상에 분리되어 배치된 지오메트리(geometry)인, 상기 3D 메쉬 서피스 생성 유닛;
    상기 생성된 3D 메쉬 서피스를 편집하는 편집 유닛; 및
    복수의 가상 카메라들에 의하여 상기 편집된 3D 메쉬 서피스를 가상 카메라 렌더링(rendering)함으로써 최종 다시점 2D 이미지를 생성하는 가상 카메라 렌더링 유닛을 포함하고,
    상기 다시점 2D 이미지를 이용함으로써 폐색영역을 추정하지 않는 것을 특징으로 하는, 다시점 2D 이미지 처리 장치.
  2. 제 1 항에 있어서,
    상기 복수의 가상 카메라들의 시점들에 기초하여 상기 3D 메쉬 서피스의 오브젝트들의 거리 및 크기 중 적어도 하나를 캘리브레이션하는 장면 매칭 유닛을 더 포함하는, 다시점 2D 이미지 처리 장치.
  3. 제 1 항에 있어서,
    상기 편집 유닛은,
    상기 생성된 메쉬 서피스에 대한 물리기반 시물레이션, 오브젝트 추가 또는 삭제, 라이팅(lighting) 편집, 쉐도잉(shawdowing) 편집 및 실사-컴퓨터 그래픽 합성 중 적어도 하나를 수행하는, 다시점 2D 이미지 처리 장치.
  4. 제 1 항에 있어서,
    상기 다시점 2D 이미지와 상기 2D 뎁스맵을 동기화시키는 캘리브레이션(calibration) 유닛을 더 포함하는, 다시점 2D 이미지 처리 장치.
  5. 제 1 항에 있어서,
    상기 가상 카메라 렌더링 유닛은, 상기 수신된 다시점 2D 이미지의 시점의 갯수와 상기 최종 다시점 2D 이미지의 시점의 갯수가 서로 동일 또는 상이하도록 상기 복수의 가상 카메라들을 3D 공간상에 위치시키는, 다시점 2D 이미지 처리 장치.
  6. 제 1 항에 있어서,
    상기 다시점 2D 이미지 및 상기 최종 다시점 2D 이미지는 무안경식 3D 컨텐츠 제작을 위한 것인, 다시점 2D 이미지 처리 장치.
  7. 다시점 2D(dimensional) 이미지 처리 방법으로서,
    다시점 2D 이미지와 상기 다시점 2D 이미지에 대응하는 2D 뎁스맵(depth map)을 수신하는 단계;
    상기 수신된 다시점 2D 이미지와 2D 뎁스맵에 기초하여 3D 메쉬 서피스(mesh surface)를 생성하는 단계로서, 상기 3D 메쉬 서피스는 상기 다시점 2D 이미지가 상기 2D 뎁스맵에 기초하여 3D 공간상에 분리되어 배치된 지오메트리(geometry)인, 상기 3D 메쉬 서피스 생성 단계;
    상기 생성된 3D 메쉬 서피스를 편집하는 단계; 및
    복수의 가상 카메라들에 의하여 상기 편집된 3D 메쉬 서피스를 가상 카메라 렌더링(rendering)함으로써 최종 다시점 2D 이미지를 생성하는 단계를 포함하고,
    상기 다시점 2D 이미지를 이용함으로써 폐색영역을 추정하지 않는 것을 특징으로 하는, 다시점 2D 이미지 처리 방법.
  8. 제 7 항에 있어서,
    상기 복수의 가상 카메라들의 시점들에 기초하여 상기 3D 메쉬 서피스의 오브젝트들의 거리 및 크기 중 적어도 하나를 캘리브레이션하는 단계를 더 포함하는, 다시점 2D 이미지 처리 방법.
  9. 제 7 항에 있어서,
    상기 편집하는 단계는,
    상기 생성된 메쉬 서피스에 대한 물리기반 시물레이션, 오브젝트 추가 또는 삭제, 라이팅(lighting) 편집, 쉐도잉(shawdowing)편집 및 실사-컴퓨터 그래픽 합성 중 적어도 하나를 수행하는 단계를 포함하는, 다시점 2D 이미지 처리 방법.
  10. 제 7 항에 있어서,
    상기 수신된 다시점 2D 이미지와 상기 2D 뎁스맵을 동기화시키는 단계를 더 포함하는, 다시점 2D 이미지 처리 방법.
  11. 제 7 항에 있어서,
    상기 다시점 2D 이미지 및 상기 최종 다시점 2D 이미지는 무안경식 3D 컨텐츠 제작을 위한 것인, 다시점 2D 이미지 처리 방법.
  12. 제 7항 내지 제 11항 중 어느 한 항에 따른 다시점 2D 이미지 처리 방법을 수행하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.
KR1020140046505A 2014-04-18 2014-04-18 다시점 컨텐츠의 생성 방법 및 장치 KR20150120659A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140046505A KR20150120659A (ko) 2014-04-18 2014-04-18 다시점 컨텐츠의 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140046505A KR20150120659A (ko) 2014-04-18 2014-04-18 다시점 컨텐츠의 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150120659A true KR20150120659A (ko) 2015-10-28

Family

ID=54428813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140046505A KR20150120659A (ko) 2014-04-18 2014-04-18 다시점 컨텐츠의 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20150120659A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019125793A1 (en) * 2017-12-20 2019-06-27 Leia Inc. Cross-render multiview camera, system, and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019125793A1 (en) * 2017-12-20 2019-06-27 Leia Inc. Cross-render multiview camera, system, and method

Similar Documents

Publication Publication Date Title
EP3712856B1 (en) Method and system for generating an image
US7643025B2 (en) Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US9445072B2 (en) Synthesizing views based on image domain warping
Kim et al. Multi-perspective stereoscopy from light fields
US20120182403A1 (en) Stereoscopic imaging
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
US20150235408A1 (en) Parallax Depth Rendering
CN106296781B (zh) 特效图像生成方法及电子设备
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
JP2006325165A (ja) テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
WO2015196791A1 (zh) 双目三维图形渲染方法及相关系统
Klose et al. Stereoscopic 3D view synthesis from unsynchronized multi-view video
CA2540538C (en) Stereoscopic imaging
US20130321409A1 (en) Method and system for rendering a stereoscopic view
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
KR20150120659A (ko) 다시점 컨텐츠의 생성 방법 및 장치
KR101920113B1 (ko) 임의시점 영상생성 방법 및 시스템
KR101190020B1 (ko) 프리젠테이션 동영상 제작 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체 및 그 프로그램이 저장된 서버 시스템
JP7336871B2 (ja) 全天周映像処理装置及びプログラム
US10504265B2 (en) Methods, systems and tools for 3D animation
KR101130044B1 (ko) 입체 프리젠테이션 영상 제작 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체, 그 프로그램이 저장된 서버 시스템 및 무 안경 방식의 다 시점 입체영상 출력 엔진용 입체 프리젠테이션 영상 제작방법
KR20160105214A (ko) 깊이 맵 생성 장치 및 방법
KR20190017294A (ko) 3차원 쉐이딩 데이터를 편집하는 방법 및 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination