KR101819564B1 - 3d 영상 디스플레이 시스템 및 방법 - Google Patents

3d 영상 디스플레이 시스템 및 방법 Download PDF

Info

Publication number
KR101819564B1
KR101819564B1 KR1020160106910A KR20160106910A KR101819564B1 KR 101819564 B1 KR101819564 B1 KR 101819564B1 KR 1020160106910 A KR1020160106910 A KR 1020160106910A KR 20160106910 A KR20160106910 A KR 20160106910A KR 101819564 B1 KR101819564 B1 KR 101819564B1
Authority
KR
South Korea
Prior art keywords
image
rendering
image display
viewpoint
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160106910A
Other languages
English (en)
Inventor
서대일
유병현
고희동
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to US15/648,739 priority Critical patent/US10616566B2/en
Application granted granted Critical
Publication of KR101819564B1 publication Critical patent/KR101819564B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N13/0402—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/0066—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 3D 영상 디스플레이 시스템에 관한 것으로, 3D 영상 디스플레이 장치의 하드웨어 특성이 정의된 프로파일 정보를 제공하는 프로파일 정보 제공부 및 상기 프로파일 정보 제공부로부터 3D 영상 디스플레이 장치의 하드웨어 특성 정보를 수집하여, 영상 콘텐츠를 상기 프로파일 정보에 맞게 렌더링하는 3D 영상 재생부를 포함한다.

Description

3D 영상 디스플레이 시스템 및 방법{SYSTEM AND METHOD FOR DISPLAYING 3D IMAGE}
본 발명은 초다시점 등의 3D 영상 디스플레이의 하드웨어 특성에 부합하는 콘텐츠를 자동으로 제공하기 위한 3D 영상 디스플레이 시스템 및 방법에 관한 것이다.
유무선 광대역 통신기술 발전으로 고품질의 실감 영상 콘텐츠의 수요가 증가하고 있다. 과거 양안의 시차를 이용한 3D TV는 안경을 착용해야 하는 불편함과 콘텐츠가 부족한 문제로 널리 사용되지 못하였다. 이러한 안경식 3차원 디스플레이의 문제점을 해결할 대안으로서 제시된 3차원 영상구현 기술을 무안경식 3차원 디스플레이(auto-stereoscopic display)라고 한다. 즉, 운동시차의 표현이 가능한 다시점 영상은 안경이 필요 없는 3D 입체 영상 표현방식으로 사용자의 편의 측면에서는 크게 개선되어 가고 있다.
다시점(Multi-view) 3차원 디스플레이는 타임 멀티플렉싱(Time-Multiplexing) 또는 공간 멀티플렉싱(Space-Multiplexing) 기술을 사용하여 공간상 유한수의 3차원 시점영상을 배치함으로써 디스플레이 앞의 관찰자에게 양안시차와 운동시차 정보가 있는 3차원 영상을 제공한다. 이러한 무안경식 다시점(Multi-view) 3차원 디스플레이는 시차분리를 위해 시차장벽, 렌티큘라 렌즈 또는 선광원 등을 사용할 수 있다.
현재 상용화 된 3D 제품 중에 주종을 이루는 무안경식 다시점 3D 디스플레이는 시점간격이 관찰자 동공크기 보다 일반적으로 크게 설계된다. 그런데 이러한 다시점 3D 디스플레이는 휴먼팩터 측면에서 관찰자에게 피로감을 유발할 수 있다. 이러한 다시점 3D 디스플레이에서 관찰자의 피로감은, 시점간격을 관찰자 동공크기 보다 작게 하여 단안초점조절 위치와 양안 수렴위치를 동일하게 함으로써 줄일 수 있다는 연구결과가 있다. 이를 적용한 새로운 개념의 디스플레이를 초다시점(Super-Multi view) 3D 디스플레이라 부른다. 특히, 관찰자 동공크기에 준하는 시점간격부터 그 이하의 시점간격을 갖는 다시점 3D 디스플레이를 고밀도 다시점 3D 디스플레이(HD-MV3D)라고 부르기도 한다.
따라서 최근 무안경식 다시점 및 초다시점 3차원 디스플레이가 증가하고 있으며, 이러한 기기에서 사용할 수 있는 콘텐츠를 공급하는 방법들이 요구되고 있다.
하지만 다시점 또는 초다시점 3차원 디스플레이는 해상도와 시점수, 각 시역간의 다중화 방식에 따라 초다시점 영상을 렌더링하는 방식이 상이하다. 따라서 현재의 기술로는 다시점 또는 초다시점 영상 콘텐츠를 다시점 또는 초다시점 영상 디스플레이의 종류와 방식, 상세 설정에 따라 3차원 장면을 구성한 후 각각 전용의 콘텐츠를 만들기 때문에, 다시점 또는 초다시점 콘텐츠의 수급이 어려울 뿐만 아니라 사용자의 입장에서도 다시점 또는 초다시점 디스플레이의 상세 스펙에 맞는 다시점 또는 초다시점 콘텐츠를 사용해야 하는 어려움이 있다.
한국공개특허 제10-2016-0062671호 한국공개특허 제10-2015-0108149호
본 발명의 목적은 파편화된 많은 다시점 또는 초다시점 디스플레이에 대한 콘텐츠를 용이하게 제공할 수 있는 3D 영상 디스플레이 시스템 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 3D 영상 디스플레이 장치의 하드웨어 특성이 정의된 프로파일 정보를 제공하는 프로파일 정보 제공부; 및 상기 프로파일 정보 제공부로부터 3D 영상 디스플레이 장치의 하드웨어 특성 정보를 수집하여, 영상 콘텐츠를 상기 프로파일 정보에 맞게 렌더링하는 3D 영상 재생부를 포함하는 3D 영상 디스플레이 시스템을 제공한다.
바람직하게, 상기 프로파일 정보는, 상기 3D 영상 디스플레이 장치의 가로 픽셀수, 세로 픽셀수, 시점수 및 인덱스 맵을 포함할 수 있다. 이때, 상기 인덱스 맵은 상기 3D 영상 디스플레이 장치의 각 서브픽셀에 배치된 시점 정보이다.
바람직하게, 상기 프로파일 정보는, 상기 3D 영상 디스플레이 장치의 가로 픽셀수, 세로 픽셀수, 시점수, 가로 길이, 세로 길이, 시역사이 간격, 및 디스플레이와 관찰자간 거리를 포함할 수 있다.
바람직하게, 상기 3D 영상 재생부는, 상기 프로파일 정보를 이용하여 렌더링에 필요한 초기화를 실행하는 렌더링 컨텍스트 초기화부; 렌더러 및 쉐이더 설정부; 상기 3D 영상 디스플레이가 표현하는 각 시점 수의 장면을 렌더링하기 위한 각 시점의 카메라 위치를 설정하는 카메라 설정부; 상기 쉐이더에서 사용하는 각 시점의 영상을 렌더링한 결과를 저장하기 위한 버퍼를 설정하고 초기화하는 버퍼 초기화부; 상기 3D 영상 디스플레이가 재생할 콘텐츠를 읽어들이는 콘텐츠 로딩부; 및 영상 컨텐츠를 렌더링하는 렌더링부를 포함한다.
이때, 상기 렌더링 컨텍스트 초기화부는 각 시점의 영상을 렌더링하기 위한 픽셀수의 설정을 포함한다. 또한 상기 렌더러 및 쉐이더 설정부의 렌더러 설정은 광원을 추가하고 뷰포트를 설정하는 것을 포함한다.
바람직하게, 상기 프로파일 정보 제공부는 상기 3D 영상 디스플레이 장치와 연결되고, 상기 3D 영상 재생부는 콘텐츠 제공자와 연결되어 영상 콘텐츠를 제공받는다.
바람직하게, 상기 영상 콘텐츠는 무안경 방식의 다시점 영상 콘텐츠 또는 초다시점 영상 콘텐츠이다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 3D 영상 디스플레이 장치의 하드웨어 특성 정보인 디스플레이 프로파일을 읽는 단계; 상기 프로파일 정보를 이용하여 렌더링 컨텍스트를 초기화하는 단계; 렌더러 및 쉐이더를 설정하는 단계; 상기 3D 영상 디스플레이가 표현하는 각 시점 수의 장면을 렌더링하기 위한 각 시점의 카메라 위치를 설정하는 단계; 상기 쉐이더에서 사용하는 각 시점의 영상을 렌더링한 결과를 저장하기 위한 버퍼를 설정하고 초기화하는 단계; 상기 3D 영상 디스플레이가 재생할 콘텐츠를 로딩하는 단계; 및 영상 컨텐츠를 렌더링하는 단계를 포함한다.
바람직하게, 상기 프로파일 정보는, 상기 3D 영상 디스플레이 장치의 가로 픽셀수, 세로 픽셀수, 시점수 및 인덱스 맵을 포함할 수 있다. 여기서, 상기 인덱스 맵은 상기 3D 영상 디스플레이 장치의 각 서브픽셀에 배치된 시점 정보이다.
바람직하게, 상기 프로파일 정보는, 상기 3D 영상 디스플레이 장치의 가로 픽셀수, 세로 픽셀수, 시점수, 가로 길이, 세로 길이, 시역사이 간격, 및 디스플레이와 관찰자간 거리를 포함한다.
바람직하게, 상기 렌더링 컨텍스트를 초기화하는 단계는, 각 시점의 영상을 렌더링하기 위한 픽셀수의 설정을 포함한다.
바람직하게, 상기 렌더러 및 쉐이더를 설정하는 단계의 렌더러 설정은 광원을 추가하고 뷰포트를 설정하는 것을 포함한다.
바람직하게, 상기 영상 콘텐츠는 무안경 방식의 다시점 영상 콘텐츠 또는 초다시점 영상 콘텐츠이다.
본 발명에 따르면 물리적인 특성과 방식에 따라 파편화되어 있는 다양한 다시점 또는 초다시점 디스플레이와 무관하게 다시점 또는 초다시점 3D 콘텐츠를 용이하게 생성하고 제공할 수 있는 효과가 있다.
또한, 다시점 또는 초다시점 영상 디스플레이의 사용자가 해당 디스플레이의 물리적인 특성을 파악하지 않고도 용이하게 다시점 또는 초다시점 영상 콘텐츠를 소비할 수 있는 효과가 있다.
또한, 다시점 또는 초다시점 영상 디스플레이의 방식을 한가지 방식으로 특정하여 통일하지 않고 한가지의 콘텐츠로부터 다양한 방식의 다시점 또는 초다시점 영상 디스플레이 구현 방법을 포괄하여 재생할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 의한 3D 영상 디스플레이 시스템의 블록도이다.
도 2는 도 1의 3D 영상 디스플레이 시스템을 더욱 구체적으로 설명하기 위한 블록도이다.
도 3은 3D 영상 디스플레이 장치의 프로파일 정보를 포함하는 테이블의 예시도이다.
도 4는 인덱스 맵의 예시도이다.
도 5는 디스플레이 프로파일 정보의 예시이다.
도 6은 도 2에 도시된 3D 영상 재생부를 구체적으로 설명하기 위한 블록도이다.
도 7은 본 발명의 바람직한 실시예에 의한 3D 영상 디스플레이 방법을 설명하는 흐름도이다.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 의한 3D 영상 디스플레이 시스템의 블록도이다.
도 1을 참조하면, 3D 영상 디스플레이 시스템(130)은 디스플레이 장치(110) 및 콘텐츠 제공자(120)와 연결된다. 디스플레이 장치(110)는 3D 영상을 디스플레이하는 장치로서, 무안경 방식의 다시점 또는 초다시점 디스플레이 장치를 포함한다. 또한, 디스플레이 장치(110)는 시차분리를 위해 시차장벽, 렌티큘라 렌즈 또는 선광원 등을 이용하여 구현될 수 있다.
디스플레이 장치(110)는 3D 영상 디스플레이 시스템(130)에 디스플레이 장치(110)의 하드웨어 특성을 포함하는 프로파일(profile) 정보를 제공하고, 3D 영상 디스플레이 시스템(130)으로부터 생성된 다시점 또는 초다시점 등의 영상을 제공받아 디스플레이 한다.
콘텐츠 제공자(120)는 디스플레이 장치(110)를 통하여 디스플레이 할 콘텐츠를 3D 영상 디스플레이 시스템(130)에 제공하는 것으로서, 바람직하게 콘텐츠 제공자(120)는 콘텐츠들을 저장 및 관리할 수 있다. 콘텐츠는 다시점 또는 초다시점 등의 무안경 방식의 3D 영상 콘텐츠를 포함한다.
3D 영상 디스플레이 시스템(130)은 디스플레이 장치(110)로부터 프로파일을 제공받고 콘텐츠 제공자(120)로부터 콘텐츠를 제공받아, 프로파일에 적합한 영상을 생성한다. 또한, 3D 영상 디스플레이 시스템(130)은 생성된 영상을 디스플레이 장치(110)에 제공하여 디스플레이 장치(110)로부터 영상이 디스플레이 되도록 한다. 예를 들어, 3D 영상 디스플레이 시스템(130)은 디스플레이 장치(110) 및 콘텐츠 제공자(120)와 네트워크로 연결된 서버로 구현되거나, 디스플레이 장치(110) 내에 일부로서 구현되거나, 또는 디스플레이 장치(110)에 부착되는 디바이스로 구현될 수도 있다.
도 2는 도 1의 3D 영상 디스플레이 시스템을 더욱 구체적으로 설명하기 위한 블록도이다.
도 2를 참조하면, 3D 영상 디스플레이 시스템(130)은 프로파일 정보 제공부(210) 및 3D 영상 재생부(220)를 포함할 수 있다.
프로파일 정보 제공부(210)는 디스플레이 장치(110)로부터 디스플레이 장치(110)의 하드웨어 특성을 포함하는 프로파일 정보를 제공받는다. 즉, 프로파일 정보 제공부(210)는 디스플레이 장치(110)가 초다시점 전용 디스플레이 장치에 해당하는지 또는 다시점 3D 디스플레이 장치에 해당하는지 또는 일반 디스플레이 장치에 해당하는지에 대한 정보를 제공받을 수 있다.
3D 영상 재생부(220)는 콘텐츠 제공자(120)로부터 제공받은 콘텐츠를 이용하여 프로파일 정보에 따라 영상을 재생한다. 즉, 3D 영상 재생부(220)는 프로파일 정보 제공부(210)로부터 3D 영상 디스플레이 장치의 하드웨어 특성 정보를 수집하여, 영상 콘텐츠를 프로파일 정보에 맞게 렌더링한다. 여기서 3D 영상 재생부(220)는 디스플레이 장치의 하드웨어 특성과 무관하게 어떠한 디스플레이 장치에서도 재생될 수 있도록 콘텐츠를 자동으로 생성한다.
구체적으로, 3D 영상 디스플레이 장치의 하드웨어 프로파일 정보가 포함하는 정보의 예시는 도 3과 같다. 도 3의 테이블을 참조하면, 3D 영상 디스플레이 장치의 하드웨어의 특성이 정의된 프로파일 정보로는, 디스플레이의 가로 픽셀수(screenWidth), 세로 픽셀수(screenHeight), 시점 수(viewpoints), 디스플레이의 물리적인 가로길이(physicalWidth), 세로길이(physicalHeight), 영상의 인접 시역 사이의 간격(offset), 디스플레이와 관찰자간 거리(distance), 및 인덱스 맵(indexmap)을 포함할 수 있다. 여기에서, 인텍스 맵의 예시는 도 4와 같으며, 이는 디스플레이 각 서브화소에 배치된 시점을 나타낸다.
일 실시예에서, 3D 영상 디스플레이 장치의 하드웨어 특성이 정의된 프로파일 정보에는 도 3의 테이블 중 인덱스 맵을 대신하여 인덱스 맵의 정보를 수식화한 수식의 변수값을 포함할 수 있고, 예를 들어, 수식은 다음과 같을 수 있다.
[수식] curViewIndex = int( mod(xOffsetAboutScreenCoord*(Fc.s) + cOffsetAboutRGB*float(i) + yOffsetAboutScreenCoord*Fc.t + startViewIndex, viewCount) );
디스플레이(110) 프로파일 정보는, 예를 들어, 도 5와 같을 수 있고, 도 5와 [수식]을 조합하면 디스플레이 장치의 인덱스 맵을 대신할 수 있다. 도 5의 프로파일은 30인치 40시점 무안경식 초다시점 디스플레이의 예시이다.
구체적으로, 도 5의 viewCount 는 초다시점 디스플레이 장치가 표현할 수 있는 시점 수이며, 도 5의 일례에서는 40시점에 대한 예시를 보여준다.
도 5의 monitorResolution은 초다시점 디스플레이 장치의 물리적인 화소수를 나타낸다. 도 5의 일례에서는 가로 2560과 세로 1600화소의 예시를 보여준다.
도 5의 viewOffsetRotate는 초다시점 디스플레이 장치의 각 시점의 영상이 갖는 화소수의 감소를 보전하기 위하여 사용하는 R, G, B 서브픽셀의 배열 각도를 나타낸다. 도 5의 일례에서는 R, G, B 서브픽셀이 구성되는 배열의 각도를 x축 방향의 거리와 y 축 방향의 거리를 비례로 표현한 예시를 보여준다.
도 5의 viewFocalLength는 초다시점 디스플레이 장치가 제공하는 각 시점 영상의 회전중심의 거리를 나타낸다. 도 5의 일례에서는 회전중심의 거리를 역수로 표현한 예시를 보여준다.
도 5의 xOffsetAboutScreenCoord는 초다시점 디스플레이 장치의 화소가 나타내는 가로방향의 물리적인 인접화소 사이의 인덱스 값의 차이를 나타낸다. 도 5의 일례에서는 화소가 좌에서 우로 이동하면서 증가하는 인덱스 값의 차이로 표현한 예시를 보여준다.
도 5의 yOffsetAboutScreenCoord는 초다시점 디스플레이 장치의 화소가 나타내는 세로방향의 물리적인 인접화소 사이의 인덱스 값의 차이를 나타낸다. 도 5의 일례에서는 화소가 상에서 하로 이동하면서 증가하는 인덱스 값의 차이로 표현한 예시를 보여준다.
도 5의 cOffsetAboutRGB는 초다시점 디스플레이 장치의 화소가 나타내는 가로방향의 물리적인 서브픽셀 사이의 인덱스 값의 차이를 나타낸다. 도 5의 일례에서는 화소가 좌에서 우로 이동하면서 증가하는 서브픽셀단위의 인덱스 값의 차이로 표현한 예시를 보여준다.
도 5의 startViewIndex는 초다시점 디스플레이 장치의 화소가 나타내는 시작 시점을 나타낸다. 도 5의 일례에서는 초다시점 디스플레이 장치의 좌상단 첫 번째 서브픽셀이 표현하는 시점의 인덱스 값으로 표현한 예시를 보여준다.
도 5와 상기 수식을 조합하여 초다시점 디스플레이 장치의 인덱스 맵을 대신할 수 있다. 일례로 도 5의 디스플레이 프로파일로부터 상기 수식을 조합하여 초다시점 디스플레이 장치의 물리적인 모든 서브픽셀의 인덱스 값을 계산하면 도 4의 인덱스 맵과 동일한 정보를 생성할 수 있다.
따라서, 3D 영상 디스플레이 장치의 하드웨어 특성이 정의된 프로파일 정보는, 일실시예에서 적어도 가로 픽셀수, 세로 픽셀수, 시점수 및 인덱스 맵을 포함하거나, 또는 다른 실시예에서 적어도 가로 픽셀수, 세로 픽셀수, 시점수, 가로 길이, 세로 길이, 시역사이 간격, 및 디스플레이와 관찰자간 거리를 포함할 수 있다.
이어서, 도 6을 참조하여 3D 영상 재생부에 대해 구체적으로 설명한다. 도 6은 도 2에 도시된 3D 영상 재생부를 구체적으로 설명하기 위한 블록도이다.
도 6을 참조하면, 3D 영상 재생부는 렌더링 컨텍스트 초기화부(221), 렌더러 및 쉐이더 설정부(222), 카메라 설정부(223), 버퍼 초기화부(224), 콘텐츠 로딩부(225), 및 렌더링부(226)를 포함할 수 있다.
렌더링 컨텍스트 초기화부(221)는 디스플레이 프로파일에서 제공받은 시점수와 가로 및 세로 픽셀수를 포함한 정보를 이용하여 렌더링에 필요한 초기화를 실행한다. 상기 초기화에는 각 시점의 영상을 렌더링하기 위한 픽셀수의 설정을 포함한다.
렌더러 및 쉐이더 설정부(222)는 렌더러와 쉐이더를 설정한다. 렌더러 설정에서는 광원을 추가하고 뷰포트를 설정한다. 뷰포트는 디스플레이 프로파일이 제공하는 화면의 해상도(가로 및 세로 픽셀수)와 물리적인 화면의 크기(가로길이, 세로길이) 및 최적의 시청 거리를 이용하여, 실제 렌더링을 하기 위한 뷰포트의 화각과 거리를 설정한다. 광원 추가는 일반적인 3차원 그래픽스 렌더링 파이프라인과 동일한 방법으로 3차원 컨텐츠를 렌더링하기 위한 광원을 추가할 수 있다. 쉐이더 설정에서는 일반적인 3차원 컨텐츠를 렌더링하기 위한 기본 쉐이더 설정 외에, 다시점 또는 초다시점 영상을 다중화하기 위한 다시점 또는 초다시점 쉐이더를 설정할 수 있다. 다시점 또는 초다시점 쉐이더는 다시점 또는 초다시점 디스플레이가 표현하는 시점 수의 장면을 렌더링하여 버퍼에 저장한 후, 실제 다시점 또는 초다시점 디스플레이의 물리적이 화소의 서브픽셀이 표현할 색의 정보를 계산하기 위한 쉐이더를 설정한다.
카메라 설정부(223)는 다시점 또는 초다시점 디스플레이가 표현하는 각 시점 수의 장면을 렌더링하기 위한 각 시점의 카메라 위치를 설정한다.
버퍼 초기화부(224)는 다시점 또는 초다시점 쉐이더에서 사용하는 각 시점의 영상을 렌더링한 결과를 저장하기 위한 버퍼를 설정하고 초기화한다.
콘텐츠 로딩부(225)는 다시점 또는 초다시점 디스플레이가 재생할 콘텐츠를 콘텐츠 제공자(120)로부터 읽어들인다.
렌더링부(226)는 영상 컨텐츠를 렌더링하는 것이다.
이하, 본 발명의 바람직한 실시예에 의한 3D 영상 디스플레이 방법에 대해 설명한다. 도 7은 본 발명의 바람직한 실시예에 의한 3D 영상 디스플레이 방법을 설명하는 흐름도이다.
예를 들어, 도 7을 참조하면, 디스플레이 프로파일을 읽고(S710), 렌더링 컨텍스트를 초기화 한다(S720).
다음으로, 렌더러 및 쉐이더를 설정한다(S730). 렌더러 설정에서는 광원을 추가하고 뷰포트를 설정한다. 쉐이더 설정에서는 일반적인 3차원 컨텐츠를 렌더링하기 위한 기본 쉐이더 설정 외에, 초다시점 영상을 다중화하기 위한 초다시점 쉐이더를 설정할 수 있다.
다음으로, 카메라를 설정한다(S740). 카메라 설정단계에서는 초다시점 디스플레이가 표현하는 각 시점 수의 장면을 렌더링하기 위한 각 시점의 카메라 위치를 설정한다.
다음으로 버퍼를 초기화한다(S750). 버퍼 초기화 단계에서는 상기 초다시점 쉐이더에서 사용하는 각 시점의 영상을 장면을 렌더링한 결과를 저장하기 위한 버퍼를 설정하고 초기화한다.
다음으로, 콘텐츠를 로딩한다(S760). 콘텐츠 로딩 단계에서는 3D 디스플레이가 재생할 콘텐트를 읽어들인다. 이어서, 읽어들인 콘텐츠로 렌더링을 시작한다(S770).
본 발명은 인터넷 서비스와 연결된 다시점 또는 초다시점 콘텐츠 제공 시스템에 적용하면 더욱 효과적이고, 인터넷 방송, 유무선 통신을 이용한 가상 현실 서비스의 콘텐츠를 제공함에 있어서 사용자가 보유한 다시점 또는 초다시점 영상 디스플레이를 자동으로 인식하여 콘텐츠를 제공하는데 효과적이다.
한편, 본 발명의 일 실시예에 따른 정보 처리 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 다시점 또는 초다시점 디스플레이에 대한 콘텐츠를 용이하게 제공할 수 있는 다시점 또는 초다시점 영상 디스플레이 시스템 및 정보처리 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
110: 디스플레이 장치
120: 콘텐츠 제공자
130: 3D 영상 디스플레이 시스템
210: 프로파일 정보 제공부
220: 3D 영상 재생부
221: 렌더링 컨텍스트 초기화부
222 : 렌더러 및 쉐이더 설정부
223 : 카메라 설정부
224 : 버퍼 초기화부
225 : 콘텐츠 로딩부
226 : 렌더링부

Claims (16)

  1. 3D 영상 디스플레이 장치의 하드웨어 특성이 정의된 프로파일 정보를 제공하는 프로파일 정보 제공부; 및
    상기 프로파일 정보 제공부로부터 3D 영상 디스플레이 장치의 하드웨어 특성 정보를 수집하여, 영상 콘텐츠를 상기 프로파일 정보에 맞게 렌더링하는 3D 영상 재생부를 포함하되,
    상기 3D 영상 재생부는, 상기 프로파일 정보를 이용하여 렌더링에 필요한 초기화를 실행하는 렌더링 컨텍스트 초기화부; 렌더러 및 쉐이더 설정부; 상기 3D 영상 디스플레이가 표현하는 각 시점 수의 장면을 렌더링하기 위한 각 시점의 카메라 위치를 설정하는 카메라 설정부; 상기 쉐이더에서 사용하는 각 시점의 영상을 렌더링한 결과를 저장하기 위한 버퍼를 설정하고 초기화하는 버퍼 초기화부; 상기 3D 영상 디스플레이가 재생할 콘텐츠를 읽어들이는 콘텐츠 로딩부; 및 영상 콘텐츠를 렌더링하는 렌더링부를 포함하는 3D 영상 디스플레이 시스템.
  2. 제1항에 있어서, 상기 프로파일 정보는,
    상기 3D 영상 디스플레이 장치의 가로 픽셀수, 세로 픽셀수, 시점수 및 인덱스 맵을 포함하는 3D 영상 디스플레이 시스템.
  3. 제2항에 있어서, 상기 인덱스 맵은 상기 3D 영상 디스플레이 장치의 각 서브픽셀에 배치된 시점 정보인 것인 3D 영상 디스플레이 시스템.
  4. 제1항에 있어서, 상기 프로파일 정보는,
    상기 3D 영상 디스플레이 장치의 가로 픽셀수, 세로 픽셀수, 시점수, 가로 길이, 세로 길이, 시역사이 간격, 및 디스플레이와 관찰자간 거리를 포함하는 3D 영상 디스플레이 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 렌더링 컨텍스트 초기화부는 각 시점의 영상을 렌더링하기 위한 픽셀수의 설정을 포함하는 3D 영상 디스플레이 시스템.
  7. 제1항에 있어서,
    상기 렌더러 및 쉐이더 설정부의 렌더러 설정은 광원을 추가하고 뷰포트를 설정하는 것을 포함하는 3D 영상 디스플레이 시스템.
  8. 제1항에 있어서,
    상기 프로파일 정보 제공부는 상기 3D 영상 디스플레이 장치와 연결되고,
    상기 3D 영상 재생부는 콘텐츠 제공자와 연결되어 영상 콘텐츠를 제공받는 3D 영상 디스플레이 시스템.
  9. 제1항에 있어서,
    상기 영상 콘텐츠는 무안경 방식의 다시점 영상 콘텐츠 또는 초다시점 영상 콘텐츠인 3D 영상 디스플레이 시스템.
  10. 3D 영상 디스플레이 장치의 하드웨어 특성 정보인 디스플레이 프로파일을 읽는 단계;
    상기 프로파일 정보를 이용하여 렌더링 컨텍스트를 초기화하는 단계;
    렌더러 및 쉐이더를 설정하는 단계;
    상기 3D 영상 디스플레이가 표현하는 각 시점 수의 장면을 렌더링하기 위한 각 시점의 카메라 위치를 설정하는 단계;
    상기 쉐이더에서 사용하는 각 시점의 영상을 렌더링한 결과를 저장하기 위한 버퍼를 설정하고 초기화하는 단계;
    상기 3D 영상 디스플레이가 재생할 콘텐츠를 로딩하는 단계; 및
    영상 콘텐츠를 렌더링하는 단계를 포함하는 3D 영상 디스플레이 방법.
  11. 제10항에 있어서, 상기 프로파일 정보는,
    상기 3D 영상 디스플레이 장치의 가로 픽셀수, 세로 픽셀수, 시점수 및 인덱스 맵을 포함하는 3D 영상 디스플레이 방법.
  12. 제11항에 있어서, 상기 인덱스 맵은 상기 3D 영상 디스플레이 장치의 각 서브픽셀에 배치된 시점 정보인 것인 3D 영상 디스플레이 방법.
  13. 제10항에 있어서, 상기 프로파일 정보는,
    상기 3D 영상 디스플레이 장치의 가로 픽셀수, 세로 픽셀수, 시점수, 가로 길이, 세로 길이, 시역사이 간격, 및 디스플레이와 관찰자간 거리를 포함하는 3D 영상 디스플레이 방법.
  14. 제10항에 있어서,
    상기 렌더링 컨텍스트를 초기화하는 단계는, 각 시점의 영상을 렌더링하기 위한 픽셀수의 설정을 포함하는 3D 영상 디스플레이 방법.
  15. 제10항에 있어서,
    상기 렌더러 및 쉐이더를 설정하는 단계의 렌더러 설정은 광원을 추가하고 뷰포트를 설정하는 것을 포함하는 3D 영상 디스플레이 방법.
  16. 제10항에 있어서,
    상기 영상 콘텐츠는 무안경 방식의 다시점 영상 콘텐츠 또는 초다시점 영상 콘텐츠인 3D 영상 디스플레이 방법.
KR1020160106910A 2016-07-22 2016-08-23 3d 영상 디스플레이 시스템 및 방법 Active KR101819564B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/648,739 US10616566B2 (en) 2016-07-22 2017-07-13 3D image display system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160093328 2016-07-22
KR20160093328 2016-07-22

Publications (1)

Publication Number Publication Date
KR101819564B1 true KR101819564B1 (ko) 2018-02-28

Family

ID=61400927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160106910A Active KR101819564B1 (ko) 2016-07-22 2016-08-23 3d 영상 디스플레이 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101819564B1 (ko)

Similar Documents

Publication Publication Date Title
US8633967B2 (en) Method and device for the creation of pseudo-holographic images
KR101095392B1 (ko) 3-ｄ 영상 디스플레이 스크린상에 3-ｄ 영상들을렌더링하는 시스템 및 방법
US8228327B2 (en) Non-linear depth rendering of stereoscopic animated images
CN103731656B (zh) 图像显示控制设备和方法
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
Hill et al. 3-D liquid crystal displays and their applications
US9154765B2 (en) Image processing device and method, and stereoscopic image display device
CN104054123A (zh) 多个内容项的同时显示
CN106797462B (zh) 多视图图像显示设备及其控制方法
US20180249145A1 (en) Reducing View Transitions Artifacts In Automultiscopic Displays
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
WO2008122838A1 (en) Improved image quality in stereoscopic multiview displays
EP4030752A1 (en) Image generation system and method
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
KR101819564B1 (ko) 3d 영상 디스플레이 시스템 및 방법
US10616566B2 (en) 3D image display system and method
EP2469867A2 (en) Image processing apparatus and image processing method
KR101980275B1 (ko) 다시점 영상 디스플레이 장치 및 디스플레이 방법
Kang Wei et al. Three-dimensional scene navigation through anaglyphic panorama visualization
US11601633B2 (en) Method for optimized viewing experience and reduced rendering for autostereoscopic 3D, multiview and volumetric displays
Kara et al. The couch, the sofa, and everything in between: discussion on the use case scenarios for light field video streaming services
WO2012140841A1 (ja) 画像表示方法、制御装置、眼鏡、画像システム及び合成装置
JP2015022461A (ja) 医用情報処理装置、医用画像処理装置及び医用画像表示装置
Ostermann 3D information coding

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160823

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170725

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180104

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180111

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180111

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201229

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220103

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230102

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240102

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20250113

Start annual number: 8

End annual number: 8