KR102219419B1 - 비대칭 종횡비 영상을 이용한 ３ｄ 방송 서비스 제공 방법 및 장치, 그리고, ３ｄ 방송 서비스 재생 방법 및 장치 - Google Patents

비대칭 종횡비 영상을 이용한 ３ｄ 방송 서비스 제공 방법 및 장치, 그리고, ３ｄ 방송 서비스 재생 방법 및 장치 Download PDF

Info

Publication number
KR102219419B1
KR102219419B1 KR1020140028950A KR20140028950A KR102219419B1 KR 102219419 B1 KR102219419 B1 KR 102219419B1 KR 1020140028950 A KR1020140028950 A KR 1020140028950A KR 20140028950 A KR20140028950 A KR 20140028950A KR 102219419 B1 KR102219419 B1 KR 102219419B1
Authority
KR
South Korea
Prior art keywords
image
view image
aspect ratio
view
broadcasting
Prior art date
Application number
KR1020140028950A
Other languages
English (en)
Other versions
KR20140114291A (ko
Inventor
이주영
김성훈
추현곤
최진수
김진웅
홍석진
곽진석
강동욱
정경훈
Original Assignee
한국전자통신연구원
(주)하이디어 솔루션즈
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, (주)하이디어 솔루션즈, 국민대학교산학협력단 filed Critical 한국전자통신연구원
Priority to US14/207,067 priority Critical patent/US9998800B2/en
Publication of KR20140114291A publication Critical patent/KR20140114291A/ko
Application granted granted Critical
Publication of KR102219419B1 publication Critical patent/KR102219419B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

비대칭 종횡비 영상을 이용한 3D 방송 서비스 제공 방법 및 장치, 그리고, 3D 방송 서비스 재생 방법 및 장치가 개시된다. 3D 방송 서비스 제공 방법은 3D 방송을 위한 제1 시점 영상과 제2 시점 영상에 대해 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정하는 단계; 상기 제1 시점 영상, 및 상기 조정된 제2 시점 영상을 인코딩하는 단계; 및 상기 인코딩된 제1 시점 영상과 제2 시점 영상을 다중화하여 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 생성하는 단계를 포함할 수 있다.

Description

비대칭 종횡비 영상을 이용한 ３Ｄ 방송 서비스 제공 방법 및 장치, 그리고, ３Ｄ 방송 서비스 재생 방법 및 장치 {3D BROADCAST SERVICE PROVDING METHOD AND APPARATUS, AND 3D BROADCAST SERVICE REPRODUCTION METHOD AND APPARATUS FOR USING IMAGE OF ASYMMETRIC ASPECT RATIO}
이하의 실시예들은 3D 방송 서비스에 관한 것으로, 보다 구체적으로는 비대칭 종횡비 영상으로 구성된 3D 방송 서비스의 처리 방법에 관한 것이다.
현재 3D 영화 또는 3D 방송에 주로 사용되는 양안식 3D 컨텐츠는 두 개의 양안식 영상(stereoscopic image)을 통해 거리감 및 깊이감을 제공한다. 3D 컨텐츠는 사람의 두 눈을 통해 받아들인 양안식 영상을 뇌가 분석하고 통합함으로써 이루어진다. 따라서, 양안식 3D 컨텐츠는 사람이 현실 세계에서 두 눈을 통해 바라보는 것과 같이 자연스러운 입체감을 제공할 필요가 있다.
이 때 3D 방송 서비스를 위해서, 3D 방송을 위한 좌영상과 우영상의 전송이 필요하다. 일반적으로, 좌영상과 우영상은 동일한 비디오 포맷을 이용하지만, 좌영상과 우영상을 이종의 방송망을 통해 전송하는 융합형 3D 방송에서는 전송되는 좌영상과 우영상의 포맷 간의 종횡비가 서로 다를 수 있다.
이러한 종횡비의 불일치를 고려하지 않고 서비스를 제공할 경우 디스플레이를 통해 출력되는 좌우 영상 포맷의 종횡비가 달라질 수 있으며, 이러한 차이로 인해서, 사용자는 3D 방송을 시청할 때 불편을 느낄 수 있다. 그래서, 상이한 종횡비의 좌영상과 우영상 전송 포맷을 이용하는 융합형 3D 방송을 사용자에게 제공할 때, 시용자가 자연스러운 입체감을 느낄 수 있는 처리 방법이 요구된다.
특히, 양안식 3D 방송 서비스를 제공하기 위해서, 서로 다른 시점을 가지는 두 개의 시점 영상(좌영상, 우영상)이 전송될 필요가 있다. 이 경우, 일반적으로 좌영상과 우영상은 동일한 종횡비(전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비)를 가질 수 있다.
하지만, 두 개의 시점 영상 중 어느 하나는 지상파 2D 방송망을 통해 전송되고, 다른 하나는 모바일 방송망, 브로드밴드망, 위성방송 망 등 이종의 방송망을 통해 전송되는 융합형 3D 방송 서비스의 경우, 서로 다른 방송 규격에 의해 두 개의 시점 영상이 서로 다른 종횡비(전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비)를 가질 수 있다. 이러한 종횡비 차이로 인해서 합성된 3D 영상을 시청하는 사용자는 큰 불편을 느낄 수 있으므로 이러한 문제점을 해결할 수 있는 방안이 필요하다.
일실시예에 따르면, 좌영상과 우영상이 서로 다른 종횡비(전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비)를 가지더라도 어느 하나의 영상을 다른 영상과 3D 형태로 합성할 수 있도록 조정함으로써 자연스러운 입체감을 나타내는 3D 방송을 제공할 수 있는 장치 및 방법이 제공된다.
일실시예에 따르면, 좌영상과 우영상의 종횡비가 어떻게 차이나는지에 따라 적응적으로 어느 한쪽의 영상을 조정함으로써 자연스러운 입체감을 나타내는 3D 방송을 제공할 수 있는 장치 및 방법이 제공된다.
일실시예에 따른 3D 방송 서비스 제공 방법은 3D 방송을 위한 제1 시점 영상과 제2 시점 영상에 대해 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정하는 단계; 상기 제1 시점 영상, 및 상기 조정된 제2 시점 영상을 인코딩하는 단계; 및 상기 인코딩된 제1 시점 영상과 제2 시점 영상을 다중화하여 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 생성하는 단계를 포함할 수 있다.
상기 3D 방송 서비스 제공 방법은 상기 제2 시점 영상을 조정할 때 사용된 종횡비 조정 정보를 제2 시점 영상의 방송 스트림에 삽입하는 단계를 더 포함할 수 있다.
상기 3D 방송 서비스 제공 방법에서 상기 조정하는 단계는 상기 제2 시점 영상에 종횡비 변환(aspect ratio conversion)을 적용하여 상기 제2 시점 영상을 조정할 수 있다.
상기 3D 방송 서비스 제공 방법에서 상기 조정하는 단계는, 상기 제2 시점 영상에 크롭(Crop)을 적용하여 상기 제2 시점 영상을 조정할 수 있다.
상기 3D 방송 서비스 제공 방법에서 상기 조정하는 단계는, 상기 제2 시점 영상에 레터박스(letterbox)를 적용하여 상기 제2 시점 영상을 조정할 수 있다.
상기 3D 방송 서비스 제공 방법에서 상기 조정하는 단계는, 상기 제2 시점 영상에 필러박스(pillarbox)를 적용하여 상기 제2 시점 영상을 조정할 수 있다.
다른 실시예에 따른 3D 방송 서비스 제공 방법은 3D 방송을 위한 제1 시점 영상과 제2 시점 영상의 종횡비가 서로 다른 경우,제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정하는 단계; 상기 제1 시점 영상과 조정된 제2 시점 영상을 인코딩하는 단계; 상기 인코딩된 제1 시점 영상 및 제2 시점 영상을 다중화하여 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 생성하는 단계; 및 상기 제2 시점 영상을 조정할 때 사용된 종횡비 조정 정보를 제2 시점 영상의 방송 스트림에 삽입하는 단계를 포함할 수 있다.
상기 3D 방송 서비스 제공 방법에서 상기 조정하는 단계는, 상기 제2 시점 영상에 크롭(Crop)을 적용하여 상기 제2 시점 영상을 조정할 수 있다.
상기 3D 방송 서비스 제공 방법에서 상기 조정하는 단계는, 상기 제2 시점 영상에 레터박스(letterbox)를 적용하여 상기 제2 시점 영상을 조정할 수 있다.
상기 3D 방송 서비스 제공 방법에서 상기 조정하는 단계는, 상기 제2 시점 영상에 필러박스(pillarbox)를 적용하여 상기 제2 시점 영상을 조정할 수 있다.
일실시예에 따른 3D 방송 서비스 재생 방법은 제1 시점 영상의 방송 스트림 및 제2 시점 영상의 방송 스트림을 수신하는 단계; 상기 제1 시점 영상의 방송 스트림 및 제2 시점 영상의 방송 스트림을 역다중화하여 제1 시점 영상, 제2 시점 영상 및 상기 제2 시점 영상에 적용된 종횡비 조정 정보를 추출하는 단계; 상기 제1 시점 영상 및 제2 시점 영상을 디코딩하는 단계; 상기 종횡비 조정 정보를 이용하여 상기 디코딩된 제2 시점 영상에 대해 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정하는 단계; 및 상기 제1 시점 영상과 조정된 제2 시점 영상을 합성하여 3D 방송 영상을 생성하는 단계를 포함할 수 있다.
상기 3D 방송 서비스 재생 방법에서 상기 조정하는 단계는, 상기 조정하는 단계는, 상기 제2 시점 영상에 종횡비 변환(aspect ratio conversion)을 적용하여 상기 제2 시점 영상을 조정할 수 있다.
상기 3D 방송 서비스 재생 방법에서 상기 조정하는 단계는, 상기 제1 시점 영상에 크롭(Crop)을 적용하여 상기 제2 시점 영상과 매칭되는 형태로 변환할 수 있다.
상기 3D 방송 서비스 재생 방법에서 상기 조정하는 단계는, 상기 제2 시점 영상에 레터박스(letterbox) 형태의 Bar를 제거하여 상기 제2 시점 영상을 조정할 수 있다.
상기 3D 방송 서비스 재생 방법에서 상기 조정하는 단계는, 상기 제2 시점 영상에 필러박스(pillarbox) 형태의 Bar를 제거하여 상기 제2 시점 영상을 조정할 수 있다.
일실시예에 따른 3D 방송 서비스 제공 장치는 3D 방송을 위한 제1 시점 영상과 제2 시점 영상에 대해 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정하는 영상 조정부; 상기 제1 시점 영상, 및 상기 조정된 제2 시점 영상을 인코딩하는 영상 인코딩부; 상기 인코딩된 제1 시점 영상과 제2 시점 영상을 다중화하여 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 생성하는 다중화부; 및 상기 제2 시점 영상을 조정할 때 사용된 종횡비 조정 정보를 제1 시점 영상의 방송 스트림 또는 제2 시점 영상의 방송 스트림에 삽입하는 정보 삽입부를 포함할 수 있다.
3D 방송 서비스 제공 장치의 상기 종횡부 조정부는, 상기 제2 시점 영상에 종횡비 변환(aspect ratio conversion), 크롭(Crop), 필러박스(pillarbox) 또는 레터박스(letterbox) 중 어느 하나를 적용하여 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정할 수 있다.
다른 실시예에 따른 3D 방송 서비스 제공 장치는 3D 방송을 위한 제1 시점 영상과 제2 시점 영상의 전송 포맷과 관련된 종횡비가 서로 다른 경우, 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정하는 영상 조정부; 상기 제1 시점 영상과 조정된 제2 시점 영상을 인코딩하는 영상 인코딩부; 상기 인코딩된 제1 시점 영상 및 제2 시점 영상을 다중화하여 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 생성하는 다중화부; 및 상기 제2 시점 영상을 조정할 때 사용된 종횡비 조정 정보를 포함하는 제1 시점 영상의 방송 스트림 또는 제2 시점 영상의 방송 스트림에 삽입하는 정보 삽입부를 포함할 수 있다.
상기 3D 방송 서비스 제공 장치의 상기 종횡부 조정부는, 상기 제2 시점 영상에 종횡비 변환(aspect ratio conversion), 크롭(Crop), 필러박스(pillarbox) 또는 레터박스(letterbox) 중 어느 하나를 적용하여 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정할 수 있다.
일실시예에 따른 3D 방송 서비스 재생 장치는 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 수신하는 스트림 수신부; 상기 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 역다중화하여 제1 시점 영상, 제2 시점 영상 및 상기 제2 시점 영상에 적용된 종횡비 조정 정보를 추출하는 영상 추출부; 상기 제1 시점 영상 및 제2 시점 영상을 디코딩하는 영상 디코딩부; 상기 종횡비 조정 정보를 이용하여 상기 디코딩된 제2 시점 영상에 대해 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정하는 영상 조정부; 및 상기 제1 시점 영상과 제2 시점 영상을 합성하여 3D 방송 영상을 생성하는 영상 합성부를 포함할 수 있다.
좌영상과 우영상이 서로 다른 종횡비를 가지더라도 어느 하나의 영상을 조정함으로써 자연스러운 입체감을 나타내는 3D 방송을 제공할 수 있다.
좌영상과 우영상의 종횡비가 어떻게 차이나는지에 따라 적응적으로 어느 하나의 영상을 조정함으로써 자연스러운 입체감을 나타내는 3D 방송을 제공할 수 있다.
도 1은 일실시예에 따른 3D 방송 서비스 제공 장치 및 3D 방송 서비스 재생 장치의 동작을 나타내는 도면이다.
도 2는 일실시예에 따른 3D 방송 서비스 제공 장치 및 3D 방송 서비스 재생 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우, 제2 시점 영상의 조정 과정을 나타낸 도면이다.
도 4는 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우, 제2 시점 영상의 조정 과정을 나타낸 도면이다.
도 5는 일실시예에 따른 종횡비 조정 정보를 시그널링 하는 예시를 도시한 도면이다.
도 6은 일실시예에 따른 종횡비 조정 정보의 구체적인 예시를 도시한 도면이다.
도 7은 일실시예에 따라 3D 방송 서비스 재생 장치에서 종횡비 변환을 이용하여 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우 종횡비가 다른 시점 영상들을 합성하는 과정을 나타낸 도면이다.
도 8은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 크롭된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 과정을 나타낸 도면이다.
도 9는 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 크롭된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 10은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 과정을 나타낸 도면이다.
도 11은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 12는 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 13은 일실시예에 따라 3D 방송 서비스 재생 장치에서 종횡비 변환을 이용하여 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우 종횡비가 다른 시점 영상들을 합성하는 과정을 나타낸 도면이다.
도 14는 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 크롭된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 과정을 나타낸 도면이다.
도 15는 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 크롭된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 16은 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 과정을 나타낸 도면이다.
도 17은 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 18은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 19는 일실시예에 따라 3D 방송 서비스를 위해 제2 시점 영상을 조정하는 예시를 나타낸다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 3D 방송 서비스 제공 장치 및 3D 방송 서비스 재생 장치의 동작을 나타내는 도면이다.
도 1에 의하면, 3D 방송 서비스 제공 장치(101)는 3D 방송 서비스 재생 장치(102)에 방송 스트림을 전송할 수 있다. 이 때, 3D 방송 서비스 제공 장치(101)는 서로 다른 2개의 시점 영상을 포함하는 방송 스트림을 전송할 수 있다. 일례로, 어느 하나의 시점 영상은 ATSC 메인 서비스에 관한 것으로 MPEG-2에 의해 인코딩될 수 있다. 그리고, 다른 하나의 시점 영상은 ATSC 모바일 서비스에 관한 것으로, AVC(advanced video coding)에 의해 인코딩될 수 있다. 3D 방송 서비스를 구성하는 2개의 시점 영상의 특징은 상기 언급된 사항에 한정되지 않는다.
그리고, 서로 다른 2개의 시점 영상은 독립적인 2개의 비디오 스트림을 통해 전송될 수 있다. 이 때, 하나의 시점 영상은 레거시 2D 방송 서비스에 적합하며, 다른 하나의 시점 영상은 ATSC 모바일 방송 서비스에 적합할 수 있다.
3D 방송 서비스 제공 장치(101)가 3D 방송 서비스 재생 장치(102)에 전송하는 방송 스트림은 인코딩된 좌영상과 우영상을 포함할 수 있다. 즉, 방송 스트림은 인코딩된 서로 다른 시점 영상을 포함할 수 있다. 이 때, 좌영상과 우영상의 전송 포맷과 관련된 종횡비가 서로 다른 경우, 3D 방송 서비스 제공 장치(101)는 어느 하나의 시점 영상을 다른 시점 영상과 3D 영상 합성이 가능하도록 조정할 수 있다. 이에 따라, 3D 방송 서비스 제공 장치(101)는 좌영상과 우영상이 동일한 디스플레이 출력과 관련된 종횡비를 갖도록 할 수 있다.
여기서, 전송 포맷과 관련된 종횡비는 레거시 2D 또는 ATSC 모바일 방송망을 통해 전송되는 영상 포맷 규격에 따른 종횡비에 대응되며, 디스플레이 출력과 관련된 종횡비는 활성 영역(active area)이 실제 시청자에게 보여지는 형태의 종횡비에 대응된다. 활성 영역은 전송되는 영상 중 레터박스 또는 필러박스에 대응하는 바(Bar)가 제외된 영역으로, 실제로 3D 방송 서비스를 위해 좌영상과 우영상이 합성되는 영역을 의미할 수 있다.
일실시예에 따르면, 비대칭의 전송 포맷과 관련된 종횡비를 가지는 시점 영상(좌영상, 우영상)을 이용하여 3D 방송 서비스가 제공될 수 있다. 이 때, 좌영상과 우영상은 각각 서로 다른 스트림을 통해 전송된다. 구체적으로, 좌영상은 2D 고정 방송망을 통해 전송되며, 우영상은 모바일 방송망을 통해 전송될 수 있다. 좌영상은 HD(High Definition) 사이즈를 가지는 방송 스트림으로 인코딩되어 전송되고, 우영상은 SD(Standard Definition) 사이즈를 가지는 방송 스트림으로 인코딩되어 전송될 수 있다.
영상 사이즈는 방송 표준 규격에 따라 달라질 수 있다. 예를 들어, 좌영상의 전송 포맷은 16:9 종횡비를 가지는 1920x1080 사이즈를 가질 수 있으며, 우영상의 전송 포맷은 15.6:9 종횡비를 가지는 416 x240 사이즈를 가질 수 있다. 일반적으로, 디지털 방송에서 16:9 종횡비가 널리 쓰이는 포맷이므로, 이하의 실시예에서 인코더에 입력되는 원본 영상의 종횡비가 16:9라고 가정한다.
그러면, 16:9 종횡비를 사용하는 2D 고정 방송을 위한 좌영상은 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 모두 16:9이므로 부가적으로 종횡비를 변경하는 과정이 요구되지 않는다. 하지만, 15.6:9 종횡비를 사용하는 모바일 방송을 위한 우영상은 3D 방송 서비스를 위해 16:9 종횡비 좌영상과 매칭될 수 있도록 영상을 조정하는 과정이 필요할 수 있다. 그리고, 이와 같이 우영상의 조정 방식은 다양할 수 있으며, 조정 방식에 대한 시그널링이 요구될 수 있다.
도 2는 일실시예에 따른 3D 방송 서비스 제공 장치 및 3D 방송 서비스 재생 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 3D 방송 서비스 제공 장치(101)는 영상 조정부(201), 영상 인코딩부(202), 다중화부(203) 및 정보 삽입부(204)를 포함할 수 있다.
영상 조정부(201)는 3D 방송을 위한 제1 시점 영상과 제2 시점 영상에 대해 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정할 수 있다. 여기서, 제1 시점 영상과 제2 시점 영상은 3D 방송 서비스를 위한 좌영상 또는 우영상일 수 있다. 이 때, 제1 시점 영상과 제2 시점 영상의 전송 포맷과 관련된 종횡비가 서로 다른 경우, 영상 조정부(201)는 제1 시점 영상과 3D 형태로 합성할 수 있도록 제2 시점 영상을 조정할 수 있다. 영상을 조정하는 과정은 도 3 및 도 4에서 구체적으로 설명하기로 한다.
일례로, 영상 조정부(201)는 제2 시점 영상에 종횡비 변환(aspect ratio conversion)을 적용하여 제2 시점 영상을 조정할 수 있다. 여기서, 종횡비 변환이란 인코딩하기 전에 입력 영상의 종횡비를 전송 포맷과 관련된 종횡비에 맞게 변환하는 과정을 의미할 수 있다. 그리고, 영상 조정부(201)는 제2 시점 영상에 크롭(Crop)을 적용하여 제2 시점 영상을 조정할 수 있다. 또한, 영상 조정부(201)는 제2 시점 영상에 레터박스(letterbox)를 적용하여 제2 시점 영상을 조정할 수 있다. 그리고, 영상 조정부(201)는 제2 시점 영상에 필러박스(pillarbox)를 적용하여 제2 시점 영상을 조정할 수 있다.
영상 인코딩부(202)는 원본 형태인 제1 시점 영상과 조정된 제2 시점 영상을 인코딩할 수 있다. 제1 시점 영상과 제2 시점 영상은 방송 규격에서 사용되는 코덱에 따라 인코딩될 수 있다. 일례로, ATSC A/153 모바일 방송규격에서 사용되는 MPEG-4 AVC 코덱이 이용될 수 있다. 또는 MPEG-2 영상 코덱, HEVC 코덱 등 다양한 영상 압축 방식이 이용될 수 있다.
다중화부(203)는 인코딩된 제1 시점 영상과 제2 시점 영상을 다중화하여 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 생성할 수 있다. 일례로, 다중화부(203)는 인코딩된 제1 시점 영상과 제2 시점 영상을 각각의 방송 규격에 대응되도록 다중화할 수 있다.
예를 들어, 제1 시점 영상은 ATSC A/153 규격을 따르는 고정 2D 방송 스트림 으로 다중화되고, 제2 시점 영상은 모바일 방송 스트림이 포함된 MPEG-2 TS로 다중화될 수 있다. 다른 예로 제1 시점 영상은 DVB-T2 규격에 따르는 방송 스트림으로 다중화되고, 제2 시점 영상은 DVB-T2 Lite 규격을 따르는 방송 스트림으로 다중화 될 수 있다. 또 다른 예로 제1 시점 영상은 ISDB 규격을 따르는 방송 스트림으로 다중화되고, 제2 시점 영상은 one-seg 규격을 따르는 방송 스트림으로 다중화될 수 있다. 이 외에도 다양한 방송 규격에 따라 스트림 다중화를 수행할 수 있다.
정보 삽입부(204)는 제2 시점 영상을 조정할 때 사용된 종횡비 조정 정보를 제1 시점 영상의 방송 스트림 또는 제2 시점 영상의 방송 스트림에 삽입함으로써 종횡비 조정에 대해 시그널링할 수 있다. 종횡비 조정 정보가 제2 시점 영상의 조정과 관련된 종횡비 조정 모드를 나타내는 디스크립터를 의미하는 경우, 종횡비 조정 정보는 제1 시점 영상의 방송 스트림에 삽입될 수 있다. 여기서, 종횡비 조정 모드는 제2 시점 영상이 어떤 방식으로 종횡비가 조정되었는지 여부를 나타낸다. 한편, 종횡비 조정 정보가 제2 시점 영상의 종횡비 조정에 사용된 AFD(Active Format Description) 또는 바 데이터 정보(Bar Data information)를 의미하는 경우, 종횡비 조정 정보는 제2 시점 영상의 방송 스트림에 삽입될 수 있다.
종횡비 조정 정보의 삽입 방식은 방송 규격의 시그널링 규격에 따라 달라질 수 있다. 일례로, 종횡비 조정 정보는 디스크립터 형태로 제1 시점 영상의 방송 스트림에 삽입될 수 있다. 이 경우, 종횡비 조정 정보는 MPEG-2 TS 패킷에 실려 주기적으로 전송되는 트랜스포트 레벨의 PMT(Program Map Table), VCT(Virtual Channel Table), EIT(Event Information Table), SI(Service Information)등의 시그널링 디스크립터 형태로 전송될 수 있다.
다른 예로, 종횡비 조정 정보는 A/153 규격의 FIC(Fast Information Channel), SMT(Service Map Table)의 Service Level Descriptor, Component Level Descriptor등의 시그널링 채널을 통해 전송될 수 있다. 또 다른 예로, 종횡비 조정 정보는 트랜스포트 레벨이 아닌 비디오 레벨에 실려 전송될 수 있다. 이 경우 각 비디오 규격에 따라 전송 방식은 다양할 수 있다. 일례로 MPEG-2 비디오의 경우 비디오 프레임 헤더의 사용자 데이터를 통해 전송될 수 있다. 다른 예로 AVC 비디오의 경우 SEI(Supplemental enhancement information) 메시지를 통해 해당 비디오 스트림 내에 종횡비 조정 정보를 포함할 수 있다.
만약, 제2 시점 영상에 레터박스 또는 필러박스인 바(bar)가 적용됨에 따라 제2 시점 영상이 조정된 경우, 정보 삽입부(204)는 바의 존재를 A/153의 비디오 규격에 의해 규정되어 있는 AFD(Active Format Description)를 이용하여 시그널링하거나 또는 바 데이터 정보(Bar Data Information)를 이용하여 제2 시점 영상의 방송 스트림에 시그널링할 수 있다.
그리고, 3D 방송 서비스 재생 장치(102)는 역다중화부(205), 영상 디코딩부(206), 영상 조정부(207) 및 영상 합성부(208)를 포함할 수 있다.
역다중화부(205)는 3D 방송 서비스 제공 장치(101)로부터 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 수신하여 역다중화할 수 있다. 이 때, 역다중화부(205)는 제1 시점 영상의 방송 스트림과 제2 시점 영상의 방송 스트림을 역다중화하여 제1 시점 영상, 제2 시점 영상 및 제2 시점 영상에 적용된 종횡비 조정 정보를 추출할 수 있다.
여기서 방송 스트림의 역다중화는 어떤 방송 규격에 기초하여 다중화되었는지를 고려하여 수행될 수 있다. 예를 들어, 역다중화부(205)는 ATSC 제1 시점 영상에 대해 A/153 규격에 따라 다중화된 고정 2D 방송 스트림을 역다중화하거나 또는 제2 시점 영상에 대해 MPEG-2 TS 형태로 다중화된 방송 스트림을 역다중화할 수 있다.
다른 실시예로 역다중화부(205)는 제1 시점 영상에 대해 DVB-T2 규격에 따라 다중화된 방송 스트림을 역다중화하거나 또는 제2 시점 영상에 대해 DVB-T2 Lite 규격에 따라 다중화된 방송 스트림을 역다중화할 수 있다. 또 다른 실시예로, 역다중화부(205)는 제1 시점 영상에 대해 ISDB 규격에 따라 다중화된 방송 스트림을 역다중화하거나 또는 제2 시점 영상에 대해 one-seg 규격에 따라 다중화된 방송 스트림을 역다중화할 수 있다. 이 외에도, 역다중화부(205)는 다양한 방송 규격에 따라 다중화된 방송 스트림을 역다중화할 수 있다.
또한, 역다중화부(205)는 제2 시점 영상의 방송 스트림을 역다중화하여 제2 시점 영상이 조정될 때 사용된 종횡비 조정 정보를 추출할 수 있다. 종횡비 조정 정보의 추출 방식은 방송 규격의 시그널링 방식에 따라 달라질 수 있다. 일례로, MPEG-2 TS 패킷에 실려 주기적으로 전송되는 트랜스포트 레벨의 PMT, VCT, EIT, SI 등의 시그널링 디스크립터 형태의 종횡비 조정 정보를 제1 시점 영상의 방송 스트림으로부터 추출할 수 있다. 다른 예로, 종횡비 조정 정보는 A/153 규격의 FIC, SMT의 Service Level Descriptor, Component Level Descriptor등의 시그널링 채널을 통해 추출할 수 있다.
다른 예로 종횡비 조정 정보는 트랜스포트 레벨이 아닌 비디오 레벨을 통해 추출할 수 있다. 이 경우 각 비디오 규격에 따라 추출 방식은 다양할 수 있다. 일례로 방송 스트림이 MPEG-2로 인코딩된 시점 영상을 포함하는 경우, 역다중화부(205)는 비디오 프레임 헤더의 user data를 통해 종횡비 조정 정보를 추출할 수 있다. 다른 예로 방송 스트림이 AVC로 인코딩된 시점 영상을 포함하는 경우, 역다중화부(205)는 SEI 메시지를 통해 종횡비 조정 정보를 추출할 수 있다.
또 다른 예로 필러박스 또는 레터박스가 적용됨으로써 제2 시점 영상이 조정되는 경우, 종횡비 조정 정보는 제2 시점 영상의 방송 스트림으로부터 A/153의 비디오 규격에 의해 규정되어 있는 AFD(Active Format Description) 또는 바 데이터 정보(Bar Data Information)를 이용하여 추출할 수 있다
영상 디코딩부(206)는 제1 시점 영상 및 제2 시점 영상을 디코딩할 수 있다.
영상 디코딩부(206)는 제1 시점 영상과 제2 시점 영상을 인코딩할 때 사용한 코덱을 고려하여 디코딩할 수 있다. 여기서 인코딩할 때 사용된 코덱은 다양할 수 있다. 본 발명에서는 기존 다양한 방송 규격에서 사용되는 코덱을 선택하여 이용할 수 있다. 일례로, 인코딩할 때 ATSC A/153 모바일 방송규격에서 사용되는 MPEG-4 AVC 코덱이 이용될 수 있다. 또는 인코딩할 때, MPEG-2 영상 코덱, HEVC 등 다양한 영상 코덱이 이용될 수 있다.
영상 조정부(207)는 종횡비 조정 정보를 이용하여 디코딩된 제1 시점 영상 또는 제2 시점 영상을 조정할 수 있다.
일례로, 영상 조정부(207)는 제2 시점 영상에 종횡비 변환(aspect ratio conversion)을 적용하여 제2 시점 영상을 조정할 수 있다. 여기서, 종횡비 변환이란 디코더 출력 영상의 비율을 디스플레이 출력과 관련된 종횡비에 맞게 변환하는 과정을 의미할 수 있다. 그리고, 영상 조정부(207)는 제1 시점 영상에 크롭(Crop)을 적용하여 제2 시점 영상에 대응하는 제1 시점 영상을 생성할 수 있다. 또한, 영상 조정부(207)는 제2 시점 영상에 레터박스(letterbox)를 적용하여 제2 시점 영상을 조정할 수 있다. 그리고, 영상 조정부(207)는 제2 시점 영상에 필러박스(pillarbox)를 적용하여 제2 시점 영상을 조정할 수 있다.
영상 합성부(208)는 원본 형태의 제1 시점 영상과 조정된 제2 시점 영상을 합성하여 3D 방송 영상을 생성할 수 있다.
영상 조정부(207)와 영상 합성부(208)의 동작은 도 7 내지 도 18에서 구체적으로 설명하기로 한다.
도 3은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우, 제2 시점 영상의 조정 과정을 나타낸 도면이다.
도 3은 원본 영상인 제2 시점 영상의 종횡비보다 가로 비율이 낮은 (또는 세로 비율이 높은) 종횡비의 전송 포맷을 이용하는 경우의 제2 시점 영상을 조정하는 나타낸다. 예를 들어, 도 3은 원본 영상인 제2 시점 영상이 16:9 종횡비를 가지는 경우, 15.6:9 종횡비의 전송 포맷에 맞게 제2 시점 영상을 조정하는 경우를 의미한다. 여기서, 제1 시점 영상은 좌영상, 제2 시점 영상은 우영상에 대응할 수 있다.
일실시예에 있어서, 상기 조정 과정은 좌영상의 전송 포맷과 관련된 종횡비가 우영상의 전송 포맷과 관련된 종횡비와 서로 다른 경우, 좌영상과 우영상의 3D 영상합성이 가능하도록 어느 하나의 시점 영상을 조정하는 것을 의미할 수 있다.
다른 실시예에 있어서, 상기 조정 과정은 도 3과 같이 영상을 인코딩하기 이전에 입력된 원본 영상의 종횡비가 영상 스트림을 전송하기 위한 방송망에서 지원하지 않는 경우, 해당 방송망에서 지원하는 전송 포맷과 관련된 종횡비에 매칭되도록 원본 영상에 종횡비 변환(aspect ratio conversion), 크롭(Crop), 필러박스(Pillarbox), 또는 레더박싱(Letterbox) 등의 과정을 수행하는 것을 의미할 수 있다. 만약, 메인 방송의 전송 포맷 규격이 원본 영상의 종횡비를 지원하는 경우, 3D 방송 서비스 제공 장치는 원본 영상의 종횡비를 조정할 필요가 없다. 반대로, 모바일 방송의 전송 포맷 규격이 원본 영상의 종횡비를 지원하지 않는 경우, 3D 방송 서비스 제공 장치는 원본 영상을 모바일 방송의 전송 포맷 규격에 매칭되도록 조정할 필요가 있다.
도 3(a)는 원본 영상에 종횡비 변환(aspect ratio conversion)을 적용하여 원본 영상을 조정하는 과정을 나타낸다. 종횡비 변환은 15.6:9 종횡비를 가지는 전송 포맷이 16:9 종횡비를 가지는 원본 영상을 모두 포함할 수 있도록 원본 영상의 종횡비를 변경하는 것을 의미할 수 있다. 이 경우, 전송 포맷과 관련된 종횡비는 15.6:9이더라도, 전송되는 영상의 디스플레이 출력과 관련된 종횡비는 원본 영상과 동일하게 16:9일 수 있다.
그리고, 도 3(b)는 원본 영상인 우영상을 크롭함으로써 우영상을 조정하는 과정을 나타낸다. 이 때, 도 3(b)는 원본 영상의 왼쪽과 오른쪽을 크롭하여 원본 영상을 전송 포맷의 규격에 맞게 조정하는 것을 나타낸다.
또한, 도 3(c)는 원본 영상에 레터박스를 적용하여 원본 영상의 종횡비를 변경하는 과정을 나타낸다. 이 때, 도 3(C)는 원본 영상의 위쪽과 아래쪽에 레터박스인 바(bar)를 추가하는 함으로써, 원본 영상을 전송 포맷 규격에 맞게 조정하는 것을 나타낸다.
도 4는 다른 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우, 제2 시점 영상의 조정 과정을 나타낸 도면이다.
도 4는 원본 영상인 제2 시점 영상의 종횡비보다 세로 비율이 낮은 (또는 가로 비율이 높은) 종횡비의 전송 포맷을 이용하는 경우, 제2 시점 영상의 조정 과정을 나타낸다. 예를 들어, 도 4는 원본 영상이 16:9 종횡비를 가지는 경우, 16:8.9 종횡비의 전송 포맷에 맞게 제2 시점 영상을 조정하는 경우를 의미한다. 여기서, 제2 시점 영상은 우영상에 대응할 수 있다.
도 4(a)는 원본 영상에 종횡비 변환(aspect ratio conversion)을 적용하여 원본 영상을 조정하는 과정을 나타낸다. 종횡비 변환은 16:8.9 종횡비를 가지는 전송 포맷이 16:9 종횡비를 가지는 원본 영상을 모두 포함할 수 있도록 원본 영상의 종횡비를 변경하는 것을 의미할 수 있다. 이 경우, 전송 포맷과 관련된 종횡비는 16.8.9이더라도, 전송되는 영상의 디스플레이 출력과 관련된 종횡비는 원본영상과 동일하게 16:9일 수 있다.
그리고, 도 4(b)는 원본 영상인 우영상을 크롭하여 우영상을 조정하는 과정을 나타낸다. 이 때, 도 4(b)는 원본 영상인 우영상의 위쪽과 아래쪽을 크롭하여 우영상을 전송 포맷의 규격에 맞게 조정하는 것을 나타낸다.
또한, 도 4(c)는 원본 영상에 필러박스를 적용하여 원본 영상의 종횡비를 변경하는 과정을 나타낸다. 이 때, 도 4(C)는 원본 영상의 왼쪽과 오른쪽에 필러박스인 바(bar)를 추가하는 함으로써, 원본 영상을 전송 포맷 규격에 맞게 조정하는 것을 나타낸다.
도 5는 일실시예에 따른 종횡비 조정 정보를 시그널링 하는 예시를 도시한 도면이다.
도 5를 참고하면, 디스크립터 형태로 종횡비 조정 정보가 도시된다. 특히, 종횡비 조정 정보는 종횡비 조정 모드(aspect_ratio_adjustment_mode)를 포함할 수 있다. 그리고, 앞서 설명하였듯이, 제2 시점 영상의 종횡비가 조정된 경우, 종횡비 조정 정보는 제1 시점 영상의 방송 스트림 또는 제2 시점 영상의 방송 스트림에 삽입되어 시그널링될 수 있다. 특히, 도 5와 같이 종횡비 조정 정보가 디스크립터 형태로 표현되는 경우, 제1 시점 영상의 방송 스트림에 삽입될 수 있다.
도 6은 일실시예에 따른 종횡비 조정 정보의 구체적인 예시를 도시한 도면이다.
도 6은 도 5에서 설명한 종횡비 조정 정보의 상세 모드를 나타낸다.
‘000’ (None): 종횡비 조정 정보가 “000”인 경우, 3D 방송 서비스 재생 장치(102)에 전달된 제2 시점 영상은 종횡비가 변경되지 않았음을 의미한다. 또는 종횡비 조정 정보가 “000”인 경우, 3D 방송 서비스 재생 장치(102)에 전달된 제2 시점 영상은 종횡비 변환(aspect ratio conversion)에 의해 종횡비가 변경된 것을 의미할 수 있다. 이 때, 종횡비가 변경된 제2 시점 영상은 종횡비가 변경되지 전의 원본 형태의 제2 시점 영상을 모두 포함하는 것을 의미할 수 있다. 즉, 종횡비 조정 정보가 “000”인 경우, 이는 전송되는 제2 시점 영상이 원영상의 영역을 모두 포함하고, 활성 영역(active area)이 영상 전체임을 의미할 수 있다.
‘001’ (Cropped-left and right): 종횡비 조정 정보가 “001”인 경우, 3D 방송 서비스 재생 장치(102)에 전달된 제2 시점 영상은 왼쪽과 오른쪽을 크롭함으로써 원래 종횡비에서 가로 비율이 조정된 형태로 변경된 것을 의미할 수 있다.
‘010’ (Cropped-top and bottom): 종횡비 조정 정보가 “010”인 경우, 3D 방송 서비스 재생 장치(102)에 전달된 제2 시점 영상은 위쪽과 아래쪽을 크롭함으로써 원래 종횡비에서 세로 비율이 조정된 형태로 변경된 것을 의미할 수 있다.
‘011’ (Letterboxed): 종횡비 조정 정보가 “011”인 경우, 3D 방송 서비스 재생 장치(102)에 전달된 제2 시점 영상은 위쪽과 아래쪽에 레터박스인 바가 추가됨으로써 제2 시점 영상의 방송망의 전송 포맷 규격을 따르는 형태로 변경될 수 있다. 이 때, 제2 시점 영상 내 활성 영역(active area)에 대응하는 디스플레이 출력과 관련된 종횡비는 원본 형태의 제2 시점영상의 종횡비와 동일함을 의미할 수 있다.
‘100’ (Pillarboxed): 종횡비 조정 정보가 “100”인 경우, 3D 방송 서비스 재생 장치(102)에 전달된 제2 시점 영상은 왼쪽과 오른쪽에 필러박스인 바가 추가됨으로써 제2 시점 영상의 방송망의 전송 포맷 규격을 따르는 형태로 변경될 수 있다. 이 때, 제2 시점 영상 내 활성 영역(active area)에 대응하는 디스플레이 출력과 관련된 종횡비는 원영상의 종횡비와 동일함을 의미할 수 있다.
도 7은 일실시예에 따라 3D 방송 서비스 재생 장치에서 종횡비 변환을 이용하여 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우 종횡비가 다른 시점 영상들을 합성하는 과정을 나타낸 도면이다.
도 7은 도 6에서 종횡비 조정 정보가 “000”인 경우를 나타낸다. 즉, 도 7에서 제2 시점 영상인 우영상은 종횡비 변환을 통해 종횡비가 조정된 것을 의미한다. 다시 말해서, 인코딩된 우영상은 원본 영상을 전부 포함하는 것을 의미할 수 있다. 도 7의 경우, 우영상은 좌영상에 비해 종횡비의 가로 비율이 작은 것을 의미한다.
도 7의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
즉, 좌영상은 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 동일하다고 가정할 수 있다. 그리고, 우영상은 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 서로 다르다고 가정할 수 있다. 이 때, 디스플레이 출력은 좌영상과 우영상을 합성함으로써 도출된 3D 방송 영상을 나타내는 출력 영상에 대응될 수 있다.
그러면, 좌영상은 WxH에서 dWxdH로 스케일링되고, 우영상은 wxh에서 dWxdH로 스케일링될 수 있다.
즉, 좌영상은 종횡비를 유지하면서 스케일링되는 반면에, 우영상은 종횡비가 변경되면서 스케일링될 수 있다. 다시 말해서, 3D 방송 서비스 재생 장치는 제2 시점 영상인 우영상을 스케일링하면서 우영상의 종횡비를 제1 시점의 영상과 동일한 종횡비로 변경할 수 있다.
도 8은 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 크롭된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 과정을 나타낸 도면이다.
도 8은 도 6에서 종횡비 조정 정보가 “001”인 경우를 나타낸다. 즉, 도 8에서 제2 시점 영상인 우영상은 왼쪽과 오른쪽이 크롭됨으로써 종횡비가 조정된 것을 의미한다.
도 8의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
그러면, 좌영상은 (W- H(w/h))/2 픽셀만큼 왼쪽과 오른쪽이 크롭된 후, dWxdH로 스케일링될 수 있다. 우영상은 wxh에서 dWxdH로 스케일링될 수 있다.
즉, 3D 방송 서비스 재생 장치는 우영상의 종횡비에 따라 좌영상의 왼쪽과 오른쪽을 크롭한 후, 크롭된 결과를 출력 영상의 사이즈로 스케일링할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 우영상을 출력 영상의 사이즈로 스케일링할 수 있다.
도 9는 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 크롭된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 9는 도 6에서 종횡비 조정 정보가 “001”인 경우를 나타낸다. 즉, 도 9에서 제2 시점 영상인 우영상은 왼쪽과 오른쪽이 크롭됨으로써 종횡비가 조정된 것을 의미한다.
도 9의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
그러면, 좌영상은 (W- H(w/h))/2 픽셀만큼 왼쪽과 오른쪽이 크롭되고, (W - H(w/h))/2 픽셀만큼 필러박스인 바(bar)가 왼쪽과 오른쪽에 추가되며, dWxdH로 스케일링될 수 있다. 우영상은 dH(w/h)xdH로 스케일링됨으로써 출력 영상의 세로 길이에 따라 스케일링될 수 있다. 그런 후에, 우영상은 (dW - dH(w/h))/2 픽셀만큼 필러박스인 바(bar)가 추가되어 dWxdH로 스케일링될 수 있다.
즉, 3D 방송 서비스 재생 장치는 우영상의 종횡비에 따라 좌영상의 왼쪽과 오른쪽을 크롭하고, 필러박스를 적용한 후 출력 영상으로 스케일링할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 출력 영상의 세로 길이를 기준으로 우영상을 스케일링한 후, 필러박스를 적용하여 출력 영상으로 스케일링할 수 있다.
도 10은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 과정을 나타낸 도면이다.
도 10은 도 6에서 종횡비 조정 정보가 “011”인 경우를 나타낸다. 즉, 도 9에서 제2 시점 영상인 우영상은 레터박스가 적용됨으로써 영상이 조정된 것을 의미한다.
도 10의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
즉 좌영상의 경우 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 동일하다고 가정할 수 있으며, 우영상의 경우 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 다르다고 가정할 수 있다.
구체적으로, 좌영상은 WxH에서 dWxdH로 스케일링될 수 있다. 그리고, 우영상은 상하 Bar 영역이 제거됨으로써 16:9 종횡비를 가지는 활성 영역이 추출되고, 활성 영역이 dWxdH로 스케일링될 수 있다.
즉, 3D 방송 서비스 재생 장치는 좌영상과 우영상을 출력 영상의 사이즈로 스케일링할 수 있다. 그러면, 좌영상과 우영상은 3D 영상 합성이 가능할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 출력 영상의 가로 길이를 기준으로 우영상을 스케일링한 후, 스케일링된 결과에 전송된 영상의 위쪽과 아래쪽을 크롭하여 활성 영역을 도출한 후, 이를 스케일링하여 출력 영상을 도출할 수 있다.
도 11은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상 합성하는 또 다른 과정을 나타낸 도면이다.
도 11은 도 6에서 종횡비 조정 정보가 “011”인 경우를 나타낸다. 즉, 도 9에서 제2 시점 영상인 우영상은 레터박스가 적용됨으로써 종횡비가 조정된 것을 의미한다.
도 11의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
그러면, 좌영상은 (W(h/w) ? H)/2 라인만큼 위쪽과 아래쪽에 레터박스인 바가 추가될 수 있다. 그런 후에 좌영상은 dWxdH로 스케일링될 수 있다. 한편, 우영상은 wxh에서 dWxdH로 스케일링될 수 있다.
즉, 3D 방송 서비스 재생 장치는 우영상의 종횡비에 따라 좌영상에 레터박스를 적용한 후 출력 영상의 사이즈로 스케일링할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 우영상을 출력 영상의 사이즈로 스케일링할 수 있다.
도 12는 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상 합성하는 또 다른 과정을 나타낸 도면이다.
도 12는 도 6에서 종횡비 조정 정보가 “011”인 경우를 나타낸다. 즉, 도 9에서 제2 시점 영상인 우영상은 레터박스가 적용됨으로써 종횡비가 조정된 것을 의미한다.
도 12의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며,, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
3D 방송 서비스 재생 장치는 우영상의 종횡비에 따라 좌영상의 위쪽과 아래쪽에 레터박스를 적용한 결과에 왼쪽과 오른쪽에 필러박스를 적용한 후 출력 영상의 사이즈로 스케일링할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 우영상을 출력 영상의 세로 길이를 기준으로 스케일링한 후, 출력 영상의 종횡비를 고려하여 스케일링된 우영상의 왼쪽과 오른쪽에 필러박스를 적용할 수 있다.
도 13은 일실시예에 따라 3D 방송 서비스 재생 장치에서 종횡비 변환을 이용하여 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우 종횡비가 다른 시점 영상들을 합성하는 과정을 나타낸 도면이다.
도 13은 도 6에서 종횡비 조정 정보가 “000”인 경우를 나타낸다. 즉, 도 13에서 제2 시점 영상인 우영상은 종횡비 변환을 통해 종횡비가 조정된 것을 의미한다. 다시 말해서, 인코딩된 우영상은 원본 영상을 전부 포함하는 것을 의미할 수 있다. 도 13의 경우, 우영상은 좌영상에 비해 종횡비의 세로 비율이 작은 것을 의미한다.
도 13의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며,, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다. 즉 좌영상의 경우 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 동일하다고 가정할 수 있으며, 우영상의 경우 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 다르다고 가정할 수 있다.
그러면, 좌영상은 WxH에서 dWxdH로 스케일링되고, 우영상은 wxh에서 dWxdH로 스케일링될 수 있다. 즉, 좌영상은 종횡비를 유지하면서 스케일링되는 반면에, 우영상은 종횡비가 변경되면서 스케일링될 수 있다. 다시 말해서, 3D 방송 서비스 재생 장치는 제2 시점 영상인 우영상을 스케일링하면서 우영상의 종횡비를 제1 시점의 영상과 동일한 종횡비로 변경할 수 있다.
도 14는 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 크롭된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 과정을 나타낸 도면이다.
도 14은 도 6에서 종횡비 조정 정보가 “010”인 경우를 나타낸다. 즉, 도 14에서 제2 시점 영상인 우영상은 위쪽과 아래쪽이 크롭됨으로써 종횡비가 조정된 것을 의미한다.
도 14의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
그러면, 좌영상은 (H-W(h/w))/2 픽셀만큼 위쪽과 아래쪽이 크롭된 후, dWxdH로 스케일링될 수 있다. 우영상은 wxh에서 dWxdH로 스케일링될 수 있다. 즉, 3D 방송 서비스 재생 장치는 우영상의 종횡비에 따라 좌영상의 위쪽과 아래쪽을 크롭한 후, 출력 영상으로 스케일링할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 우영상을 바로 출력 영상으로 스케일링할 수 있다.
도 15는 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 크롭된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 15는 도 6에서 종횡비 조정 정보가 “010”인 경우를 나타낸다. 즉, 도 15에서 제2 시점 영상인 우영상은 위쪽과 아래쪽이 크롭됨으로써 종횡비가 조정된 것을 의미한다.
도 15의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
그러면, 좌영상은 (H-W(h/w))/2 픽셀만큼 위쪽과 아래쪽이 크롭되고, (H-W(h/w))/2 픽셀만큼 레터박스인 바(bar)가 위쪽과 아래쪽에 추가되며, dWxdH로 스케일링될 수 있다. 우영상은 dW X dW(h/w)로 스케일링됨으로써 출력 영상의 가로 길이에 따라 스케일링될 수 있다. 그런 후에, 우영상은 (dH-dW(h/w))/2 픽셀만큼 레터박스인 바(bar)가 추가되어 dWxdH로 스케일링될 수 있다. 즉, 3D 방송 서비스 재생 장치는 우영상의 종횡비에 따라 좌영상의 위쪽과 아래쪽을 크롭하고, 레터박스를 적용한 후 출력 영상으로 스케일링할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 출력 영상의 가로 길이를 기준으로 우영상을 스케일링한 후, 레터박스를 적용하여 출력 영상으로 스케일링할 수 있다.
도 16은 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 과정을 나타낸 도면이다.
도 16는 도 6에서 종횡비 조정 정보가 “100”인 경우를 나타낸다. 즉, 도 16에서 제2 시점 영상인 우영상은 왼쪽과 오른쪽에 필러박스가 적용됨으로써 영상이 조정된 것을 의미한다.
도 16의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
즉 좌영상의 경우 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 동일하다고 가정할 수 있으며, 우영상의 경우 전송 포맷과 관련된 종횡비와 디스플레이 출력과 관련된 종횡비가 다르다고 가정할 수 있다.
구체적으로, 좌영상은 WxH에서 dWxdH로 스케일링될 수 있다. 그리고, 우영상은 좌우 Bar 영역이 제거됨으로써 16:9 종횡비를 가지는 활성 영역이 추출되고, 활성 영역은 dWxdH로 스케일링 할 수 있다.즉, 3D 방송 서비스 재생 장치는 좌영상을 출력 영상의 사이즈로 스케일링할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 전송된 영상의 왼쪽과 오른쪽을 크롭하여 활성 영역을 도출한 후, 이를 스케일링하여 출력 영상을 도출할 수 있다.
도 17은 일실시예에 따라 제2 시점 영상의 세로 비율이 제1 시점 영상의 세로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 17의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
그러면, 좌영상은 H(w/h) ? W)/2 라인만큼 왼쪽과 오른쪽에 필러박스인 바가 추가된 후 dWxdH로 스케일링될 수 있다. 그리고, 우영상은 wxh에서 dWxdH로 스케일링될 수 있다.
즉, 3D 방송 서비스 재생 장치는 좌영상을 우영상의 종횡비에 따라 필러박스를 적용한 후 출력 영상의 사이즈로 스케일링할 수 있다. 그리고, 3D 방송 서비스 재생 장치는 우영상을 출력 영상의 사이즈로 스케일링할 수 있다.
도 18은 일실시예에 따라 제2 시점 영상의 가로 비율이 제1 시점 영상의 가로 비율보다 낮은 경우에 3D 방송 서비스 제공 장치에서 레터박스가 적용된 제 2 시점의 영상을 이용하여 3D 방송 서비스 재생 장치에서 3D 영상합성하는 또 다른 과정을 나타낸 도면이다.
도 18는 도 6에서 종횡비 조정 정보가 “100”인 경우를 나타낸다. 즉, 도 18에서 제2 시점 영상인 우영상은 왼쪽과 오른쪽에 필러박스가 적용됨으로써 종횡비가 조정된 것을 의미한다.
도 18의 경우, 3D 방송 서비스 재생 장치는 제1 시점 영상과 제2 시점 영상을 동일한 사이즈를 가지도록 제1 시점 영상과 제2 시점 영상을 스케일링할 수 있다. 만약, 제1 전송 포맷을 만족하는 제1 방송 네트워크를 통해 전송된 제1 시점 영상인 좌영상의 사이즈가 WxH이고, 제2 전송 포맷을 만족하는 제2 방송 네트워크를 통해 전송된 제2 시점 영상인 우영상의 사이즈가 wxh이며, 스케일링된 출력 영상의 사이즈가 dWxdH라고 가정한다. 여기서, d는 스케일링 비율을 의미할 수 있다.
여기서, 좌영상은 우영상의 종횡비에 따라 왼쪽과 오른쪽에 필러박스인 바가 추가되고, 위쪽과 아래쪽에 레터박스인 바가 추가된 후 출력 영상의 사이즈로 스케일링될 수 있다. 그리고, 우영상은 출력 영상의 가로 길이를 기준으로 스케일링된 후, 위쪽과 아래쪽에 레터박스인 바가 추가될 수 있다.
도 19는 일실시예에 따라 3D 방송 서비스를 위해 제2 시점 영상을 조정하는 예시를 나타낸다.
ATSC 메인 서비스의 전송 포맷 규격에서 사용되는 제1 시점 영상인 좌영상의 종횡비와 ATSC 모바일 서비스의 전송 포맷 규격에 사용되는 제2 시점 영상인 우영상의 종횡비는 A/153에 규정된 바와 같이 약간 다를 수 있다. 그래서, 모바일 방송을 위해 입력되는 우영상이 3D 방송을 위해 인코딩되기 전에 종횡비가 조정될 필요가 있다.
예를 들어, 우영상의 전송 포맷과 관련된 종횡비가 정확하게 16:9가 아닌 경우, 3D 방송 서비스 제공 장치는 우영상을 AVC로 인코딩하기 전에 레터박스 또는 필러박스를 우영상에 적용함으로써, 우영상의 종횡비를 전송 포맷과 관련된 종횡비에 맞게 변경할 수 있다. 이 경우, 우영상에 적용된 레터박스 또는 필러박스인 바의 존재는 AFD(Active Format Description) 또는 Bar Data Information에 의해 시그널링될 수 있다. 이 경우, 도 5의 종횡비 조정 정보는 생략될 수 있다.
그러면, 약간 다른 전송 포맷과 관련된 종횡비를 가지는 좌영상과 우영상을 조합함으로써 3D 방송 영상을 생성하기 위해, 3D 방송 서비스 재생 장치는 좌영상과 우영상을 합성하기 전에 좌영상과 우영상의 종횡비를 동일한 디스플레이 출력과 관련된 종횡비 형태로 조정할 필요가 있다. 도 19의 첫번째 열과 두번째 열은 3D 방송 서비스 제공 장치가 MDTV에 대응하는 우영상의 사이즈에 따라 우영상의 종횡비를 어떻게 조정할 것인지를 나타내고 있다.
그리고, 도 19의 세번째 열과 네번째 열은 Main Service에 대응하는 좌영상과 우영상을 합성하기 전에 3D 방송 서비스 재생 장치가 3D 방송 서비스 제공 장치로부터 전달된 우영상의 종횡비를 어떻게 조정할 것인지를 나타낸다. 이 때, 융합형 3D 방송 서비스를 위해서 ATSC 메인 서비스에 적용되는 좌영상의 사이즈는 실제 출력되는 3D 방송 영상의 디스플레이 출력 사이즈와 동일하다고 가정할 수 있다. 만약, 3D 방송 영상의 디스플레이 출력 사이즈가 ATSC 메인 서비스에 적용되는 좌영상의 사이즈와 상이한 경우, 좌영상의 사이즈가 디스플레이 출력 사이즈에 맞도록 좌영상의 스케일링 과정이 추가적으로 수행될 수 있다. 이 때 우영상은 좌영상과 동일한 사이즈가 아닌 디스플레이 출력 사이즈로 스케일링 될 수 있다.
특히 일반적으로, 모바일 서비스에 대응하는 우영상을 인코딩하는 경우 사용되는 비디오 코덱(ex. AVC)에 의해 특정 사이즈(예: 16x16)의 매크로 블록이 이용될 수 있다. 그러면, 모바일 서비스에서 우영상은 정확히 16:9가 아닌 16:9에 근접한 종횡비(예: 416 x 240; 15.6:9)를 가질 수 있다. 이 경우, 우영상이 16:9 종횡비를 가지는 원본 영상으로부터 어떤 방식에 따라 종횡비가 변경됨으로써 도출되었는지를 나타내는 종횡비 변경 정보가 시그널링될 수 있다. 그리고, 종횡비 변경 정보에 따라 우영상을 처리한 후 좌영상과 우영상을 합성하여 3D 방송 영상을 복원하는 것이 필요하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
101: 3D 방송 서비스 제공 장치
102: 3D 방송 서비스 재생 장치

Claims (20)

  1. 활성 영역(active area)에 대해 제1 시점 영상과 동일한 종횡비를 가질 수 있도록, 레터 박스 또는 필러 박스를 이용하여 모바일 방송을 위한 제2 시점 영상의 종횡비를 조정하는 단계 -상기 제1 시점 영상의 종횡비와 제2 시점 영상의 종횡비를 다름-;
    3차원 방송을 위해 제1 시점 영상과 상기 종횡비가 조정된 제2 시점 영상을 부호화하는 단계’
    상기 제2 시점 영상의 종횡비를 조정하기 위해 사용되었던 레터 박스 또는 필러 박스와 연관된 바의 존재를 나타내는 Active Format Description (AFD) 또는 바 데이터(bar data)를 생성하는 단계
    를 포함하는 3D 방송 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 제1 시점 영상은 메인 서비스를 이용하여 전송되고, 상기 제2 시점 영상은 모바일 서비스를 이용하여 전송되며,
    상기 제1 시점 영상과 제2 시점 영상은 서로 다른 스트림을 통해 전송되는 3D 방송 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 메인 서비스의 전송 포맷을 위한 제1 시점 영상의 종횡비는,
    상기 제1 시점 영상과 제2 시점 영상을 합성함으로써 획득되는 3차원 방송 영상을 재생하기 위한 디스플레이의 종횡비와 동일한 것인 3D 방송 서비스 제공 방법.
  4. 제3항에 있어서,
    상기 메인 서비스를 위한 제1 시점 영상의 사이즈는,
    상기 모바일 서비스를 위한 제2 시점 영상의 사이즈보다는 크고, 상기 디스플레이의 사이즈와는 동일한 것인 3D 방송 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 제2 시점 영상의 종횡비를 조정하는 단계는,
    제1 시점 영상과 동일한 종횡비를 가지도록, 제2 시점 영상의 사이즈를 스케일링하는 단계; 및
    상기 스케일링된 제2 시점 영상에 레터박스 또는 필러박스를 적용하는 단계
    를 포함하는 3D 방송 서비스 제공 방법.
  6. 제3항에 있어서,
    상기 디스플레이를 통해 3차원 영상을 획득하고 표현하기 위해 제1 시점 영상과 제2 시점 영상을 합성하기 전에, 상기 제2 시점 영상의 활성 영역이 추출되고, 상기 추출된 활성 영역이 디스플레이의 사이즈로 스케일링되는 3D 방송 서비스 제공 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 메인 방송을 위한 제1 시점 영상에 대한 방송 스트림과 모바일 방송을 위한 제2 시점 영상에 대한 방송 스트림을 수신하는 단계;
    상기 제1 시점 영상과 제2 시점 영상을 복호화하는 단계
    레터 박스와 필러 박스와 관련된 바의 존재 여부를 나타내는 Active Format Description 또는 바 데이터를 이용하여 3차원 영상을 생성하기 위해, 제2 시점 영상의 종횡비를 조정하는 단계
    상기 제1 시점 영상과 상기 종횡비가 조정된 제2 시점 영상을 합성하여 3차원 영상을 생성하는 단계
    를 포함하는 3D 방송 서비스 재생 방법.
  12. 제11항에 있어서,
    상기 제1 시점 영상은 메인 서비스를 이용하여 전송되고, 상기 제2 시점 영상은 모바일 서비스를 이용하여 전송되며,
    상기 제1 시점 영상과 제2 시점 영상은 서로 다른 스트림을 통해 전송되는 3D 방송 서비스 재생 방법.
  13. 제12항에 있어서,
    상기 메인 서비스의 전송 포맷을 위한 제1 시점 영상의 종횡비는,
    상기 제1 시점 영상과 제2 시점 영상을 합성함으로써 획득되는 3차원 방송 영상을 재생하기 위한 디스플레이의 종횡비와 동일한 것인 3D 방송 서비스 재생 방법.
  14. 제13항에 있어서,
    상기 메인 서비스를 위한 제1 시점 영상의 사이즈는,
    상기 모바일 서비스를 위한 제2 시점 영상의 사이즈보다는 크고, 상기 디스플레이의 사이즈와는 동일한 것인 3D 방송 서비스 재생 방법.
  15. 제11항에 있어서,
    상기 제2 시점 영상의 종횡비를 조정하는 단계는,
    제1 시점 영상과 동일한 종횡비를 가지도록, 제2 시점 영상의 사이즈를 스케일링하는 단계; 및
    상기 스케일링된 제2 시점 영상에 레터박스 또는 필러박스를 적용하는 단계
    를 포함하는 3D 방송 서비스 재생 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140028950A 2013-03-12 2014-03-12 비대칭 종횡비 영상을 이용한 ３ｄ 방송 서비스 제공 방법 및 장치, 그리고, ３ｄ 방송 서비스 재생 방법 및 장치 KR102219419B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/207,067 US9998800B2 (en) 2013-03-12 2014-03-12 3D broadcast service providing method and apparatus, and 3D broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020130026104 2013-03-12
KR20130026104 2013-03-12
KR20130040835 2013-04-15
KR1020130040835 2013-04-15

Publications (2)

Publication Number Publication Date
KR20140114291A KR20140114291A (ko) 2014-09-26
KR102219419B1 true KR102219419B1 (ko) 2021-02-24

Family

ID=51758122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140028950A KR102219419B1 (ko) 2013-03-12 2014-03-12 비대칭 종횡비 영상을 이용한 ３ｄ 방송 서비스 제공 방법 및 장치, 그리고, ３ｄ 방송 서비스 재생 방법 및 장치

Country Status (2)

Country Link
US (1) US9998800B2 (ko)
KR (1) KR102219419B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
KR20220114292A (ko) 2021-02-08 2022-08-17 한국전자통신연구원 초분광 이미징 공간 분해능 향상이 가능한 광학 시스템 및 이를 이용한 광정렬 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012182643A (ja) * 2011-03-01 2012-09-20 Sharp Corp 再生装置及びそれを用いたテレビジョン受信装置、再生方法、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8364015B2 (en) * 2006-06-28 2013-01-29 Russ Samuel H Stretch and zoom bar for displaying information
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
KR101676037B1 (ko) * 2009-12-04 2016-11-14 한국전자통신연구원 모바일 방송이 결합된 방송 시스템에서 ３차원 방송서비스 장치 및 방법
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
KR20110096494A (ko) * 2010-02-22 2011-08-30 엘지전자 주식회사 전자 장치 및 입체영상 재생 방법
WO2011105814A2 (ko) * 2010-02-23 2011-09-01 삼성전자 주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
US9681113B2 (en) * 2010-04-01 2017-06-13 Thomson Licensing Method and system of using floating window in three-dimensional (3D) presentation
JPWO2012017643A1 (ja) * 2010-08-06 2013-10-03 パナソニック株式会社 符号化方法、表示装置、及び復号方法
KR101783608B1 (ko) * 2010-12-02 2017-10-10 엘지전자 주식회사 전자 장치 및 입체감 조정 방법
KR20120101881A (ko) * 2011-03-07 2012-09-17 삼성전자주식회사 영상 디스플레이 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012182643A (ja) * 2011-03-01 2012-09-20 Sharp Corp 再生装置及びそれを用いたテレビジョン受信装置、再生方法、プログラム

Also Published As

Publication number Publication date
KR20140114291A (ko) 2014-09-26
US9998800B2 (en) 2018-06-12
US20140320597A1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
US10129525B2 (en) Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
US9055280B2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
JP6034420B2 (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
KR101353115B1 (ko) 비디오 컨텐트를 인코딩하는 방법
JP5785193B2 (ja) 三次元マルチメディア・サービスを提供するためのデータストリーム生成方法及びその装置、三次元マルチメディア・サービスを提供するためのデータストリーム受信方法及びその装置
KR101342294B1 (ko) 3ｄ ｔｖ를 위한 스테레오뷰들의 사이멀캐스트
JP6013920B2 (ja) ビデオコンテンツを処理するための装置および方法
KR101819736B1 (ko) 3ｄ 비디오 방송에서의 보조 데이터
US9210354B2 (en) Method and apparatus for reception and transmission
KR101653319B1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
CA2760100A1 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
US8953019B2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
WO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR101960315B1 (ko) 3d 서비스 처리 방법 및 장치
US9270972B2 (en) Method for 3DTV multiplexing and apparatus thereof
KR101844236B1 (ko) 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
KR20140000128A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
KR102219419B1 (ko) 비대칭 종횡비 영상을 이용한 ３ｄ 방송 서비스 제공 방법 및 장치, 그리고, ３ｄ 방송 서비스 재생 방법 및 장치
WO2014109321A1 (ja) 送信装置、送信方法、受信装置および受信方法
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
KR20140053938A (ko) 신호 송신 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant