KR20160062716A - 3dtv 방송 송수신 장치 및 방법 - Google Patents

3dtv 방송 송수신 장치 및 방법 Download PDF

Info

Publication number
KR20160062716A
KR20160062716A KR1020150164947A KR20150164947A KR20160062716A KR 20160062716 A KR20160062716 A KR 20160062716A KR 1020150164947 A KR1020150164947 A KR 1020150164947A KR 20150164947 A KR20150164947 A KR 20150164947A KR 20160062716 A KR20160062716 A KR 20160062716A
Authority
KR
South Korea
Prior art keywords
image
additional
base layer
channel
information data
Prior art date
Application number
KR1020150164947A
Other languages
English (en)
Other versions
KR102440395B1 (ko
Inventor
김성훈
이주영
정세윤
김휘용
최진수
강동욱
곽진석
이민석
정경훈
홍석진
Original Assignee
한국전자통신연구원
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 국민대학교산학협력단 filed Critical 한국전자통신연구원
Priority to US14/952,823 priority Critical patent/US10469856B2/en
Publication of KR20160062716A publication Critical patent/KR20160062716A/ko
Application granted granted Critical
Publication of KR102440395B1 publication Critical patent/KR102440395B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N13/0003—
    • H04N13/0007—
    • H04N13/0048—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

3DTV 방송 송신 장치는 기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하고, 부가영상과 상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 각각 부호화한 후, 상기 기준영상의 기본계층 스트림과 향상계층 스트림을 각각 기본계층 채널과 향상계층채널을 통해 전송하고, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널 또는 상기 향상계층 채널을 통해 전송한다.

Description

3DTV 방송 송수신 장치 및 방법{APPARATUS AND METHOD FOR TRANSMITTING AND RECEIVING 3DTV BROADCASTING}
본 발명은 3DTV 방송 송수신 장치 및 방법에 관한 것으로, 특히 기준영상(예를 들면, 좌영상)과 부가영상(예를 들면, 우영상)에 독립적인 영상 부호화기를 사용하지 않고 계층적 영상 부호화기를 사용하여 고정/이동방송을 방송하는 상황에서 고화질 3D 영상을 제공할 수 있는 3DTV 방송 송수신 장치 및 방법에 관한 것이다.
기존의 고정 및 이동방송 융합형 3DTV 서비스의 경우, 송신단은 양안식 기준영상과 부가영상을 전송하기 위해 기준영상과 부가영상에 각각 독립적인 영상 부호화기를 사용하여 기준영상을 고정 TV 채널로 전송하고 부가영상을 이동 TV 채널로 전송한다. 또한 송신단은 기준영상과 부가영상 사이의 해상도 차이가 심할 경우 부가영상의 화질 개선을 위해 VEI(Video Enhancement Information)라는 데이터를 고정 TV 채널로 추가 전송한다. 그러면 수신단에서 VEI를 수신하여 VEI 관련 후처리를 거쳐 부가영상의 화질을 개선한다.
그러나 기존 융합형 3DTV 방식은 반드시 각 채널당 독립적인 영상 부호화기를 사용하여 고정 TV 채널과 이동 TV 채널에 각각 기준영상과 부가영상을 동시에 방송하는 사이멀캐스트(simulcast) 방송 환경을 전제로 하고 있다.
만일 방송사에서 효율적인 주파수 활용을 위해 UEP(unequal error protection) 전송 기반에 계층적 영상 부호화기를 적용하여 기본 계층(base layer)은 전송채널 환경이 열악한 이동 TV 방송 환경을 위한 HDTV 해상도 서비스를 목표로 하고, 보다 수신환경이 좋은 고정 TV 방송 환경에서는 향상 계층(enhancement layer)을 추가로 수신하여 UHDTV 2DTV 서비스를 제공한다면, 기본 계층과 향상 계층 모두 기준영상의 정보만 전송하게 된다.
따라서 UEP 전송 기반에 기준영상만을 이용하여 스케일러블 비디오 코딩을 사용하는 방송 서비스 환경에서는 3D 영상 합성을 위해 부가영상이 이동 TV 채널로 동시에 전송되어야 하는 기존의 융합형 3DTV 방식으로 3D 서비스 제공이 불가능하다.
본 발명이 해결하려는 과제는 고정 TV 채널과 이동 TV 채널에 각각 기준영상 및 부가영상을 동시에 방송하는 사이멀캐스트 방송 환경이 아닌 상황, 다시 말해 기준영상과 부가영상에 독립적인 영상 부호화기를 사용하지 않고 계층적 영상 부호화기를 사용하여 고정/이동방송을 방송하는 상황에서 고화질 3D 영상을 제공할 수 있는 3DTV 방송 송수신 장치 및 방법을 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 3DTV 방송 송신 장치의 방송 송신 방법이 제공된다. 3DTV 방송 송신 방법은 기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하는 단계, 부가영상을 부호화하는 단계, 상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 부호화하는 단계, 상기 기준영상의 기본계층 스트림과 향상계층 스트림을 각각 기본계층 채널과 향상계층채널을 통해 전송하는 단계, 그리고 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널 또는 상기 향상계층 채널을 통해 전송하는 단계를 포함한다.
상기 부가영상의 해상도는 상기 기준영상의 해상도보다 낮을 수 있다.
상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 전송하는 단계는 이동 방송의 경우, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널을 통해 전송하는 단계, 그리고 고정 방송의 경우, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 향상계층 채널을 통해 전송하는 단계를 포함할 수 있다.
상기 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하는 단계는 상기 기준영상의 해상도보다 낮은 해상도에 해당하는 영상을 압축하여 기본계층 스트림을 생성하는 단계, 그리고 상기 기본계층 스트림으로부터 복호 가능한 영상과 원래의 상기 기준 영상간의 상이한 정보에 해당하는 차분 영상을 압축하여 상기 향상계층 스트림을 생성하는 단계를 포함할 수 있다.
상기 화질개선정보 데이터를 부호화하는 단계는 상기 기준영상과 상기 부가영상을 비교하여 상기 화질개선정보 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 다른 실시 예에 따르면, 3DTV 방송 수신 장치의 방송 수신 방법이 제공된다. 3DTV 방송 수신 방법은 기본계층 채널과 향상계층 채널을 통해서 각각 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화된 기준영상의 기본계층 스트림과 향상계층 스트림을 수신하는 단계, 상기 기본계층 채널 또는 상기 향상계층 채널을 통해서 상기 부가영상의 화질개선을 위한 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계, 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 단계, 그리고 상기 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생하는 단계를 포함한다.
상기 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계는 이동 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터를 상기 기본계층 채널을 통해 수신하는 단계를 포함하고, 상기 3차원 영상을 재생하는 단계는 상기 이동 방송의 경우 상기 기본계층 스트림을 복호화하여 상기 기준영상을 획득하는 단계를 포함할 수 있다.
상기 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계는 고정 방송의 경우, 상기 화질개선정보 데이터와 상기 부가영상의 데이터를 상기 향상계층 채널을 통해 수신하는 단계를 포함하고, 상기 3차원 영상을 재생하는 단계는 상기 고정 방송의 경우 상기 기본계층 스트림과 상기 향상계층 스트림을 각각 복호화하여 상기 기준영상을 획득하는 단계를 포함할 수 있다.
상기 부가영상의 해상도는 상기 기준영상의 해상도보다 낮을 수 있다.
상기 부가영상의 화질을 개선하는 단계는 상기 부가영상의 해상도를 상기 기준영상의 해상도와 동일하게 변환하는 단계, 그리고 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 단계를 포함하고, 상기 화질개선정보 데이터는 상기 기준영상과 상기 부가영상의 비교 결과를 토대로 생성될 수 있다.
본 발명의 또 다른 실시 예에 따르면, 3DTV 방송 송신 장치가 제공된다. 3DTV 방송 송신 장치는 기준영상 계층적 영상 부호화기, 부가영상 부호화기, 화질개선정보 부호화기, 채널 선택부, 그리고 전송부를 포함한다. 상기 기준영상 계층적 영상 부호화기는 기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성한다. 상기 부가영상 부호화기는 상기 기준영상의 해상도보다 낮은 부가영상을 부호화한다. 상기 화질개선정보 부호화기는 상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 부호화한다. 상기 채널 선택부는 상기 기준영상의 기본계층 스트림과 향상계층 스트림의 전송채널로 각각 기본계층 채널과 향상계층채널을 선택하고, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송 채널로 상기 기본계층 채널 또는 상기 향상계층 채널을 선택한다. 그리고 상기 전송부는 상기 기준영상의 기본계층 스트림과 향상계층 스트림, 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 각각 선택된 전송채널을 통해 전송한다.
상기 3DTV 방송 송신 장치는 상기 기준영상과 상기 부가영상의 비교결과를 토대로 상기 화질개선정보 데이터를 생성하는 화질개선정보 생성부를 더 포함할 수 있다.
상기 채널 선택부는 이동 방송의 경우 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송채널로 상기 기본계층 채널을 선택하고, 고정 방송의 경우 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송 채널로 상기 향상계층 채널을 선택할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 3DTV 방송 수신 장치가 제공된다. 3DTV 방송 수신 장치는 기준영상 계층적 영상 복호화기, 제1 및 제2 복호화기, 영상 선택부, 화질 개선부, 그리고 재생부를 포함한다. 상기 기준영상 계층적 영상 복호화기는 기본계층 채널과 향상계층 채널을 통해서 각각 수신된 기준영상의 기본계층 스트림과 향상계층 스트림을 계층적 영상 복호화 방식으로 복호화하여 제1 영상과 제2 영상을 획득한다. 상기 제1 및 제2 복호화기는 상기 기본계층 채널 또는 상기 향상계층 채널을 통해서 수신된, 상기 기준영상보다 낮은 해상도를 가지는 부가영상의 화질개선을 위한 화질개선정보 데이터와 상기 부가영상의 데이터를, 각각 복호화한다. 상기 영상 선택부는 상기 기준영상으로 제1 영상과 제2 영상 중 하나를 선택한다. 상기 화질 개선부는 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선한다. 그리고 상기 재생부는 상기 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생한다.
이동 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터는 상기 기본계층 채널을 통해 전송되고, 고정 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터는 상기 향상계층 채널을 통해 전송될 수 있다.
상기 영상 선택부는 이동 방송의 경우 상기 기준영상으로 상기 제1 영상을 선택하고, 고정 방송의 경우 상기 기준영상으로 상기 제2 영상을 선택할 수 있다.
상기 화질 개선부는 상기 부가영상의 해상도를 상기 기준영상의 해상도와 동일하게 변환하고, 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선할 수 있다.
본 발명의 실시 예에 의하면, 독립된 영상 부호화기를 각각 사용하여 부호화한 기준영상 및 부가영상이 고정 방송 채널과 이동 방송 채널로 각각 사이멀캐스팅 되지 않더라도 효율적으로 이동 HD급 또는 고정 UHD급 3DTV 방송 서비스를 지원할 수 있다.
또한 3D 서비스를 위한 VEI 정보 및 부가영상을 방송사의 선택에 따라 기본계층 채널 또는 향상 계층 채널로 전송할 수 있으므로, 방송사의 서비스 모델에 따라 이동 HD 또는 고정 UHD용 3D 서비스를 선택적으로 지원할 수 있다.
도 1은 본 발명의 실시 예에 따른 3DTV 방송 송신 장치를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 3DTV 방송 송신 방법을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 3DTV 방송 수신 장치를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 3DTV 방송 수신 방법을 나타낸 흐름도이다.
도 5 및 도 6은 각각 본 발명의 실시 예에 따른 3DTV 서비스의 일 예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 3DTV 방송 송수신 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 3DTV 방송 송신 장치를 나타낸 도면이고, 도 2는 본 발명의 실시 예에 따른 3DTV 방송 송신 방법을 나타낸 도면이다.
도 1에 도시된 3DTV 방송 송신 장치(100)에 의해 송신되는 콘텐츠는 영상, 동영상, 텍스트 등이 될 수 있고, 특히 영상 중에서 3차원(3-dementional, 3D) 영상은 좌영상 및 우영상을 포함하며, 좌영상과 우영상 중 하나는 기준(base) 영상으로 사용될 수 있고 다른 하나는 부가(additional) 영상으로 사용될 수 있다. 부가 영상은 기준 영상과 쌍을 이루어 하나의 3D 영상을 구성하기 위해 사용되는 영상을 의미할 수 있으며 기준 영상보다 낮은 해상도의 영상일 수 있다.
도 1을 참고하면, 3DTV 방송 송신 장치(100)는 기준영상 계층적 영상 부호화기(scalable video coder)(110), 부가영상 부호화기(120), 시그널링 정보 생성부(130), 화질 개선 정보(Video Enhancement Information, VEI) 생성부(140), VEI 부호화기(150), 다중화부(160), 채널 선택부(170) 및 전송부(180)를 포함한다.
도 2를 보면, 기준영상 계층적 영상 부호화기(110)는 기준영상의 로우(raw) 데이터를 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하고(S210), 기준영상의 기본계층 스트림과 향상계층 스트림을 다중화부(160)로 출력한다.
기준영상 계층적 영상 부호화기(110)는 기준영상의 해상도보다 낮은 해상도에 해당하는 영상을 하나의 비트스트림으로 압축하여 기본계층 스트림을 생성하고, 기본계층 스트림으로부터 복호 가능한 영상과 원래의 영상간의 상이한 정보에 해당하는 차분 영상을 또 다른 비트스트림으로 압축하여 향상계층 스트림을 생성할 수 있다. 즉 향상 계층 데이터는 고화질의 기준영상을 제공하기 위한 추가적인 데이터이다. 예를 들어, 기본 계층 스트림은 HD(High Definition) 해상도를 지원할 수 있고, 기본 계층 스트림과 향상 계층 스트림이 결합되어 UHD(Ultra High Definition) 해상도를 지원할 수 있다.
부가영상 부호화기(120)는 부가영상의 로우 데이터를 정해진 부호화 방식을 이용하여 부호화하고(S220), 부호화한 부가영상 데이터를 다중화부(160)로 출력한다. 부가영상 부호화기(120)는 부가영상의 로우 데이터를 HEVC(High Efficiency Video Coding)나 H.264 방식으로 부호화할 수 있다. 부가영상 부호화기(120)에 의해 부호화된 부가영상 데이터는 MPEG-TS 또는 IP 스트림 형태로 출력된다.
시그널링 정보 생성부(130)는 시그널링 정보를 생성하고(S230), 시그널링 정보를 MPEG-TS 또는 IP 스트림 형태로 다중화부(160)로 출력한다. 시그널링 정보는 3DTV 서비스의 종류, 부가영상의 영상 포맷, 기준영상이 좌영상인지 우영상인지에 대한 정보, 기준영상의 재생 시간과 부가영상의 재생 시간 사이의 오차 정보 등을 포함할 수 있다.
VEI 생성부(140)는 부가영상의 화질개선을 위한 VEI 데이터를 생성한다(S240). VEI 생성부(140)는 부가영상과 기준영상을 비교하고, 비교 결과를 토대로 VEI 정보를 생성할 수 있다. 부가영상의 해상도는 기준영상의 해상도보다 낮으므로, 부가영상의 데이터와 기준영상의 비교를 위해 기준영상의 해상도를 부가영상과 동일한 해상도로 변환시킬 수 있다. VEI 생성부(140)는 부가영상과 기준영상의 기본계층 스트림을 비교할 수도 있다. VEI 데이터는 부가영상의 화질 개선을 위해 기준 영상과 부가영상 중 어느 영상의 데이터를 사용하였는지를 나타내는 모드 정보를 포함할 수 있다. 낮은 해상도의 부가영상을 기준영상과 동일한 크기로 확장하기 위해서 기준영상과 부가영상 중 더 우수한 영상 정보를 사용하여 대체함으로써 부가영상의 화질을 개선할 수 있다. 이러한 원리를 사용하여 VEI 생성부(140)는 VEI 데이터를 생성할 수 있다. 이렇게 생성된 VEI 데이터를 이용하여 3DTV 방송 수신 장치에서는 부가영상의 화질을 기준영상의 화질에 가깝게 향상시킬 수가 있다.
VEI 부호화기(150)는 VEI 데이터를 부호화하고(S250), 부호화한 VEI 데이터를 MPEG-TS 또는 IP 스트림 형태로 다중화부(160)로 출력한다. VEI 부호화기(150)는 VEI 데이터를 HEVC나 H.264 방식으로 부호화할 수 있다.
다중화부(160)는 기준영상의 기본계층 스트림과 향상계층 스트림, 부호화된 부가영상, 시그널링 정보 및 VEI 데이터를 다중화하여 출력한다(S260). 기준영상의 기본계층 스트림과 향상계층 스트림, 부호화된 부가영상, 시그널링 정보 및 VEI 데이터가 MPEG-TS 형태인 경우에 다중화부(160)는 이들을 다중화하여 MPEG-TS로 출력할 수 있다. 기준영상의 기본계층 스트림, 향상계층 스트림, 부호화된 부가영상, 시그널링 정보 및 부가 데이터가 IP 스트림 형태인 경우에 이들을 다중화하여 IP 스트림 형태로 출력할 수 있다. 이하의 설명부터는 편의상 다중화부(160)의 출력이 MPEG-TS인 것으로 가정하고 설명한다.
채널 선택부(170)는 방송사에서 제공하는 3D 서비스에 따라서 기준영상의 기본계층 데이터에 해당하는 MPEG-TS, 향상계층 데이터에 해당하는 MPEG-TS, 시그널링 정보에 해당하는 MPEG-TS, 부가영상 및 VEI 데이터에 해당하는 MPEG-TS의 전송 채널을 선택한다(S270).
채널 선택부(170)는 기준영상의 기본 계층 스트림에 해당하는 MPEG-TS의 전송 채널과 기준영상의 향상 계층 스트림에 해당하는 MPEG-TS의 전송 채널을 각각 기본계층 채널과 향상계층 채널로 선택하고, 부가영상 및 VEI 데이터에 해당하는 MPEG-TS의 전송 채널로 기본계층 채널 또는 향상계층 채널을 선택할 수 있다. 부가영상 및 VEI 데이터에 해당하는 MPEG-TS의 전송 채널로 기본계층 채널이 선택되는 경우, 기준영상의 기본 계층 스트림과 부가 영상을 이용하여 이동 HD급 3D 서비스 제공이 가능해진다. 부가영상 및 VEI 데이터에 해당하는 MPEG-TS의 전송 채널로 향상계층 채널이 선택되는 경우, 기준영상의 기본 계층 스트림과 기준영상의 향상 계층 스트림 및 부가 영상을 이용하여 고정 UHD급의 3D 서비스 제공이 가능해진다.
또한 채널 선택부(170)는 기준영상에 해당하는 MPEG-TS, 시그널링 정보에 해당하는 MPEG-TS, 부가영상 및 VEI 데이터에 해당하는 MPEG-TS을 각각 물리계층 파이프(physical layer pipe, PLP) 스트림으로 변환하고, 각 PLP 스트림에 UEP(unequal error protection) 채널 부호 기법을 적용하여 전송부(180)로 출력한다. 즉 채널 선택기(170)는 각 PLP 스트림에 대해 부호율이 다른 FEC를 적용하여 오류를 정정할 수 있다.
전송부(180)는 복수의 PLP 스트림을 정해진 변조 방식으로 변조하여 선택된 전송 채널을 통해 전송한다(S280). 변조 방식으로 예를 들면 OFDM 변조 방식이 사용될 수 있다.
도 3은 본 발명의 실시 예에 따른 3DTV 방송 수신 장치를 나타낸 도면이고, 도 4는 본 발명의 실시 예에 3DTV 방송 수신 방법을 나타낸 흐름도이다.
도 3을 참고하면, 3DTV 방송 수신 장치(300)는 수신부(310), 역다중화부(320), 기준영상 계층적 영상 복호화기(330), 부가영상 복호화기(340), VEI 복호화기(350), 영상 선택부(360), 화질 제어부(380) 및 재생부(390)를 포함한다.
도 4를 보면, 수신부(310)는 복수의 PLP 스트림을 수신하고(S410), 수신한 복수의 PLP 스트림을 복조하여 다중화되어 있는 MPEG-TS를 추출한다.
역다중화부(320)는 MPEG-TS를 역다중화하여 기준영상, 시그널링 정보, 부가영상 및 VEI 데이터에 해당하는 MPEG-TS로 분리한다(S420). 역다중화부(320)는 기준영상에 해당하는 MPEG-TS를 기준영상 계층적 영상 복호화기(330)로 전달하고, 부가영상에 해당하는 MPEG-TS를 부가영상 복호화기(340)로 전달하며, VEI 데이터에 해당하는 MPEG-TS를 VEI 복호화기(350)로 전달한다. 또한 역다중화부(320)는 시그널링 정보에 해당하는 MPEG-TS로부터 기준영상의 재생 시간과 부가영상의 재생 시간 사이의 오차 정보를 추출하고(S430), 오차 정보를 재생부(390)로 전달한다.
기준영상 계층적 영상 복호화기(330)는 기준영상의 기본계층 스트림과 향상계층 스트림에 해당하는 MPEG-TS를 계층적 영상 복호화 방식으로 복호화하여 제1 영상과 제2 영상을 획득하고(S440), 제1 영상과 제2 영상을 영상 선택부(360)로 전달한다. 계층적 영상 복호화 방식은 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식에 대응하는 복호화 방식을 의미한다. 기준영상 계층적 영상 복호화기(330)는 기준영상의 기본계층 스트림에 해당하는 MPEG-TS만을 복호화하여 제1 영상을 획득하고, 기준영상의 기본계층 스트림과 향상계층 스트림에 해당하는 MPEG-TS를 복호화하여 제2 영상을 획득할 수 있다. 기준영상 계층적 영상 복호화기(330)는 기준영상에 해당하는 MPEG-TS로부터 기준영상의 재생 시간을 추출하여 재생부(390)로 출력한다.
부가영상 복호화기(340)는 부가영상을 정해진 복호화 방식을 이용하여 복호화하고(S450), 복호화된 부가영상을 화질 제어부(380)로 출력한다. 부가영상 복호화기(340)는 HEVC나 H.264 방식으로 복호화할 수 있다. 또한 부가영상 복호화기(340)는 부가영상에 해당하는 MPEG-TS로부터 부가영상의 재생 시간을 추출하여 재생부(390)로 출력한다.
VEI 복호화기(350)는 VEI 데이터에 해당하는 MPEG-TS를 정해진 복호화 방식을 이용하여 복호화하고(S460), 복호화된 VEI 데이터를 화질 제어부(380)로 출력한다. VEI 복호화기(350)는 HEVC나 H.264 방식으로 복호화할 수 있다.
영상 선택부(360)는 방송사에서 제공하는 3D 서비스에 따라서 제1 영상과 제2 영상 중에서 하나의 영상을 기준영상으로 선택하고(S470), 선택한 영상을 화질 제어부(380)로 출력한다. 영상 선택부(360)는 이동 HD급 3D 서비스의 경우 제1 영상을 선택하고, 고정 UHD급 3D 서비스의 경우 제2 영상을 선택할 수 있다.
한편, 기준영상 계층적 영상 복호화기(330)에서 방송사에서 제공하는 3D 서비스에 따라서 기본계층 스트림에 해당하는 MPEG-TS만을 복호화하거나 기본계층 스트림과 향상계층 스트림에 해당하는 MPEG-TS를 복호화할 수 있다. 이 경우, 영상 선택부(360)는 기준영상 계층적 영상 복호화기(330)로부터 출력되는 제1 영상 또는 제2 영상을 화질 제어부(380)로 전달한다.
화질 제어부(380)는 VEI 데이터를 이용하여 부가영상의 화질을 기준영상의 화질에 가깝게 개선한다(S480). 화질 제어부(380)는 부가영상의 화질을 개선하기 위해 부가영상의 해상도를 기준영상과 동일한 해상도로 변환할 수 있다.
재생부(390)는 기준영상과 화질이 개선된 부가영상을 합성하여 3D 영상을 생성한 후 기준영상의 재생 시간, 부가영상의 재생 시간 및 기준영상의 재생 시간과 부가영상의 재생 시간 사이의 오차 정보를 이용하여 3D 영상을 재생한다(S490).
도 5 및 도 6은 각각 본 발명의 실시 예에 따른 3DTV 서비스의 일 예를 나타낸 도면이다.
도 5를 참고하면, 3DTV 방송 송신 장치(100)에 의해 기준영상의 기본 계층 스트림 및 향상 계층 스트림은 각각 기본계층 채널과 향상계층 채널로 전송되고 부가영상 및 VEI 데이터가 향상계층 채널로 전송되면, 고정 방송을 방송하는 3DTV 방송 수신 장치(300)에 의해 기본 계층 스트림 및 향상 계층 스트림에 해당하는 기준영상과 부가영상이 합성되어 고정 UHD급 3D 서비스가 제공될 수 있다.
또한 도 6을 참고하면, 3DTV 방송 송신 장치(100)에 의해 기준영상의 기본 계층 스트림 및 향상 계층 스트림은 각각 기본계층 채널과 향상계층 채널로 전송되고 부가영상 및 VEI 데이터가 기본계층 채널로 전송되면, 이동 방송을 방송하는 3DTV 방송 수신 장치(300)에 의해 기본 계층 스트림에 해당하는 기준영상과 부가영상이 합성되어 이동 HD급 3D 서비스가 제공될 수 있다.
이와 같이, 스케일러블 비디오 코덱을 적용하는 경우에도 저해상도의 부가영상을 VEI 데이터와 함께 선택적으로 기본계층 채널이나 향상계층 채널로 전송할 수 있으므로, 고정 UHD급 3D 서비스 및 이동 HD급 3D 서비스가 가능해진다.
발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (17)

  1. 3DTV 방송 송신 장치의 방송 송신 방법으로서,
    기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하는 단계,
    부가영상을 부호화하는 단계,
    상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 부호화하는 단계,
    상기 기준영상의 기본계층 스트림과 향상계층 스트림을 각각 기본계층 채널과 향상계층채널을 통해 전송하는 단계, 그리고
    상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널 또는 상기 향상계층 채널을 통해 전송하는 단계
    를 포함하는 3DTV 방송 송신 방법.
  2. 제1항에서,
    상기 부가영상의 해상도는 상기 기준영상의 해상도보다 낮은 3DTV 방송 송신 방법.
  3. 제1항에서,
    상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 전송하는 단계는
    이동 방송의 경우, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널을 통해 전송하는 단계, 그리고
    고정 방송의 경우, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 향상계층 채널을 통해 전송하는 단계를 포함하는 3DTV 방송 송신 방법.
  4. 제1항에서,
    상기 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하는 단계는
    상기 기준영상의 해상도보다 낮은 해상도에 해당하는 영상을 압축하여 기본계층 스트림을 생성하는 단계, 그리고
    상기 기본계층 스트림으로부터 복호 가능한 영상과 원래의 상기 기준 영상간의 상이한 정보에 해당하는 차분 영상을 압축하여 상기 향상계층 스트림을 생성하는 단계를 포함하는 3DTV 방송 송신 방법.
  5. 제1항에서,
    상기 화질개선정보 데이터를 부호화하는 단계는 상기 기준영상과 상기 부가영상을 비교하여 상기 화질개선정보 데이터를 생성하는 단계를 포함하는 3DTV 방송 송신 방법.
  6. 3DTV 방송 수신 장치의 방송 수신 방법으로서,
    기본계층 채널과 향상계층 채널을 통해서 각각 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화된 기준영상의 기본계층 스트림과 향상계층 스트림을 수신하는 단계,
    상기 기본계층 채널 또는 상기 향상계층 채널을 통해서 상기 부가영상의 화질개선을 위한 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계,
    상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 단계, 그리고
    상기 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생하는 단계를 포함하는 3DTV 방송 수신 방법.
  7. 제6항에서,
    상기 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계는 이동 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터를 상기 기본계층 채널을 통해 수신하는 단계를 포함하고,
    상기 3차원 영상을 재생하는 단계는 상기 이동 방송의 경우 상기 기본계층 스트림을 복호화하여 상기 기준영상을 획득하는 단계를 포함하는 3DTV 방송 수신 방법.
  8. 제6항에서,
    상기 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계는 고정 방송의 경우, 상기 화질개선정보 데이터와 상기 부가영상의 데이터를 상기 향상계층 채널을 통해 수신하는 단계를 포함하고,
    상기 3차원 영상을 재생하는 단계는 상기 고정 방송의 경우 상기 기본계층 스트림과 상기 향상계층 스트림을 각각 복호화하여 상기 기준영상을 획득하는 단계를 포함하는 3DTV 방송 수신 방법.
  9. 제6항에서,
    상기 부가영상의 해상도는 상기 기준영상의 해상도보다 낮은 3DTV 방송 수신 방법.
  10. 제6항에서,
    상기 부가영상의 화질을 개선하는 단계는
    상기 부가영상의 해상도를 상기 기준영상의 해상도와 동일하게 변환하는 단계, 그리고
    상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 단계를 포함하고,
    상기 화질개선정보 데이터는 상기 기준영상과 상기 부가영상의 비교 결과를 토대로 생성되는 3DTV 방송 수신 방법.
  11. 3DTV 방송 송신 장치로서,
    기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하는 기준영상 계층적 영상 부호화기,
    상기 기준영상의 해상도보다 낮은 부가영상을 부호화하는 부가영상 부호화기,
    상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 부호화하는 화질개선정보 부호화기,
    상기 기준영상의 기본계층 스트림과 향상계층 스트림의 전송채널로 각각 기본계층 채널과 향상계층채널을 선택하고, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송 채널로 상기 기본계층 채널 또는 상기 향상계층 채널을 선택하는 채널 선택부, 그리고
    상기 기준영상의 기본계층 스트림과 향상계층 스트림, 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 각각 선택된 전송채널을 통해 전송하는 전송부
    를 포함하는 3DTV 방송 송신 장치.
  12. 제11항에서,
    상기 기준영상과 상기 부가영상의 비교결과를 토대로 상기 화질개선정보 데이터를 생성하는 화질개선정보 생성부
    를 더 포함하는 3DTV 방송 송신 장치.
  13. 제11항에서,
    상기 채널 선택부는 이동 방송의 경우 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송채널로 상기 기본계층 채널을 선택하고, 고정 방송의 경우 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송 채널로 상기 향상계층 채널을 선택하는 3DTV 방송 송신 장치.
  14. 3DTV 방송 수신 장치로서,
    기본계층 채널과 향상계층 채널을 통해서 각각 수신된 기준영상의 기본계층 스트림과 향상계층 스트림을 계층적 영상 복호화 방식으로 복호화하여 제1 영상과 제2 영상을 획득하는 기준영상 계층적 영상 복호화기,
    상기 기본계층 채널 또는 상기 향상계층 채널을 통해서 수신된, 상기 기준영상보다 낮은 해상도를 가지는 부가영상의 화질개선을 위한 화질개선정보 데이터와 상기 부가영상의 데이터를, 각각 복호화하는 제1 및 제2 복호화기,
    상기 기준영상으로 제1 영상과 제2 영상 중 하나를 선택하는 영상 선택부,
    상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 화질 개선부, 그리고
    상기 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생하는 재생부
    를 포함하는 3DTV 방송 수신 장치.
  15. 제14항에서,
    이동 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터는 상기 기본계층 채널을 통해 전송되고, 고정 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터는 상기 향상계층 채널을 통해 전송되는 3DTV 방송 수신 장치.
  16. 제15항에서,
    상기 영상 선택부는 이동 방송의 경우 상기 기준영상으로 상기 제1 영상을 선택하고, 고정 방송의 경우 상기 기준영상으로 상기 제2 영상을 선택하는 3DTV 방송 수신 장치.
  17. 제14항에서,
    상기 화질 개선부는 상기 부가영상의 해상도를 상기 기준영상의 해상도와 동일하게 변환하고, 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 3DTV 방송 수신 장치.
KR1020150164947A 2014-11-25 2015-11-24 3dtv 방송 송수신 장치 및 방법 KR102440395B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/952,823 US10469856B2 (en) 2014-11-25 2015-11-25 Apparatus and method for transmitting and receiving 3DTV broadcasting

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140165653 2014-11-25
KR1020140165653 2014-11-25

Publications (2)

Publication Number Publication Date
KR20160062716A true KR20160062716A (ko) 2016-06-02
KR102440395B1 KR102440395B1 (ko) 2022-09-05

Family

ID=56135790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150164947A KR102440395B1 (ko) 2014-11-25 2015-11-24 3dtv 방송 송수신 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102440395B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094262A (ko) * 2017-02-15 2018-08-23 한국전자통신연구원 고정/이동방송 융합형 3DTV에서 화질 개선을 위한 부가 데이터(Video Enhancement Information, VEI) 시그널링 방법 및 장치
US10123093B2 (en) 2015-02-11 2018-11-06 Electronics And Telecommunications Research Institute Apparatus and method for transmitting and receiving 3DTV broadcasting

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266052A1 (en) * 2007-12-10 2010-10-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system
US20140245371A1 (en) * 2011-10-10 2014-08-28 Kai Media Co. Device and method for providing content by accessing content stream in hybrid 3d tv, and device and method for reproducing content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266052A1 (en) * 2007-12-10 2010-10-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system
US20140245371A1 (en) * 2011-10-10 2014-08-28 Kai Media Co. Device and method for providing content by accessing content stream in hybrid 3d tv, and device and method for reproducing content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123093B2 (en) 2015-02-11 2018-11-06 Electronics And Telecommunications Research Institute Apparatus and method for transmitting and receiving 3DTV broadcasting
KR20180094262A (ko) * 2017-02-15 2018-08-23 한국전자통신연구원 고정/이동방송 융합형 3DTV에서 화질 개선을 위한 부가 데이터(Video Enhancement Information, VEI) 시그널링 방법 및 장치

Also Published As

Publication number Publication date
KR102440395B1 (ko) 2022-09-05

Similar Documents

Publication Publication Date Title
JP5543590B2 (ja) モバイルマルチメディア放送システムにおける階層送信方法、階層受信方法、階層送信装置、及び階層受信装置
US20080310499A1 (en) System and Method for Transmitting/Receiving Three Dimensional Video Based on Digital Broadcasting
US10469856B2 (en) Apparatus and method for transmitting and receiving 3DTV broadcasting
CN102210144B (zh) 用于快速频道转换的方法和系统
KR102464061B1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
WO2007066868A1 (en) Method for providing dmb-based 3d image service, and decoding apparatus and method for dmb-based 3d image service
US10812841B2 (en) Apparatus for encoding and transcoding which applies multi-format ultra-high definition high-efficiency codec
KR20110101099A (ko) 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
US9264782B2 (en) Method and system for providing realistic broadcasting image
JP2023100978A (ja) ３ｄｔｖ放送送受信装置
US20140002598A1 (en) Transport system and client system for hybrid 3d content service
KR102120155B1 (ko) 모바일 융합형 3dtv 방송 송수신 장치 및 방법
US9271017B2 (en) Apparatus and method for transmitting and receiving broadcasting
KR102440395B1 (ko) 3dtv 방송 송수신 장치 및 방법
KR101697385B1 (ko) 채널 적응형 계층적 방송 장치 및 방법
JP2008301335A (ja) 映像信号切替装置
KR101292893B1 (ko) 계층적 부호화 장치 및 방법, 계층적 복호화 장치 및 방법
KR20110068821A (ko) 송, 수신 장치 및 송, 수신 방법
KR101745652B1 (ko) 복호 정보 고속 취득이 가능한 방송 송신기와 수신기 및 그 방법
KR101336423B1 (ko) 계층적 부호화 장치 및 방법, 복호화 장치 및 방법
KR101336553B1 (ko) 계층적 부호화 장치 및 방법
JP2022053534A (ja) 送信装置及び受信装置
KR20170093637A (ko) 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치
JP2014060625A (ja) 映像信号送信方法、映像信号受信装置及び映像信号受信方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant