KR102440395B1 - 3dtv 방송 송수신 장치 및 방법 - Google Patents

3dtv 방송 송수신 장치 및 방법 Download PDF

Info

Publication number
KR102440395B1
KR102440395B1 KR1020150164947A KR20150164947A KR102440395B1 KR 102440395 B1 KR102440395 B1 KR 102440395B1 KR 1020150164947 A KR1020150164947 A KR 1020150164947A KR 20150164947 A KR20150164947 A KR 20150164947A KR 102440395 B1 KR102440395 B1 KR 102440395B1
Authority
KR
South Korea
Prior art keywords
image
video
additional
base layer
channel
Prior art date
Application number
KR1020150164947A
Other languages
English (en)
Other versions
KR20160062716A (ko
Inventor
김성훈
이주영
정세윤
김휘용
최진수
강동욱
곽진석
이민석
정경훈
홍석진
Original Assignee
한국전자통신연구원
국민대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 국민대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US14/952,823 priority Critical patent/US10469856B2/en
Publication of KR20160062716A publication Critical patent/KR20160062716A/ko
Application granted granted Critical
Publication of KR102440395B1 publication Critical patent/KR102440395B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

3DTV 방송 송신 장치는 기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하고, 부가영상과 상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 각각 부호화한 후, 상기 기준영상의 기본계층 스트림과 향상계층 스트림을 각각 기본계층 채널과 향상계층채널을 통해 전송하고, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널 또는 상기 향상계층 채널을 통해 전송한다.

Description

3DTV 방송 송수신 장치 및 방법{APPARATUS AND METHOD FOR TRANSMITTING AND RECEIVING 3DTV BROADCASTING}
본 발명은 3DTV 방송 송수신 장치 및 방법에 관한 것으로, 특히 기준영상(예를 들면, 좌영상)과 부가영상(예를 들면, 우영상)에 독립적인 영상 부호화기를 사용하지 않고 계층적 영상 부호화기를 사용하여 고정/이동방송을 방송하는 상황에서 고화질 3D 영상을 제공할 수 있는 3DTV 방송 송수신 장치 및 방법에 관한 것이다.
기존의 고정 및 이동방송 융합형 3DTV 서비스의 경우, 송신단은 양안식 기준영상과 부가영상을 전송하기 위해 기준영상과 부가영상에 각각 독립적인 영상 부호화기를 사용하여 기준영상을 고정 TV 채널로 전송하고 부가영상을 이동 TV 채널로 전송한다. 또한 송신단은 기준영상과 부가영상 사이의 해상도 차이가 심할 경우 부가영상의 화질 개선을 위해 VEI(Video Enhancement Information)라는 데이터를 고정 TV 채널로 추가 전송한다. 그러면 수신단에서 VEI를 수신하여 VEI 관련 후처리를 거쳐 부가영상의 화질을 개선한다.
그러나 기존 융합형 3DTV 방식은 반드시 각 채널당 독립적인 영상 부호화기를 사용하여 고정 TV 채널과 이동 TV 채널에 각각 기준영상과 부가영상을 동시에 방송하는 사이멀캐스트(simulcast) 방송 환경을 전제로 하고 있다.
만일 방송사에서 효율적인 주파수 활용을 위해 UEP(unequal error protection) 전송 기반에 계층적 영상 부호화기를 적용하여 기본 계층(base layer)은 전송채널 환경이 열악한 이동 TV 방송 환경을 위한 HDTV 해상도 서비스를 목표로 하고, 보다 수신환경이 좋은 고정 TV 방송 환경에서는 향상 계층(enhancement layer)을 추가로 수신하여 UHDTV 2DTV 서비스를 제공한다면, 기본 계층과 향상 계층 모두 기준영상의 정보만 전송하게 된다.
따라서 UEP 전송 기반에 기준영상만을 이용하여 스케일러블 비디오 코딩을 사용하는 방송 서비스 환경에서는 3D 영상 합성을 위해 부가영상이 이동 TV 채널로 동시에 전송되어야 하는 기존의 융합형 3DTV 방식으로 3D 서비스 제공이 불가능하다.
본 발명이 해결하려는 과제는 고정 TV 채널과 이동 TV 채널에 각각 기준영상 및 부가영상을 동시에 방송하는 사이멀캐스트 방송 환경이 아닌 상황, 다시 말해 기준영상과 부가영상에 독립적인 영상 부호화기를 사용하지 않고 계층적 영상 부호화기를 사용하여 고정/이동방송을 방송하는 상황에서 고화질 3D 영상을 제공할 수 있는 3DTV 방송 송수신 장치 및 방법을 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 3DTV 방송 송신 장치의 방송 송신 방법이 제공된다. 3DTV 방송 송신 방법은 기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하는 단계, 부가영상을 부호화하는 단계, 상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 부호화하는 단계, 상기 기준영상의 기본계층 스트림과 향상계층 스트림을 각각 기본계층 채널과 향상계층채널을 통해 전송하는 단계, 그리고 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널 또는 상기 향상계층 채널을 통해 전송하는 단계를 포함한다.
상기 부가영상의 해상도는 상기 기준영상의 해상도보다 낮을 수 있다.
상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 전송하는 단계는 이동 방송의 경우, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널을 통해 전송하는 단계, 그리고 고정 방송의 경우, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 향상계층 채널을 통해 전송하는 단계를 포함할 수 있다.
상기 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하는 단계는 상기 기준영상의 해상도보다 낮은 해상도에 해당하는 영상을 압축하여 기본계층 스트림을 생성하는 단계, 그리고 상기 기본계층 스트림으로부터 복호 가능한 영상과 원래의 상기 기준 영상간의 상이한 정보에 해당하는 차분 영상을 압축하여 상기 향상계층 스트림을 생성하는 단계를 포함할 수 있다.
상기 화질개선정보 데이터를 부호화하는 단계는 상기 기준영상과 상기 부가영상을 비교하여 상기 화질개선정보 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 다른 실시 예에 따르면, 3DTV 방송 수신 장치의 방송 수신 방법이 제공된다. 3DTV 방송 수신 방법은 기본계층 채널과 향상계층 채널을 통해서 각각 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화된 기준영상의 기본계층 스트림과 향상계층 스트림을 수신하는 단계, 상기 기본계층 채널 또는 상기 향상계층 채널을 통해서 상기 부가영상의 화질개선을 위한 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계, 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 단계, 그리고 상기 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생하는 단계를 포함한다.
상기 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계는 이동 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터를 상기 기본계층 채널을 통해 수신하는 단계를 포함하고, 상기 3차원 영상을 재생하는 단계는 상기 이동 방송의 경우 상기 기본계층 스트림을 복호화하여 상기 기준영상을 획득하는 단계를 포함할 수 있다.
상기 화질개선정보 데이터와 상기 부가영상의 데이터를 수신하는 단계는 고정 방송의 경우, 상기 화질개선정보 데이터와 상기 부가영상의 데이터를 상기 향상계층 채널을 통해 수신하는 단계를 포함하고, 상기 3차원 영상을 재생하는 단계는 상기 고정 방송의 경우 상기 기본계층 스트림과 상기 향상계층 스트림을 각각 복호화하여 상기 기준영상을 획득하는 단계를 포함할 수 있다.
상기 부가영상의 해상도는 상기 기준영상의 해상도보다 낮을 수 있다.
상기 부가영상의 화질을 개선하는 단계는 상기 부가영상의 해상도를 상기 기준영상의 해상도와 동일하게 변환하는 단계, 그리고 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 단계를 포함하고, 상기 화질개선정보 데이터는 상기 기준영상과 상기 부가영상의 비교 결과를 토대로 생성될 수 있다.
본 발명의 또 다른 실시 예에 따르면, 3DTV 방송 송신 장치가 제공된다. 3DTV 방송 송신 장치는 기준영상 계층적 영상 부호화기, 부가영상 부호화기, 화질개선정보 부호화기, 채널 선택부, 그리고 전송부를 포함한다. 상기 기준영상 계층적 영상 부호화기는 기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성한다. 상기 부가영상 부호화기는 상기 기준영상의 해상도보다 낮은 부가영상을 부호화한다. 상기 화질개선정보 부호화기는 상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 부호화한다. 상기 채널 선택부는 상기 기준영상의 기본계층 스트림과 향상계층 스트림의 전송채널로 각각 기본계층 채널과 향상계층채널을 선택하고, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송 채널로 상기 기본계층 채널 또는 상기 향상계층 채널을 선택한다. 그리고 상기 전송부는 상기 기준영상의 기본계층 스트림과 향상계층 스트림, 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 각각 선택된 전송채널을 통해 전송한다.
상기 3DTV 방송 송신 장치는 상기 기준영상과 상기 부가영상의 비교결과를 토대로 상기 화질개선정보 데이터를 생성하는 화질개선정보 생성부를 더 포함할 수 있다.
상기 채널 선택부는 이동 방송의 경우 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송채널로 상기 기본계층 채널을 선택하고, 고정 방송의 경우 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송 채널로 상기 향상계층 채널을 선택할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 3DTV 방송 수신 장치가 제공된다. 3DTV 방송 수신 장치는 기준영상 계층적 영상 복호화기, 제1 및 제2 복호화기, 영상 선택부, 화질 개선부, 그리고 재생부를 포함한다. 상기 기준영상 계층적 영상 복호화기는 기본계층 채널과 향상계층 채널을 통해서 각각 수신된 기준영상의 기본계층 스트림과 향상계층 스트림을 계층적 영상 복호화 방식으로 복호화하여 제1 영상과 제2 영상을 획득한다. 상기 제1 및 제2 복호화기는 상기 기본계층 채널 또는 상기 향상계층 채널을 통해서 수신된, 상기 기준영상보다 낮은 해상도를 가지는 부가영상의 화질개선을 위한 화질개선정보 데이터와 상기 부가영상의 데이터를, 각각 복호화한다. 상기 영상 선택부는 상기 기준영상으로 제1 영상과 제2 영상 중 하나를 선택한다. 상기 화질 개선부는 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선한다. 그리고 상기 재생부는 상기 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생한다.
이동 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터는 상기 기본계층 채널을 통해 전송되고, 고정 방송의 경우 상기 화질개선정보 데이터와 상기 부가영상의 데이터는 상기 향상계층 채널을 통해 전송될 수 있다.
상기 영상 선택부는 이동 방송의 경우 상기 기준영상으로 상기 제1 영상을 선택하고, 고정 방송의 경우 상기 기준영상으로 상기 제2 영상을 선택할 수 있다.
상기 화질 개선부는 상기 부가영상의 해상도를 상기 기준영상의 해상도와 동일하게 변환하고, 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선할 수 있다.
본 발명의 실시 예에 의하면, 독립된 영상 부호화기를 각각 사용하여 부호화한 기준영상 및 부가영상이 고정 방송 채널과 이동 방송 채널로 각각 사이멀캐스팅 되지 않더라도 효율적으로 이동 HD급 또는 고정 UHD급 3DTV 방송 서비스를 지원할 수 있다.
또한 3D 서비스를 위한 VEI 정보 및 부가영상을 방송사의 선택에 따라 기본계층 채널 또는 향상 계층 채널로 전송할 수 있으므로, 방송사의 서비스 모델에 따라 이동 HD 또는 고정 UHD용 3D 서비스를 선택적으로 지원할 수 있다.
도 1은 본 발명의 실시 예에 따른 3DTV 방송 송신 장치를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 3DTV 방송 송신 방법을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 3DTV 방송 수신 장치를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 3DTV 방송 수신 방법을 나타낸 흐름도이다.
도 5 및 도 6은 각각 본 발명의 실시 예에 따른 3DTV 서비스의 일 예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 3DTV 방송 송수신 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 3DTV 방송 송신 장치를 나타낸 도면이고, 도 2는 본 발명의 실시 예에 따른 3DTV 방송 송신 방법을 나타낸 도면이다.
도 1에 도시된 3DTV 방송 송신 장치(100)에 의해 송신되는 콘텐츠는 영상, 동영상, 텍스트 등이 될 수 있고, 특히 영상 중에서 3차원(3-dementional, 3D) 영상은 좌영상 및 우영상을 포함하며, 좌영상과 우영상 중 하나는 기준(base) 영상으로 사용될 수 있고 다른 하나는 부가(additional) 영상으로 사용될 수 있다. 부가 영상은 기준 영상과 쌍을 이루어 하나의 3D 영상을 구성하기 위해 사용되는 영상을 의미할 수 있으며 기준 영상보다 낮은 해상도의 영상일 수 있다.
도 1을 참고하면, 3DTV 방송 송신 장치(100)는 기준영상 계층적 영상 부호화기(scalable video coder)(110), 부가영상 부호화기(120), 시그널링 정보 생성부(130), 화질 개선 정보(Video Enhancement Information, VEI) 생성부(140), VEI 부호화기(150), 다중화부(160), 채널 선택부(170) 및 전송부(180)를 포함한다.
도 2를 보면, 기준영상 계층적 영상 부호화기(110)는 기준영상의 로우(raw) 데이터를 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 향상계층 스트림을 생성하고(S210), 기준영상의 기본계층 스트림과 향상계층 스트림을 다중화부(160)로 출력한다.
기준영상 계층적 영상 부호화기(110)는 기준영상의 해상도보다 낮은 해상도에 해당하는 영상을 하나의 비트스트림으로 압축하여 기본계층 스트림을 생성하고, 기본계층 스트림으로부터 복호 가능한 영상과 원래의 영상간의 상이한 정보에 해당하는 차분 영상을 또 다른 비트스트림으로 압축하여 향상계층 스트림을 생성할 수 있다. 즉 향상 계층 데이터는 고화질의 기준영상을 제공하기 위한 추가적인 데이터이다. 예를 들어, 기본 계층 스트림은 HD(High Definition) 해상도를 지원할 수 있고, 기본 계층 스트림과 향상 계층 스트림이 결합되어 UHD(Ultra High Definition) 해상도를 지원할 수 있다.
부가영상 부호화기(120)는 부가영상의 로우 데이터를 정해진 부호화 방식을 이용하여 부호화하고(S220), 부호화한 부가영상 데이터를 다중화부(160)로 출력한다. 부가영상 부호화기(120)는 부가영상의 로우 데이터를 HEVC(High Efficiency Video Coding)나 H.264 방식으로 부호화할 수 있다. 부가영상 부호화기(120)에 의해 부호화된 부가영상 데이터는 MPEG-TS 또는 IP 스트림 형태로 출력된다.
시그널링 정보 생성부(130)는 시그널링 정보를 생성하고(S230), 시그널링 정보를 MPEG-TS 또는 IP 스트림 형태로 다중화부(160)로 출력한다. 시그널링 정보는 3DTV 서비스의 종류, 부가영상의 영상 포맷, 기준영상이 좌영상인지 우영상인지에 대한 정보, 기준영상의 재생 시간과 부가영상의 재생 시간 사이의 오차 정보 등을 포함할 수 있다.
VEI 생성부(140)는 부가영상의 화질개선을 위한 VEI 데이터를 생성한다(S240). VEI 생성부(140)는 부가영상과 기준영상을 비교하고, 비교 결과를 토대로 VEI 정보를 생성할 수 있다. 부가영상의 해상도는 기준영상의 해상도보다 낮으므로, 부가영상의 데이터와 기준영상의 비교를 위해 기준영상의 해상도를 부가영상과 동일한 해상도로 변환시킬 수 있다. VEI 생성부(140)는 부가영상과 기준영상의 기본계층 스트림을 비교할 수도 있다. VEI 데이터는 부가영상의 화질 개선을 위해 기준 영상과 부가영상 중 어느 영상의 데이터를 사용하였는지를 나타내는 모드 정보를 포함할 수 있다. 낮은 해상도의 부가영상을 기준영상과 동일한 크기로 확장하기 위해서 기준영상과 부가영상 중 더 우수한 영상 정보를 사용하여 대체함으로써 부가영상의 화질을 개선할 수 있다. 이러한 원리를 사용하여 VEI 생성부(140)는 VEI 데이터를 생성할 수 있다. 이렇게 생성된 VEI 데이터를 이용하여 3DTV 방송 수신 장치에서는 부가영상의 화질을 기준영상의 화질에 가깝게 향상시킬 수가 있다.
VEI 부호화기(150)는 VEI 데이터를 부호화하고(S250), 부호화한 VEI 데이터를 MPEG-TS 또는 IP 스트림 형태로 다중화부(160)로 출력한다. VEI 부호화기(150)는 VEI 데이터를 HEVC나 H.264 방식으로 부호화할 수 있다.
다중화부(160)는 기준영상의 기본계층 스트림과 향상계층 스트림, 부호화된 부가영상, 시그널링 정보 및 VEI 데이터를 다중화하여 출력한다(S260). 기준영상의 기본계층 스트림과 향상계층 스트림, 부호화된 부가영상, 시그널링 정보 및 VEI 데이터가 MPEG-TS 형태인 경우에 다중화부(160)는 이들을 다중화하여 MPEG-TS로 출력할 수 있다. 기준영상의 기본계층 스트림, 향상계층 스트림, 부호화된 부가영상, 시그널링 정보 및 부가 데이터가 IP 스트림 형태인 경우에 이들을 다중화하여 IP 스트림 형태로 출력할 수 있다. 이하의 설명부터는 편의상 다중화부(160)의 출력이 MPEG-TS인 것으로 가정하고 설명한다.
채널 선택부(170)는 방송사에서 제공하는 3D 서비스에 따라서 기준영상의 기본계층 데이터에 해당하는 MPEG-TS, 향상계층 데이터에 해당하는 MPEG-TS, 시그널링 정보에 해당하는 MPEG-TS, 부가영상 및 VEI 데이터에 해당하는 MPEG-TS의 전송 채널을 선택한다(S270).
채널 선택부(170)는 기준영상의 기본 계층 스트림에 해당하는 MPEG-TS의 전송 채널과 기준영상의 향상 계층 스트림에 해당하는 MPEG-TS의 전송 채널을 각각 기본계층 채널과 향상계층 채널로 선택하고, 부가영상 및 VEI 데이터에 해당하는 MPEG-TS의 전송 채널로 기본계층 채널 또는 향상계층 채널을 선택할 수 있다. 부가영상 및 VEI 데이터에 해당하는 MPEG-TS의 전송 채널로 기본계층 채널이 선택되는 경우, 기준영상의 기본 계층 스트림과 부가 영상을 이용하여 이동 HD급 3D 서비스 제공이 가능해진다. 부가영상 및 VEI 데이터에 해당하는 MPEG-TS의 전송 채널로 향상계층 채널이 선택되는 경우, 기준영상의 기본 계층 스트림과 기준영상의 향상 계층 스트림 및 부가 영상을 이용하여 고정 UHD급의 3D 서비스 제공이 가능해진다.
또한 채널 선택부(170)는 기준영상에 해당하는 MPEG-TS, 시그널링 정보에 해당하는 MPEG-TS, 부가영상 및 VEI 데이터에 해당하는 MPEG-TS을 각각 물리계층 파이프(physical layer pipe, PLP) 스트림으로 변환하고, 각 PLP 스트림에 UEP(unequal error protection) 채널 부호 기법을 적용하여 전송부(180)로 출력한다. 즉 채널 선택기(170)는 각 PLP 스트림에 대해 부호율이 다른 FEC를 적용하여 오류를 정정할 수 있다.
전송부(180)는 복수의 PLP 스트림을 정해진 변조 방식으로 변조하여 선택된 전송 채널을 통해 전송한다(S280). 변조 방식으로 예를 들면 OFDM 변조 방식이 사용될 수 있다.
도 3은 본 발명의 실시 예에 따른 3DTV 방송 수신 장치를 나타낸 도면이고, 도 4는 본 발명의 실시 예에 3DTV 방송 수신 방법을 나타낸 흐름도이다.
도 3을 참고하면, 3DTV 방송 수신 장치(300)는 수신부(310), 역다중화부(320), 기준영상 계층적 영상 복호화기(330), 부가영상 복호화기(340), VEI 복호화기(350), 영상 선택부(360), 화질 제어부(380) 및 재생부(390)를 포함한다.
도 4를 보면, 수신부(310)는 복수의 PLP 스트림을 수신하고(S410), 수신한 복수의 PLP 스트림을 복조하여 다중화되어 있는 MPEG-TS를 추출한다.
역다중화부(320)는 MPEG-TS를 역다중화하여 기준영상, 시그널링 정보, 부가영상 및 VEI 데이터에 해당하는 MPEG-TS로 분리한다(S420). 역다중화부(320)는 기준영상에 해당하는 MPEG-TS를 기준영상 계층적 영상 복호화기(330)로 전달하고, 부가영상에 해당하는 MPEG-TS를 부가영상 복호화기(340)로 전달하며, VEI 데이터에 해당하는 MPEG-TS를 VEI 복호화기(350)로 전달한다. 또한 역다중화부(320)는 시그널링 정보에 해당하는 MPEG-TS로부터 기준영상의 재생 시간과 부가영상의 재생 시간 사이의 오차 정보를 추출하고(S430), 오차 정보를 재생부(390)로 전달한다.
기준영상 계층적 영상 복호화기(330)는 기준영상의 기본계층 스트림과 향상계층 스트림에 해당하는 MPEG-TS를 계층적 영상 복호화 방식으로 복호화하여 제1 영상과 제2 영상을 획득하고(S440), 제1 영상과 제2 영상을 영상 선택부(360)로 전달한다. 계층적 영상 복호화 방식은 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식에 대응하는 복호화 방식을 의미한다. 기준영상 계층적 영상 복호화기(330)는 기준영상의 기본계층 스트림에 해당하는 MPEG-TS만을 복호화하여 제1 영상을 획득하고, 기준영상의 기본계층 스트림과 향상계층 스트림에 해당하는 MPEG-TS를 복호화하여 제2 영상을 획득할 수 있다. 기준영상 계층적 영상 복호화기(330)는 기준영상에 해당하는 MPEG-TS로부터 기준영상의 재생 시간을 추출하여 재생부(390)로 출력한다.
부가영상 복호화기(340)는 부가영상을 정해진 복호화 방식을 이용하여 복호화하고(S450), 복호화된 부가영상을 화질 제어부(380)로 출력한다. 부가영상 복호화기(340)는 HEVC나 H.264 방식으로 복호화할 수 있다. 또한 부가영상 복호화기(340)는 부가영상에 해당하는 MPEG-TS로부터 부가영상의 재생 시간을 추출하여 재생부(390)로 출력한다.
VEI 복호화기(350)는 VEI 데이터에 해당하는 MPEG-TS를 정해진 복호화 방식을 이용하여 복호화하고(S460), 복호화된 VEI 데이터를 화질 제어부(380)로 출력한다. VEI 복호화기(350)는 HEVC나 H.264 방식으로 복호화할 수 있다.
영상 선택부(360)는 방송사에서 제공하는 3D 서비스에 따라서 제1 영상과 제2 영상 중에서 하나의 영상을 기준영상으로 선택하고(S470), 선택한 영상을 화질 제어부(380)로 출력한다. 영상 선택부(360)는 이동 HD급 3D 서비스의 경우 제1 영상을 선택하고, 고정 UHD급 3D 서비스의 경우 제2 영상을 선택할 수 있다.
한편, 기준영상 계층적 영상 복호화기(330)에서 방송사에서 제공하는 3D 서비스에 따라서 기본계층 스트림에 해당하는 MPEG-TS만을 복호화하거나 기본계층 스트림과 향상계층 스트림에 해당하는 MPEG-TS를 복호화할 수 있다. 이 경우, 영상 선택부(360)는 기준영상 계층적 영상 복호화기(330)로부터 출력되는 제1 영상 또는 제2 영상을 화질 제어부(380)로 전달한다.
화질 제어부(380)는 VEI 데이터를 이용하여 부가영상의 화질을 기준영상의 화질에 가깝게 개선한다(S480). 화질 제어부(380)는 부가영상의 화질을 개선하기 위해 부가영상의 해상도를 기준영상과 동일한 해상도로 변환할 수 있다.
재생부(390)는 기준영상과 화질이 개선된 부가영상을 합성하여 3D 영상을 생성한 후 기준영상의 재생 시간, 부가영상의 재생 시간 및 기준영상의 재생 시간과 부가영상의 재생 시간 사이의 오차 정보를 이용하여 3D 영상을 재생한다(S490).
도 5 및 도 6은 각각 본 발명의 실시 예에 따른 3DTV 서비스의 일 예를 나타낸 도면이다.
도 5를 참고하면, 3DTV 방송 송신 장치(100)에 의해 기준영상의 기본 계층 스트림 및 향상 계층 스트림은 각각 기본계층 채널과 향상계층 채널로 전송되고 부가영상 및 VEI 데이터가 향상계층 채널로 전송되면, 고정 방송을 방송하는 3DTV 방송 수신 장치(300)에 의해 기본 계층 스트림 및 향상 계층 스트림에 해당하는 기준영상과 부가영상이 합성되어 고정 UHD급 3D 서비스가 제공될 수 있다.
또한 도 6을 참고하면, 3DTV 방송 송신 장치(100)에 의해 기준영상의 기본 계층 스트림 및 향상 계층 스트림은 각각 기본계층 채널과 향상계층 채널로 전송되고 부가영상 및 VEI 데이터가 기본계층 채널로 전송되면, 이동 방송을 방송하는 3DTV 방송 수신 장치(300)에 의해 기본 계층 스트림에 해당하는 기준영상과 부가영상이 합성되어 이동 HD급 3D 서비스가 제공될 수 있다.
이와 같이, 스케일러블 비디오 코덱을 적용하는 경우에도 저해상도의 부가영상을 VEI 데이터와 함께 선택적으로 기본계층 채널이나 향상계층 채널로 전송할 수 있으므로, 고정 UHD급 3D 서비스 및 이동 HD급 3D 서비스가 가능해진다.
발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (17)

  1. 3DTV 방송 송신 장치의 방송 송신 방법으로서,
    기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 상기 기준영상의 화질을 향상시키기 위한 향상계층 스트림을 생성하는 단계,
    상기 기준영상과 함께 3D(three-dimensional) 영상을 구성하는 부가영상을 부호화하는 단계,
    상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 부호화하는 단계,
    상기 기준영상의 기본계층 스트림과 향상계층 스트림을 각각 기본계층 채널과 향상계층채널을 통해 전송하는 단계, 그리고
    이동 방송 서비스를 위해 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 기본계층 채널을 통해 전송하거나, 고정 방송 서비스를 위해 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 상기 향상계층 채널을 통해 전송하는 단계
    를 포함하는 3DTV 방송 송신 방법.
  2. 제1항에서,
    상기 부가영상의 해상도는 상기 기준영상의 해상도보다 낮은 3DTV 방송 송신 방법.
  3. 삭제
  4. 제1항에서,
    상기 기준영상의 기본계층 스트림과 상기 향상계층 스트림을 생성하는 단계는
    상기 기준영상의 해상도보다 낮은 해상도에 해당하는 영상을 압축하여 기본계층 스트림을 생성하는 단계, 그리고
    상기 기본계층 스트림으로부터 복호 가능한 영상과 원래의 상기 기준 영상간의 상이한 정보에 해당하는 차분 영상을 압축하여 상기 향상계층 스트림을 생성하는 단계를 포함하는 3DTV 방송 송신 방법.
  5. 제1항에서,
    상기 화질개선정보 데이터를 부호화하는 단계는 상기 기준영상과 상기 부가영상을 비교하여 상기 화질개선정보 데이터를 생성하는 단계를 포함하는 3DTV 방송 송신 방법.
  6. 3DTV 방송 수신 장치의 방송 수신 방법으로서,
    기본계층 채널과 향상계층 채널을 통해서 각각 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화된 기준영상의 기본계층 스트림과 상기 기준영상의 화질을 향상시키기 위한 향상계층 스트림을 수신하는 단계,
    고정 방송 서비스를 위해 상기 기준 영상과 함께 3D(three-dimensional) 영상을 구성하는 부가영상과 상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 상기 향상계층 채널을 통해 수신하는 단계,
    상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 단계, 그리고
    고정 방송의 경우 상기 기본계층 스트림과 상기 향상계층 스트림을 각각 복호화하여 획득되는 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생하는 단계를 포함하는 3DTV 방송 수신 방법.
  7. 제6항에서,
    이동 방송 서비스를 위해 상기 부가영상과 상기 화질개선정보 데이터를 상기 기본계층 채널을 통해 수신하는 단계, 그리고
    이동 방송의 경우 상기 기본계층 스트림을 복호화하여 획득되는 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생하는 단계
    를 더 포함하는 3DTV 방송 수신 방법.
  8. 삭제
  9. 제6항에서,
    상기 부가영상의 해상도는 상기 기준영상의 해상도보다 낮은 3DTV 방송 수신 방법.
  10. 제6항에서,
    상기 부가영상의 화질을 개선하는 단계는
    상기 부가영상의 해상도를 상기 기준영상의 해상도와 동일하게 변환하는 단계, 그리고
    상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 단계를 포함하고,
    상기 화질개선정보 데이터는 상기 기준영상과 상기 부가영상의 비교 결과를 토대로 생성되는 3DTV 방송 수신 방법.
  11. 3DTV 방송 송신 장치로서,
    기준영상을 SVC(Scalable Video Coding) 또는 SHVC(Scalable High efficiency Video Coding) 방식으로 부호화하여 기준영상의 기본계층 스트림과 상기 기준영상의 화질을 향상시키기 위한 향상계층 스트림을 생성하는 기준영상 계층적 영상 부호화기,
    상기 기준영상의 해상도보다 낮은 부가영상을 부호화하는 부가영상 부호화기,
    상기 부가영상의 화질개선을 위한 화질개선정보 데이터를 부호화하는 화질개선정보 부호화기,
    상기 기준영상의 기본계층 스트림과 향상계층 스트림의 전송채널로 각각 기본계층 채널과 향상계층채널을 선택하고, 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송 채널로 상기 기본계층 채널 또는 상기 향상계층 채널을 선택하는 채널 선택부, 그리고
    상기 기준영상의 기본계층 스트림과 향상계층 스트림, 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터를 각각 선택된 전송채널을 통해 전송하는 전송부
    를 포함하며,
    상기 채널 선택부는 이동 방송 서비스를 위해 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송채널로 상기 기본계층 채널을 선택하거나, 고정 방송 서비스를 위해 상기 부호화된 부가영상 및 상기 부호화된 화질개선정보 데이터의 전송 채널로 상기 향상계층 채널을 선택하는 3DTV 방송 송신 장치.
  12. 제11항에서,
    상기 기준영상과 상기 부가영상의 비교결과를 토대로 상기 화질개선정보 데이터를 생성하는 화질개선정보 생성부
    를 더 포함하는 3DTV 방송 송신 장치.
  13. 삭제
  14. 3DTV 방송 수신 장치로서,
    기본계층 채널과 향상계층 채널을 통해서 각각 수신된 기준영상의 기본계층 스트림과 향상계층 스트림을 계층적 영상 복호화 방식으로 복호화하여 제1 영상과 제2 영상을 획득하는 기준영상 계층적 영상 복호화기,
    상기 기본계층 채널 또는 상기 향상계층 채널을 통해서 수신된, 상기 기준영상보다 낮은 해상도를 가지는 부가영상의 화질개선을 위한 화질개선정보 데이터와 상기 부가영상의 데이터를, 각각 복호화하는 제1 및 제2 복호화기,
    상기 기준영상으로 제1 영상과 제2 영상 중 하나를 선택하는 영상 선택부,
    상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 화질 개선부, 그리고
    상기 기준영상과 상기 화질이 개선된 부가영상을 이용하여 3차원 영상을 재생하는 재생부
    를 포함하며,
    이동 방송 서비스를 위해 상기 화질개선정보 데이터와 상기 부가영상의 데이터는 상기 기본계층 채널을 통해 전송되거나, 고정 방송 서비스를 상기 화질개선정보 데이터와 상기 부가영상의 데이터는 상기 향상계층 채널을 통해 전송되는 3DTV 방송 수신 장치.
  15. 삭제
  16. 제14항에서,
    상기 영상 선택부는 이동 방송의 경우 상기 기준영상으로 상기 제1 영상을 선택하고, 고정 방송의 경우 상기 기준영상으로 상기 제2 영상을 선택하는 3DTV 방송 수신 장치.
  17. 제14항에서,
    상기 화질 개선부는 상기 부가영상의 해상도를 상기 기준영상의 해상도와 동일하게 변환하고, 상기 화질개선정보 데이터를 이용하여 상기 부가영상의 화질을 개선하는 3DTV 방송 수신 장치.
KR1020150164947A 2014-11-25 2015-11-24 3dtv 방송 송수신 장치 및 방법 KR102440395B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/952,823 US10469856B2 (en) 2014-11-25 2015-11-25 Apparatus and method for transmitting and receiving 3DTV broadcasting

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140165653 2014-11-25
KR1020140165653 2014-11-25

Publications (2)

Publication Number Publication Date
KR20160062716A KR20160062716A (ko) 2016-06-02
KR102440395B1 true KR102440395B1 (ko) 2022-09-05

Family

ID=56135790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150164947A KR102440395B1 (ko) 2014-11-25 2015-11-24 3dtv 방송 송수신 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102440395B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517570B1 (ko) 2015-02-11 2023-04-05 한국전자통신연구원 3dtv 방송 송수신 장치
US10433027B2 (en) * 2017-02-15 2019-10-01 Electronics And Telecommunications Research Institute Method and apparatus for signaling video enhancement information (VEI) for video quality enhancement of fixed/mobile broadcasting hybrid 3DTV

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266052A1 (en) * 2007-12-10 2010-10-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system
US20140245371A1 (en) * 2011-10-10 2014-08-28 Kai Media Co. Device and method for providing content by accessing content stream in hybrid 3d tv, and device and method for reproducing content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266052A1 (en) * 2007-12-10 2010-10-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system
US20140245371A1 (en) * 2011-10-10 2014-08-28 Kai Media Co. Device and method for providing content by accessing content stream in hybrid 3d tv, and device and method for reproducing content

Also Published As

Publication number Publication date
KR20160062716A (ko) 2016-06-02

Similar Documents

Publication Publication Date Title
JP5543590B2 (ja) モバイルマルチメディア放送システムにおける階層送信方法、階層受信方法、階層送信装置、及び階層受信装置
US8665968B2 (en) Method and system for 3D video coding using SVC spatial scalability
US9014276B2 (en) Method and system for 3D video coding using SVC temporal and spatial scalabilities
US10469856B2 (en) Apparatus and method for transmitting and receiving 3DTV broadcasting
US20120320168A1 (en) Method and apparatus for transmission and reception in the provision of a plurality of transport interactive 3dtv broadcasting services
US9264782B2 (en) Method and system for providing realistic broadcasting image
KR102464061B1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
WO2007066868A1 (en) Method for providing dmb-based 3d image service, and decoding apparatus and method for dmb-based 3d image service
CN102474657A (zh) 图像数据发送装置、图像数据发送方法和图像数据接收装置
KR101571271B1 (ko) 멀티 포맷 초고선명 고효율 코덱을 적용한 인코딩 및 트랜스코딩 장치
JP2023100978A (ja) ３ｄｔｖ放送送受信装置
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
WO2012045319A1 (en) Multi-view encoding and decoding technique based on single-view video codecs
US20140002598A1 (en) Transport system and client system for hybrid 3d content service
WO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR102120155B1 (ko) 모바일 융합형 3dtv 방송 송수신 장치 및 방법
US9271017B2 (en) Apparatus and method for transmitting and receiving broadcasting
WO2012079402A1 (zh) 一种多媒体数据传输的方法、系统和装置
KR102440395B1 (ko) 3dtv 방송 송수신 장치 및 방법
KR101362943B1 (ko) 통신 시스템에서 데이터 송수신 장치 및 방법
KR20110068821A (ko) 송, 수신 장치 및 송, 수신 방법
KR101745652B1 (ko) 복호 정보 고속 취득이 가능한 방송 송신기와 수신기 및 그 방법
JP2022053534A (ja) 送信装置及び受信装置
KR20170093637A (ko) 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치
KR101277267B1 (ko) 3차원 방송을 위한 데이터 코덱 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant