KR20210107678A - 송신 장치, 송신 방법, 부호화 장치, 부호화 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 부호화 장치, 부호화 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20210107678A
KR20210107678A KR1020217018992A KR20217018992A KR20210107678A KR 20210107678 A KR20210107678 A KR 20210107678A KR 1020217018992 A KR1020217018992 A KR 1020217018992A KR 20217018992 A KR20217018992 A KR 20217018992A KR 20210107678 A KR20210107678 A KR 20210107678A
Authority
KR
South Korea
Prior art keywords
image data
frame
blending process
data
predetermined
Prior art date
Application number
KR1020217018992A
Other languages
English (en)
Inventor
이쿠오 츠카고시
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210107678A publication Critical patent/KR20210107678A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

혼합 처리된 화상 데이터의 예를 들면 소재 전송에 있어 수신측에서의 취급을 양호하게 행할 수 있도록 한다. 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 송신한다. 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있다. 각 프레임의 화상 데이터에 각각 관련지어 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 송신한다. 예를 들면, 메타 데이터를 각 프레임의 화상 데이터의 적어도 선두를 포함하는 패킷의 페이로드 헤더에 삽입하여 송신한다. 또한, 예를 들면, 메타 데이터를 각 프레임의 화상 데이터를 포함하는 패킷에 대응지어진 메타 데이터 전용 패킷으로 송신한다.

Description

송신 장치, 송신 방법, 부호화 장치, 부호화 방법, 수신 장치 및 수신 방법
본 기술은, 송신 장치, 송신 방법, 부호화 장치, 부호화 방법, 수신 장치 및 수신 방법에 관한 것으로, 상세하게는, 혼합 처리된 화상 데이터를 취급하는 송신 장치 등에 관한 것이다.
종래부터 방송되고 있는 프레임 레이트로 디코드를 행하는 수신기에 있어서, 하이 프레임 레이트(High Frame Rate)의 방송을 수신하는 경우, 스트림의 부분적인 디코드를 행하면 움직임의 연속성이 손상되어 동영상 화질의 열화가 생긴다. 이 동영상 화질의 열화의 주된 원인은, 부분 디코드된 픽처끼리의 시간 연속성이 거칠어지기 때문에 빠른 움직임에 대한 사람 눈의 망막 투영이 간헐적이 됨으로써 생기는 스트로빙(Strobing)이라고 알려져 있다.
스트로빙에 의한 동영상 화질의 열화를 저감시키기 위해, 본 출원인은, 앞서, 기준이 되는 프레임 주기에서의 픽처에 대해, 그 전후의 픽처와의 사이에서 화소 혼합을 행하는 기술을 제안하였다(특허문헌 1 참조). 이 경우, 종래의 수신기에서 시간 서브 샘플을 행하더라도, 움직인 요소가 부분 디코딩되는 시간 샘플에 반영되므로, 스트로빙에 의한 동영상 화질 열화가 저감된다.
특허문헌 1: 국제공개 제2015/076277호
본 기술의 목적은, 혼합 처리된 화상 데이터의 예를 들면 소재 전송을 할 때 수신측에서의 취급을 양호하게 행할 수 있도록 하는 것에 있다.
본 기술의 개념은,
소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 송신하는 송신부를 구비하고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
상기 송신부는, 각 프레임의 화상 데이터에 각각 관련지어, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 송신하는 송신 장치이다.
본 기술에 있어서, 송신부에 의해, 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷이 송신된다. 여기서, 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있다. 예를 들면, 패킷은, IP(Internet Protocol) 네트워크를 이용한 영상 신호 전송에 관한 규격에 의해 규정되는 포맷에 준거하도록 되어도 된다. 이 경우, 예를 들면, 규격은, SMPTE ST2022-6, 또는 SMPTE ST2110-20이 되도록 되어도 된다. 예를 들면, 혼합 처리를 행하는 혼합 처리부를 더 구비하도록 되어도 된다.
송신부에 의해, 각 프레임의 화상 데이터에 각각 관련지어, 혼합 처리에 관한 정보를 포함하는 메타 데이터가 더 송신된다. 예를 들면, 혼합 처리는, 소정 단의 혼합 처리를 포함하도록 되어도 된다. 또한, 예를 들면, 혼합 처리에 관한 정보는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보, 캡쳐 시의 카메라 셔터 속도의 정보, 혼합 처리 대상 픽처의 프레임 레이트 정보, 혼합 처리 후의 프레임 레이트의 정보, 혼합 처리 대상 픽처를 나타내는 정보, 혼합할 때의 필터 연산 계수의 비율을 나타내는 정보 중 적어도 어느 하나를 포함하도록 되어도 된다.
예를 들면, 송신부는, 메타 데이터를 각 프레임의 화상 데이터의 적어도 선두를 포함하는 패킷의 페이로드 헤더에 삽입하여 송신하도록 되어도 된다. 또한, 예를 들면, 송신부는, 메타 데이터를 각 프레임의 화상 데이터를 포함하는 패킷에 대응지어진 메타 데이터 전용 패킷으로 송신하도록 되어도 된다.
이와 같이 본 기술에 있어서는, 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷과 함께, 각 프레임의 화상 데이터에 각각 관련지어 혼합 처리에 관한 정보를 포함하는 메타 데이터를 송신하는 것이다. 그 때문에, 혼합 처리된 화상 데이터의 예를 들면 소재 전송에 있어 수신측에서의 취급을 양호하게 행할 수 있게 된다.
또한, 본 기술의 다른 개념은,
소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 수신부를 구비하고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
상기 수신부는, 각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 수신하고,
상기 혼합 처리에 관한 정보는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보를 포함하고,
상기 혼합 처리에 관한 정보에 기초하여 상기 소정 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어의 화상 데이터로서 부호화하고, 상기 소정 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어의 화상 데이터로서 부호화하는 부호화부를 더 구비하는 부호화 장치이다.
본 기술에 있어서, 수신부에 의해, 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷이 수신된다. 여기서, 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있다. 또한, 수신부에 의해, 각 프레임의 화상 데이터에 각각 관련지어진 혼합 처리에 관한 정보를 포함하는 메타 데이터가 더 수신된다. 여기서, 혼합 처리에 관한 정보에는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보가 포함되어 있다.
부호화부에 의해, 혼합 처리에 관한 정보에 기초하여 소정 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터가 기본 레이어의 화상 데이터로서 부호화되고, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터가 확장 레이어의 화상 데이터로서 부호화된다.
이와 같이 본 기술에 있어서는, 혼합 처리되어 있는 소정 프레임 주파수의 화상 데이터를 혼합 처리에 관한 정보(대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보를 포함함)에 기초하여 부호화하는 것이다. 그 때문에, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어의 화상 데이터로서 부호화하고, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어의 화상 데이터로서 부호화하는 것을 용이하고 적절하게 행할 수 있게 된다.
또한, 본 기술의 다른 개념은,
소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 수신부를 구비하고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
상기 수신부는, 각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 수신하고,
상기 혼합 처리에 관한 정보에 기초하여 상기 소정 프레임 주파수의 화상 데이터에 대해 역혼합 처리를 실시하여 표시용 화상 데이터를 얻는 처리부를 더 구비하는 수신 장치이다.
본 기술에 있어서, 수신부에 의해, 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷이 수신된다. 여기서, 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있다. 또한, 수신부에 의해, 각 프레임의 화상 데이터에 각각 관련지어진 혼합 처리에 관한 정보를 포함하는 메타 데이터가 더 수신된다.
처리부에 의해, 혼합 처리에 관한 정보에 기초하여 소정 프레임 주파수의 화상 데이터에 대해 역혼합 처리가 실시되어 표시용 화상 데이터가 얻어진다.
이와 같이 본 기술에서는, 혼합 처리에 관한 정보에 기초하여 혼합 처리되어 있는 소정 프레임 주파수의 화상 데이터에 대해 역혼합 처리를 실시하여 표시용 화상 데이터를 얻는 것이다. 그 때문에, 역혼합 처리를 용이하고 적절하게 행하여 표시용 화상 데이터를 얻는 것이 가능하게 된다.
도 1은 방송 플로우와, 촬영·제작과 송출의 단계에 대응한 시스템 구성의 일례를 나타내는 도면이다.
도 2는 촬영·제작·송출의 송신측과 수신·표시의 수신측을 포함하는 송수신 시스템의 구성예를 나타내는 도면이다.
도 3은 송신측의 다른 구성예를 나타내는 도면이다.
도 4는 처리 검사를 행하는 편집 장치의 구성예를 나타내는 도면이다.
도 5는 인코더에 있어서의 계층 부호화의 레이어 배분을 설명하기 위한 도면이다.
도 6은 인코더에 있어서의 계층 부호화의 레이어 배분을 설명하기 위한 도면이다.
도 7은 촬영 시의 셔터율에 대해 설명하기 위한 도면이다.
도 8은 셔터 속도(1/sec)와, 전송 프레임 레이트(fps)와, 셔터 앵글(degree)의 대응 관계의 일례를 나타내는 도면이다.
도 9는 혼합 처리의 일례를 설명하기 위한 도면이다.
도 10은 혼합 처리의 다른 일례를 설명하기 위한 도면이다.
도 11은 혼합 처리의 또 다른 일례를 설명하기 위한 도면이다.
도 12는 패킷의 일례를 나타내는 도면이다.
도 13은 RTP 헤더의 구조예를 나타내는 도면이다.
도 14는 RTP 헤더의 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 15는 페이로드 헤더의 구조예를 나타내는 도면이다.
도 16은 페이로드 헤더의 구조에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 17은 “shutter_blending ()”의 구조예를 나타내는 도면이다.
도 18은 “shutter_blending ()”의 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 19는 메타 데이터의 구체예에 대해 설명하기 위한 도면이다.
도 20은 메타 데이터의 구체예에 대해 설명하기 위한 도면이다.
도 21은 메타 데이터의 구체예에 대해 설명하기 위한 도면이다.
도 22는 RTP 전송에서 픽처가 복수 패킷(미디어 패킷)으로 전송되는 예를 나타내는 도면이다.
도 23은 RTP 전송에서 픽처가 복수 패킷(미디어 패킷)으로 전송되는 다른 예를 나타내는 도면이다.
도 24는 페이로드 헤더의 구조예를 나타내는 도면이다.
도 25는 메타 데이터 패킷의 페이로드 헤더 및 페이로드의 구조예를 나타내는 도면이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시형태」라 함)에 대해 설명한다. 한편, 설명은 이하의 순서로 행한다.
1. 실시형태
2. 변형예
<1. 실시형태>
[방송 플로우]
도 1(a)는, 방송 플로우를 나타내고 있다. 방송 플로우는, 소재 영상의 화상 데이터를 얻기 위한 촬영·제작 단계와, 그 소재 영상의 화상 데이터를 송신하는 송출 단계와, 소재 영상의 화상 데이터를 수신하여 화상 표시를 행하는 수신·표시 단계로 이루어진다.
도 1(b)는, 촬영·제작과 송출 단계에 대응한 시스템 구성의 일례를 나타내고 있다. 예를 들면, 스타디움의 촬상 장치(이하, 카메라)에 의해 캡쳐된 소재 영상의 소정 프레임 주파수의 화상 데이터가 중계차로 송신된다. 또한, 예를 들면, 드론 카메라에 의해 캡쳐된 소재 영상의 소정 프레임 주파수의 화상 데이터가 중계차로 송신된다. 또한, 예를 들면, 영상 소재 서버로부터 소재 영상으로서 소정 주파수의 화상 데이터가 중계차로 송신된다.
또한, 중계차에서 얻어지는 편집 후의 소재 영상의 화상 데이터는, 중계국을 거쳐, 방송국으로 송신된다. 또한, 스튜디오 카메라에 의해 캡쳐된 소재 영상의 소정 프레임 주파수의 화상 데이터는, 방송국으로 송신된다. 그리고, 이 소재 영상의 소정 프레임 주파수의 화상 데이터는 부호화되고, 방송국으로부터 방송파에 실어 송신된다.
상술한 각 소재 영상의 소정 프레임 주파수의 화상 데이터는, SMPTE(Society of Motion Picture and Television Engineers) 규격에 따른 전송 대상이 된다. 이 경우, 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하고, 그것에 의해 얻어진 각 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷이 송신된다. 이 패킷은, IP(Internet Protocol) 네트워크를 이용한 영상 신호 전송에 관한 규격에 의해 규정되는 포맷에 준거하는 것이다. 이 경우의 영상 신호는, 예를 들면 프로그램 소재 영상의 신호이다.
이 실시형태에 있어서, 소재 영상의 소정 프레임 주파수의 화상 데이터에, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 실시된다. 이 혼합 처리는, 부분 디코드로부터 표시 화상을 작성하는 수신기에 있어서 스트로빙에 의한 동영상 화질의 열화를 저감시키기 위해 행해진다.
이 혼합 처리는, 소재 영상을 캡쳐하는 촬상 장치, 예를 들면 드론 카메라, 스타디움의 카메라, 스튜디오 카메라 등이 구비하는 혼합 처리부, 예를 들면 프리프로세서(PreProc)에 의해 행해진다. 또는, 촬상 장치가 캡쳐한 소재 영상을 수신하는 장치, 예를 들면 드론, 영상 소재 서버, 중계차, 중계국 등이 구비하는 프리프로세서에 의해 행해진다. 이 혼합 처리는, 1단계로 행해지는 것 뿐만 아니라, 2단계, 3단계, ···로 행해지는 경우도 있다. 한편, 드론 카메라(또는 드론), 스타디움의 카메라, 영상 소재 서버, 중계차, 중계국, 스튜디오 카메라가 모두 프리프로세서를 구비하고 있을 필요는 없지만, 적어도 방송국으로 보내져 오는 소재 영상의 소정 프레임 주파수의 화상 데이터에 관해서는 혼합 처리가 실시된 것이 된다.
혼합 처리가 실시된 소정 프레임 주파수의 화상 데이터가 다음 단으로 송신되는 경우, 각 프레임의 화상 데이터에 각각 관련지어져, 혼합 처리에 관한 정보를 포함하는 메타 데이터가 송신된다. 이 혼합 처리에 관한 정보에는, 대응하는 프레임의 화상 데이터가 혼합 처리가 되고 있는지 여부를 나타내는 정보 등이 포함된다.
[송수신 시스템]
도 2는, 촬영·제작·송출의 송신측과 수신·표시의 수신측을 포함하는 송수신 시스템(10)의 구성예를 나타내고 있다. 송신측은, 카메라(Camera)(101)와, 방송국(Broadcasting center)(102)을 갖고 있다. 카메라(101)는, 도 1(b)에 있어서의 드론 카메라, 스타디움의 카메라, 스튜디오 카메라 등에 대응한다.
카메라(101)는, 소재 영상으로서의 소정 프레임 주파수의 화상 데이터를 캡쳐하고, 프리프로세서(101a)에 의해 그 소정 프레임 주파수의 화상 데이터에 대해 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리를 한다. 이 경우, 프리프로세서(101a)에서는, 필요에 따라, 프레임 주파수의 다운 컨버전(down-conversion)의 처리도 행해진다.
카메라(101)의 도시하지 않는 송신부는, 상술한 혼합 처리된 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어지는 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 방송국(102)으로 송신한다. 또한, 카메라(101)의 도시하지 않는 송신부는, 각 프레임의 화상 데이터에 관련지어, 혼합 처리에 관한 정보를 포함하는 메타 데이터 A를 방송국(102)으로 송신한다.
방송국(102)은, 도시하지 않는 수신부에서, 카메라(101)로부터 송신되어 오는 패킷을 수신하고, 혼합 처리된 소재 영상으로서의 소정 프레임 주파수의 화상 데이터를 취득한다. 또한, 이 수신부는, 카메라(101)로부터 송신되어 오는 메타 데이터 A를 수신한다.
방송국(102)은, HLP(High Level Parser)부(102a)에 의해, 각 프레임의 화상 데이터에 관련지어져 있는 메타 데이터 A의 해석을 행함과 함께, 이 해석에 기초하여, 인코더(102b)에 의해, 혼합 처리된 소재 영상으로서의 소정 프레임 주파수의 화상 데이터에 대해, 예를 들면 HEVC(High Efficiency Video Coding)에 의한 계층 부호화 처리를 행하고, 기본 스트림(STb)과, 제1 확장 스트림(STe1), 제2 확장 스트림(STe2)을 얻는다.
이 경우, 인코더(102b)는, 예를 들면, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어의 화상 데이터로서 부호화하고, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어의 화상 데이터로서 부호화한다.
방송국(102)은, 도시하지 않는 송신부에 의해, 기본 스트림(STb), 제1 확장 스트림(STe1) 및 제2 확장 스트림(STe2)을 송신한다. 이 경우, 각 스트림의 화상 데이터에 관련지어, 혼합 처리에 관한 정보를 포함하는 메타 데이터도 송신한다. 예를 들면, 각 픽처(프레임)의 액세스 유닛(AU)의 “SEIs”의 부분에, 메타 데이터를 포함하는, 신규 정의하는 SEI 메시지를 삽입함으로써 행해진다.
한편, 도시한 예에서는, 기본 스트림(STb) 이외에, 제1 확장 스트림(STe1) 및 제2 확장 스트림(STe2)의 2개의 확장 스트림을 송신하는 예를 나타냈으나, 확장 스트림이 1개, 또는 3개 이상인 경우도 생각할 수 있다.
수신측은, 예를 들면, 셋톱 박스(211)와, 디스플레이(212)를 갖고 있다. 셋톱 박스(211)는, 도시하지 않는 수신부에 의해, 기본 스트림(STb), 제1 확장 스트림(STe1) 및 제2 확장 스트림(STe2)과, 각 스트림의 화상 데이터에 관련지어져 있는 혼합 처리에 관한 정보를 포함하는 메타 데이터를 수신한다.
셋톱 박스(211)는, HLP부(211a)에 의해, 각 프레임의 화상 데이터에 관련지어져 송신되어 오는 메타 데이터를 해석한다. 또한, 셋톱 박스(211)는, 디코더(21lb)에 의해, 기본 스트림(STb), 제1 확장 스트림(STe1) 및 제2 확장 스트림(STe2)에 복호화 처리를 행하고, 예를 들면 240Hz의 화상 데이터를 얻는다.
셋톱 박스(211)는, 도시하지 않는 송신부에 의해, 예를 들면, HDMI(High-Definition Multimedia Interface) 등의 디지털 인터페이스를 사용하여, 240Hz의 화상 데이터와, 각 프레임에 대응한 메타 데이터를 디스플레이(212)로 송신한다.
디스플레이(212)는, 도시하지 않는 수신부에 의해, 셋톱 박스(211)로부터 보내져 오는 240Hz의 화상 데이터와, 각 프레임에 대응한 메타 데이터를 수신한다. 디스플레이(212)는, 포스트프로세서(212a)에 의해, 240Hz의 화상 데이터 중, 혼합 처리되어 있는 기본 레이어의 화상 데이터에 대해, 메타 데이터에 기초하여 역혼합 처리를 실시하여, 혼합 전의 화상 데이터를 얻는다.
또한, 디스플레이(212)는, 포스트프로세서(212a)에 의해 얻어진 240Hz의 화상 데이터를, 그대로, 또는 MCFI(Motion Compensated Frame Insertion)부(212b)에 의해 프레임 보간 처리를 실시하여 프레임 레이트를 높여, 표시용 화상 데이터로 한다.
또한, 수신측은, 예를 들면, 셋톱 박스(221)와, 디스플레이(222)를 갖고 있다. 셋톱 박스(221)는, 도시하지 않는 수신부에 의해, 기본 스트림(STb) 및 제1 확장 스트림(STe1)과, 각 스트림의 화상 데이터에 관련지어져 있는 혼합 처리에 관한 정보를 포함하는 메타 데이터를 수신한다.
셋톱 박스(221)는, HLP부(221a)에 의해, 각 프레임의 화상 데이터에 관련지어져 보내져 오는 메타 데이터를 해석한다. 또한, 셋톱 박스(221)는, 디코더(22lb)에 의해, 기본 스트림(STb) 및 제1 확장 스트림(STe1)에 복호화 처리를 행하고, 예를 들면 120Hz의 화상 데이터를 얻는다.
셋톱 박스(221)는, 도시하지 않는 송신부에 의해, 예를 들면, HDMI 등의 디지털 인터페이스를 사용하여, 120Hz의 화상 데이터와, 각 프레임에 대응한 메타 데이터를 디스플레이(222)로 송신한다.
디스플레이(222)는, 도시하지 않는 수신부에 의해, 셋톱 박스(221)로부터 보내져 오는 120Hz의 화상 데이터와, 각 프레임에 대응한 메타 데이터를 수신한다. 디스플레이(222)는, 포스트프로세서(222a)에 의해, 120Hz의 화상 데이터 중, 혼합 처리되어 있는 기본 레이어의 화상 데이터에 대해, 메타 데이터에 기초하여 역혼합 처리를 실시하여, 혼합 전의 화상 데이터를 얻는다.
또한, 디스플레이(222)는, 포스트프로세서(222a)에 의해 얻어진 120Hz의 화상 데이터를, 그대로, 또는 MCFI부(222b)에 의해 프레임 보간 처리를 실시하여 프레임 레이트를 높여, 표시용 화상 데이터로 한다.
또한, 수신측은, 예를 들면, 셋톱 박스(231)와, 디스플레이(232)를 갖고 있다. 셋톱 박스(231)는, 도시하지 않는 수신부에 의해, 기본 스트림(STb)을 수신한다. 셋톱 박스(231)는, 디코더(231a)에 의해, 기본 스트림(STb)에 복호화 처리를 행하고, 예를 들면 60Hz의 화상 데이터를 얻는다. 셋톱 박스(231)는, 도시하지 않는 송신부에 의해, 예를 들면, HDMI 등의 디지털 인터페이스를 사용하여, 60Hz의 화상 데이터를 디스플레이(232)로 송신한다.
디스플레이(232)는, 도시하지 않는 수신부에 의해, 셋톱 박스(231)로부터 보내져 오는 60Hz의 화상 데이터를 수신한다. 디스플레이(232)는, 수신된 60Hz의 화상 데이터를, 그대로, 또는 MCFI부(232a)에 의해 프레임 보간 처리를 실시하여 프레임 레이트를 높여, 표시용 화상 데이터로 한다.
한편, 도시된 예에서는, 수신측으로서 3계통을 나타내고 있지만, 이에 한정되는 것이 아니다. 예를 들면, 계통수는 확장 스트림의 수에 따라 바뀔 가능성이 있다.
도 3은, 송신측의 다른 구성예를 나타내고 있다. 도 3에 있어서, 도 2와 대응하는 부분에는 동일 부호를 붙여 나타내고 있다. 이 송신측은, 카메라(101)와, 편집 장치(Production device)(103)와, 방송국(102)을 갖고 있다. 카메라(101)는, 예를 들면, 도 1(b)에 있어서의 드론 카메라, 스타디움의 카메라 등에 대응한다. 편집 장치(103)는, 예를 들면, 도 1(b)에 있어서의 중계차, 중계국 등에 대응한다.
카메라(101)는, 소재 영상으로서의 소정 프레임 주파수의 화상 데이터를 캡쳐하고, 프리프로세서(101a)에 의해 그 소정 프레임 주파수의 화상 데이터에 대해 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리를 한다. 이 경우, 프리프로세서(101a)에서는, 필요에 따라, 프레임 주파수의 다운 컨버전의 처리도 행해진다.
카메라(101)의 도시하지 않는 송신부는, 상술한 혼합 처리된 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어지는 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 편집 장치(103)로 송신한다. 또한, 카메라(101)의 도시하지 않는 송신부는, 각 프레임의 화상 데이터에 관련지어, 혼합 처리에 관한 정보를 포함하는 메타 데이터 A를 편집 장치(103)로 송신한다.
편집 장치(103)는, 도시하지 않는 수신부에 의해, 카메라(101)로부터 송신되어 오는 패킷을 수신하고, 혼합 처리된 소재 영상으로서의 소정 프레임 주파수의 화상 데이터를 취득한다. 또한, 이 수신부는, 카메라(101)로부터 송신되어 오는 메타 데이터 A를 수신한다.
편집 장치(103)는, HLP부(103a)에 의해, 각 프레임의 화상 데이터에 관련지어져 있는 메타 데이터 A를 해석하고, 이 해석에 기초하여 프리프로세서(103b)에 의해 그 소정 프레임 주파수의 화상 데이터에 대해 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리를 하여, 다단, 여기서는 2단의 혼합 처리가 된 소정 프레임 주파수의 화상 데이터를 얻는다. 이 경우, 프리프로세서(103b)에서는, 필요에 따라, 프레임 주파수의 다운 컨버전의 처리도 행해진다.
편집 장치(103)의 도시하지 않는 송신부는, 상술한 혼합 처리된 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어지는 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 방송국(102)으로 송신한다. 또한, 편집 장치(103)의 도시하지 않는 송신부는, 각 프레임의 화상 데이터에 관련지어, 다단의 혼합 처리에 관한 정보를 포함하는 메타 데이터 B를 방송국(102)으로 송신한다.
방송국(102)은, 도시하지 않는 수신부에 의해, 편집 장치(103)로부터 송신되어 오는 패킷을 수신하고, 혼합 처리된 소재 영상으로서의 소정 프레임 주파수의 화상 데이터를 취득한다. 또한, 이 수신부는, 편집 장치(103)로부터 송신되어 오는 메타 데이터 B를 수신한다.
방송국(102)은, HLP부(102a)에 의해, 각 프레임의 화상 데이터에 관련지어져 있는 메타 데이터 B의 해석을 행함과 함께, 이 해석에 기초하여 인코더(102b)에 의해, 혼합 처리된 소재 영상으로서의 소정 프레임 주파수의 화상 데이터에 대해, 예를 들면 HEVC에 의한 계층 부호화 처리를 행하고, 기본 스트림(STb)과, 제1 확장 스트림(STe1), 제2 확장 스트림(STe2)을 얻는다.
이 경우, 인코더(102b)는, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어의 화상 데이터로서 부호화하고, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어의 화상 데이터로서 부호화한다.
방송국(102)은, 도시하지 않는 송신부에 의해, 기본 스트림(STb), 제1 확장 스트림(STe1) 및 제2 확장 스트림(STe2)을 송신한다. 이 경우, 각 스트림의 화상 데이터에 관련지어, 혼합 처리에 관한 정보를 포함하는 메타 데이터도 송신한다. 예를 들면, 각 픽처(프레임)의 액세스 유닛(AU)의 “SEIs”의 부분에, 메타 데이터를 포함하는, 신규 정의하는 SEI 메시지를 삽입함으로써 행해진다.
한편, 도시된 예에서는, 기본 스트림(STb) 이외에, 제1 확장 스트림(STe1) 및 제2 확장 스트림(STe2)의 2개의 확장 스트림을 송신하는 예를 나타냈으나, 확장 스트림이 1개, 또는 3개 이상인 경우도 생각할 수 있다.
「처리 검사」
앞서 설명하지 않았으나, 유저는 편집 장치(103)에 의해, 앞단, 여기서는 카메라(101)로부터 송신되어 오는 화상 데이터에 대해, 프리프로세서(103b)에 의해 혼합 처리를 행할 것인지 여부를, 프리프로세서(103b)로 혼합 처리를 한 후의 화상 데이터에 의한 화질을 보고 판단하는 것도 생각할 수 있다.
이 때, 실제의 방송에서와 같이 인코더·디코더를 거친 후에, 포스트프로세서에 의해 역혼합 처리를 행하여 얻어진 화상 데이터에 의한 표시 화상의 화질로 판단하는 경우도 있다. 또한, 이 때, 실제의 방송에서와 같이 인코더·디코더를 거친 후의 혼합 처리된 상태의 화상 데이터에 의한 표시 화상의 화질로 판단하는 경우도 있다. 나아가, 이 때, 인코더·디코더를 통하지 않는 비압축의 혼합 처리된 화상 데이터에 의한 표시 화상의 화질로 판단하는 경우도 있다.
도 4는, 이 경우에 있어서의 편집 장치(103)의 구성예를 나타내고 있다. 편집 장치(103)는, HLP부(103a) 및 프리프로세서(103b) 이외에, 인코더(103c), 디코더(103d), 포스트프로세서(103e) 및 제작 모니터(103f)를 갖고 있다.
프리프로세서(103b)에 의해 혼합 처리되어 얻어진 소정 주파수의 화상 데이터는 제1 화상 데이터로서 제작 모니터(103f)로 보내진다. 또한, 프리프로세서(103b)에 의해 혼합 처리되어 얻어진 소정 주파수의 화상 데이터는, 인코더(103c)에 의한 부호화 및 디코더(103d)에 의한 복호화를 거친 후에 제2 화상 데이터로서 제작 모니터(103f)로 보내진다.
또한, 디코더(103d)로부터 얻어지는 소정 프레임 주파수의 화상 데이터는, 포스트프로세서(103e)에 의해 역혼합 처리가 실시된 후에, 제3 화상 데이터로서 제작 모니터(103f)로 보내진다. 이 포스트프로세서(103e)에 있어서의 역혼합 처리는, 도시하지 않지만, 프리프로세서(103b)로부터 출력되는 메타 데이터 B에 기초하여 행해진다.
이 구성예에서는, 유저는, 제작 모니터(103f)에서, 제1 화상 데이터, 제2 화상 데이터 또는 제3 화상 데이터를 선택적으로 스위칭하여, 각각에 의한 표시 화상을 보고, 프리프로세서(103b)로 혼합 처리를 행할 것인지 여부를 판단하는 것이 가능하게 된다. 한편, 프리프로세서(103b)에 의해 혼합 처리가 행해지지 않는 경우에는, 편집 장치(103)로부터 후단, 여기서는 방송국(102)으로 보내지는 화상 데이터 및 메타 데이터 B는, 카메라(101)로부터 편집 장치(103)로 송신되어 오는 화상 데이터 및 메타 데이터 A와 같은 것이 된다.
「인코더에 있어서의 계층 부호화의 레이어 배분」
상술한 바와 같이, 인코더(102b)는, 예를 들면, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어(Base layer)의 화상 데이터로서 부호화하고, 소정 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어(Enhanced layer)의 화상 데이터로서 부호화를 한다.
인코더(102b)에 혼합 처리된 소정 프레임 주파수의 화상 데이터와 함께 송신되어 오는 각 프레임의 화상 데이터에 대응지어진 혼합 처리에 관한 정보를 포함하는 메타 데이터에는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보로서의 “Blending_flag”가 포함되어 있다. 도 5에 나타낸 바와 같이, 인코더(102b)에 있어서의 레이어 배분 처리는, “Blending_flag”에 기초하여 행해진다.
이 경우, 인코더(102b)는, 도 6(a)에 나타낸 바와 같이, 입력되는 픽처(프레임)의 “Blending_flag”에 의해, 인코더(102b)의 참조·비참조 버퍼로의 축적을 스위칭한다. “Blending_flag=1”이면, 픽처의 부호화에 의해 비참조 버퍼로 축적하고, “Blending_flag=0”이면, 픽처의 부호화에 의해 참조 버퍼로 축적한다.
도 6(b)에 나타낸 바와 같이, 비참조 버퍼의 기본 레이어(Base layer)의 픽처는 참조 버퍼의 확장 레이어(Enhanced layer)의 픽처로부터 참조되는 것이 가능하고, 참조 버퍼의 확장 레이어의 픽처는 다른 픽처로부터 참조되지 않는다.
「촬영 시의 셔터율(shutter rate)」
촬영 시의 셔터율에 대해 설명한다. 도 7(a)는, 240Hz(240 fps)의 프레임 주파수에서, 1/240 sec의 셔터 속도로 촬영한 경우의 화상 데이터를 나타내고 있다. 이 화상 데이터는, P1, P2, P3, P4의 4프레임 구간이 반복되는 구성으로 되어 있다.
이 경우, 240Hz의 프레임 간격에 대해, 그 전체 기간에서 셔터가 열려 있기 때문에, 셔터 앵글(셔터율) α는, 이하의 수식 (1)로 나타내는 바와 같이, 360 degree(100%)가 된다.
α=360*240/240=360 ···(1)
도 7(b)는, 240Hz(240 fps)의 프레임 주파수에서, 1/300 sec의 셔터 속도로 촬영한 경우의 화상 데이터를 나타내고 있다. 이 화상 데이터는, P1, P2, P3, P4의 4프레임 구간이 반복되는 구성으로 되어 있다.
이 경우, 240Hz의 프레임 간격에 대해, 셔터가 열려 있는 기간은 1/300 sec로 짧게 되기 때문에, 셔터 앵글(셔터율) α는, 이하의 수식 (2)로 나타내는 바와 같이, 288 degree(80%)가 된다.
α=360*240/300=288 ···(2)
도 8은, 셔터 속도(1/sec)와, 전송 프레임 레이트(fps)와, 셔터 앵글(degree)의 대응 관계의 일례를 나타내고 있다. 일반적으로, 셔터 앵글(degree)은, 이하의 수식 (3)으로 구해진다.
셔터 앵글(degree)=360*(전송 프레임 레이트)*(셔터 속도) ···(3)
「혼합 처리」
혼합 처리는, 상술한 바와 같이, 부분 디코드로부터 표시 화상을 작성하는 수신기에 있어서 스트로빙에 의한 동영상 화질의 열화를 저감시키기 위해 행해진다. 혼합 처리가 되지 않은 화상 데이터는 비호환 모드의 화상 데이터이며, 혼합 처리된 화상 데이터는 저프레임 레이트 호환 모드의 화상 데이터가 된다.
도 9를 참조하여, 혼합 처리의 일례를 설명한다. 도 9(a)는, 기본형인 혼합 처리가 되지 않은 비호환 모드의 화상 데이터를 나타내고 있다. 이 화상 데이터는, 240Hz(240 fps)의 프레임 주파수에서, 1/240 sec의 셔터 속도로 촬영한 경우의 화상 데이터이다. 이 화상 데이터는, P1, P2, P3, P4의 4프레임(픽처) 구간이 반복되는 구성으로 되어 있다. 이 경우의 각 프레임 셔터 앵글(셔터율) α는 360 degree(100%)이다(도 7(a) 참조).
도 9(b)는, 혼합 처리된 저프레임 레이트 호환 모드의 240Hz의 화상 데이터를 나타내고 있다. 이 화상 데이터는, Q1, Q2, Q3, Q4의 4프레임 구간이 반복되는 구성으로 되어 있다. Q1, Q2, Q4의 프레임 화상 데이터는, 각각, P1, P2, P4의 프레임 화상 데이터와 같다. 이 Q1, Q2, Q4의 프레임 셔터 앵글(셔터율) α는 360 degree(100%)이다.
Q3의 프레임의 화상 데이터는, P2, P3, P4의 프레임 화상 데이터를 필터 연산하여 얻어진 혼합 화상 데이터 t(P2, P3, P4)이다. 이 경우, Q3의 프레임 화상 데이터는, P2, P3, P4의 3프레임의 화소 요소를 필터 연산으로 혼합하여 갖게 된다. 이 Q3의 프레임의 셔터 앵글(셔터율) β는, 이하의 수식 (4)로 나타내는 바와 같이, 240Hz의 1프레임 내에 3프레임의 화소 요소가 반영되어 있기 때문에, 360*3 degree(300%)가 된다.
β=360*240/240*3=360*3 ···(4)
도 9(c)는, 수신측에서, 혼합 처리되어 있는 Q3의 프레임의 화상 데이터를 추출하여 60Hz 표시를 하는 경우의 화상 데이터를 나타내고 있다. R3의 프레임의 화상 데이터는, Q3의 프레임의 화상 데이터를 60Hz의 시간 간격으로 표시하는 것이 된다. 이 R3의 프레임의 화상 데이터는, 60Hz의 시간폭에 있어서, 원래 240Hz의 4슬롯 중 P2, P3, P4의 3슬롯에 해당하는 프레임의 화소 요소를 합성하여 갖게 된다. 그 때문에, R3의 프레임의 셔터 앵글(셔터율) γ는, 이하의 수식 (5)로 나타내는 바와 같이, 270 degree(75%)가 된다.
γ=360*60/240*3=270 ···(5)
도 9(b)에 나타내는 혼합 처리된 저프레임 레이트 호환 모드의 화상 데이터를 수신측으로 송신하는 경우, 인코더(102b)에서는, 예를 들면, 다음과 같이 부호화가 행해진다. 즉, 기본 스트림(STb)에는, 60Hz 계층의 화상 데이터(Q3의 프레임(픽처)의 화상 데이터 참조)의 부호화 화상 데이터가 포함된다. 또한, 제1 확장 스트림(STe1)에는, 120Hz 계층의 화상 데이터(Q1의 프레임(픽처)의 화상 데이터 참조)의 부호화 화상 데이터가 포함된다. 또한, 제2 확장 스트림(STe2)에는, 240Hz 계층의 화상 데이터(Q2, Q4의 프레임(픽처)의 화상 데이터 참조)의 부호화 화상 데이터가 포함된다.
한편, 도 9의 예에 있어서는, 촬영 시의 셔터 앵글(셔터율) α가 360 degree(100%)인 예를 나타냈으나, 다른 예의 경우도, 마찬가지로 생각할 수 있다. 예를 들면, α=288 degree의 경우, β=288*3=864 degree, γ=288*3/4=216 degree가 된다. 이는, 도 9의 예의 경우뿐만 아니라, 이하의 도 10, 도 11의 예에 있어서도 마찬가지이다.
도 10을 참조하여, 혼합 처리의 다른 일례를 설명한다. 도 10 (a)는, 기본형인 혼합 처리가 되지 않은 비호환 모드의 화상 데이터를 나타내고 있다. 이 화상 데이터는, 240Hz(240 fps)의 프레임 주파수에서, 1/240 sec의 셔터 속도로 촬영한 경우의 화상 데이터이다. 이 화상 데이터는, P1, P2, P3, P4의 4프레임(픽처) 구간이 반복되는 구성으로 되어 있다. 이 경우의 각 프레임 셔터 앵글(셔터율) α는 360 degree(100%)이다 (도 7(a) 참조).
도 10(b)는, 혼합 처리된 저프레임 레이트 호환 모드의 120Hz의 화상 데이터를 나타내고 있다. 이 화상 데이터는, S1, S3의 2프레임 구간이 반복되는 구성으로 되어 있다. S1의 프레임의 화상 데이터는, P1의 프레임의 화상 데이터와 같다. 이 S1의 프레임은 120Hz의 시간폭이며, 이는 240Hz의 2슬롯의 시간폭에 상당한다.
이 S1의 프레임의 화상 데이터가 P1, P2의 2슬롯의 화소 요소를 포함한다고 하면 셔터 앵글(셔터율)은 360 degree(100%)가 된다. 그러나, 이 S1의 프레임의 화상 데이터는 P1의 슬롯 화소 요소만을 포함하기 때문에, 이 S1의 프레임의 셔터 앵글(셔터율)은 180 degree(50%)이다.
S3의 프레임의 화상 데이터는, P2, P3, P4의 프레임의 화상 데이터를 필터 연산하여 얻어진 혼합 화상 데이터 t(P2, P3, P4)이다. 이 S3의 프레임은 120Hz의 시간폭이며, 이는 240Hz의 2슬롯의 시간폭에 상당한다. 이 S3의 프레임의 화상 데이터가 P3, P4의 2슬롯의 화소 요소를 포함한다고 하면 셔터 앵글(셔터율)은 360 degree(100%)가 된다.
그러나, 이 S3의 프레임의 화상 데이터는, P3, P4의 2슬롯 이외에, P2의 슬롯을 더한 3슬롯의 화소 요소도 포함한다. 그 때문에, 이 S3의 프레임의 셔터 앵글(셔터율) β는, 이하의 수식 (6)으로 나타내는 바와 같이, 540 degree(150%)가 된다.
β=360*120/240*3=540 ···(6)
도 10(c)는, 수신측에서, 혼합 처리되어 있는 S3의 프레임의 화상 데이터를 추출하여 60Hz 표시를 하는 경우의 화상 데이터를 나타내고 있다. T3의 프레임의 화상 데이터는, S3의 프레임의 화상 데이터를 60Hz의 시간 간격으로 표시하는 것이 된다. 이 T3의 프레임의 화상 데이터는, 60Hz의 시간폭에 있어서, 원래 240Hz의 4슬롯 중 P2, P3, P4의 3슬롯에 해당하는 프레임의 화소 요소를 합성하여 갖게 된다. 그 때문에, T3의 프레임의 셔터 앵글(셔터율) γ는, 이하의 수식 (7)로 나타내는 바와 같이, 270 degree(75%)가 된다.
γ=360*60/240*3=270 ···(7)
도 10(b)에 나타내는 혼합 처리된 저프레임 레이트 호환 모드의 화상 데이터를 수신측으로 송신하는 경우, 인코더(102b)에서는, 예를 들면, 다음과 같이 부호화가 행해진다. 즉, 기본 스트림(STb)에는, 60Hz 계층의 화상 데이터(S3의 프레임(픽처)의 화상 데이터 참조)의 부호화 화상 데이터가 포함된다. 또한, 제1 확장 스트림(STe1)에는, 120Hz 계층의 화상 데이터(S1의 프레임(픽처)의 화상 데이터 참조)의 부호화 화상 데이터가 포함된다. 이 경우, 제2 확장 스트림(STe2)은 생성되지 않는다.
도 11을 참조하여, 혼합 처리의 또 다른 일례를 설명한다. 도 11(a)는, 기본형인 혼합 처리가 되지 않은 비호환 모드의 화상 데이터를 나타내고 있다. 이 화상 데이터는, 240Hz(240 fps)의 프레임 주파수에서, 1/240 sec의 셔터 속도로 촬영한 경우의 화상 데이터이다. 이 화상 데이터는, P1, P2, P3, P4의 4프레임(픽처) 구간이 반복되는 구성으로 되어 있다. 이 경우의 각 프레임의 셔터 앵글(셔터율) α는 360 degree(100%)이다 (도 7(a) 참조).
도 11(b)는, 1단째의 혼합 처리가 된 저프레임 레이트 호환 모드의 120Hz의 화상 데이터를 나타내고 있다. 상세한 설명은 생략하지만, 이 화상 데이터는, 상술한 도 10(b)에 나타내는 화상 데이터와 같다.
도 11(c)는, 2단째의 혼합 처리가 된 저프레임 레이트 호환 모드의 120Hz의 화상 데이터를 나타내고 있다. 이 화상 데이터는, U1, U3의 2프레임 구간이 반복되는 구성으로 되어 있다. U1의 프레임의 화상 데이터는, S1의 프레임의 화상 데이터와 같다.
U3의 프레임의 화상 데이터는, S1, S3의 프레임의 화상 데이터를 필터 연산하여 얻어진 혼합 화상 데이터 t(S1, S3)이다. 이 U3의 프레임은 120Hz의 시간폭이며, 이는 240Hz의 2슬롯의 시간폭에 상당한다. 이 U3의 프레임의 화상 데이터가 P3, P4의 2슬롯의 화소 요소를 포함하는 것이면 셔터 앵글(셔터율)은 360 degree(100%)가 된다.
그러나, 이 U3의 프레임의 화상 데이터는, P3, P4의 2슬롯 이외에, P1, P2의 2슬롯을 더한 4슬롯의 화소 요소도 포함한다. 그 때문에, 이 U3의 프레임의 셔터 앵글(셔터율) β는, 이하의 수식 (8)로 나타내는 바와 같이, 360*2 degree(200%)가 된다.
β=360*120/240*4=360*2 ···(8)
도 11(d)는, 수신측에서, 혼합 처리되어 있는 U3의 프레임의 화상 데이터를 추출하여 60Hz 표시를 하는 경우의 화상 데이터를 나타내고 있다. W3의 프레임의 화상 데이터는, U3의 프레임의 화상 데이터를 60Hz의 시간 간격으로 표시하는 것이 된다. 이 W3의 프레임의 화상 데이터는, 60Hz의 시간폭에 있어서, 원래 240Hz의 4슬롯 중 그 전체 슬롯의 프레임의 화소 요소를 합성하여 갖게 된다. 그 때문에, W3의 프레임의 셔터 앵글(셔터율) γ는, 이하의 수식 (9)로 나타내는 바와 같이, 360 degree(100%)가 된다.
γ=360*60/240*4=360 ···(9)
도 11(c)에 나타내는 혼합 처리된 저프레임 레이트 호환 모드의 화상 데이터를 수신측으로 송신하는 경우, 인코더(102b)에서는, 예를 들면, 다음과 같이 부호화가 행해진다. 즉, 기본 스트림(STb)에는, 60Hz 계층의 화상 데이터(U3의 프레임(픽처)의 화상 데이터 참조)의 부호화 화상 데이터가 포함된다. 또한, 제1 확장 스트림(STe1)에는, 120Hz 계층의 화상 데이터(U1의 프레임(픽처)의 화상 데이터 참조)의 부호화 화상 데이터가 포함된다. 이 경우, 제2 확장 스트림(STe2)은 생성되지 않는다.
「메타 데이터의 송신」
상술한 바와 같이, 도 2의 송신측 (촬영·제작·송출)에 있어서, 혼합 처리된 소정 프레임 주파수의 화상 데이터를 패킷화하여 다음 단으로 송신할 때에, 각 프레임의 화상 데이터에 관련지어, 혼합 처리에 관한 정보를 포함하는 메타 데이터의 송신도 행해진다.
여기서, 메타 데이터의 송신은, 상술한 바와 같이, 예를 들면, 메타 데이터를, 각 프레임의 화상 데이터의 적어도 선두를 포함하는 패킷의 페이로드 헤더에 삽입하여 송신하거나(제1 방법), 또는 메타 데이터를, 각 프레임의 화상 데이터를 포함하는 패킷에 대응지어진 메타 데이터 전용 패킷으로 송신함으로써(제2 방법), 행해진다. 한편, 메타 데이터의 송신 방법은, 이 제1 방법 및 제2 방법에 한정되는 것이 아니다. 이하, 제1 방법 및 제2 방법의 상세를 설명한다.
「제1 방법」
이 제1 방법은, 메타 데이터를 각 프레임의 화상 데이터의 적어도 선두를 포함하는 패킷의 페이로드 헤더에 삽입하여 송신하는 것이다.
도 12는, 패킷의 일례를 나타내고 있다. 이 예는, 「ST 2022-6 Transport of High Bit Rate Media Signals over IP Networks(HBRMT)」로서 규격화되어 있는 것이다. 이 규격은, SDI 신호를 IP 전송하기 위한 규격이며, SMPTE(미국 영화 TV 기술자 협회)가 IP 패킷을 규정한 것이다. 이 규격의 경우, 페이로드에는, 비디오, 오디오가 혼재하여 삽입된다.
이 규격에서는, SDI 스트림(picture data)을 1376바이트마다 나누어 미디어 페이로드(Media Payload)로 하고, 페이로드 헤더(Payload Header)를 부가한 후, 12바이트의 RTP 헤더를 더 부가하여, RTP 패킷으로 캡슐화한다. 「SMPTEST 2022-6」의 규격에서는, 1080P 비디오를 전송하는 3G-SDI의 비압축 스트림까지의 IP 전송을 규정한다. 한편, 실제로는, RTP 패킷에 UDP 헤더가 부가되고, IP 패킷이 더 부가되어, IP 패킷으로서 송신된다.
도 13은, RTP 헤더의 구조예(Syntax)를 나타내고, 도 14는, 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다. 버전 번호(V)는, RTP의 버전을 나타내고, 현재의 버전은 2이다. 패딩 비트(P)는, 페이로드가 패딩 되어 있는지(1), 패딩되어 있지 않은지(0)를 나타낸다.
헤더 확장 비트(X)는, 확장 헤더가 추가되어 있는지(1), 추가되어 있지 않은지(0)를 나타낸다. CSRC 카운트(CC)는, CSRC 리스트의 길이를 나타낸다. 페이로드가 복수의 미디어 스트림의 합성인 경우, 각 미디어 스트림의 SSRC의 리스트가 공헌 소스(CSRC: Contributing Source) 리스트로서 격납된다.
마커 비트(M)은, 사용하는 RTP 프로파일에 의해 정의되는 중요한 이벤트의 발생을 나타낸다. 스트림의 개시, 재개, 종료 등을 나타내기 위해 이용된다. 페이로드 타입(PT)은, 페이로드 데이터의 미디어 타입의 식별에 사용되며, RFC 3551에서 정해져 있는 미디어 부호화 방식을 나타낸다. 예를 들면, 값“98”은 「ST2022-6」을 나타내고, 신규 정의되는 “New_Value1”은 「ST2110-20」을 나타내고, 신규 정의되는 “New_Value2”는 「메타데이터」를 나타낸다.
시퀀스 번호는, 패킷이 송신될 때마다 1씩 증가되는 부호 없는 16비트 정수값이다. 통상, 초기값은 랜덤하게 설정된다. 패킷의 결락이나 정렬 목적으로 사용된다. 타임 스탬프는, 페이로드 데이터의 선두가 샘플링된 순간을 나타낸다. 미디어의 재생에 사용된다. 값은, RTP 패킷의 전송 시에, 패킷마다 인크리먼트 된다.
동기 소스(SSRC) 식별자는, 패킷 송신자의 SSRC를 나타낸다.
도 15는, 페이로드 헤더(Payload Header)의 구조예(Syntax)를 나타내고, 도 16은, 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다. 이 페이로드 헤더는, 패킷의 페이로드에 의해 전송되는 내용(contents)의 재생을 수신측에서 동기를 취하여 행할 수 있도록 지정하는 정보이다.
「Ext」의 4비트 필드는, 페이로드 헤더의 확장 워드(4 Byte로 1워드) 수를 나타낸다. 「F」의 1비트 필드는, “1”로 비디오 포맷을 포함하는 것을 나타내고, “0”으로 메타데이터 등의 비디오 이외인 것을 나타낸다. 비디오 이외인 경우는, 이후의 요소, 「FRcount」, 「R」, 「FRAME」,「 FRATE」의 값은, 의미를 갖지 않는다.
「VSID」의 3비트 필드는, “0”으로 「primary」를 나타내고, “1”로 「protect」를 나타낸다. 「FRcount」의 8비트 필드는, 영상 프레임마다 증가하는 값을 나타낸다. 「R」의 2비트 필드는, 비디오 타임 스탬프의 레퍼런스를 나타낸다. “00”은 「not locked」를 나타내고, “01”은 「UTC」를 나타내고, “10”은 「private reference」를 나타낸다.
「S」의 2비트 필드는, 페이로드가 스크램블 되어 있는지 여부를 나타낸다. “00”은 스크램블 없음을 나타낸다. 「FEC」의 3비트 필드는, 사용하는 오류 정정 부호의 종류를 나타낸다. “000”은 「none」을 나타내고, “001”은 「column」을 나타내고, “010”은 「row&column」을 나타낸다.
「CF」의 4비트 필드는, 영상 신호의 클록 주파수를 나타낸다. “0x1”은 27MHz를 나타낸다. 「MAP」의 4비트 필드는, SDI 스트림의 종류를 나타낸다. 「FRAME」의 8비트 필드는, 영상 신호의 스캔 방식이나 화소수 등의 조합을 지정한다.
「FRATE」의 8비트 필드는, 영상 신호의 프레임 주파수를 나타낸다. 「SAMPLE」의 4비트 필드는, 영상 신호의 크로마 샘플링 구조를 나타낸다. 「Video timestamp」의 32비트 필드는, 「CF」의 값이 0보다 클 때 존재하고, 송수신간의 영상 신호 동기를 위한 타임 스탬프로, 정밀도는 영상 신호의 클록 주파수로 지정하는 값이다.
이 페이로드 헤더에 있어서, 「Ext」의 값이 0보다 클 때, 「Header extension」의 필드가, 「Ext」의 값으로 나타내는 워드 수만큼 존재한다. 이 필드에는, 확장 타입을 나타내는 「Extension type」의 정보도 포함된다. 제1 방법에서는, 이 「Header extension」의 필드에, 혼합 처리에 관한 정보를 포함하는 메타 데이터로서의 “shutter_blending ()”이 삽입된다.
도 17은, “shutter_blending ()”의 구조예(Syntax)를 나타내고, 도 18은, 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다. 「metadata type」의 8비트 영역은, 메타 데이터 타입을 나타낸다. “0x0A”의 경우, 확장 영역을 본 신택스(syntax)/시맨틱스(semantics)와 같이 정의한다.
「shutter_blending_length」의 8비트 필드는, 다음 요소로부터의 바이트 사이즈를 나타낸다. 「video_stream_id」의 8비트 필드는, 타깃의 비디오 스트림 ID이다. 비디오 패킷의 외측에서 사용할 때만 사용된다.
「reference_shutter_speed_code」의 4비트 필드는, 레퍼런스 셔터 속도 (주로 캡쳐 시의 카메라 셔터 속도)의 부호값이다. 예를 들면, “0x1”은 1/24sec을 나타내고, “0x2”는 1/25sec을 나타내고, “0x3”은 1/30sec을 나타내고, “0x4”는 1/50sec을 나타내고, “0x5”는 1/60sec를 나타내고, “0x6”은 1/100sec을 나타내고, “0x7”은 1/120sec을 나타내고, “0x8”은 1/180sec을 나타내고, “0x9”은 1/200sec을 나타내고, “0xA”는 1/240sec을 나타낸다.
「number_of_blend_stages」의 4비트 필드는, 혼합 처리의 단 수를 나타낸다. 값은 1이상이다. 이 단 수만큼, 이하의 요소가 반복하여 존재한다.
「reference_framerate_code」의 4비트 필드는, 레퍼런스 프레임 레이트(=혼합 처리 대상 픽처의 프레임 레이트)의 부호값이다. 예를 들면, “0x1”은 24fps를 나타내고, “0x2”는 25fps를 나타내고, “0x3”은 30fps를 나타내고, “0x4”는 50fps를 나타내고, “0x5”는 60fps를 나타내고, “0x6”은 100fps를 나타내고, “0x7”은 120fps를 나타내고, “0x8”은 200fps를 나타내고, “0x9”는 240fps를 나타낸다.
「current_framerate_code」의 4비트 필드는, 현재의 프레임 레이트(=혼합 처리 후의 픽처의 프레임 레이트)의 부호값이다. 예를 들면, “0x1”은 24fps를 나타내고, “0x2”은 25fps를 나타내고, “0x3”은 30fps를 나타내고, “0x4”은 50fps를 나타내고, “0x5”은 60fps를 나타내고, “0x6”은 100fps를 나타내고, “0x7”은 120fps를 나타내고, “0x8”은 200fps를 나타내고, “0x9”은 240fps를 나타낸다.
「blending_flag」의 1비트 필드는, 혼합 처리되어 있는지 여부를 나타내는 블랜드 플래그이다. “1”은 혼합 처리가 되어 있는 것을 나타내고, “0”은 혼합 처리가 되어 있지 않은 것을 나타낸다. 블랜드 플래그가 “1”일 때, 이하의 요소가 존재한다.
「blend_targets_code」의 2비트 필드는, 혼합 처리 대상을 나타낸다. 레퍼런스 프레임 레이트에 있어서의, 현 픽처와 혼합하는 픽처가, 현 픽처에 대해 전, 후, 전후 양쪽 중 어느 하나를 나타낸다. 예를 들면, “10”은 「전」을 나타내고, “01”은 「후」를 나타내고, “11”은 「전후 양쪽」을 나타낸다.
「blend_coefficients_code」의 4비트 필드는, 블랜드비(혼합할 때의 필터 연산 계수의 비율)를 나타내는 부호값이다. 비율이 큰 값을 현 픽처에 대한 가중 계수로 하고, 비율이 작은 쪽을 전후의 혼합 대상 픽처에 대한 가중 계수로 한다. 예를 들면, “0x1”은 「1대1」을 나타내고, “0x2”는 「2대1」을 나타내고, “0x3”은 「4대1」을 나타내고, “0x4”는 「1대2대1」을 나타낸다.
「메타 데이터의 구체예」
먼저, 도 9(b)에 나타내는 혼합 처리된 저프레임 레이트 호환 모드의 화상 데이터를 수신측으로 송신하는 경우에 있어서의 메타 데이터의 구체예에 대해 설명한다. 도 19(a)는, Q1, Q2, Q4의 프레임의 화상 데이터에 관련지어 송신되는 메타 데이터(메타 데이터 A)의 구체예를 나타내고 있다. 이 경우, 레퍼런스 셔터 속도는 1/240sec, 레퍼런스 프레임 레이트는 240fps, 현재의 프레임 레이트는 240fps이며, 블랜드 플래그는 “0”이다.
이 경우, 수신측에 있어서는, 레퍼런스 셔터 속도와 레퍼런스 프레임 레이트로부터 오리지널 셔터 앵글이 360 degree(100%)임을 알 수 있다. 또한, 현재의 프레임 레이트가 레퍼런스 프레임 레이트와 같기 때문에, 해당 프레임의 셔터 앵글은 360 degree(100%)임을 알 수 있다. 또한, 블랜드 플래그에 의해, 해당 프레임의 화상 데이터는, 혼합 처리되지 않은 것임을 알 수 있다.
도 19(b)는, Q3의 프레임의 화상 데이터에 관련지어 송신되는 메타 데이터(메타 데이터 A)의 구체예를 나타내고 있다. 이 경우, 레퍼런스 셔터 속도는 1/240sec, 레퍼런스 프레임 레이트는 240fps, 현재의 프레임 레이트는 240fps이며, 블랜드 플래그는 “1”, 혼합 처리 대상이 전후 양쪽, 블랜드비는 1대2대1이다.
이 경우, 수신측에 있어서는, 레퍼런스 셔터 속도와 레퍼런스 프레임 레이트로부터 오리지널 셔터 앵글이 360 degree(100%)임을 알 수 있다. 또한, 혼합 처리 대상으로부터, 해당 프레임의 화상 데이터는, 전후 양쪽의 픽처를 혼합 처리 대상으로 하고, 3개의 픽처가 1대2대1의 비율로 혼합된 것임을 알 수 있다. 이 혼합 처리에 의한 셔터 앵글의 환산은 360*3=1080 degree(300%)가 된다. 현재의 프레임 레이트가 레퍼런스 프레임 레이트와 같기 때문에, 해당 프레임의 셔터 앵글은 360 degree(100%)이 됨을 알 수 있다.
다음으로, 도 10(b)에 나타내는 혼합 처리된 저프레임 레이트 호환 모드의 화상 데이터를 수신측으로 송신하는 경우에 있어서의 메타 데이터의 구체예에 대해 설명한다. 도 20(a)는, S1의 프레임의 화상 데이터에 관련지어 송신되는 메타 데이터(메타 데이터 A)의 구체예를 나타내고 있다. 이 경우, 레퍼런스 셔터 속도는 1/240sec, 레퍼런스 프레임 레이트는 240fps, 현재의 프레임 레이트는 120fps이며, 블랜드 플래그는 “0”이다.
이 경우, 수신측에 있어서는, 레퍼런스 셔터 속도와 레퍼런스 프레임 레이트로부터 오리지널 셔터 앵글이 360 degree(100%)임을 알 수 있다. 또한, 현재의 프레임 레이트의 시간축이 레퍼런스 프레임 레이트의 시간축에 대해 2배가 되기 때문에, 해당 프레임의 셔터 앵글은 180 degree(50%)임을 알 수 있다. 또한, 블랜드 플래그에 의해, 해당 프레임의 화상 데이터는, 혼합 처리되지 않은 것임을 알 수 있다.
도 20(b)는, S3의 프레임의 화상 데이터에 관련지어 송신되는 메타 데이터(메타 데이터 A)의 구체예를 나타내고 있다. 이 경우, 레퍼런스 셔터 속도는 1/240sec, 레퍼런스 프레임 레이트는 240fps, 현재의 프레임 레이트는 120fps이며, 블랜드 플래그는 “1”, 혼합 처리 대상이 전후 양쪽, 블랜드비는 1대2대1이다.
이 경우, 수신측에 있어서는, 레퍼런스 셔터 속도와 레퍼런스 프레임 레이트로부터 오리지널 셔터 앵글이 360 degree(100%)임을 알 수 있다. 또한, 혼합 처리 대상으로부터, 해당 프레임의 화상 데이터는, 전후 양쪽의 픽처를 혼합 처리 대상으로 하고, 3개의 픽처가 1대2대1의 비율로 혼합된 것임을 알 수 있다. 이 혼합 처리에 의한 셔터 앵글의 환산은 360*3=1080 degree(300%)가 된다. 현재의 프레임 레이트의 시간축이 레퍼런스 프레임 레이트의 시간축에 대해 2배가 되기 때문에, 해당 프레임의 셔터 앵글은 540 degree(150%)이 됨을 알 수 있다.
다음으로, 도 11(c)에 나타내는 2단 혼합 처리된 저프레임 레이트 호환 모드의 화상 데이터를 수신측으로 송신하는 경우에 있어서의 메타 데이터의 구체예에 대해 설명한다. 도 21(a), (b)는, 도 11(b)의 S1, S3의 프레임의 화상 데이터에 관련지어 송신되는 메타 데이터(메타 데이터 A)의 구체예를 나타내고 있다. 상세한 설명은 생략하지만, 이들 메타 데이터(메타 데이터 A)에 관해서는, 상술한 도 20(a), (b)의 설명과 마찬가지이다.
도 21(c)는, U1의 프레임의 화상 데이터에 관련지어 송신되는 메타 데이터(메타 데이터 B)의 구체예를 나타내고 있다. 이 메타 데이터(메타 데이터 B)에는, 도 21(a)에 나타내는 1단째의 혼합 처리에 관한 정보가 포함됨과 함께, 2단째의 혼합 처리에 관한 정보가 포함된다. 2단째의 혼합 처리에 관하여, 레퍼런스 프레임 레이트는 120fps, 현재의 프레임 레이트는 120fps이며, 블랜드 플래그는 “0”이다.
이 경우, 수신측에 있어서는, 현재의 프레임 레이트가 레퍼런스 프레임 레이트와 같기 때문에, S1 프레임의 셔터 앵글과 마찬가지로, 해당 프레임의 셔터 앵글은 360 degree(100%)임을 알 수 있다. 또한, 블랜드 플래그에 의해, 해당 프레임의 화상 데이터는, 혼합 처리되지 않은 것임을 알 수 있다.
도 21(d)는, U3의 프레임의 화상 데이터에 관련지어 송신되는 메타 데이터(메타 데이터 B)의 구체예를 나타내고 있다. 이 메타 데이터(메타 데이터 B)에는, 도 21(b)에 나타내는 1단째의 혼합 처리에 관한 정보가 포함됨과 함께, 2단째의 혼합 처리에 관한 정보가 포함된다. 2단째의 혼합 처리에 관하여, 레퍼런스 프레임 레이트는 120fps, 현재의 프레임 레이트는 120fps이며, 블랜드 플래그는 “1”, 혼합 처리 대상이 전, 블랜드비는 4대1이다.
이 경우, 혼합 처리 대상으로부터, 해당 프레임의 화상 데이터는, 앞의 픽처를 혼합 처리 대상으로 하고, 2개의 픽처가 4대1의 비율로 혼합된 것임을 알 수 있다. 이 혼합 처리에 의해, 해당 프레임의 셔터 앵글은, 540+180=720 degree(200%)가 됨을 알 수 있다.
도 22는, RTP 전송에 의해 픽처가 복수 패킷(미디어 패킷)으로 전송되는 예를 나타내고 있다. 이 예에서는, 픽처가 2개의 RTP 패킷으로 분할되는 모습을 나타내고 있지만, 이에 한정되는 것은 아니고, 예를 들면, 픽처의 복수 라인이 1패킷으로 송신되어, 하나의 픽처가 복수의 패킷으로 전송되어도 된다. 또한, 이 예에서는, 모든 패킷의 페이로드 헤더에 메타 데이터가 삽입되는 예를 나타내고 있지만, 적어도 각 프레임의 화상 데이터의 선두를 포함하는 패킷의 페이로드 헤더에 삽입되어 있으면 된다. 한편, 이 예에서는, 비디오만을 묘사하고 있지만, 실제는, ST2022-6은 비디오, 오디오가 혼재하는 것을 허용하고 있다.
「제2 방법」
제2 방법은, 메타 데이터를, 각 프레임의 화상 데이터를 포함하는 패킷에 대응지어진 메타 데이터 전용 패킷으로 송신하는 것이다.
도 23은, 도 22와 마찬가지로, RTP 전송에 의해 픽처가 복수 패킷(미디어 패킷)으로 전송되는 예를 나타내고 있다. 한편, 이 예에서는, 도면의 간단화를 위해, UDP 헤더 및 OP 헤더의 도시는 생략하고 있다.
도 23의 예에서는, 미디어 패킷 이외에, 메타 데이터 패킷이 존재한다. 제2 방법에 있어서는, 메타 데이터 패킷을 신규 정의하고, 이 메타 데이터 패킷을 이용하여, 각 프레임에 각각 대응지어 혼합 처리에 관한 정보를 포함하는 메타 데이터를 송신한다. 이 경우, 메타 데이터의 대상 비디오 패킷은, 「video_stream_id」에 의해 관련지어진다. 또한, 대상 픽처는, 「Video_timestamp」에 의해 동기된다.
도 24는, 이 경우에 있어서의 페이로드 헤더의 구조예(Syntax)를 나타내고 있다. 이 페이로드 헤더에, 리저브 영역, 예를 들면 「EMT-RESERVE」를 이용하여, 「video_stream_id」를 신규 정의한다. 이 「video_stream_id」는, 프로그램 전송에 있어서 고유하게 결정되는 값을 갖는다.
그리고, 별도의 전송 패킷과 연계시킬 수 있다 (도 23 참조).
한편, 상세한 설명은 생략하지만, 이 페이로드 헤더의 그 밖의 구조는, 도 15에 나타내는 구조예와 마찬가지이다. 단, 이 경우, 이 페이로드 헤더에 메타 데이터의 삽입은 없다. 한편, 이 페이로드 헤더에는, 「Video_timestamp」가 존재한다.
메타 데이터는, 비디오와는 별도의 RTP 패킷의 페이로드에 의해 전송된다. 그리고, 「video_stream_id」와 「Video_timestamp」에 의해, 대상이 되는 비디오의 각 픽처에 동기·관련지음이 가능하다. 이 경우, RTP 헤더의 PT(페이로드 타입)에는, 「New_value2」이 들어가고, 페이로드 헤더의 「F」에는 “0”이 들어가고, 페이로드는 비디오가 아님을 나타낸다. 「shutter_blending ()」의 포맷 데이터가, 페이로드의 영역에 그대로 삽입되어 전송된다.
도 25는, 메타 데이터 패킷의 페이로드 헤더 및 페이로드의 구조예(Syntax)를 나타내고 있다. 페이로드 헤더 영역에, 메타 데이터 패킷의 식별 정보인 「metadata start word」의 32비트 필드와, 「Video_timestamp」의 32비트 필드가 존재한다. 그리고, 페이로드 영역에, 혼합 처리에 관한 정보를 포함하는 메타 데이터로서의 “shutter_blending ()”(도 17 참조)이 삽입된다. 이 “shutter_blending ()”에는, 「video_stream_id」가 존재한다.
이상 설명한 바와 같이, 도 2, 도 3에 나타내는 송수신 시스템(10)의 송신측 (촬영·제작·송출)에 있어서, 혼합 처리된 소정 프레임 주파수의 화상 데이터를 패킷화하여 다음 단으로 송신할 때에, 각 프레임의 화상 데이터에 관련지어, 혼합 처리에 관한 정보를 포함하는 메타 데이터의 송신도 행해진다. 그 때문에, 혼합 처리된 화상 데이터의 예를 들면 소재 전송을 할 때 수신측에서의 취급을 양호하게 행할 수 있게 된다.
<2. 변형예>
한편, 상술한 실시형태에 있어서는, 화상 데이터(비디오 데이터)를 컨테이너화하는 패킷으로서 「ST 2022-6」규격의 패킷을 예를 들어 설명하였다. 그러나, 화상 데이터를 컨테이너화하는 패킷이 그 밖의 패킷, 예를 들면 「ST 2110-20」규격의 패킷인 경우에도, 본 기술을 마찬가지로 적용할 수 있다. 이 「ST 2110-20」규격의 패킷인 경우에는, 페이로드에 비디오만이 삽입된다.
또한, 첨부 도면을 참조하면서 본 개시가 바람직하는 실시 형태에 대해 상세하게 설명하였으나, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술분야에 있어서의 통상의 지식을 가진 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주내에서, 각종의 변경예 또는 수정예에 상도할 수 있음은 자명하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적이지 않다. 즉, 본 개시에 따른 기술은, 상기의 효과와 함께, 또는 상기의 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 자명한 다른 효과를 얻을 수 있다.
한편, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 송신하는 송신부를 구비하고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
상기 송신부는, 각 프레임의 화상 데이터에 각각 관련지어, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 송신하는 송신 장치.
(2) 상기 송신부는, 상기 메타 데이터를, 상기 각 프레임의 화상 데이터의 적어도 선두를 포함하는 상기 패킷의 페이로드 헤더에 삽입하여 송신하는 상기 (1)에 기재된 송신 장치.
(3) 상기 송신부는, 상기 메타 데이터를 상기 각 프레임의 화상 데이터를 포함하는 상기 패킷에 대응지어진 메타 데이터 전용 패킷으로 송신하는 상기 (1)에 기재된 송신 장치.
(4) 상기 혼합 처리에 관한 정보는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보를 포함하는 상기 (1) 내지 (3) 중 어느 하나에 기재된 송신 장치.
(5) 상기 혼합 처리에 관한 정보는, 캡쳐 시의 카메라 셔터 속도의 정보를 포함하는 상기 (1) 내지 (4) 중 어느 하나에 기재된 송신 장치.
(6) 상기 혼합 처리에 관한 정보는, 혼합 처리 대상 픽처의 프레임 레이트의 정보를 포함하는 상기 (1) 내지 (5) 중 어느 하나에 기재된 송신 장치.
(7) 상기 혼합 처리에 관한 정보는, 혼합 처리 후의 프레임 레이트의 정보를 포함하는 상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(8) 상기 혼합 처리에 관한 정보는, 혼합 처리 대상 픽처를 나타내는 정보를 포함하는 상기 (1) 내지 (7) 중 어느 하나에 기재된 송신 장치.
(9) 상기 혼합 처리에 관한 정보는, 혼합할 때의 필터 연산 계수의 비율을 나타내는 정보를 포함하는 상기 (1) 내지 (8) 중 어느 하나에 기재된 송신 장치.
(10) 상기 혼합 처리는, 소정 단의 혼합 처리를 포함하는 상기 (1) 내지 (9) 중 어느 하나에 기재된 송신 장치.
(11) 상기 패킷은, IP(Internet Protocol) 네트워크를 이용한 영상 신호 전송에 관한 규격에 의해 규정되는 포맷에 준거하는 상기 (1) 내지 (10) 중 어느 하나에 기재된 송신 장치.
(12) 상기 규격은, SMPTE ST2022-6인 상기 (11)에 기재된 송신 장치.
(13) 상기 규격은, SMPTE ST2110-20인 상기 (11)에 기재된 송신 장치.
(14) 상기 혼합 처리를 행하는 혼합 처리부를 더 구비하는 상기 (1) 내지 (13) 중 어느 하나에 기재된 송신 장치.
(15) 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 송신하는 단계를 갖고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
각 프레임의 화상 데이터에 각각 관련지어, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 송신하는 단계를 더 포함하는 송신 방법.
(16) 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 수신부를 구비하고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
상기 수신부는, 각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 수신하고,
상기 혼합 처리에 관한 정보는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보를 포함하고,
상기 혼합 처리에 관한 정보에 기초하여, 상기 소정 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어의 화상 데이터로서 부호화하고, 상기 소정 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어의 화상 데이터로서 부호화하는 부호화부를 더 구비하는 부호화 장치.
(17) 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 단계를 갖고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 수신하는 단계를 포함하고,
상기 혼합 처리에 관한 정보는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보를 포함하고,
상기 혼합 처리에 관한 정보에 기초하여, 상기 소정 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어의 화상 데이터로서 부호화하고, 상기 소정 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어의 화상 데이터로서 부호화하는 단계를 더 포함하는 부호화 방법.
(18) 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 수신부를 구비하고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
상기 수신부는, 각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 수신하고,
상기 혼합 처리에 관한 정보에 기초하여, 상기 소정 프레임 주파수의 화상 데이터에 대해 역혼합 처리를 실시하여 표시용 화상 데이터를 얻는 처리부를 더 구비하는 수신 장치.
(19) 소정 프레임 주파수의 화상 데이터를 프레임마다 소정 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 단계를 갖고,
상기 소정 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및/또는 후의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 수신하는 단계와,
상기 혼합 처리에 관한 정보에 기초하여 상기 소정 프레임 주파수의 화상 데이터에 대해 역혼합 처리를 실시하여 표시용 화상 데이터를 얻는 단계를 더 포함하는 수신 방법.
10: 송수신 시스템
101: 카메라
101a: 프리프로세서
102: 방송국
102a: HLP부
102b: 인코더
103: 편집 장치
103a: HLP부
103b: 프리프로세서
211, 221, 231: 셋톱 박스
211a, 221a: HLP부
21lb, 22lb, 231a: 디코더
212, 222, 232: 디스플레이
212a, 222a: 포스트프로세서
212b, 222b, 232a: MCFI부

Claims (19)

  1. 미리 정해진 프레임 주파수의 화상 데이터를 프레임마다 미리 정해진 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 송신하는 송신부를 구비하고,
    상기 미리 정해진 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및 후의 적어도 어느 하나의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
    상기 송신부는, 각 프레임의 화상 데이터에 각각 관련지어, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 송신하는 송신 장치.
  2. 제1항에 있어서,
    상기 송신부는, 상기 메타 데이터를, 상기 각 프레임의 화상 데이터의 적어도 선두를 포함하는 상기 패킷의 페이로드 헤더에 삽입하여 송신하는 송신 장치.
  3. 제1항에 있어서,
    상기 송신부는, 상기 메타 데이터를, 상기 각 프레임의 화상 데이터를 포함하는 상기 패킷에 대응지어진 메타 데이터 전용 패킷으로 송신하는 송신 장치.
  4. 제1항에 있어서,
    상기 혼합 처리에 관한 정보는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보를 포함하는 송신 장치.
  5. 제1항에 있어서,
    상기 혼합 처리에 관한 정보는, 캡쳐 시의 카메라 셔터 속도의 정보를 포함하는 송신 장치.
  6. 제1항에 있어서,
    상기 혼합 처리에 관한 정보는, 혼합 처리 대상 픽처의 프레임 레이트의 정보를 포함하는 송신 장치.
  7. 제1항에 있어서,
    상기 혼합 처리에 관한 정보는, 혼합 처리 후의 프레임 레이트의 정보를 포함하는 송신 장치.
  8. 제1항에 있어서,
    상기 혼합 처리에 관한 정보는, 혼합 처리 대상 픽처를 나타내는 정보를 포함하는 송신 장치.
  9. 제1항에 있어서,
    상기 혼합 처리에 관한 정보는, 혼합할 때의 필터 연산 계수의 비율을 나타내는 정보를 포함하는 송신 장치.
  10. 제1항에 있어서,
    상기 혼합 처리는, 미리 정해진 단의 혼합 처리를 포함하는 송신 장치.
  11. 제1항에 있어서,
    상기 패킷은, IP(Internet Protocol) 네트워크를 이용한 영상 신호 전송에 관한 규격에 의해 규정되는 포맷에 준거하는 송신 장치.
  12. 제11항에 있어서,
    상기 규격은, SMPTE ST2022-6인 송신 장치.
  13. 제11항에 있어서,
    상기 규격은, SMPTE ST2110-20인 송신 장치.
  14. 제1항에 있어서,
    상기 혼합 처리를 행하는 혼합 처리부를 더 구비하는 송신 장치.
  15. 미리 정해진 프레임 주파수의 화상 데이터를 프레임마다 미리 정해진 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 송신하는 단계를 갖고,
    상기 미리 정해진 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및 후의 적어도 어느 하나의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
    각 프레임의 화상 데이터에 각각 관련지어, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 송신하는 단계를 더 포함하는 송신 방법.
  16. 미리 정해진 프레임 주파수의 화상 데이터를 프레임마다 미리 정해진 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 수신부를 구비하고,
    상기 미리 정해진 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및 후의 적어도 어느 하나의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
    상기 수신부는, 각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 수신하고,
    상기 혼합 처리에 관한 정보는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보를 포함하고,
    상기 혼합 처리에 관한 정보에 기초하여, 상기 미리 정해진 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어의 화상 데이터로서 부호화하고, 상기 미리 정해진 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어의 화상 데이터로서 부호화하는 부호화부를 더 구비하는 부호화 장치.
  17. 미리 정해진 프레임 주파수의 화상 데이터를 프레임마다 미리 정해진 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 단계를 갖고,
    상기 미리 정해진 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및 후의 적어도 어느 하나의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
    각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 수신하는 단계를 포함하고,
    상기 혼합 처리에 관한 정보는, 대응하는 프레임의 화상 데이터가 혼합 처리되어 있는지 여부를 나타내는 정보를 포함하고,
    상기 혼합 처리에 관한 정보에 기초하여, 상기 미리 정해진 프레임 주파수의 화상 데이터 중 혼합 처리되어 있는 프레임의 화상 데이터를 기본 레이어의 화상 데이터로서 부호화하고, 상기 미리 정해진 프레임 주파수의 화상 데이터 중 혼합 처리되지 않은 프레임의 화상 데이터를 확장 레이어의 화상 데이터로서 부호화하는 단계를 더 포함하는 부호화 방법.
  18. 미리 정해진 프레임 주파수의 화상 데이터를 프레임마다 미리 정해진 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 수신부를 구비하고,
    상기 미리 정해진 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및 후의 적어도 어느 하나의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
    상기 수신부는, 각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 더 수신하고,
    상기 혼합 처리에 관한 정보에 기초하여, 상기 미리 정해진 프레임 주파수의 화상 데이터에 대해 역혼합 처리를 실시하여 표시용 화상 데이터를 얻는 처리부를 더 구비하는 수신 장치.
  19. 미리 정해진 프레임 주파수의 화상 데이터를 프레임마다 미리 정해진 수로 분할하여 얻어진 분할 화상 데이터를 페이로드 데이터로서 포함하는 패킷을 수신하는 단계를 갖고,
    상기 미리 정해진 프레임 주파수의 화상 데이터는, 프레임마다 선택적으로 전 및 후의 적어도 어느 하나의 프레임의 화상 데이터를 사용한 혼합 처리가 되어 있고,
    각 프레임의 화상 데이터에 각각 관련지어진, 상기 혼합 처리에 관한 정보를 포함하는 메타 데이터를 수신하는 단계와,
    상기 혼합 처리에 관한 정보에 기초하여 상기 미리 정해진 프레임 주파수의 화상 데이터에 대해 역혼합 처리를 실시하여 표시용 화상 데이터를 얻는 단계를 더 포함하는 수신 방법.
KR1020217018992A 2018-12-28 2019-12-18 송신 장치, 송신 방법, 부호화 장치, 부호화 방법, 수신 장치 및 수신 방법 KR20210107678A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862786022P 2018-12-28 2018-12-28
US62/786,022 2018-12-28
PCT/JP2019/049713 WO2020137766A1 (ja) 2018-12-28 2019-12-18 送信装置、送信方法、符号化装置、符号化方法、受信装置および受信方法

Publications (1)

Publication Number Publication Date
KR20210107678A true KR20210107678A (ko) 2021-09-01

Family

ID=71124321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217018992A KR20210107678A (ko) 2018-12-28 2019-12-18 송신 장치, 송신 방법, 부호화 장치, 부호화 방법, 수신 장치 및 수신 방법

Country Status (7)

Country Link
US (3) US11234044B2 (ko)
EP (1) EP3905702A1 (ko)
JP (1) JPWO2020137766A1 (ko)
KR (1) KR20210107678A (ko)
CN (1) CN113273218A (ko)
BR (1) BR112021012268A2 (ko)
WO (1) WO2020137766A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834443B2 (en) * 2017-01-27 2020-11-10 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
DK4064706T3 (da) * 2019-03-11 2023-07-24 Dolby Laboratories Licensing Corp Signalering af information relateret til blændevinkel

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015076277A (ja) 2013-10-09 2015-04-20 株式会社キャタラー 燃料電池用電極触媒及びその製造方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405968B1 (ko) * 2007-06-28 2014-06-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US20100169318A1 (en) * 2008-12-30 2010-07-01 Microsoft Corporation Contextual representations from data streams
ES2782357T3 (es) 2009-11-03 2020-09-14 Fosun Orinove Pharmatech Inc Inhibidores de IRE 1 alfa
JPWO2012153450A1 (ja) 2011-05-11 2014-07-31 パナソニック株式会社 動画像送信装置および動画像送信方法
US10542259B2 (en) * 2013-11-22 2020-01-21 Sony Corporation Transmission device, transmission method, reception device, and reception method
EP3158734A4 (en) * 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
JP6489789B2 (ja) * 2014-10-16 2019-03-27 株式会社ミクニ ポンプ及び燃料噴射装置
JP6930419B2 (ja) 2015-05-19 2021-09-01 ソニーグループ株式会社 画像処理装置、画像処理方法、受信装置および送信装置
KR20180052613A (ko) * 2015-09-10 2018-05-18 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR20180063063A (ko) * 2015-09-30 2018-06-11 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6589554B2 (ja) * 2015-10-26 2019-10-16 日産自動車株式会社 電動車両の制御方法、及び、制御装置
CN109076256A (zh) * 2016-04-12 2018-12-21 索尼公司 发送设备、发送方法、接收设备和接收方法
JP7026450B2 (ja) * 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) * 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015076277A (ja) 2013-10-09 2015-04-20 株式会社キャタラー 燃料電池用電極触媒及びその製造方法

Also Published As

Publication number Publication date
US11843822B2 (en) 2023-12-12
US11234044B2 (en) 2022-01-25
US20220182705A1 (en) 2022-06-09
JPWO2020137766A1 (ja) 2021-11-11
WO2020137766A1 (ja) 2020-07-02
EP3905702A1 (en) 2021-11-03
BR112021012268A2 (pt) 2021-08-31
US20240163502A1 (en) 2024-05-16
US20200213657A1 (en) 2020-07-02
CN113273218A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN105981391B (zh) 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法
JP6565679B2 (ja) 送信装置、送信方法、受信装置および受信方法
US8046815B2 (en) Optical network for bi-directional wireless communication
US10965949B2 (en) Carriage systems encoding or decoding JPEG 2000 video
EP3261352B1 (en) Transmission device, transmission method, reception device, and reception method
US20240163502A1 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
US20180255272A1 (en) Transmission device, transmission method, reception device, and reception method
JP7026450B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR20200077517A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US9781438B2 (en) Standardized hot-pluggable transceiving unit with signal encoding or decoding capabilities
US11483565B2 (en) Receiving apparatus, receiving method, transmitting apparatus, and transmitting method
US20230112314A1 (en) Reception device, reception method, transmission device, and transmission method
US9479823B2 (en) Transmitting device and receiving device
CN117178554A (zh) 消息引用
Stolitzka et al. New JPEG 2000 Profiles for Broadcast Contribution
JP2004056234A (ja) 画像符号化装置および画像符号化方法
JP2006109513A (ja) 符号化装置および方法、並びに記録媒体
WO2014008321A1 (en) Signalling information for consecutive coded video sequences that have the same aspect ratio but different picture resolutions