KR102551759B1 - 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법 Download PDF

Info

Publication number
KR102551759B1
KR102551759B1 KR1020197029203A KR20197029203A KR102551759B1 KR 102551759 B1 KR102551759 B1 KR 102551759B1 KR 1020197029203 A KR1020197029203 A KR 1020197029203A KR 20197029203 A KR20197029203 A KR 20197029203A KR 102551759 B1 KR102551759 B1 KR 102551759B1
Authority
KR
South Korea
Prior art keywords
blur
control information
image data
video stream
layer
Prior art date
Application number
KR1020197029203A
Other languages
English (en)
Other versions
KR20190137802A (ko
Inventor
히로아키 에토
도시유키 오구라
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20190137802A publication Critical patent/KR20190137802A/ko
Application granted granted Critical
Publication of KR102551759B1 publication Critical patent/KR102551759B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

하이 프레임 레이트의 동화상 데이터를 수신하는 수신측에 있어서, 적절한 화질의 화상을 용이하게 제시 가능하게 한다. 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성한다. 이 비디오 스트림을 포함하는 컨테이너를 송신한다. 컨테이너의 레이어 및/또는 비디오 스트림의 레이어에, 블러(blur)를 컨트롤하기 위한 블러 컨트롤 정보를 삽입한다. 예를 들어 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여한다.

Description

송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법
본 기술은 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법에 관한 것이며, 상세하게는 하이 프레임 레이트의 동화상 데이터를 송신하는 송신 장치 등에 관한 것이다.
근년, 고속 프레임 셔터로 하이 프레임 레이트 촬영을 행하여 하이 프레임 레이트의 동화상 데이터를 출력하는 카메라가 알려져 있다(예를 들어 특허문헌 1 참조). 예를 들어 노멀 프레임 레이트가 60㎐인 것인 데에 비해 하이 프레임 레이트는 120㎐, 240㎐, 480㎐ 등이다.
그리고 근년, 이러한 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 포함하는 컨테이너를 생성하고, 이 컨테이너를 방송파 또는 네트의 패킷에 실어 송신하는 것이 생각되고 있다. 예를 들어 컨테이너로서는 MPEG-2 TS(MPEG-2 Transport Stream) 또는 MMT(MPEG Media Transport) 등이 알려져 있다.
일본 특허 공개 제2010-178124호 공보
하이 프레임 레이트의 동화상 데이터를 수신하는 수신기에 있어서, 표시부가 하이 프레임 레이트에 대응하고 있지 않으면, 예를 들어 하이 프레임 레이트의 동화상 데이터에 씨닝 처리 또는 가산 처리를 행하여 노멀 프레임 레이트의 동화상 데이터를 얻어서 화상 표시를 행하게 된다. 그러나 단순히 씨닝 처리 또는 가산 처리를 행하여 얻어진 노멀 프레임 레이트의 동화상 데이터에 의한 표시 화상은, 관찰자에게 있어 만족스런 것으로 되지는 않을 것이 상정된다.
본 기술의 목적은, 하이 프레임 레이트의 동화상 데이터를 수신하는 수신측에 있어서, 적절한 화질의 화상을 용이하게 제시 가능하게 하는 데에 있다.
본 기술의 개념은,
하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 부호화부와,
상기 비디오 스트림을 포함하는 컨테이너를 송신하는 송신부와,
상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보를 삽입하는 정보 삽입부를 구비하는
송신 장치에 있다.
본 기술에 있어서, 부호화부에 의하여 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림이 생성된다. 예를 들어 하이 프레임 레이트의 동화상 데이터는, 120㎐, 240㎐, 또는 480㎐의 프레임 레이트의 동화상 데이터이도록 되어도 된다. 송신부에 의하여, 비디오 스트림을 포함하는 컨테이너가 송신된다.
정보 삽입부에 의하여 컨테이너의 레이어 및/또는 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보가 삽입된다. 예를 들어 주변 프레임의 가중 계수에는 부의 계수가 포함되도록 되어도 된다.
또한, 예를 들어 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여하도록 되어도 된다. 이 경우, 예를 들어 주변 프레임에는 과거 및 미래의 프레임이 포함되도록 되어도 된다. 또한 이 경우, 예를 들어 주변 프레임에는 과거의 프레임만이 포함되도록 되어도 된다.
또한, 예를 들어 정보 삽입부는, 블러 컨트롤 정보를 포함하는 SEI 메시지를 비디오 스트림의 레이어에 삽입하도록 되어도 된다. 또한, 예를 들어 정보 삽입부는, 비디오 스트림의 레이어에 블러 컨트롤 정보를 삽입할 때, 해당 삽입이 있음을 나타내는 식별 정보를 컨테이너의 레이어에 더 삽입하도록 되어도 된다. 이와 같이 컨테이너의 레이어에 식별 정보가 삽입됨으로써, 수신측에서는 비디오 스트림을 디코드하지 않더라도, 비디오 스트림의 레이어에 블러 컨트롤 정보의 삽입이 있음을 용이하게 인식 가능하게 된다.
또한, 예를 들어 정보 삽입부는, 블러 컨트롤 정보를 포함하는 디스크립터를 컨테이너의 레이어에 삽입하도록 되어도 된다. 이 경우, 예를 들어 컨테이너는 MPEG2 트랜스포트 스트림이고, 디스크립터는 프로그램 맵 테이블 또는 이벤트 인포메이션 테이블에 삽입되도록 되어도 된다.
또한, 예를 들어 정보 삽입부는 컨테이너의 레이어 및/또는 비디오 스트림의 레이어에 복수 종류의 블러 컨트롤 정보를 삽입하도록 되어도 된다. 이와 같이 복수 종류의 블러 컨트롤 정보가 삽입됨으로써, 수신측에서는, 예를 들어 표시 프레임 레이트에 따른, 또는 원하는 화질에 따른 종류의 블러 컨트롤 정보를 선택하여 이용할 수 있다.
이와 같이 본 기술에 있어서는, 컨테이너의 레이어 및/또는 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보를 삽입하는 것이다. 그 때문에 수신측에서는, 이 블러 컨트롤 정보에 기초하여 블러를 컨트롤할 수 있어서 적절한 화질의 화상을 용이하게 제시할 수 있다.
또한 본 기술의 다른 개념은,
하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
상기 비디오 스트림을 복호화하여 상기 하이 프레임 레이트의 동화상 데이터를 얻는 복호화부와,
상기 얻어진 하이 프레임 레이트의 동화상 데이터에, 블러 컨트롤 정보를 이용한 블러 부여 처리를 행하는 처리부를 더 구비하는
수신 장치에 있다.
본 기술에 있어서, 수신부에 의하여, 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 포함하는 컨테이너가 수신된다. 복호화부에 의하여 비디오 스트림이 복호화되어 하이 프레임 레이트의 동화상 데이터가 얻어진다. 그리고 처리부에 의하여 이러한 프레임 레이트의 동화상 데이터에, 블러 컨트롤 정보를 이용한 블러 부여 처리가 행해진다.
예를 들어 컨테이너의 레이어 및/또는 비디오 스트림의 레이어에 블러 컨트롤 정보가 삽입되어 있고, 처리부는, 삽입되어 있는 블러 컨트롤 정보를 이용하거나, 또는 이 블러 컨트롤 정보를 수정하여 이용하도록 되어도 된다. 또한, 예를 들어 블러 컨트롤 정보를 보유하는 보유부를 더 구비하고, 처리부는 보유부로부터 블러 컨트롤 정보를 취득하여 이용하도록 되어도 된다.
또한, 예를 들어 컨테이너의 레이어 및/또는 비디오 스트림의 레이어에 복수 종류의 블러 컨트롤 정보가 삽입되어 있고, 처리부는 복수 종류의 블러 컨트롤 정보로부터, 표시 프레임 레이트에 따른, 또는 원하는 화질에 따른 종류의 블러 컨트롤 정보를 선택하여 이용하도록 되어도 된다. 또한, 예를 들어 처리부는 하이 프레임 레이트의 동화상 데이터로부터, 프레임 레이트를 저하시킨 표시 화상 데이터를 얻을 때, 블러 부여 처리를 행하도록 되어도 된다.
이와 같이 본 기술에 있어서는, 수신된 하이 프레임 레이트의 동화상 데이터에 블러 컨트롤 정보에 기초하여 블러 부여 처리를 행하는 것이다. 그 때문에 적절한 화질의 화상을 용이하게 제시할 수 있다.
또한 본 기술의 다른 개념은,
하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 부호화부와,
상기 하이 프레임 레이트의 동화상 데이터의 블러를 컨트롤하기 위한 블러 컨트롤 정보를 생성하는 생성부와,
상기 비디오 스트림의 레이어 및/또는 상기 비디오 스트림을 포함하는 컨테이너의 레이어에 삽입된 상기 블러 컨트롤 정보 및 상기 비디오 스트림을 기록하는 기록부를 구비하는
기록 장치에 있다.
본 기술에 있어서, 부호화부에 의하여 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림이 생성된다. 생성부에 의하여, 하이 프레임 레이트의 동화상 데이터의 블러를 컨트롤하기 위한 블러 컨트롤 정보가 생성된다. 그리고 기록부에 의하여, 비디오 스트림의 레이어 및/또는 비디오 스트림을 포함하는 컨테이너의 레이어에 삽입된 블러 컨트롤 정보 및 비디오 스트림이 기록된다.
이와 같이 본 기술에 있어서는, 비디오 스트림을 포함하는 컨테이너의 레이어 및/또는 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보가 삽입되어 기록되는 것이다. 그 때문에 재생 시에 있어서, 하이 프레임 레이트의 동화상 데이터의 블러를 블러 컨트롤 정보에 기초하여 컨트롤할 수 있어서 적절한 화질의 화상을 용이하게 제시할 수 있다.
본 기술에 의하면, 하이 프레임 레이트의 동화상 데이터를 수신하는 수신측에 있어서, 적절한 화질의 화상을 용이하게 제시할 수 있다. 또한 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 실시 형태로서의 송수신 시스템의 구성예를 나타내는 블록도이다.
도 2는 하이 프레임 레이트의 동화상 데이터에 대한 씨닝 처리를 설명하기 위한 도면이다.
도 3은 광 자극(좌측)과 시각 반응(우측)의 대응 관계를 설명하기 위한 도면이다.
도 4는 광 자극(좌측)과 시각 반응(우측)의 대응 관계로부터, 겉보기 밝기는 이전의 광 자극의 영향을 받는다는 것을 설명하기 위한 도면이다.
도 5는 블러 컨트롤 정보를 부여하는 함수의 타입을 설명하기 위한 도면이다.
도 6은 블러 컨트롤 정보로서 송신되는 각 프레임의 가중 계수의 일례를 나타내는 도면이다.
도 7은 송신 장치의 구성예를 나타내는 블록도이다.
도 8은 부호화 방식이 HEVC인 경우에 있어서의 GOP의 선두의 액세스 유닛을 나타내는 도면이다.
도 9는 부호화 방식이 HEVC인 경우에 있어서의 GOP의 선두 이외의 액세스 유닛을 나타내는 도면이다.
도 10은 HFR 블러 컨트롤 SEI 메시지의 구조예를 나타내는 도면이다.
도 11은 HFR 블러 컨트롤 SEI 메시지의 구조예에 있어서의 주요 정보의 내용을 나타내는 도면이다.
도 12는 HFR 인포메이션 디스크립터의 구조예와, 그 구조예에 있어서의 주요 정보의 내용을 나타내는 도면이다.
도 13은 HFR 블러 컨트롤 디스크립터의 구조예를 나타내는 도면이다.
도 14는 트랜스포트 스트림 TS의 구성예를 나타내는 도면이다.
도 15는 수신 장치의 구성예를 나타내는 블록도이다.
도 16은 표시 화상 데이터 VDd가 있는 프레임으로서의 프레임 「0」의 신호를 얻기 위한 처리의 일례를 나타내는 도면이다.
도 17은 표시 화상 데이터 VDd가 있는 프레임으로서의 프레임 「0」의 신호를 얻기 위한 처리의 일례를 나타내는 도면이다.
도 18은 표시 화상 데이터 VDd가 있는 프레임으로서의 프레임 「0」의 신호를 얻기 위한 처리의 일례를 나타내는 도면이다.
도 19는 표시 화상 데이터 VDd가 있는 프레임으로서의 프레임 「0」의 신호를 얻기 위한 처리의 일례를 나타내는 도면이다.
도 20은 송수신 시스템의 다른 구성예를 나타내는 블록도이다.
도 21은 송수신 시스템의 다른 구성예를 나타내는 블록도이다.
도 22는 HMD 장치의 구성예를 나타내는 블록도이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라 함)에 대하여 설명한다. 또한 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[송수신 시스템]
도 1은, 실시 형태로서의 송수신 시스템(10)의 구성예를 나타내고 있다. 이 송수신 시스템(10)은, 송신 장치(100)와 수신 장치(200)를 갖는 구성으로 되어 있다.
송신 장치(100)는 컨테이너로서의 트랜스포트 스트림 TS를 생성하고, 이 트랜스포트 스트림 TS를 방송파, 또는 네트의 패킷에 실어 송신한다. 이 트랜스포트 스트림 TS에는, 예를 들어 120㎐, 240㎐, 또는 480㎐ 등의 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림이 포함된다. 이 경우, 예를 들어 H.264/AVC, H.265/HEVC 등의 부호화가 실시된다.
트랜스포트 스트림 TS의 레이어 및/또는 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보가 하나 또는 복수 종류 삽입된다. 수신측에 있어서는, 컨테이너의 레이어 또는 비디오 스트림의 레이어로부터 블러 컨트롤 정보를 용이하게 취득 가능하게 된다.
이 실시 형태에 있어서, 송신 장치(100)는, 블러 컨트롤 정보를 포함하는 디스크립터를 트랜스포트 스트림 TS의 레이어에 삽입한다. 또한 이 실시 형태에 있어서, 송신 장치(100)는, 블러 컨트롤 정보를 포함하는 SEI 메시지를 비디오 스트림의 레이어에 삽입한다. 또한 이 실시 형태에 있어서, 송신 장치(100)는, 블러 컨트롤 정보를 포함하는 SEI 메시지가 비디오 스트림의 레이어에 삽입되어 있음을 나타내는 식별 정보를 포함하는 스크립터를 트랜스포트 스트림 TS의 레이어에 삽입한다.
수신 장치(200)는 송신 장치(100)로부터, 방송파, 또는 네트의 패킷에 실어 보내져 오는 트랜스포트 스트림 TS를 수신한다. 이 트랜스포트 스트림 TS에는, 하이 프레임 레이트의 동화상 데이터가 부호화되어 얻어진 비디오 스트림이 포함되어 있다. 트랜스포트 스트림 TS의 레이어 및/또는 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보가 삽입되어 있다.
수신 장치(200)는 비디오 스트림을 복호화하여 하이 프레임 레이트의 동화상 데이터를 얻고, 이 동화상 데이터에, 블러 컨트롤 정보를 이용한 블러 부여 처리를 한다. 이 경우, 수신 장치(200)는 복수 종류의 블러 컨트롤 정보로부터, 표시 프레임 레이트에 따른, 또는 원하는 화질에 따른 종류의 블러 컨트롤 정보를 선택하여 이용한다.
예를 들어 하이 프레임 레이트의 동화상 데이터를 그대로 표시 화상 데이터로 하는 경우에 유저의 선택 조작에 따라, 원하는 화질에 따른 종류의 블러 컨트롤 정보가 선택되어 이용된다. 또한, 예를 들어 하이 프레임 레이트의 동화상 데이터로부터 프레임 레이트를 저하시킨 표시 화상 데이터를 얻을 때 적절한 화질을 얻기 위하여, 그에 대응한 종류의 블러 컨트롤 정보가 선택되어 이용된다.
[블러 컨트롤 정보]
블러 컨트롤 정보의 상세에 대하여 설명한다. 블러 컨트롤 정보는 상술한 바와 같이, 하이 프레임 레이트의 동화상 데이터가 보내져 오는 수신측에 있어서, 원하는 화질을 얻기 위한, 또는 프레임 레이트를 저하시킨 경우에 적절한 화질을 얻기 위한 블러 부여 처리에 있어서 이용된다.
도 2의 (a)는, 하이 프레임 레이트, 예를 들어 120㎐의 프레임 레이트의 동화상 데이터에 있어서, 프레임 진행에 수반하는 소정 픽셀의 신호 레벨의 변화를 나타내고 있다. 횡축은 프레임이며, 「0」은 현재 프레임을 나타내고, 「-n」은 n프레임 전의 프레임을 나타내고, 「n」은 n프레임 후의 프레임을 나타내고 있다. 또한 신호 레벨은 최댓값을 1로서 나타내고 있다.
종래, 표시 프레임 레이트가 60㎐인 경우, 예를 들어 도 2의 (b)에 나타낸 바와 같이 씨닝 처리가 행해져, 60㎐의 프레임 레이트의 동화상 데이터로 된다. 이 경우, 60㎐의 프레임 레이트의 동화상 데이터에 있어서, 현재 프레임 「0」의 신호는 도 2의 (c)에 나타낸 바와 같이, 120㎐의 프레임 레이트의 동화상 데이터에 있어서의 현재 프레임 「0」의 신호 자체이며, 주변의 프레임의 신호 성분을 포함하고 있지는 않다. 그 때문에, 이와 같이 단순한 씨닝 처리에서 생성된 60㎐의 프레임 레이트의 동화상 데이터로 제시되는 화상은, 매끄러움이 결여된 것으로 된다.
도 3의 (a) 내지 (d)는 각각, 광 자극(좌측)과 시각 반응(우측)의 대응 관계를 나타내고 있다. 도 3의 (a)에 나타낸 바와 같이, 광 자극이 일정 시간 현시되면 겉보기 밝기는 수십 ㎳의 시간 지연을 수반한다. 또한 도 3의 (b)에 나타낸 바와 같이, 광 자극이 일정 간격으로 현시되면 겉보기 밝기는 동일한 주기로 변화된다.
또한 도 3의 (c)에 나타낸 바와 같이, 연속되는 광 자극이 현시되면 겉보기 밝기도 연속된다. 또한 도 3의 (d)에 나타낸 바와 같이, 도 3의 (b)와 동일한 주기이더라도 연속되는 광 자극이 현시되면 겉보기 밝기는 연속된다.
도 4의 (a), (b)도 각각, 광 자극(좌측)과 시각 반응(우측)의 대응 관계를 나타내고 있다. 도 4의 (a)에 있어서 해칭을 부가하여 나타낸 바와 같이, 겉보기 밝기는 이전의 광 자극의 영향을 받는다. 또한 도 4의 (b)에 있어서 해칭을 부가하여 나타낸 바와 같이, 광 자극의 현시 시간이 길어지면 겉보기 밝기의 자극의 영향도 길어진다.
이 광 자극의 영향은 화상(영상)의 중첩(블러)으로서 보인다. 이 중첩량을 컨트롤함으로써, 화상 관찰자가 지각하는 화질을 적극적으로 변화시키는 것이 가능해진다. 이 실시 형태에 있어서는, 블러 컨트롤 정보는, 프레임을 파라미터로 하는 함수 정보로 하며, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여한다.
도 5의 (a) 내지 (d)는 함수의 타입을 나타내고 있다. 도 5의 (a)는, 과거와 미래의 프레임을 이용하고, 또한 각 프레임의 가중 계수의 일부로서 부의 계수가 포함되는 예이다. 도 5의 (b)는, 과거와 미래의 프레임을 이용하고, 또한 각 프레임의 가중 계수로서 부의 계수가 포함되지 않는 예이다. 도 5의 (c)는, 과거의 프레임만을 이용하고, 또한 각 프레임의 가중 계수의 일부로서 부의 계수가 포함되는 예이다. 도 5의 (d)는, 과거의 프레임만을 이용하고, 또한 각 프레임의 가중 계수로서 부의 계수가 포함되지 않는 예이다.
함수의 타입을 변화시키거나 또는 함수의 계수를 변화시킴으로써, 복수 종류의 블러 컨트롤 정보(각 프레임의 가중 계수)를 얻는 것이 가능해진다. 예를 들어 하이 프레임 레이트의 동화상 데이터를 그대로 표시 화상 데이터로 하는 경우, 또는 그 프레임 레이트를 저하시킨 표시용 동화상 데이터를 얻는 경우에, 화상 관찰자에게 소정의 화질을 지각시키기 위한 블러 컨트롤 정보를 얻을 수 있다. 또한, 예를 들어 하이 프레임 레이트의 동화상 데이터로부터 프레임 레이트를 저하시킨 표시용 동화상 데이터를 얻을 때, 화상 관찰자에게 적절한 화질을 지각시키기 위한 블러 컨트롤 정보를 얻을 수 있다.
또한 송신 장치(100)로부터 수신 장치(200)에 블러 컨트롤 정보를 송신하는 경우, 함수 정보 자체를 보내는 것도 생각할 수 있지만, 이 실시 형태에 있어서는, 그 함수 정보로 부여되는, 수신측의 블러 부여 처리에서 사용되는 각 프레임의 가중 계수가 보내진다.
도 6의 (a) 내지 (d)는, 블러 컨트롤 정보로서 송신되는 각 프레임의 가중 계수의 일례를 나타내고 있다. 도 6의 (a)의 예는, 도 5의 (a)에 나타내는 함수 타입에 대응하고 있으며, 「-3」 내지 「3」의 프레임에 있어서의 함수 f(x)의 값인 가중 계수 f(-3) 내지 f(3)이 블러 컨트롤 정보로서 송신된다. 또한 「-3」 내지 「3」의 프레임 범위는 일례이며 이에 한정되지 않는다. 과거와 미래의 사용 프레임이 3이 아니어도 되고, 또한 과거와 미래의 사용 프레임이 동수가 아니어도 된다. 이들 관점에 대해서는 도 6의 (b) 내지 (d)의 예에 있어서도 마찬가지이다.
도 6의 (b)의 예는, 도 5의 (b)에 나타내는 함수 타입에 대응하고 있으며, 「-3」 내지 「3」의 프레임에 있어서의 함수 f(x)의 값인 가중 계수 f(-3) 내지 f(3)이 블러 컨트롤 정보로서 송신된다. 도 6의 (c)의 예는, 도 5의 (c)에 나타내는 함수 타입에 대응하고 있으며, 「-3」 내지 「0」의 프레임에 있어서의 함수 f(x)의 값인 가중 계수 f(-3) 내지 f(0)이 블러 컨트롤 정보로서 송신된다. 도 6의 (d)의 예는, 도 5의 (d)에 나타내는 함수 타입에 대응하고 있으며, 「-3」 내지 「0」의 프레임에 있어서의 함수 f(x)의 값인 가중 계수 f(-3) 내지 f(0)이 블러 컨트롤 정보로서 송신된다.
「송신 장치의 구성」
도 7은, 송신 장치(100)의 구성예를 나타내고 있다. 이 송신 장치(100)는 CPU(Central Processing Unit)(101)와 인코더(102)와 멀티플렉서(103)와 송신부(104)를 갖고 있다. CPU(101)는 제어부를 구성하며, 송신 장치(100)의 각 부의 동작을 제어한다.
인코더(102)는, 예를 들어 120㎐, 240㎐, 또는 480㎐ 등의 하이 프레임 레이트의 동화상 데이터 VD를 입력한다. 이러한 프레임 레이트의 동화상 데이터 VD는, 예를 들어 도시하지 않은 촬상 장치(카메라)로 촬상되어 얻어진 것이며, 블러가 부여되어 있지 않은 상태에 있다. 인코더(102)는 이 동화상 데이터 VD에, 예를 들어 H.264/AVC, H.265/HEVC 등의 부호화 처리를 실시하여 비디오 스트림을 생성한다.
이때, 인코더(102)는 비디오 스트림의 레이어에 상술한 블러 컨트롤 정보를 삽입한다. 예를 들어 픽처 단위, GOP(Group Of Pictures) 단위, 또는 씬 단위 등의 단위로 삽입된다.
인코더(102)는 액세스 유닛(AU)의 "SEIs"의 부분에, 신규 정의하는 HFR 블러 컨트롤 SEI 메시지(HFR_blur_control SEI message)를 삽입한다.
도 8은, 부호화 방식이 HEVC인 경우에 있어서의 GOP(Group Of Pictures)의 선두의 액세스 유닛을 나타내고 있다. 또한 도 9는, 부호화 방식이 HEVC인 경우에 있어서의 GOP의 선두 이외의 액세스 유닛을 나타내고 있다.
HEVC의 부호화 방식의 경우, 화소 데이터가 부호화되어 있는 슬라이스(slices) 앞에 디코드용의 SEI 메시지 군 「Prefix_SEIs」가 배치되고, 이 슬라이스(slices) 뒤에 표시용의 SEI 메시지 군 「Suffix_SEIs」가 배치된다. 도 8, 도 9에 나타낸 바와 같이 HFR 블러 컨트롤 SEI 메시지는, 예를 들어 SEI 메시지 군 「Suffix_SEIs」로서 배치된다.
도 10은, HFR 블러 컨트롤 SEI 메시지의 구조예(Syntax)를 나타내고 있다. 도 11은, 그 구조예에 있어서의 주요 정보의 내용(Semantics)을 나타내고 있다. 「source_frame_rate」의 필드는, 송신할 하이 프레임 레이트의 동화상 데이터의 프레임 레이트를 나타낸다. 예를 들어 "0x01"은 120㎐를 나타내고, "0x02"는 240㎐를 나타내고, "0x03"은 480㎐를 나타낸다.
「number_of_blur_control_info」의 필드는, 송신할 블러 컨트롤 정보의 수(종류 수)를 나타낸다. 이 수의 분만큼 이하의 정보가 반복하여 존재한다. 「display_frame_rate」의 필드는 표시 화상 데이터의 프레임 레이트를 나타낸다. 예를 들어 "0x01"은 60㎐를 나타내고, "0x02"는 120㎐를 나타내고, "0x03"은 240㎐를 나타내고, "0x04"는 480㎐를 나타낸다.
「function_type」의 필드는 함수 타입을 나타낸다. 예를 들어 "0x01"은, 현재와 그 전의 프레임을 사용하고, 또한 가중 계수의 일부에 부의 계수가 있는 타입(도 5의 (a), 도 6의 (a) 참조)임을 나타낸다. 또한 "0x02"는, 현재와 그 전의 프레임을 사용하고, 또한 가중 계수에 부의 계수가 없는 타입(도 5의 (b), 도 6의 (b) 참조)임을 나타낸다.
또한 "0x03"은, 현재와 그 전후의 프레임을 사용하고, 또한 가중 계수의 일부에 부의 계수가 있는 타입(도 5의 (c), 도 6의 (c) 참조)임을 나타낸다. 또한 "0x04"는, 현재와 그 전후의 프레임을 사용하고, 또한 가중 계수에 부의 계수가 없는 타입(도 5의 (d), 도 6의 (d) 참조)임을 나타낸다.
「start_frame」의 필드는, 사용하는 맨 처음의 프레임을 나타낸다. 「end_frame」의 필드는, 사용하는 맨 마지막의 프레임을 나타낸다. 예를 들어 도 6의 (a), (b)의 예의 경우, 맨 처음의 프레임은 「-3」이고 맨 마지막의 프레임은 「3」이다. 또한, 예를 들어 도 6의 (c), (d)의 예의 경우, 맨 처음의 프레임은 「-3」이고 맨 마지막의 프레임은 「0」으로 된다.
「number_of_frame」의 필드는 사용 프레임의 수를 나타낸다. 예를 들어 도 6의 (a), (b)의 예의 경우, 「7」로 된다. 또한, 예를 들어 도 6의 (c), (d)의 예의 경우, 「4」로 된다. 이 수의 분만큼 이하의 정보가 반복하여 존재한다. 「frame_coef(i)」의 필드는, 각 프레임에서 이용하는 가중 계수(함수값)를 나타낸다.
도 7로 되돌아가, 멀티플렉서(103)는, 인코더(102)에서 생성된 비디오 스트림을 PES(Packetized Elementary Stream) 패킷화하고, 또한 트랜스포트 패킷화하여 다중하여 다중화 스트림으로서의 트랜스포트 스트림 TS를 얻는다.
이때, 멀티플렉서(103)는, 컨테이너로서의 트랜스포트 스트림 TS의 레이어에, 비디오 스트림의 레이어에 블러 컨트롤 정보의 삽입이 있음을 나타내는 식별 정보를 삽입한다. 이 실시 형태에 있어서, 멀티플렉서(103)는, 신규 정의하는 HFR 인포메이션 디스크립터(HFR_information descriptor)를, 트랜스포트 스트림 TS에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 비디오 엘리멘터리 루프(Video ES loop)의 관리 하에 삽입한다.
도 12의 (a)는, HFR 인포메이션 디스크립터의 구조예(Syntax)를 나타내고 있다. 또한 도 12의 (b)는, 그 구조예에 있어서의 주요 정보의 내용(Semantics)을 나타내고 있다.
「HFR_information descriptor tag」의 8비트 필드는 디스크립터 타입을 나타내며, 여기서는 HFR 인포메이션 디스크립터임을 나타낸다. 「HFR_ information descriptor length」의 8비트 필드는 디스크립터의 길이(사이즈)를 나타내며, 디스크립터의 길이로서 이후의 바이트 수를 나타낸다.
「HFR_blur_control_SEI_existed」의 1비트 필드는, 비디오 레이어(비디오 스트림의 레이어)에 HFR 블러 컨트롤 SEI 메시지가 존재하는지의 여부를 나타내는 플래그 정보이다. 예를 들어 "1"은 존재함을 나타내고, "0"은 존재하지 않음을 나타낸다.
도 7로 되돌아가, 송신부(104)는, 멀티플렉서(103)에서 얻어진 트랜스포트 스트림 TS를 방송파, 또는 네트의 패킷에 실어 수신 장치(200)에 송신한다.
도 7에 나타내는 송신 장치(100)의 동작을 간단히 설명한다. 인코더(102)에는, 예를 들어 120㎐, 240㎐, 또는 480㎐ 등의 하이 프레임 레이트의 동화상 데이터 VD가 입력된다. 인코더(102)에서는 이 동화상 데이터 VD에, 예를 들어 H.264/AVC, H.265/HEVC 등의 부호화 처리가 실시되어 비디오 스트림이 생성된다.
또한 인코더(102)에서는 비디오 스트림의 레이어에 블러 컨트롤 정보가 삽입된다. 즉, 인코더(102)에서는 액세스 유닛(AU)의 "SEIs"의 부분에, 신규 정의하는 HFR 블러 컨트롤 SEI 메시지(도 10 참조)가 삽입된다.
인코더(102)에서 생성된 비디오 스트림은 멀티플렉서(103)에 공급된다. 멀티플렉서(103)에서는 비디오 스트림의 PES 패킷화, 및 트랜스포트 패킷화가 행해져 다중되어 다중화 스트림으로서의 트랜스포트 스트림 TS가 얻어진다.
또한 멀티플렉서(103)에서는 컨테이너로서의 트랜스포트 스트림 TS의 레이어에, 비디오 스트림의 레이어에 블러 컨트롤 정보의 삽입이 있음을 나타내는 식별 정보가 삽입된다. 즉, 멀티플렉서(103)에서는 HFR 인포메이션 디스크립터(도 12의 (a) 참조)가, 프로그램 맵 테이블(PMT:Program Map Table)의 비디오 엘리멘터리 루프(Video ES loop)의 관리 하에 삽입된다.
멀티플렉서(103)에서 생성된 트랜스포트 스트림 TS는 송신부(104)로 보내진다. 송신부(104)에서는 이 트랜스포트 스트림 TS가 방송파, 또는 네트의 패킷에 실려 수신 장치(200)에 송신된다.
또한 상술에서는, 블러 컨트롤 정보를 비디오 스트림의 레이어에 삽입하는 예를 나타내었다. HFR 블러 컨트롤 SEI 메시지는, 가장 빈번하게는 픽처마다 보낼 수 있으므로, 블러 컨트롤 정보를 픽처마다 변경하는 것도 가능해진다. 또는 HFR 블러 컨트롤 SEI 메시지를, 예를 들어 GOP 또는 씬에 1회라든가 또는 더 성긴 단위로 보낼 수도 있다. 또는 HFR 블러 컨트롤 SEI 메시지를 픽처마다 보내더라도 메타 정보의 값이 변화되지 않으면 정적인 운용도 가능해진다.
블러 컨트롤 정보를 비디오 스트림의 레이어에 삽입하는 대신, 또는 비디오 스트림의 레이어에 삽입함과 함께 컨테이너의 레이어에 삽입하는 것도 생각할 수 있다. 예를 들어 멀티플렉서(103)는 프로그램 맵 테이블(PMT)의 관리 하에, 신규 정의하는 HFR 블러 컨트롤 디스크립터(HFR_blur_control descriptor)를 삽입한다. 정적인 운용으로 족한 경우에는 이것으로 충분하다.
또는 프로그램 단위로 블러 컨트롤 정보를 알 수 있으면 충분한 경우, HFR 블러 컨트롤 디스크립터를 이벤트 인포메이션 테이블(EIT)의 관리 하에 삽입하는 것도 생각할 수 있다.
도 13은, HFR 블러 컨트롤 디스크립터의 구조예(Syntax)를 나타내고 있다. 「descriptor_tag」의 8비트 필드는 디스크립터 타입을 나타낸다. 여기서는 HFR 블러 컨트롤 디스크립터임을 나타낸다. 「descriptor_length」의 8비트 필드는 디스크립터의 길이(사이즈)를 나타내며, 디스크립터의 길이로서 이후의 바이트 수를 나타낸다. 또한 상세 설명은 생략하지만, 이 HFR 블러 컨트롤 디스크립터의 내용은 상술한 HFR 블러 컨트롤 SEI 메시지(도 10 참조)의 내용과 동일하다.
[트랜스포트 스트림 TS의 구성]
도 14는, 트랜스포트 스트림 TS의 구성예를 나타내고 있다. 이 구성예에서는, PID1로 식별되는 비디오 스트림의 PES 패킷 「video PES1」이 존재한다. 액세스 유닛에 HFR 블러 컨트롤 SEI 메시지(HFR_blur_control SEI message)가 삽입되어 있다.
또한 트랜스포트 스트림 TS에는 PSI(Program Specific Information)로서 PMT(Program Map Table)가 포함되어 있다. PSI는, 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다.
PMT에는, 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리 루프가 존재한다. 이 구성예에서는 비디오 엘리멘터리 루프(Video ES loop)가 존재한다. 이 비디오 엘리멘터리 루프에는, 상술한 하나의 비디오 엘리멘터리 스트림에 대응하여 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 엘리멘터리 스트림에 관련되는 정보를 기술하는 디스크립터도 배치된다.
디스크립터의 하나로서 HFR 인포메이션 디스크립터(HFR_information descriptor)가 배치된다. 이 디스크립터는 상술한 바와 같이, 비디오 스트림에 HFR 블러 컨트롤 SEI 메시지의 삽입이 있음을 나타내는 것이다.
또한 디스크립터의 하나로서 HFR 블러 컨트롤 디스크립터(HFR_blur_control_descriptor)가 삽입되는 경우도 있다. 이 디스크립터는 HFR 블러 컨트롤 SEI 메시지 대신, 또는 HFR 블러 컨트롤 SEI 메시지와 함께 삽입된다.
또한 트랜스포트 스트림 TS에는, 이벤트(프로그램) 단위의 관리를 행하는 SI(Serviced Information)로서의 EIT(Event Information Table)가 포함되어 있다. 이 EIT에 HFR 블러 컨트롤 디스크립터(HFR_blur_control_descriptor)가 삽입되는 경우도 있다. 이 디스크립터는 HFR 블러 컨트롤 SEI 메시지 대신, 또는 HFR 블러 컨트롤 SEI 메시지와 함께 삽입된다.
「수신 장치의 구성」
도 15는, 수신 장치(200)의 구성예를 나타내고 있다. 이 수신 장치(200)는 CPU(Central Processing Unit)(201)와 유저 조작부(201a)와 수신부(202)와 디멀티플렉서(203)와 디코더(204)와 표시 처리부(205)와 표시부(206)를 갖고 있다. CPU(201)는 제어부를 구성하며, 수신 장치(200)의 각 부의 동작을 제어한다.
수신부(202)는 송신 장치(100)로부터 방송파, 또는 네트의 패킷에 실어 보내져 오는 트랜스포트 스트림 TS를 수신한다. 이 트랜스포트 스트림 TS에는, 예를 들어 120㎐, 240㎐, 또는 480㎐ 등의 하이 프레임 레이트의 동화상 데이터 VD에 부호화 처리가 실시되어 얻어진 비디오 스트림이 포함되어 있다.
디멀티플렉서(203)는 트랜스포트 스트림 TS로부터 PID의 필터링에 의하여 비디오 스트림을 취출하여 디코더(204)에 공급한다. 또한 디멀티플렉서(203)는, 트랜스포트 스트림 TS의 레이어에 포함되는 섹션 정보를 추출하여 CPU(201)로 보낸다. 이 경우, HFR 인포메이션 디스크립터(도 12의 (a) 참조), HFR 블러 컨트롤 디스크립터(도 13 참조)도 추출된다.
디코더(204)는, 디멀티플렉서(203)로부터 공급되는 비디오 스트림에 복호화 처리를 실시하여 하이 프레임 레이트의 동화상 데이터 VD를 출력한다. 또한 디코더(204)는, 비디오 스트림을 구성하는 각 액세스 유닛에 삽입되어 있는 파라미터 세트나 SEI 메시지를 추출하여 CPU(201)로 보낸다. 이 경우, HFR 블러 컨트롤 SEI 메시지(도 10 참조)도 추출된다.
표시 처리부(205)는 표시부(206)의 표시 능력에 따라, 디코더(204)에서 얻어진 동화상 데이터에 대하여 적절히 프레임 레이트의 변환 등의 처리를 행하여 표시 화상 데이터 VDd를 얻는다. 예를 들어 동화상 데이터 DV의 프레임 레이트가 120㎐이고 표시부(206)에서 120㎐ 표시를 행하는 경우에는 프레임 레이트 변환을 하지 않는다. 또한, 예를 들어 동화상 데이터 DV의 프레임 레이트가 120㎐이고 표시부(206)에서 60㎐ 표시를 행하는 경우에는 프레임 레이트 변환을 한다.
표시 처리부(205)는, 표시 화상 데이터 VDd의 각 프레임의 화상 데이터를 얻을 때, 현재의 프레임의 화상 데이터 외에 주변의 프레임 화상 데이터를 사용하여, HFR 블러 컨트롤 SEI 메시지나 HFR 블러 컨트롤 디스크립터에 포함되는 블러 컨트롤 정보(각 프레임의 가중 계수)에 기초하여 블러 부여 처리를 한다.
여기서, 송신측으로부터 복수의 블러 컨트롤 정보가 보내져 오고 있는 경우, 어느 블러 컨트롤 정보를 사용할지는, 동화상 데이터 DV의 프레임 레이트나 표시 프레임 레이트 등에 기초하여 CPU(201)가 자동적으로 선택하거나 또는 유저가 임의로 선택한다. 또한 CPU(201)는 유저의 선택의 편의를 위하여, 복수의 블러 컨트롤 정보에 따른 정보를 나타내는 UI 화면을 표시부(206)에 표시해도 된다. 복수의 블러 컨트롤 정보에 따른 정보로서는, 동화상 데이터 DV의 프레임 레이트나 표시 프레임 레이트가 어떠한 경우에 적합한 것인지라든지, 관찰자에게 어떠한 화질을 지각시키는 것인지 등의, 선택에 참고로 되는 정보를 생각할 수 있다.
표시 화상 데이터 VDd가 있는 프레임의 신호(화상 데이터)는, 동화상 데이터 DV의 당해 프레임 및 그 주변의 프레임의 신호를 이용하여 산출되며, 블러가 부여된 것으로 된다. 이 경우, 동화상 데이터 DV가 있는 프레임 및 그 주변의 프레임의 신호에 각각 대응하는 가중 계수가 승산되어 적산되고, 그 적산 결과가 가중 계수의 적산 결과로 제산되어, 표시 화상 데이터 VDd가 있는 프레임의 신호가 얻어진다.
도 16은, 표시 화상 데이터 VDd가 있는 프레임으로서의 프레임 「0」의 신호를 얻기 위한 처리의 일례를 나타내고 있다. 도 16의 (a)는, 하이 프레임 레이트, 예를 들어 120㎐의 프레임 레이트의 동화상 데이터 DV에 있어서, 프레임 진행에 수반하는 소정 픽셀의 신호 레벨의 변화를 나타내고 있다. 또한 신호 레벨은 최댓값을 1로서 나타내고 있다.
도 16의 (b)는, 상술한 도 6의 (a)에 나타낸, 「-3」 내지 「3」의 각 프레임을 사용하는 블러 컨트롤 정보(각 프레임의 가중 계수)를 나타내고 있다. 도 16의 (c)는, 동화상 데이터 DV의 「-3」 내지 「3」의 각 프레임의 신호 S(-3) 내지 S(3)에 각각 대응하는 가중 계수 f(-3) 내지 f(3)을 승산한 결과를 나타내고 있다. 표시 화상 데이터 VDd의 「0」의 프레임의 신호는, 도 16의 (d)에 나타낸 바와 같이, 「-3」 내지 「3」의 각 프레임의 승산 결과의 적산값이, 「-3」 내지 「3」의 각 프레임의 가중 계수의 적산값으로 나눈 것으로 된다.
도 17은, 표시 화상 데이터 VDd가 있는 프레임으로서의 프레임 「0」의 신호를 얻기 위한 처리의 일례를 나타내고 있다. 도 17의 (a)는, 도 16의 (a)에서 나타낸 것과 동일하다. 도 17의 (b)는, 상술한 도 6의 (b)에 나타낸, 「-3」 내지 「3」의 각 프레임을 사용하는 블러 컨트롤 정보(각 프레임의 가중 계수)를 나타내고 있다.
도 17의 (c)는, 동화상 데이터 DV의 「-3」 내지 「3」의 각 프레임의 신호 S(-3) 내지 S(3)에 각각 대응하는 가중 계수 f(-3) 내지 f(3)을 승산한 결과를 나타내고 있다. 표시 화상 데이터 VDd의 「0」의 프레임의 신호는, 도 17의 (d)에 나타낸 바와 같이, 「-3」 내지 「3」의 각 프레임의 승산 결과의 적산값이, 「-3」 내지 「3」의 각 프레임의 가중 계수의 적산값으로 나눈 것으로 된다.
도 18은, 표시 화상 데이터 VDd가 있는 프레임으로서의 프레임 「0」의 신호를 얻기 위한 처리의 일례를 나타내고 있다. 도 18 (a)는, 도 16의 (a)에서 나타낸 것과 동일하다. 도 18의 (b)는, 상술한 도 6의 (c)에 나타낸, 「-3」 내지 「0」의 각 프레임을 사용하는 블러 컨트롤 정보(각 프레임의 가중 계수)를 나타내고 있다.
도 18의 (c)는, 동화상 데이터 DV의 「-3」 내지 「0」의 각 프레임의 신호 S(-3) 내지 S(0)에 각각 대응하는 가중 계수 f(-3) 내지 f(0)을 승산한 결과를 나타내고 있다. 표시 화상 데이터 VDd의 「0」의 프레임의 신호는, 도 18의 (d)에 나타낸 바와 같이, 「-3」 내지 「0」의 각 프레임의 승산 결과의 적산값이, 「-3」 내지 「0」의 각 프레임의 가중 계수의 적산값으로 나눈 것으로 된다.
도 19는, 표시 화상 데이터 VDd가 있는 프레임으로서의 프레임 「0」의 신호를 얻기 위한 처리의 일례를 나타내고 있다. 도 19의 (a)는, 도 16의 (a)에서 나타낸 것과 동일하다. 도 19의 (b)는, 상술한 도 6의 (d)에 나타낸, 「-3」 내지 「0」의 각 프레임을 사용하는 블러 컨트롤 정보(각 프레임의 가중 계수)를 나타내고 있다.
도 19의 (c)는, 동화상 데이터 DV의 「-3」 내지 「0」의 각 프레임의 신호 S(-3) 내지 S(0)에 각각 대응하는 가중 계수 f(-3) 내지 f(0)을 승산한 결과를 나타내고 있다. 표시 화상 데이터 VDd의 「0」의 프레임의 신호는, 도 19의 (d)에 나타낸 바와 같이, 「-3」 내지 「0」의 각 프레임의 승산 결과의 적산값이, 「-3」 내지 「0」의 각 프레임의 가중 계수의 적산값으로 나눈 것으로 된다.
도 15로 되돌아가, 표시부(206)는, 표시 처리부(205)에서 얻어진 표시 화상 데이터에 의한 동화상을 표시한다. 이 표시부(206)는, 예를 들어 LCD(Liquid Crystal Display), 유기 EL(Organic Electro-Luminescence) 패널 등으로 구성되어 있다. 또한 이 표시부(206)는, 수신 장치(200)에 접속되는 외부 기기여도 된다.
도 15에 나타내는 수신 장치(200)의 동작을 간단히 설명한다. 수신부(202)에서는 송신 장치(100)로부터 방송파, 또는 네트의 패킷에 실어 보내져 오는 트랜스포트 스트림 TS가 수신된다. 이 트랜스포트 스트림 TS는 디멀티플렉서(203)로 보내진다. 디멀티플렉서(203)에서는 트랜스포트 스트림 TS로부터, PID의 필터링에 의하여 복호화 처리를 해야 할 비디오 스트림이 취출된다.
또한 디멀티플렉서(203)에서는, 트랜스포트 스트림 TS의 레이어에 포함되는 섹션 정보가 추출되어 CPU(201)로 보내진다. 이 경우, HFR 인포메이션 디스크립터(도 12의 (a) 참조), 나아가, 존재하는 경우에는 HFR 블러 컨트롤 디스크립터(도 13 참조)도 추출된다.
CPU(201)에서는 HFR 인포메이션 디스크립터로부터, 비디오 스트림에 블러 컨트롤 정보의 삽입이 있음이 인식된다. 또한 CPU(201)에서는 HFR 블러 컨트롤 디스크립터로부터 블러 컨트롤 정보가 취득된다.
디멀티플렉서(203)에서 취출된 비디오 스트림은 디코더(204)에 공급된다. 디코더(204)에서는 비디오 스트림에 복호화 처리가 실시되어 하이 프레임 레이트의 동화상 데이터 VD가 얻어진다.
또한 디코더(204)에서는, 비디오 스트림을 구성하는 각 액세스 유닛에 삽입되어 있는 파라미터 세트나 SEI 메시지가 추출되어 CPU(201)로 보내진다. 이 경우, HFR 블러 컨트롤 SEI 메시지(도 10 참조)도 추출된다. CPU(201)에서는 HFR 블러 컨트롤 SEI 메시지로부터 블러 컨트롤 정보가 취득된다.
디코더(204)에서 얻어진 하이 프레임 레이트의 동화상 데이터 DV는 표시 처리부(205)에 공급된다. 표시 처리부(205)에서는 표시부(206)의 표시 능력에 따라, 디코더(204)에서 얻어진 동화상 데이터 DV에 대하여 적절히 프레임 레이트 변환 등의 처리가 행해져 표시 화상 데이터 VDd가 얻어진다.
그리고 표시 처리부(205)에서는, 표시 화상 데이터 VDd의 각 프레임의 화상 데이터를 얻을 때, 현재의 프레임의 화상 데이터 외에 주변의 프레임의 화상 데이터가 사용되어, 블러 컨트롤 정보(각 프레임의 가중 계수)에 기초하여 블러 부여 처리가 이루어진다(도 16 내지 도 19 참조).
여기서, 송신측으로부터 복수의 블러 컨트롤 정보가 보내져 오고 있는 경우, 어느 블러 컨트롤 정보를 사용할지는, 동화상 데이터 DV의 프레임 레이트나 표시 프레임 레이트 등에 기초하여 CPU(201)에 의하여 자동적으로 선택되거나 또는 유저 조작에 의하여 선택된다. 이 유저 조작을 위하여, 예를 들어 복수의 블러 컨트롤 정보를 나타내는 UI 화면이 표시부(206)에 표시된다.
표시 처리부(205)로부터 출력된 표시 화상 데이터 DVd는 표시부(206)에 공급된다. 그리고 표시부(206)에, 표시 화상 데이터 DVd에 의한 동화상이 표시된다.
이상 설명한 바와 같이, 도 1에 나타내는 송수신 시스템(10)에 있어서, 송신 장치(100)에서는, 컨테이너(트랜스포트 스트림 TS)의 레이어 및/또는 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보가 삽입된다. 그 때문에 수신측에서는, 이 블러 컨트롤 정보에 기초하여 블러를 컨트롤할 수 있어서 적절한 화질의 화상을 용이하게 제시할 수 있다.
도 1에 나타내는 송수신 시스템(10)에 있어서, 수신 장치(100)에서는, 컨테이너(트랜스포트 스트림 TS)의 레이어 및/또는 비디오 스트림의 레이어에 삽입되어 있는 블러 컨트롤 정보에 기초하여 블러 부여 처리가 행해진다. 그 때문에, 적절한 화질의 화상을 용이하게 제시할 수 있다.
<2. 변형예>
또한 상술 실시 형태에 있어서는, 하이 프레임 레이트의 동화상 데이터로부터 프레임 레이트를 낮춘(저하시킨) 표시 화상 데이터를 얻을 때, 블러 컨트롤 정보를 이용한 블러 부여 처리를 행하여 적절한 화질을 얻는 예를 나타내었지만, 하이 프레임 레이트의 동화상 데이터로부터 프레임 레이트를 높인 표시 화상 데이터를 얻을 때, 블러 컨트롤 정보를 이용한 블러 부여 처리를 행하여 적절한 화질을 얻는 것도 마찬가지로 생각할 수 있다.
또한 상술 실시 형태에 있어서는, 송신측에서 블러 컨트롤 정보의 부가가 있는 예를 나타내었지만, 송신측에서 블러 컨트롤 정보의 부가가 없는 경우에, 수신측에 있어서 미리 메모리 등으로 구성되는 보유부에 보유되어 있는 블러 컨트롤 정보를 이용하는 것도 생각할 수 있다. 이 경우, 예를 들어 네트로부터 블러 컨트롤 정보를 취득하여 보유부에 보유해 두거나, 또는 리무버블한 기록 매체로부터 취득하여 보유부에 보유해 두는 것을 생각할 수 있다. 그리고 이 경우, 이 리무버블한 기록 매체가 직접 보유부를 구성하는 것도 생각할 수 있다.
또한 송신측에서 블러 컨트롤 정보의 부가가 있는 경우에, 수신측에 있어서 그 블러 컨트롤 정보의 업데이트(수정)를 가능하게 하는 것도 생각할 수 있다. 이 경우에, 업데이트하는 블러 컨트롤 정보를 네트로부터 취득하는 것, 또는 리무버블한 기록 매체로부터 취득하는 것도 생각할 수 있다.
또한 상술 실시 형태에 있어서는, 수신 장치(200)가, 블러 컨트롤 정보가 부가된 하이 프레임 레이트의 동화상 데이터를 방송 또는 네트로부터 얻는 예를 나타내었다. 그러나 수신 장치(200)의 부분에서는, 블러 컨트롤 정보가 부가된 하이 프레임 레이트의 동화상 데이터를 USB 메모리 등의 리무버블한 기록 매체로부터 얻도록 하는 것도 생각할 수 있다.
또한 상술 실시예에 있어서는, 송신측으로부터 보내져 오는 하이 프레임 레이트의 동화상 데이터에 대하여, 그에 부가되어 송신측으로부터 보내져 오는 블러 컨트롤 정보를 이용하여 블러 부여 처리를 행하는 예를 나타내었다. 그러나 송신측으로부터 보내져 오는 하이 프레임 레이트의 동화상 데이터를 콘텐츠로서, 반도체 메모리 등으로 구성되는 기록부에 기록하고, 적당한 타이밍에 재생하여 이용하는 기록 장치도 생각할 수 있다. 예를 들어 수신 장치(200)가 당해 기록부를 구비하고 있어도 된다.
그 경우, 송신측으로부터 블러 컨트롤 정보가 보내져 오는 경우에는, 하이 프레임 레이트의 동화상 데이터와 함께 그에 관련지어져 블러 컨트롤 정보도 기록된다. 그리고 이 블러 컨트롤 정보에 대해서는 적절히 수정도 가능하게 된다. 또한 송신측으로부터 블러 컨트롤 정보가 보내져 오지 않는 경우, 콘텐츠 편집 시에 블러 컨트롤 정보를 생성하거나, 또는 네트로부터 취득하여 하이 프레임 레이트의 동화상 데이터와 함께 그에 관련지어져 기록부에 기록하는 것도 생각할 수 있다.
또한 상술 실시 형태에 있어서는, 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 포함하는 컨테이너를 송신할 때, 컨테이너의 레이어 및/또는 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보를 삽입하는 예를 나타내었다. 그러나 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 반도체 메모리 등의 소정의 기록 매체에 콘텐츠로서 기록하여 이용하는 것도 생각할 수 있다. 그때는, 하이 프레임 레이트의 동화상 데이터의 블러를 컨트롤하는 블러 컨트롤 정보를 생성하고, 당해 블러 컨트롤 정보를 비디오 스트림의 레이어에 삽입하거나, 또는 이 비디오 스트림을 포함하는 컨테이너의 상태에서 기록 매체에 기록해 두는 경우에는 컨테이너의 레이어에 삽입하여 기록하는 것도 생각할 수 있다.
또한 상술에서는, 송신 장치(100) 및 수신 장치(200)에 의하여 구성되는 송수신 시스템(10)을 나타내었지만, 본 기술을 적용할 수 있는 송수신 시스템의 구성은 이에 한정되는 것은 아니다. 예를 들어 도 20에 나타내는 송수신 시스템(10A)과 같이 수신 장치(200)의 부분이, 디지털 인터페이스, 예를 들어 HDMI(High-Definition Multimedia Interface)의 디지털 인터페이스로 접속된 셋톱 박스(STB)(200A) 및 모니터(200B)를 포함하는 구성이어도 된다. 또한 「HDMI」는 등록 상표이다.
이 경우, 셋톱 박스(200A)에는 표시 처리부(205)까지 포함되는 경우, 또는 디코더(204)까지 포함되는 경우 등을 생각할 수 있다. 표시 처리부(205) 이후가 모니터(200B)에 포함되는 경우, 셋톱 박스(200A)로부터 모니터(200B)에는, 비압축된 동화상 데이터 DV와 함께 블러 컨트롤 정보가 송신된다. 셋톱 박스(200A)는, 예를 들어 블러 컨트롤 정보를 동화상 데이터 DV의 블랭킹 기간에 삽입함으로써 송신한다. 예를 들어 "Video displaying InfoFrame"의 패킷을 이용하여 블러 컨트롤 정보를 모니터(200B)로 보낸다.
또한 도 21에 나타낸 바와 같이, 도 20에 있어서의 모니터(200B)의 부분을 HMD(헤드 마운트 디스플레이) 장치(200C)로 치환한 송수신 시스템(10B)도 생각할 수 있다. 도 22는, HMD 장치(200C)의 구성예를 나타내고 있다.
HMD 장치(200C)는 CPU(251)와 유저 조작부(252)와 HDMI 수신부(253)와 화상 처리부(254)와 표시 처리부(255)와 좌안용 표시부(256)와 우안용 표시부(257)를 갖고 있다. CPU(251)는 제어부를 구성하며, HMD 장치(200C)의 각 부의 동작을 제어한다. 유저 조작부(252)는, 유저가 다양한 조작을 행하기 위한 키, 버튼, 터치 패널, 리모컨 등이다.
HDMI 수신부(253)는, HDMI 규격에 준거한 HDMI 수신부의 구성으로 하고 있으며, 셋톱 박스(200A)로부터 표시 화상 데이터 DVd를 수신한다. 화상 처리부(254)는, HDMI 수신부(253)로부터 입력된 표시 화상 데이터 DVd에 대하여 스케일링, 노이즈 리덕션 등의 신호 처리를 한다.
표시 제어부(255)는, 화상 처리부(254)에서 얻어진 화상 데이터를 좌안용 표시부(256) 및 우안용 표시부(257)에 표시 출력한다. 좌안용 표시부(256) 및 우안용 표시부(257)에는, 각각 영상을 확대하는 렌즈 블록(도 22에는 도시하지 않음)이 장비되어 있다. 좌우의 렌즈 블록은 각각 복수의 광학 렌즈의 조합으로 이루어지며, 표시 패널에 표시된 화상을 광학 처리한다.
좌안용 표시부(256) 및 우안용 표시부(257)의 표시 패널에 표시된 화상은, 렌즈 블록을 통과할 때 확대되어 유저의 망막에 큰 허상을 결상한다. 그리고 관찰하는 유저의 뇌 내에서는 좌안용 화상과 우안용 화상이 융상된다. 좌안용 표시부(256) 및 우안용 표시부(257)는, 예를 들어 액정 디스플레이나 유기 EL 소자로 구성되어 있다.
또한 상술에서는, HDMI 수신부(253)에서 셋톱 박스(200A)로부터 표시 화상 데이터 DVd를 수신하도록 설명하였지만, 이 HDMI 수신부(253)에서 셋톱 박스(200A)로부터 하이 프레임 레이트의 동화상 데이터 DV와 블러 컨트롤 정보를 수신하는 것도 생각할 수 있다.
이 경우에는 화상 처리부(254)에 있어서, 좌안용 표시부(256) 및 우안용 표시부(257)의 표시 패널의 표시 능력에 따라 동화상 데이터 DV에 대하여 적절히 프레임 레이트 변환 등의 처리가 행해져 표시 화상 데이터 VDd가 얻어진다.
또한 이 화상 처리부(254)에 있어서, 도 15에 나타내는 수신 장치(200)의 표시 처리부(205)와 마찬가지로, 표시 화상 데이터 VDd의 각 프레임의 화상 데이터를 얻을 때, 현재의 프레임의 화상 데이터 외에 주변의 프레임 화상 데이터가 사용되어, 블러 컨트롤 정보(각 프레임의 가중 계수)에 기초하여 블러 부여 처리가 이루어진다(도 16 내지 도 19 참조).
이와 같이 HMD 장치(200C)에 있어서도, 블러 컨트롤 정보에 기초하여 블러 부여 처리가 실시된 표시 화상 데이터 VDd에 의한 화상 표시가 이루어지므로, 적절한 화질의 화상을 용이하게 제시할 수 있다.
또한 셋톱 박스(200A)로부터 모니터(200B)나 HMD 장치(200C)로의 블러 컨트롤 정보의 송신을, "Video displaying InfoFrame"의 패킷을 이용하는 대신, 그 외의 "InfoFrame"의 패킷, 예를 들어 "Vender Specific InfoFrame"의 패킷 등을 이용하는 것도 생각할 수 있다. 또한 블러 컨트롤 정보의 송신을, CEC 라인이나 HEC의 통신 라인을 통하여 송신하는 것도 생각할 수 있다.
또한 상술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2 TS)인 예를 나타내었다. 그러나 본 기술은, 인터넷 등의 네트워크를 이용하여 수신 단말기에 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있다. 인터넷의 배신에서는 MP4나 그 이외의 포맷의 컨테이너로 배신되는 경우가 많다. 즉, 컨테이너로서는, 디지털 방송 규격에서 채용되어 있는 트랜스포트 스트림(MPEG-2 TS) 또는 MMT(MPEG Media Transport), 인터넷 배신에서 사용되고 있는 MP4 등의 다양한 포맷의 컨테이너가 해당한다.
또한 본 기술은 이하와 같은 구성을 취할 수도 있다.
(1) 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 부호화부와,
상기 비디오 스트림을 포함하는 컨테이너를 송신하는 송신부와,
상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보를 삽입하는 정보 삽입부를 구비하는,
송신 장치.
(2) 상기 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여하는,
상기 (1)에 기재된 송신 장치.
(3) 상기 주변 프레임에는 과거 및 미래의 프레임이 포함되는,
상기 (2)에 기재된 송신 장치.
(4) 상기 주변 프레임에는 과거의 프레임만이 포함되는,
상기 (2)에 기재된 송신 장치.
(5) 상기 주변 프레임의 가중 계수에는 부의 계수가 포함되는,
상기 (2) 내지 (4) 중 어느 것에 기재된 송신 장치.
(6) 상기 하이 프레임 레이트의 동화상 데이터는, 120㎐, 240㎐, 또는 480㎐의 프레임 레이트의 동화상 데이터인,
상기 (1) 내지 (5) 중 어느 것에 기재된 송신 장치.
(7) 상기 정보 삽입부는, 상기 블러 컨트롤 정보를 포함하는 SEI 메시지를 상기 비디오 스트림의 레이어에 삽입하는,
상기 (1) 내지 (6) 중 어느 것에 기재된 송신 장치.
(8) 상기 정보 삽입부는, 상기 비디오 스트림의 레이어에 상기 블러 컨트롤 정보를 삽입할 때, 해당 삽입이 있음을 나타내는 식별 정보를 상기 컨테이너의 레이어에 더 삽입하는,
상기 (1) 내지 (7) 중 어느 것에 기재된 송신 장치.
(9) 상기 정보 삽입부는, 상기 블러 컨트롤 정보를 포함하는 디스크립터를 상기 컨테이너의 레이어에 삽입하는,
상기 (1) 내지 (8) 중 어느 것에 기재된 송신 장치.
(10) 상기 컨테이너는 MPEG2 트랜스포트 스트림이고,
상기 디스크립터는 프로그램 맵 테이블 또는 이벤트 인포메이션 테이블에 삽입되는,
상기 (9)에 기재된 송신 장치.
(11) 상기 정보 삽입부는 상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에 복수 종류의 상기 블러 컨트롤 정보를 삽입하는,
상기 (1) 내지 (10) 중 어느 것에 기재된 송신 장치.
(12) 화상 부호화부가, 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 화상 부호화 스텝과,
송신부가, 상기 비디오 스트림을 포함하는 컨테이너를 송신하는 송신 스텝과,
정보 삽입부가, 상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보를 삽입하는 정보 삽입 스텝을 갖는,
송신 방법.
(13) 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
상기 비디오 스트림을 복호화하여 상기 하이 프레임 레이트의 동화상 데이터를 얻는 복호화부와,
상기 얻어진 하이 프레임 레이트의 동화상 데이터에, 블러 컨트롤 정보를 이용한 블러 부여 처리를 행하는 처리부를 더 구비하는,
수신 장치.
(14) 상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에 상기 블러 컨트롤 정보가 삽입되어 있고,
상기 처리부는, 상기 삽입되어 있는 블러 컨트롤 정보를 이용하거나, 또는 해당 블러 컨트롤 정보를 수정하여 이용하는,
상기 (13)에 기재된 수신 장치.
(15) 상기 블러 컨트롤 정보를 보유하는 보유부를 더 구비하고,
상기 처리부는 상기 보유부로부터 상기 블러 컨트롤 정보를 취득하여 이용하는,
상기 (13)에 기재된 수신 장치.
(16) 상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에 복수 종류의 상기 블러 컨트롤 정보가 삽입되어 있고,
상기 처리부는 상기 복수 종류의 블러 컨트롤 정보로부터, 표시 프레임 레이트에 따른, 또는 원하는 화질에 따른 종류의 블러 컨트롤 정보를 선택하여 이용하는,
상기 (13)에 기재된 수신 장치.
(17) 상기 처리부는 상기 하이 프레임 레이트의 동화상 데이터로부터, 프레임 레이트를 저하시킨 표시 화상 데이터를 얻을 때 블러 부여 처리를 행하는,
상기 (13) 내지 (16) 중 어느 것에 기재된 수신 장치.
(18) 수신부가, 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 포함하는 컨테이너를 수신하는 수신 스텝을 갖고,
상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보가 삽입되어 있고,
복호화부가, 상기 비디오 스트림을 복호화하여 상기 하이 프레임 레이트의 동화상 데이터를 얻는 복호화 스텝과,
처리부가, 상기 얻어진 하이 프레임 레이트의 동화상 데이터에 상기 블러 컨트롤 정보를 이용한 블러 부여 처리를 행하는 처리 스텝을 더 갖는,
수신 방법.
(19) 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 부호화부와,
상기 하이 프레임 레이트의 동화상 데이터의 블러를 컨트롤하기 위한 블러 컨트롤 정보를 생성하는 생성부와,
상기 비디오 스트림의 레이어 및/또는 상기 비디오 스트림을 포함하는 컨테이너의 레이어에 삽입된 상기 블러 컨트롤 정보 및 상기 비디오 스트림을 기록하는 기록부를 구비하는,
기록 장치.
(20) 부호화부가, 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 부호화 스텝과,
생성부가, 상기 하이 프레임 레이트의 동화상 데이터의 블러를 컨트롤하기 위한 블러 컨트롤 정보를 생성하는 생성 스텝과,
기록부가, 상기 비디오 스트림의 레이어 및/또는 상기 비디오 스트림을 포함하는 컨테이너의 레이어에 삽입된 상기 블러 컨트롤 정보 및 상기 비디오 스트림을 기록하는 기록 스텝을 갖는,
기록 방법.
10, 10A, 10B: 송수신 시스템
100: 송신 장치
101: CPU
102: 인코더
103: 멀티플렉서
104: 송신부
200: 수신 장치
200A: 셋톱 박스
200B: 모니터
200C: HMD 장치
201: CPU
201a: 유저 조작부
202: 수신부
203: 디멀티플렉서
204: 디코더
205: 표시 처리부
206: 표시부
251: CPU
252: 유저 조작부
253: HDMI 수신부
254: 화상 처리부
255: 표시 처리부
256: 좌안용 표시부
257: 우안용 표시부

Claims (20)

  1. 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 부호화부와,
    상기 비디오 스트림을 포함하는 컨테이너를 송신하는 송신부와,
    상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보를 삽입하는 정보 삽입부를 구비하고,
    상기 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여하는,
    송신 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 주변 프레임에는 과거 및 미래의 프레임이 포함되는,
    송신 장치.
  4. 제1항에 있어서,
    상기 주변 프레임에는 과거의 프레임만이 포함되는,
    송신 장치.
  5. 제1항에 있어서,
    상기 주변 프레임의 가중 계수에는 부의 계수가 포함되는,
    송신 장치.
  6. 제1항에 있어서,
    상기 하이 프레임 레이트의 동화상 데이터는, 120㎐, 240㎐, 또는 480㎐의 프레임 레이트의 동화상 데이터인,
    송신 장치.
  7. 제1항에 있어서,
    상기 정보 삽입부는, 상기 블러 컨트롤 정보를 포함하는 SEI 메시지를 상기 비디오 스트림의 레이어에 삽입하는,
    송신 장치.
  8. 제1항에 있어서,
    상기 정보 삽입부는, 상기 비디오 스트림의 레이어에 상기 블러 컨트롤 정보를 삽입할 때, 해당 삽입이 있음을 나타내는 식별 정보를 상기 컨테이너의 레이어에 더 삽입하는,
    송신 장치.
  9. 제1항에 있어서,
    상기 정보 삽입부는, 상기 블러 컨트롤 정보를 포함하는 디스크립터를 상기 컨테이너의 레이어에 삽입하는,
    송신 장치.
  10. 제9항에 있어서,
    상기 컨테이너는 MPEG2 트랜스포트 스트림이고,
    상기 디스크립터는 프로그램 맵 테이블 또는 이벤트 인포메이션 테이블에 삽입되는,
    송신 장치.
  11. 제1항에 있어서,
    상기 정보 삽입부는 상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에 복수 종류의 상기 블러 컨트롤 정보를 삽입하는,
    송신 장치.
  12. 화상 부호화부가, 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 화상 부호화 스텝과,
    송신부가, 상기 비디오 스트림을 포함하는 컨테이너를 송신하는 송신 스텝과,
    정보 삽입부가, 상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보를 삽입하는 정보 삽입 스텝을 갖고,
    상기 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여하는,
    송신 방법.
  13. 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
    상기 비디오 스트림을 복호화하여 상기 하이 프레임 레이트의 동화상 데이터를 얻는 복호화부와,
    상기 얻어진 하이 프레임 레이트의 동화상 데이터에, 블러 컨트롤 정보를 이용한 블러 부여 처리를 행하는 처리부를 더 구비하고,
    상기 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여하는,
    수신 장치.
  14. 제13항에 있어서,
    상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에 상기 블러 컨트롤 정보가 삽입되어 있고,
    상기 처리부는, 상기 삽입되어 있는 블러 컨트롤 정보를 이용하거나, 또는 해당 블러 컨트롤 정보를 수정하여 이용하는,
    수신 장치.
  15. 제13항에 있어서,
    상기 블러 컨트롤 정보를 보유하는 보유부를 더 구비하고,
    상기 처리부는 상기 보유부로부터 상기 블러 컨트롤 정보를 취득하여 이용하는,
    수신 장치.
  16. 제13항에 있어서,
    상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에 복수 종류의 상기 블러 컨트롤 정보가 삽입되어 있고,
    상기 처리부는 상기 복수 종류의 블러 컨트롤 정보로부터, 표시 프레임 레이트에 따른, 또는 원하는 화질에 따른 종류의 블러 컨트롤 정보를 선택하여 이용하는,
    수신 장치.
  17. 제13항에 있어서,
    상기 처리부는 상기 하이 프레임 레이트의 동화상 데이터로부터, 프레임 레이트를 저하시킨 표시 화상 데이터를 얻을 때, 블러 부여 처리를 행하는,
    수신 장치.
  18. 수신부가, 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 포함하는 컨테이너를 수신하는 수신 스텝을 갖고,
    상기 컨테이너의 레이어 및/또는 상기 비디오 스트림의 레이어에, 블러를 컨트롤하기 위한 블러 컨트롤 정보가 삽입되어 있고,
    복호화부가, 상기 비디오 스트림을 복호화하여 상기 하이 프레임 레이트의 동화상 데이터를 얻는 복호화 스텝과,
    처리부가, 상기 얻어진 하이 프레임 레이트의 동화상 데이터에 상기 블러 컨트롤 정보를 이용한 블러 부여 처리를 행하는 처리 스텝을 더 갖고,
    상기 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여하는,
    수신 방법.
  19. 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 부호화부와,
    상기 하이 프레임 레이트의 동화상 데이터의 블러를 컨트롤하기 위한 블러 컨트롤 정보를 생성하는 생성부와,
    상기 비디오 스트림의 레이어 및/또는 상기 비디오 스트림을 포함하는 컨테이너의 레이어에 삽입된 상기 블러 컨트롤 정보 및 상기 비디오 스트림을 기록하는 기록부를 구비하고,
    상기 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여하는,
    기록 장치.
  20. 부호화부가, 하이 프레임 레이트의 동화상 데이터를 부호화하여 얻어진 비디오 스트림을 생성하는 부호화 스텝과,
    생성부가, 상기 하이 프레임 레이트의 동화상 데이터의 블러를 컨트롤하기 위한 블러 컨트롤 정보를 생성하는 생성 스텝과,
    기록부가, 상기 비디오 스트림의 레이어 및/또는 상기 비디오 스트림을 포함하는 컨테이너의 레이어에 삽입된 상기 블러 컨트롤 정보 및 상기 비디오 스트림을 기록하는 기록 스텝을 갖고,
    상기 블러 컨트롤 정보는, 현재 프레임의 화상 데이터에 주변 프레임의 화상 데이터를 가산하는 블러 부여 처리에 있어서의 각 프레임의 가중 계수를 부여하는,
    기록 방법.
KR1020197029203A 2017-04-17 2018-04-16 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법 KR102551759B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017081604 2017-04-17
JPJP-P-2017-081604 2017-04-17
PCT/JP2018/015778 WO2018194040A1 (ja) 2017-04-17 2018-04-16 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法

Publications (2)

Publication Number Publication Date
KR20190137802A KR20190137802A (ko) 2019-12-11
KR102551759B1 true KR102551759B1 (ko) 2023-07-06

Family

ID=63855867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197029203A KR102551759B1 (ko) 2017-04-17 2018-04-16 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법

Country Status (6)

Country Link
US (1) US11523120B2 (ko)
EP (1) EP3614680B1 (ko)
JP (1) JP7300985B2 (ko)
KR (1) KR102551759B1 (ko)
CN (1) CN110521211B (ko)
WO (1) WO2018194040A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103654A (ja) * 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20110081132A1 (en) * 2009-03-26 2011-04-07 Yoshiaki Iwata Video processor, video processing method, integrated circuit for video processing, video playback device
WO2016190089A1 (ja) * 2015-05-22 2016-12-01 ソニー株式会社 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454051A (en) * 1991-08-05 1995-09-26 Eastman Kodak Company Method of reducing block artifacts created by block transform compression algorithms
US7373013B2 (en) * 2003-12-23 2008-05-13 General Instrument Corporation Directional video filters for locally adaptive spatial noise reduction
WO2006040722A2 (en) * 2004-10-13 2006-04-20 Koninklijke Philips Electronics N.V. Display time control for moving images
WO2006068293A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
GB2432068B (en) * 2005-11-02 2010-10-06 Imagination Tech Ltd Motion estimation
CN101317450B (zh) * 2005-11-29 2010-09-15 日本先锋公司 记录装置、再现装置、记录方法
JP4961800B2 (ja) 2006-03-31 2012-06-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8208563B2 (en) * 2008-04-23 2012-06-26 Qualcomm Incorporated Boundary artifact correction within video units
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2010178124A (ja) 2009-01-30 2010-08-12 Victor Co Of Japan Ltd 記録装置及び記録方法
JP5296193B2 (ja) 2009-04-08 2013-09-25 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
US8378799B2 (en) * 2009-06-30 2013-02-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for coding information on a roadway surface subject to motion blur
US8503801B2 (en) * 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
US9525895B2 (en) * 2012-08-27 2016-12-20 Sony Corporation Transmission device, transmission method, reception device, and reception method
KR102072832B1 (ko) * 2012-09-26 2020-02-03 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
EP2936804A4 (en) * 2012-12-21 2016-06-01 Thomson Licensing VIDEO QUALITY MODEL, METHOD FOR DEVELOPING A VIDEO QUALITY MODEL AND METHOD FOR DETERMINING THE VIDEO QUALITY USING A VIDEO QUALITY MODEL
US9542736B2 (en) * 2013-06-04 2017-01-10 Paypal, Inc. Evaluating image sharpness
EP3748953B1 (en) * 2014-01-07 2024-04-17 ML Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
WO2015133866A1 (ko) * 2014-03-06 2015-09-11 삼성전자 주식회사 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
WO2016145591A1 (en) * 2015-03-16 2016-09-22 Nokia Technologies Oy Moving object detection based on motion blur
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
JP6621798B2 (ja) * 2016-12-08 2019-12-18 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103654A (ja) * 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20110081132A1 (en) * 2009-03-26 2011-04-07 Yoshiaki Iwata Video processor, video processing method, integrated circuit for video processing, video playback device
WO2016190089A1 (ja) * 2015-05-22 2016-12-01 ソニー株式会社 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法

Also Published As

Publication number Publication date
CN110521211A (zh) 2019-11-29
JPWO2018194040A1 (ja) 2020-02-27
JP7300985B2 (ja) 2023-06-30
US20200322614A1 (en) 2020-10-08
US11523120B2 (en) 2022-12-06
WO2018194040A1 (ja) 2018-10-25
EP3614680A1 (en) 2020-02-26
KR20190137802A (ko) 2019-12-11
EP3614680A4 (en) 2020-04-29
EP3614680B1 (en) 2024-05-01
CN110521211B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
US8860782B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
US9554198B2 (en) Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same
US8937642B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
KR101789636B1 (ko) 이미지 처리 방법 및 장치
US9516294B2 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
KR102360613B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US20110141233A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
US20110141232A1 (en) Image data transmitting apparatus, control method, and program
KR101981813B1 (ko) 송신 장치, 송신 방법 및 수신 장치
US20140078248A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
KR102551759B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법
EP2506580A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device
JP6930420B2 (ja) 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法
JP5684415B2 (ja) デジタル放送信号受信装置およびデジタル放送信号受信方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right