JP7300985B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP7300985B2
JP7300985B2 JP2019513638A JP2019513638A JP7300985B2 JP 7300985 B2 JP7300985 B2 JP 7300985B2 JP 2019513638 A JP2019513638 A JP 2019513638A JP 2019513638 A JP2019513638 A JP 2019513638A JP 7300985 B2 JP7300985 B2 JP 7300985B2
Authority
JP
Japan
Prior art keywords
image data
control information
blur control
blur
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019513638A
Other languages
English (en)
Other versions
JPWO2018194040A1 (ja
Inventor
博昭 江藤
敏之 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018194040A1 publication Critical patent/JPWO2018194040A1/ja
Application granted granted Critical
Publication of JP7300985B2 publication Critical patent/JP7300985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Description

本技術は、情報処理装置および情報処理方法に関する。
近年、高速フレームシャッターでハイフレームレート撮影を行って、ハイフレームレートの動画像データを出力するカメラが知られている(例えば、特許文献1参照)。例えば、ノーマルフレームレートが60Hzであるのに対して、ハイフレームレートは120Hz、240Hz、480Hzなどである。
そして、近年、このハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを生成し、このコンテナを放送波あるいはネットのパケットに載せて送信することが考えられている。例えば、コンテナとしては、MPEG-2 TS(MPEG-2 Transport Stream)あるいはMMT(MPEG Media Transport)などが知られている。
特開2010-178124号公報
ハイフレームレートの動画像データを受信する受信機において、表示部がハイフレームレートに対応していなければ、例えばハイフレームレートの動画像データに間引き処理あるは加算処理を行ってノーマルフレームレートの動画像データを得て、画像表示を行うことになる。しかし、単に間引き処理あるは加算処理を行って得られたノーマルフレームレートの動画像データによる表示画像は観察者にとって満足のいくものとはならないことが想定される。
本技術の目的は、ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示可能とすることにある。
本技術の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
送信装置にある。
本技術において、符号化部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームが生成される。例えば、ハイフレームレートの動画像データは、120Hz、240Hzあるいは480Hzのフレームレートの動画像データである、ようにされてもよい。送信部により、ビデオストリームを含むコンテナが送信される。
情報挿入部により、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入される。例えば、周辺フレームの重み付け係数には負の係数が含まれる、ようにされてもよい。
また、例えば、ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える、ようにされてもよい。この場合、例えば、周辺フレームには、過去および未来のフレームが含まれる、ようにされてもよい。また、この場合、例えば、周辺フレームには、過去のフレームだけが含まれる、ようにされてもよい。
また、例えば、情報挿入部は、ブラーコントロール情報を含むSEIメッセージをビデオストリームのレイヤに挿入する、ようにされてもよい。また、例えば、情報挿入部は、ビデオストリームのレイヤにブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報をコンテナのレイヤにさらに挿入する、ようにされてもよい。このようにコンテナのレイヤに識別情報が挿入されることで、受信側では、ビデオストリームをデコードしなくても、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを容易に認識可能となる。
また、例えば、情報挿入部は、ブラーコントロール情報を含むデスクリプタをコンテナのレイヤに挿入する、ようにされてもよい。この場合、例えば、コンテナは、MPEG2トランスポートストリームであり、デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される、ようにされてもよい。
また、例えば、情報挿入部は、コンテナのレイヤおよび/またはビデオストリームのレイヤに、複数種類のブラーコントロール情報を挿入する、ようにされてもよい。このように複数種類のブラーコントロール情報が挿入されることで、受信側では、例えば、表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いることができる。
このように本技術においては、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入するものである。そのため、受信側では、このブラーコントロール情報に基づいてブラーをコントロールでき、適切な画質の画像を容易に提示できる。
また、本技術の他の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
受信装置にある。
本技術において、受信部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナが受信される。復号化部により、ビデオストリームが復号化されてハイフレームレートの動画像データが得られる。そして、処理部により、このハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理が行われる。
例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーコントロール情報が挿入されており、処理部は、挿入されているブラーコントロール情報を用いるか、あるいはこのブラーコントロール情報を修正して用いる、ようにされてもよい。また、例えば、ブラ―コントロール情報を保持する保持部をさらに備え、処理部は、保持部からブラーコントロール情報を取得して用いる、ようにされてもよい。
また、例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、複数種類のブラーコントロール情報が挿入されており、処理部は、複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる、ようにされてもよい。また、例えば、処理部は、ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う、ようにされてもよい。
このように本技術においては、受信されたハイフレームレートの動画像データにブラーコントロール情報に基づいてブラー付与処理を行うものである。そのため、適切な画質の画像を容易に提示できる。
また、本技術の他の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
記録装置にある。
本技術において、符号化部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームが生成される。生成部により、ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報が生成される。そして、記録部により、ビデオストリームのレイヤおよび/またはビデオストリームを含むコンテナのレイヤに挿入されたブラーコントロール情報およびビデオストリームが記録される。
このように本技術においては、ビデオストリームを含むコンテナのレイヤおよび/またはビデオストリームのレイヤにブラーをコントロールするためのブラーコントロール情報が挿入されて記録されるものである。そのため、再生時おいて、ハイフレームレートの動画像データのブラーをブラーコントロール情報に基づいてコントロールでき、適切な画質の画像を容易に提示できる。
本技術によれば、ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 ハイフレームレートの動画像データに対する間引き処理を説明するための図である。 光刺激(左)と視覚反応(右)の対応関係を説明するための図である。 光刺激(左)と視覚反応(右)の対応関係から、見かけの明るさは以前の光刺激の影響を受けることを説明するための図である。 ブラーコントロール情報を与える関数のタイプを説明するための図である。 ブラーコントロール情報として送信される各フレームの重み付け係数の一例を示す図である。 送信装置の構成例を示すブロック図である。 符号化方式がHEVCである場合におけるGOPの先頭のアクセスユニットを示す図である。 符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示す図である。 HFR・ブラーコントロール・SEIメッセージの構造例を示す図である。 HFR・ブラーコントロール・SEIメッセージの構造例における主要な情報の内容を示す図である。 HFR・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 HFR・ブラーコントロール・デスクリプタの構造例を示す図である。 トランスポートストリームTSの構成例を示す図である。 受信装置の構成例を示すブロック図である。 表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示す図である。 表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示す図である。 表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示す図である。 表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示す図である。 送受信システムの他の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 HMD装置の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
送信装置100は、コンテナとしてのトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波、あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、例えば120Hz,240Hzあるいは480Hz等のハイフレームレートの動画像データを符号化して得られたビデオストリームが含まれる。この場合、例えば、H.264/AVC、H.265/HEVCなどの符号化が施される。
トランスポートストリームTSのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が1つまたは複数の種類挿入される。受信側においては、コンテナのレイヤあるいはビデオストリームのレイヤから、ブラーコントロール情報を容易に取得可能となる。
この実施の形態において、送信装置100は、ブラーコントロール情報を含むデスクリプタをトランスポートストリームTSのレイヤに挿入する。また、この実施の形態において、送信装置100は、ブラーコントロール情報を含むSEIメッセージをビデオストリームのレイヤに挿入する。また、この実施の形態において、送信装置100は、ブラーコントロール情報を含むSEIメッセージがビデオストリームのレイヤに挿入されていることを示す識別情報を含むスクリプタをトランスポートストリームTSのレイヤに挿入する。
受信装置200は、送信装置100から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、ハイフレームレートの動画像データが符号化されて得られたデオストリームが含まれている。トランスポートストリームTSのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されている。
受信装置200は、ビデオストリームを復号化してハイフレームレートの動画像データを得、この動画像データにブラーコントロール情報を用いたブラ―付与処理をする。この場合、受信装置200は、複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる。
例えば、ハイフレームレートの動画像データをそのまま表示画像データとする場合に、ユーザの選択操作に応じて、所望画質に応じた種類のブラーコントロール情報が選択されて用いられる。また、例えば、ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、適切な画質を得るために、それに対応した種類のブラーコントロール情報が選択されて用いられる。
[ブラーコントロール情報]
ブラーコントロール情報の詳細について説明する。ブラーコントロール情報は、上述したように、ハイフレームレートの動画像データが送られてくる受信側において、所望画質を得るための、あるいはフレームレートを落とした場合に適切な画質を得るためのブラー付与処理において用いられる。
図2(a)は、ハイフレームレート、例えば120Hzのフレームレートの動画像データにおいて、フレーム進行に伴う所定ピクセルの信号レベルの変化を示している。横軸はフレームであり、「0」は現在フレームを示し、「-n」はnフレーム前のフレームを示し、「n」はnフレーム後のフレームを示している。なお、信号レベルは、最大値を1として示している。
従来、表示フレームレートが60Hzである場合、例えば、図2(b)に示すように、間引き処理が行われて、60Hzのフレームレートの動画像データとされる。この場合、60Hzのフレームレートの動画像データにおいて、現在フレーム「0」の信号は、図2(c)に示すように、120Hzのフレームレートの動画像データにおける現在フレーム「0」の信号そのものであり、周辺のフレームの信号成分を含んではいない。そのため、このように単なる間引き処理で生成された60Hzのフレームレートの動画像データで提示される画像は滑らかさに欠けるものとなる。
図3(a)~(d)は、それぞれ、光刺激(左)と視覚反応(右)の対応関係を示している。図3(a)に示すように、光刺激が一定時間呈示されると、見かけの明るさは数10msの時間遅れを伴う。また、図3(b)に示すように、光刺激が一定間隔で呈示されると、見かけの明るさは同一の周期で変化する。
また、図3(c)に示すように、連続する光刺激が呈示されると、見かけの明るさも連続する。また、図3(d)に示すように、図3(b)と同じ周期でも、連続する光刺激が呈示されると、見かけの明るさは連続する。
図4(a),(b)も、それぞれ、光刺激(左)と視覚反応(右)の対応関係を示している。図4(a)において、ハッチングを付して示すように、見かけの明るさは、以前の光刺激の影響を受ける。また、図4(b)において、ハッチングを付して示すように、光刺激の呈示時間が長くなると、見かけの明るさの刺激の影響も長くなる。
この光刺激の影響は画像(映像)の重なり(ブラー)として見える。この重なり量をコントロールすることで、画像観察者が知覚する画質を積極的に変化させることが可能となる。この実施の形態においては、ブラーコントロール情報は、フレームをパラメータとする関数情報とされ、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える。
図5(a)~(d)は、関数のタイプを示している。図5(a)は、過去と未来のフレームを利用し、かつ各フレームの重み付け係数の一部として負の係数が含まれる例である。図5(b)は、過去と未来のフレームを利用し、かつ各フレームの重み付け係数として負の係数が含まれない例である。図5(c)は、過去のフレームだけを利用し、かつ各フレームの重み付け係数の一部として負の係数が含まれる例である。図5(d)は、過去のフレームだけを利用し、かつ各フレームの重み付け係数として負の係数が含まれない例である。
関数のタイプを変化させ、あるいは関数の係数を変化させることで、複数種類のブラーコントロール情報(各フレームの重み付け係数)を得ることが可能となる。例えば、ハイフレームレートの動画像データをそのまま表示画像データとする場合、あるいはそのフレームレートを落とした表示用動画像データを得る場合に、画像観察者に所定の画質を知覚させるためのブラーコントロール情報を得ることができる。また、例えば、ハイフレームレートの動画像データからフレームレートを落とした表示用動画像データを得る際に、画像観察者に適切な画質を知覚させるための、ブラーコントロール情報を得ることができる。
なお、送信装置100から受信装置200にブラーコントロール情報を送信する場合、関数情報そのものを送ることも考えられるが、この実施の形態においては、その関数情報で与えられる、受信側のブラー付与処理で使用される各フレームの重み付け係数が送られる。
図6(a)~(d)は、ブラーコントロール情報として送信される各フレームの重み付け係数の一例を示している。図6(a)の例は、図5(a)に示す関数タイプに対応しており、「-3」~「3」のフレームにおける関数f(x)の値である重み付け係数f(-3)~f(3)がブラーコントロール情報として送信される。なお、「-3」~「3」のフレーム範囲は一例であってこれに限定されない。過去と未来の使用フレームが3でなくてもよく、また過去と未来の使用フレームが同数でなくてもよい。これらの点については、図6(b)~(d)の例においても同様である。
図6(b)の例は、図5(b)に示す関数タイプに対応しており、「-3」~「3」のフレームにおける関数f(x)の値である重み付け係数f(-3)~f(3)がブラーコントロール情報として送信される。図6(c)の例は、図5(c)に示す関数タイプに対応しており、「-3」~「0」のフレームにおける関数f(x)の値である重み付け係数f(-3)~f(0)がブラーコントロール情報として送信される。図6(d)の例は、図5(d)に示す関数タイプに対応しており、「-3」~「0」のフレームにおける関数f(x)の値である重み付け係数f(-3)~f(0)がブラーコントロール情報として送信される。
「送信装置の構成」
図7は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、マルチプレクサ103と、送信部104を有している。CPU101は、制御部を構成し、送信装置100の各部の動作を制御する。
エンコーダ102は、例えば120Hz,240Hzあるいは480Hz等のハイフレームレートの動画像データVDを入力する。このハイフレームレートの動画像データVDは、例えば、図示しない撮像装置(カメラ)で撮像されて得られたものであり、ブラ―が付与されていない状態にある。エンコーダ102は、この動画像データVDに、例えば、H.264/AVC、H.265/HEVCなどの符号化処理を施し、ビデオストリームを生成する。
この際、エンコーダ102は、ビデオストリームのレイヤに、上述のブラーコントロール情報を挿入する。例えば、ピクチャ単位、GOP(Group Of Pictures)単位、あるいはシーン単位などの単位で挿入される。
エンコーダ102は、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、HFR・ブラーコントロール・SEIメッセージ(HFR_blur_control SEI message)を挿入する。
図8は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭のアクセスユニットを示している。また、図9は、符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示している。
HEVCの符号化方式の場合、画素データが符号化されているスライス(slices)の前にデコード用のSEIメッセージ群「Prefix_SEIs」が配置され、このスライス(slices)の後に表示用のSEIメッセージ群「Suffix_SEIs」が配置される。図8、図9に示すように、HFR・ブラーコントロール・SEIメッセージは、例えば、SEIメッセージ群「Suffix_SEIs」として配置される。
図10は、HFR・ブラーコントロール・SEIメッセージの構造例(Syntax)を示している。図11は、その構造例における主要な情報の内容(Semantics)を示している。「source_frame_rate」のフィールドは、送信するハイフレームレートの動画像データのフレームレートを示す。例えば、“0x01”は120Hzを示し、“0x02”は240Hzを示し、“0x03”は480Hzを示す。
「number_of_blur_control_info」のフィールドは、送信するブラーコントロール情報の数(種類数)を示す。この数の分だけ、以下の情報が繰り返し存在する。「display_frame_rate」のフィールドは、表示画像データのフレームレートを示す。例えば、“0x01”は60Hzを示し、“0x02”は120Hzを示し、“0x03”は240Hzを示し、“0x04”は480Hzを示す。
「function_type」のフィールドは、関数タイプを示す。例えば、“0x01”は現在とその前のフレームを使用し、かつ重み付け係数の一部に負の係数があるタイプ(図5(a)、図6(a)参照)であることを示す。また、“0x02”は現在とその前のフレームを使用し、かつ重み付け係数に負の係数がないタイプ(図5(b)、図6(b)参照)であることを示す。
また、“0x03”は現在とその前後のフレームを使用し、かつ重み付け係数の一部に負の係数があるタイプ(図5(c)、図6(c)参照)であることを示す。さらに、“0x04”は現在とその前後のフレームを使用し、かつ重み付け係数に負の係数がないタイプ(図5(d)、図6(d)参照)であることを示す。
「start_frame」のフィールドは、使用する最初のフレームを示す。「end_frame」のフィールドは、使用する最後のフレームを示す。例えば、図6(a),(b)の例の場合、最初のフレームは「-3」で、最後のフレームは「3」である。また、例えば、図6(c),(d)の例の場合、最初のフレームは「-3」で、最後のフレームは「0」となる。
「number_of_frame」のフィールドは、使用フレームの数を示す。例えば、図6(a),(b)の例の場合、「7」となる。また、例えば、図6(c),(d)の例の場合、「4」となる。この数の分だけ、以下の情報が繰り返し存在する。「frame_coef(i)」のフィールドは、各フレームで用いる重み付け係数(関数値)を示す。
図7に戻って、マルチプレクサ103は、エンコーダ102で生成されたビデオストリームを、PES(Packetized Elementary Stream)パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
この際、マルチプレクサ103は、コンテナとしてのトランスポートストリームTSのレイヤに、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを示す識別情報を挿入する。この実施の形態において、マルチプレクサ103は、新規定義するHFR・インフォメーション・デスクリプタ(HFR_information descriptor)を、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入する。
図12(a)は、HFR・インフォメーション・デスクリプタの構造例(Syntax)を示している。また、図12(b)は、その構造例における主要な情報の内容(Semantics)を示している。
「HFR_information descriptor tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、HFR・インフォメーション・デスクリプタであることを示す。「HFR_ information descriptor length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「HFR_blur_control_SEI_existed」の1ビットフィールドは、ビデオレイヤ(ビデオストリームのレイヤ)に、HFR・ブラーコントロール・SEIメッセージが存在するか否かを示すフラグ情報である。例えば、“1”は存在することを示し、“0”は存在しないことを示す。
図7に戻って、送信部104は、マルチプレクサ103で得られたトランスポートストリームTSを、放送波、あるいはネットのパケットに載せて、受信装置200に送信する。
図7に示す送信装置100の動作を簡単に説明する。エンコーダ102には、例えば120Hz、240Hzあるいは480Hz等のハイフレームレートの動画像データVDが入力される。エンコーダ102では、この動画像データVDに、例えば、H.264/AVC、H.265/HEVCなどの符号化処理が施され、ビデオストリームが生成される。
また、エンコーダ102では、ビデオストリームのレイヤに、ブラーコントロール情報が挿入される。すなわち、エンコーダ102では、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、HFR・ブラーコントロール・SEIメッセージ(図10参照)が挿入される。
エンコーダ102で生成されたビデオストリームは、マルチプレクサ103に供給される。マルチプレクサ103では、ビデオストリームのPESパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。
また、マルチプレクサ103では、コンテナとしてのトランスポートストリームTSのレイヤに、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを示す識別情報が挿入される。すなわち、マルチプレクサ103では、HFR・インフォメーション・デスクリプタ(図12(a)参照)が、プログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入される。
マルチプレクサ103で生成されたトランスポートストリームTSは、送信部104に送られる。送信部104では、このトランスポートストリームTSが、放送波、あるいはネットのパケットに載せられて受信装置200に送信される。
なお、上述では、ブラーコントロール情報をビデオストリームのレイヤに挿入する例を示した。HFR・ブラーコントロール・SEIメッセージは最も頻繁にはピクチャ毎に送ることができるので、ブラーコントロール情報をピクチャ毎に変更することも可能となる。あるいは、HFR・ブラーコントロール・SEIメッセージを例えばGOPあるいはシーンに1回とか、あるいはもっと粗い単位で送ることもできる。あるいは、HFR・ブラーコントロール・SEIメッセージをピクチャ毎に送っても、メタ情報の値が変わらなければスタティックな運用も可能となる。
ブラーコントロール情報をビデオストリームのレイヤに挿入する代わりに、あるいはビデオストリームのレイヤに挿入すると共に、コンテナのレイヤに挿入することも考えられる。例えば、マルチプレクサ103は、プログラム・マップ・テーブル(PMT)の配下に、新規定義する、HFR・ブラーコントロール・デスクリプタ(HFR_blur_control descriptor)を挿入する。静的な運用で十分な場合には、これで充分である。
あるいは、番組単位でブラーコントロール情報がわかれば充分な場合、HFR・ブラーコントロール・デスクリプタを、イベント・インフォメーション・テーブル(EIT)の配下に挿入することも考えられる。
図13は、HFR・ブラーコントロール・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示す。ここでは、HFR・ブラーコントロール・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。なお、詳細説明は省略するが、このHFR・ブラーコントロール・デスクリプタの内容は、上述のHFR・ブラーコントロール・SEIメッセージ(図10参照)の内容と同じである。
[トランスポートストリームTSの構成]
図14は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「video PES1」が存在する。アクセスユニットに、HFR・ブラーコントロール・SEIメッセージ(HFR_blur_control SEI message)が挿入されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES loop)が存在する。このビデオエレメンタリ・ループには、上述の1つのビデオエレメンタリストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
デスクリプタの一つとして、HFR・インフォメーション・デスクリプタ(HFR_information descriptor)が配置される。このデスクリプタは、上述したように、ビデオストリームに、HFR・ブラーコントロール・SEIメッセージの挿入があることを示すものである。
また、デスクリプタの一つとして、HFR・ブラーコントロール・デスクリプタ(HFR_blur_control_ descriptor)が挿入されることもある。このデスクリプタは、HFR・ブラーコントロール・SEIメッセージの代わりに、あるいはHFR・ブラーコントロール・SEIメッセージと共に、挿入される。
また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。このEITに、HFR・ブラーコントロール・デスクリプタ(HFR_blur_control_ descriptor)が挿入されることもある。このデスクリプタは、HFR・ブラーコントロール・SEIメッセージの代わりに、あるいはHFR・ブラーコントロール・SEIメッセージと共に、挿入される。
「受信装置の構成」
図15は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、ユーザ操作部201aと、受信部202と、デマルチプレクサ203と、デコーダ204と、表示処理部205と、表示部206を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
受信部202は、送信装置100から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、例えば120Hz、240Hzあるいは480Hz等のハイフレームレートの動画像データVDに符号化処理が施されて得られたビデオストリームが含まれている。
デマルチプレクサ203は、トランスポートストリームTSから、PIDのフィルタリングによってビデオストリームを取り出し、デコーダ204に供給する。また、デマルチプレクサ203は、トランスポートストリームTSのレイヤに含まれるセクション情報を抽出し、CPU201に送る。この場合、HFR・インフォメーション・デスクリプタ(図12(a)参照)、HFR・ブラーコントロール・デスクリプタ(図13参照)も抽出される。
デコーダ204は、デマルチプレクサ203から供給されるビデオストリームに復号化処理を施して、ハイフレームレートの動画像データVDを出力する。また、デコーダ204は、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、CPU201に送る。この場合、HFR・ブラーコントロール・SEIメッセージ(図10参照)も抽出される。
表示処理部205は、表示部206の表示能力に応じて、デコーダ204で得られた動画像データに対して適宜フレームレートの変換などの処理を行って表示画像データVDdを得る。例えば、動画像データDVのフレームレートが120Hzであって、表示部206で120Hz表示を行う場合には、フレームレート変換をしない。また、例えば、動画像データDVのフレームレートが120Hzであって、表示部206で60Hz表示を行う場合には、フレームレート変換をする。
表示処理部205は、表示画像データVDdの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データを使用し、HFR・ブラーコントロール・SEIメッセージやHFR・ブラーコントロール・デスクリプタに含まれるブラーコントロール情報(各フレームの重み付け係数)に基づいて、ブラー付与処理をする。
ここで、送信側から複数のブラーコントロール情報が送られてきている場合、どのブラーコントロール情報を使用するかは、動画像データDVのフレームレートや表示フレームレート等に基づいてCPU201が自動的に選択し、あるいはユーザが任意に選択する。なお、CPU201は、ユーザの選択の便宜のために、複数のブラーコントロール情報に係る情報を示すUI画面を表示部206に表示してもよい。複数のブラーコントロール情報に係る情報としては、動画像データDVのフレームレートや表示フレームレートがどのような場合に適するものであるとか。観察者にどのような画質を知覚させるものであるか等の選択に参考となる情報が考えられる。
表示画像データVDdのあるフレームの信号(画像データ)は、動画像データDVの当該フレームおよびその周辺のフレームの信号を用いて算出され、ブラーが付与されたものとなる。この場合、動画像データDVのあるフレームおよびその周辺のフレームの信号にそれぞれ対応する重み付け係数が掛け算されて積算され、その積算結果が重み付け係数の積算結果で除算されて表示画像データVDdのあるフレームの信号が得られる。
図16は、表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示している。図16(a)は、ハイフレームレート、例えば120Hzのフレームレートの動画像データDVにおいて、フレーム進行に伴う所定ピクセルの信号レベルの変化を示している。なお、信号レベルは、最大値を1として示している。
図16(b)は、上述の図6(a)に示した、「-3」~「3」の各フレームを使用するブラーコントロール情報(各フレームの重み付け係数)を示している。図16(c)は、動画像データDVの「-3」~「3」の各フレームの信号S(-3)~S(3)にそれぞれ対応する重み付け係数f(-3)~f(3)を掛け算した結果を示している。表示画像データVDdの「0」のフレームの信号は、図16(d)に示すように、「-3」~「3」の各フレームの掛け算結果の積算値が「-3」~「3」の各フレームの重み付け係数の積算値で割ったものとなる。
図17は、表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示している。図17(a)は、図16(a)で示したものと同じである。図17(b)は、上述の図6(b)に示した、「-3」~「3」の各フレームを使用するブラーコントロール情報(各フレームの重み付け係数)を示している。
図17(c)は、動画像データDVの「-3」~「3」の各フレームの信号S(-3)~S(3)にそれぞれ対応する重み付け係数f(-3)~f(3)を掛け算した結果を示している。表示画像データVDdの「0」のフレームの信号は、図17(d)に示すように、「-3」~「3」の各フレームの掛け算結果の積算値が「-3」~「3」の各フレームの重み付け係数の積算値で割ったものとなる。
図18は、表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示している。図18(a)は、図16(a)で示したものと同じである。図18(b)は、上述の図6(c)に示した、「-3」~「0」の各フレームを使用するブラーコントロール情報(各フレームの重み付け係数)を示している。
図18(c)は、動画像データDVの「-3」~「0」の各フレームの信号S(-3)~S(0)にそれぞれ対応する重み付け係数f(-3)~f(0)を掛け算した結果を示している。表示画像データVDdの「0」のフレームの信号は、図18(d)に示すように、「-3」~「0」の各フレームの掛け算結果の積算値が「-3」~「0」の各フレームの重み付け係数の積算値で割ったものとなる。
図19は、表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示している。図19(a)は、図16(a)で示したものと同じである。図19(b)は、上述の図6(d)に示した、「-3」~「0」の各フレームを使用するブラーコントロール情報(各フレームの重み付け係数)を示している。
図19(c)は、動画像データDVの「-3」~「0」の各フレームの信号S(-3)~S(0)にそれぞれ対応する重み付け係数f(-3)~f(0)を掛け算した結果を示している。表示画像データVDdの「0」のフレームの信号は、図19(d)に示すように、「-3」~「0」の各フレームの掛け算結果の積算値が「-3」~「0」の各フレームの重み付け係数の積算値で割ったものとなる。
図15に戻って、表示部206は、表示処理部205で得られた表示画像データによる動画像を表示する。この表示部206は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この表示部206は、受信装置200に接続される外部機器であってもよい。
図15に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信される。このトランスポートストリームTSは、デマルチプレクサ203に送られる。デマルチプレクサ203では、トランスポートストリームTSから、PIDのフィルタリングによって、復号化処理をすべきビデオストリームが取り出される。
また、デマルチプレクサ203では、トランスポートストリームTSのレイヤに含まれるセクション情報が抽出されて、CPU201に送られる。この場合、HFR・インフォメーション・デスクリプタ(図12(a)参照)、さらには、存在する場合には、HFR・ブラーコントロール・デスクリプタ(図13参照)も抽出される。
CPU201では、HFR・インフォメーション・デスクリプタから、ビデオストリーム
にブラーコントロール情報の挿入があることが認識される。また、CPU201では、HFR・ブラーコントロール・デスクリプタからブラーコントロール情報が取得される。
デマルチプレクサ203で取り出されたビデオストリームは、デコーダ204に供給される。デコーダ204では、ビデオストリームに復号化処理が施されて、ハイフレームレートの動画像データVDが得られる。
また、デコーダ204では、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、CPU201に送られる。この場合、HFR・ブラーコントロール・SEIメッセージ(図10参照)も抽出される。CPU201では、HFR・ブラーコントロール・SEIメッセージからブラーコントロール情報が取得される。
デコーダ204で得られたハイフレームレートの動画像データDVは、表示処理部205に供給される。表示処理部205では、表示部206の表示能力に応じて、デコーダ204で得られた動画像データDVに対して適宜フレームレート変換などの処理が行われて、表示画像データVDdが得られる。
そして、表示処理部205では、表示画像データVDdの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データが使用され、ブラーコントロール情報(各フレームの重み付け係数)に基づいて、ブラー付与処理がされる(図16~図19参照)。
ここで、送信側から複数のブラーコントロール情報が送られてきている場合、どのブラーコントロール情報を使用するかは、動画像データDVのフレームレートや表示フレームレート等に基づいてCPU201により自動的に選択される、あるいはユーザ操作により選択される。このユーザ操作のために、例えば、複数のブラーコントロール情報を示すUI画面が表示部206に表示される。
表示処理部205から出力された表示画像データDVdは、表示部206に供給される。そして、表示部206に、表示画像データDVdによる動画像が表示される。
以上説明したように、図1に示す送受信システム10において、送信装置100では、コンテナ(トランスポートストリームTS)のレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入される。そのため、受信側では、このブラーコントロール情報に基づいてブラーをコントロールでき、適切な画質の画像を容易に提示できる。
図1に示す送受信システム10において、受信装置100では、コンテナ(トランスポートストリームTS)のレイヤおよび/またはビデオストリームのレイヤに挿入されているブラーコントロール情報に基づいてブラー付与処理が行われる。そのため、適切な画質の画像を容易に提示できる。
<2.変形例>
なお、上述実施の形態においては、ハイフレームレートの動画像データからフレームレートを下げた(落とした)表示画像データを得る際にブラーコントロール情報を用いたブラ―付与処理を行って適切な画質を得る例を示したが、ハイフレームレートの動画像データからフレームレートを上げた表示画像データを得る際にブラーコントロール情報を用いたブラ―付与処理を行って適切な画質を得ることも同様に考えられる。
また、上述実施の形態においては、送信側でブラ―コントロール情報の付加がある例を示したが、送信側でブラ―コントロール情報の付加がない場合に、受信側において予めメモリ等で構成される保持部に保持されているブラ―コントロール情報を用いることも考えられる。この場合、例えば、ネットからブラ―コントロール情報を取得して保持部に保持しておくか、あるいはリムーバブルな記録媒体から取得して保持部に保持しておくことが考えられる。そして、この場合、このリムーバブルな記録媒体が直接保持部を構成することも考えられる。
また、送信側でブラ―コントロール情報の付加がある場合に、受信側においてそのブラ―コントロール情報のアップデート(修正)を可能とすることも考えられる。この場合に、アップデートするブラ―コントロール情報をネットから取得すること、あるいはリムーバブルな記録媒体から取得することも考えられる。
また、上述実施の形態においては、受信装置200が、ブラーコントロール情報が付加されたハイフレームレートの動画像データを放送あるいはネットから得る例を示した。しかし、受信装置200の部分では、ブラーコントロール情報が付加されたハイフレームレートの動画像データをUSBメモリなどのリムーバブルな記録媒体から得るようにすることも考えられる。
また、上述実施例においては、送信側から送られてくるハイフレームレートの動画像データに対して、それに付加されて送信側から送られてくるブラ―コントロール情報を用いてブラ―付与処理を行う例を示した。しかし、送信側から送られてくるハイフレームレートの動画像データをコンテンツとして半導体メモリ等で構成される記録部に記録して、適宜なタイミングで再生して利用する記録装置も考えられる。例えば、受信装置200が、当該記録部を備えていてもよい。
その場合、送信側からブラ―コントロール情報が送られてくる場合には、ハイフレームレートの動画像データと共にそれに関連付けされてブラ―コントロール情報も記録される。そして、このブラ―コントロール情報については、適宜修正も可能とされる。また、送信側からブラ―コントロール情報が送られてこない場合、コンテンツ編集時に、ブラ―コントロール情報を生成し、あるいはネットから取得して、ハイフレームレートの動画像データと共にそれに関連付けされて記録部に記録することも考えられる。
また、上述実施の形態においては、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを送信する際に、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する例を示した。しかし、ハイフレームレートの動画像データを符号化して得られたビデオストリームを半導体メモリ等の所定の記録媒体にコンテンツとして記録して利用することも考えられる。その際には、ハイフレームレートの動画像データのブラーをコントロールするブラーコントロール情報を生成し、当該ブラーコントロール情報を、ビデオストリームのレイヤに挿入するか、あるいはこのビデオストリームを含むコンテナの状態で記録媒体に記録しておく場合にはコンテナのレイヤに挿入して記録することも考えられる。
また、上述では、送信装置100および受信装置200により構成される送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図20に示す送受信システム10Aのように、受信装置200の部分がデジタルインタフェース、例えば、HDMI(High-Definition Multimedia Interface)のデジタルインタフェースで接続されたセットトップボックス(STB)200Aおよびモニタ200Bからなる構成であってもよい。なお、「HDMI」は、登録商標である。
この場合、セットトップボックス200Aには、表示処理部205まで含まれる場合、あるいはデコーダ204まで含まれる場合などが考えられる。表示処理部205以降がモニタ200Bに含まれる場合、セットトップボックス200Aからモニタ200Bには、非圧縮の動画像データDVと共にブラーコントロール情報が送信される。セットトップボックス200Aは、例えば、ブラーコントロール情報を、動画像データDVのブランキング期間に挿入することで送信する。例えば、“Video displaying InfoFrame”のパケットを用いて、ブラーコントロール情報を、モニタ200Bに送る。
また、図21に示すように、図20におけるモニタ200Bの部分をHMD(ヘッドマウントディスプレイ)装置200Cに置き換えた送受信システム10Bも考えられる。図22は、HMD装置200Cの構成例を示している。
HMD装置200Cは、CPU251と、ユーザ操作部252と、HDMI受信部253と、画像処理部254と、表示処理部255と、左眼用表示部256と、右眼用表示部257を有している。CPU251は、制御部を構成し、HMD装置200Cの各部の動作を制御する。ユーザ操作部252は、ユーザが種々の操作を行うためのキー、ボタン、タッチパネル、リモコンなどである。
HDMI受信部253は、HDMI規格に準拠したHDMI受信部の構成とされており、セットトップボックス200Aから表示画像データDVdを受信する。画像処理部254は、HDMI受信部253から入力された表示画像データDVdに対し、スケーリング、ノイズ・リダクションなどの信号処理をする。
表示制御部255は、画像処理部254で得られた画像データを左眼用表示部256および右眼用表示部257に表示出力する。左眼用表示部256および右眼用表示部257には、それぞれ映像を拡大するレンズ・ブロック(図22には図示しない)が装備されている。左右のレンズ・ブロックは、それぞれ複数の光学レンズの組み合わせからなり、表示パネルに表示された画像を光学処理する。
左眼用表示部256および右眼用表示部257の表示パネルに表示された画像は、レンズ・ブロックを通過する際に拡大され、ユーザの網膜に大きな虚像を結像する。そして、観察するユーザの脳内では左眼用画像と右眼用画像が融像される。左眼用表示部256および右眼用表示部257は、例えば液晶ディスプレイや、有機EL素子で構成されている。
なお、上述では、HDMI受信部253でセットトップボックス200Aから表示画像データDVdを受信するように説明したが、このHDMI受信部253でセットトップボックス200Aからハイフレームレートの動画像データDVとブラーコントロール情報を受信することも考えられる。
この場合には、画像処理部254において、左眼用表示部256および右眼用表示部257の表示パネルの表示能力に応じて、動画像データDVに対して適宜フレームレート変換などの処理が行われて、表示画像データVDdが得られる。
また、この画像処理部254において、図15に示す受信装置200の表示処理部205と同様に、表示画像データVDdの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データが使用され、ブラーコントロール情報(各フレームの重み付け係数)に基づいて、ブラー付与処理がされる(図16~図19参照)。
このように、HMD装置200Cにおいても、ブラーコントロール情報に基づいてブラー付与処理が施された表示画像データVDdによる画像表示がなされるので、適切な画質の画像を容易に提示できる。
なお、セットトップボックス200Aからモニタ200BやHMD装置200Cへのブラーコントロール情報の送信を、“Video displaying InfoFrame”のパケットを用いる代わりに、その他の”InfoFrame”のパケット、例えば“Vender Specific InfoFrame”のパケットなどを用いることも考えられる。また、ブラーコントロール情報の送信を、CECラインやHECの通信ラインを介して送信することも考えられる。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)あるいはMMT(MPEG Media Transport)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
(1)ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
送信装置。
(2)上記ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える
前記(1)に記載の送信装置。
(3)上記周辺フレームには、過去および未来のフレームが含まれる
前記(2)に記載の送信装置。
(4)上記周辺フレームには、過去のフレームだけが含まれる
前記(2)に記載の送信装置。
(5)上記周辺フレームの重み付け係数には負の係数が含まれる
前記(2)から(4)のいずれかに記載の送信装置。
(6)上記ハイフレームレートの動画像データは、120Hz、240Hzあるいは480Hzのフレームレートの動画像データである
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記情報挿入部は、上記ブラーコントロール情報を含むSEIメッセージを上記ビデオストリームのレイヤに挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記情報挿入部は、上記ビデオストリームのレイヤに上記ブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報を上記コンテナのレイヤにさらに挿入する
前記(1)から(7)のいずれかに記載の送信装置。
(9)上記情報挿入部は、上記ブラーコントロール情報を含むデスクリプタを上記コンテナのレイヤに挿入する
前記(1)から(8)のいずれかに記載の送信装置。
(10)上記コンテナは、MPEG2トランスポートストリームであり、
上記デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される
前記(9)に記載の送信装置。
(11)上記情報挿入部は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報を挿入する
前記(1)から(10)のいずれかに記載の送信装置。
(12)画像符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する画像符号化ステップと、
送信部が、上記ビデオストリームを含むコンテナを送信する送信ステップと、
情報挿入部が、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入ステップを有する
送信方法。
(13)ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
受信装置。
(14)上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、上記ブラーコントロール情報が挿入されており、
上記処理部は、上記挿入されているブラーコントロール情報を用いるか、あるいは該ブラーコントロール情報を修正して用いる
前記(13)に記載の受信装置。
(15)上記ブラ―コントロール情報を保持する保持部をさらに備え、
上記処理部は、上記保持部から上記ブラーコントロール情報を取得して用いる
前記(13)に記載の受信装置。
(16)上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報が挿入されており、
上記処理部は、上記複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる
前記(13)に記載の受信装置。
(17)上記処理部は、上記ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う
前記(13)から(16)のいずれかに記載の受信装置。
(18)受信部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されており、
復号化部が、上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化ステップと、
処理部が、上記得られたハイフレームレートの動画像データに上記ブラーコントロール情報を用いたブラー付与処理を行う処理ステップをさらに有する
受信方法。
(19)ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
記録装置。
(20)符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化ステップと、
生成部が、上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成ステップと、
記録部が、上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録ステップを有する
記録方法。
10,10A,10B・・・送受信システム
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・マルチプレクサ
104・・・送信部
200・・・受信装置
200A・・・セットトップボックス
200B・・・モニタ
200C・・・HMD装置
201・・・CPU
201a・・・ユーザ操作部
202・・・受信部
203・・・デマルチプレクサ
204・・・デコーダ
205・・・表示処理部
206・・・表示部
251・・・CPU
252・・・ユーザ操作部
253・・・HDMI受信部
254・・・画像処理部
255・・・表示処理部
256・・・左眼用表示部
257・・・右眼用表示部

Claims (11)

  1. 動画像データにブラー付与処理を行って表示画像データを得る処理部を備え、
    上記処理部は、
    複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択し、該選択されたブラーコントロール情報に含まれるフレームをパラメータとする関数情報を用いて、現在フレームの画像データに周辺フレームの画像データを重み付け加算する上記ブラー付与処理を行って上記表示画像データを得
    情報処理装置。
  2. ビデオストリームおよび上記複数種類のブラーコントロール情報を受信する受信部と、
    上記受信部で受信されたビデオストリームを復号化して上記動画像データを得る復号化部をさらに備え、
    上記処理部は、上記受信部で受信された上記複数種類のブラーコントロール情報を用いる
    請求項1に記載の情報処理装置。
  3. ビデオストリームを受信する受信部と、
    上記受信部で受信されたビデオストリームを復号化して上記動画像データを得る復号化部と、
    上記複数種類のブラーコントロール情報を保持する保持部をさらに備え、
    上記処理部は、上記保持部から上記複数種類のブラーコントロール情報を取得して用いる
    請求項1に記載の情報処理装置。
  4. ビデオストリームおよび上記複数種類のブラーコントロール情報を記録する記録部と、
    上記記録部に記録されているビデオストリームを復号化して上記動画像データを得る復号化部をさらに備え、
    上記処理部は、上記記録部から上記複数種類のブラーコントロール情報を取得して用いる
    請求項1に記載の情報処理装置。
  5. 上記複数種類のブラーコントロール情報は、それぞれ、関数のタイプ情報を含む
    請求項に記載の情報処理装置。
  6. 上記複数種類のブラーコントロール情報は、それぞれ、動画像データのフレームレート情報を含む
    請求項に記載の情報処理装置。
  7. 上記複数種類のブラーコントロール情報は、それぞれ、表示画像データのフレームレート情報を含む
    請求項1に記載の情報処理装置。
  8. 上記動画像データは、60Hzのノーマルフレームレートより大きなフレームレートであるハイフレームレートの動画像データである
    請求項1に記載の情報処理装置。
  9. 上記動画像データは、120Hz、240Hzあるいは480Hzのフレームレートの動画像データである
    請求項1に記載の情報処理装置。
  10. 上記複数種類のブラーコントロール情報に係る情報を示すユーザーインターフェース画面を表示する表示部をさらに備える
    請求項1に記載の情報処理装置。
  11. 動画像データにブラー付与処理を行って表示画像データを得る処理ステップを有し、
    上記処理ステップでは、
    複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択し、該選択されたブラーコントロール情報に含まれるフレームをパラメータとする関数情報を用いて、現在フレームの画像データに周辺フレームの画像データを重み付け加算する上記ブラー付与処理を行って上記表示画像データを得
    情報処理方法。
JP2019513638A 2017-04-17 2018-04-16 情報処理装置および情報処理方法 Active JP7300985B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017081604 2017-04-17
JP2017081604 2017-04-17
PCT/JP2018/015778 WO2018194040A1 (ja) 2017-04-17 2018-04-16 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法

Publications (2)

Publication Number Publication Date
JPWO2018194040A1 JPWO2018194040A1 (ja) 2020-02-27
JP7300985B2 true JP7300985B2 (ja) 2023-06-30

Family

ID=63855867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019513638A Active JP7300985B2 (ja) 2017-04-17 2018-04-16 情報処理装置および情報処理方法

Country Status (6)

Country Link
US (1) US11523120B2 (ja)
EP (1) EP3614680B1 (ja)
JP (1) JP7300985B2 (ja)
KR (1) KR102551759B1 (ja)
CN (1) CN110521211B (ja)
WO (1) WO2018194040A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063819A1 (ja) 2005-11-29 2007-06-07 Pioneer Corporation 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP2007274299A (ja) 2006-03-31 2007-10-18 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2010103654A (ja) 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010116731A1 (ja) 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
WO2016190089A1 (ja) 2015-05-22 2016-12-01 ソニー株式会社 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454051A (en) * 1991-08-05 1995-09-26 Eastman Kodak Company Method of reducing block artifacts created by block transform compression algorithms
US7373013B2 (en) * 2003-12-23 2008-05-13 General Instrument Corporation Directional video filters for locally adaptive spatial noise reduction
EP1803112A2 (en) * 2004-10-13 2007-07-04 Koninklijke Philips Electronics N.V. Display time control for moving images
US7710461B2 (en) * 2004-12-21 2010-05-04 Sony Corporation Image processing device, image processing method, and image processing program
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
GB2432068B (en) * 2005-11-02 2010-10-06 Imagination Tech Ltd Motion estimation
US8208563B2 (en) * 2008-04-23 2012-06-26 Qualcomm Incorporated Boundary artifact correction within video units
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2010178124A (ja) * 2009-01-30 2010-08-12 Victor Co Of Japan Ltd 記録装置及び記録方法
WO2010109900A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 映像加工装置、映像加工方法、映像加工集積回路、映像再生装置
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
US8378799B2 (en) * 2009-06-30 2013-02-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for coding information on a roadway surface subject to motion blur
US8503801B2 (en) * 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
BR112015003707A2 (pt) * 2012-08-27 2017-07-04 Sony Corp dispositivo e método de transmissão, e, dispositivo e método de recepção.
PT3122048T (pt) * 2012-09-26 2018-04-20 Velos Media Int Ltd Método de codificação de imagem e dispositivo de codificação de imagem
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
WO2014094313A1 (en) * 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model
US9542736B2 (en) * 2013-06-04 2017-01-10 Paypal, Inc. Evaluating image sharpness
US10708491B2 (en) * 2014-01-07 2020-07-07 Ml Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
KR102274322B1 (ko) * 2014-03-06 2021-07-07 삼성전자주식회사 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
US20180089839A1 (en) * 2015-03-16 2018-03-29 Nokia Technologies Oy Moving object detection based on motion blur
CN108141603B (zh) * 2015-09-25 2020-12-15 华为技术有限公司 视频编解码方法及视频编解码器
TWI672628B (zh) * 2016-12-08 2019-09-21 日商摩如富股份有限公司 影像處理裝置、方法以及電腦可讀取的記錄媒體

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063819A1 (ja) 2005-11-29 2007-06-07 Pioneer Corporation 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP2007274299A (ja) 2006-03-31 2007-10-18 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2010103654A (ja) 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010116731A1 (ja) 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
WO2016190089A1 (ja) 2015-05-22 2016-12-01 ソニー株式会社 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法

Also Published As

Publication number Publication date
CN110521211A (zh) 2019-11-29
US11523120B2 (en) 2022-12-06
EP3614680A1 (en) 2020-02-26
WO2018194040A1 (ja) 2018-10-25
KR20190137802A (ko) 2019-12-11
EP3614680A4 (en) 2020-04-29
EP3614680B1 (en) 2024-05-01
KR102551759B1 (ko) 2023-07-06
JPWO2018194040A1 (ja) 2020-02-27
CN110521211B (zh) 2023-06-16
US20200322614A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CA2936318C (en) Transmission device, transmission method, reception device, reception method, display device, and display method
JP6355521B2 (ja) デジタル放送受信装置及び方法
JP6614156B2 (ja) 送信装置、送信方法、受信装置および受信方法
US8860782B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
US8937642B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
US20110141233A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
US20110141232A1 (en) Image data transmitting apparatus, control method, and program
US20110234755A1 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using the same
TW201116043A (en) Stereoscopic image data transmitter, method for transmitting stereoscopic image data, and stereoscopic image data receiver
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011155418A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP7300985B2 (ja) 情報処理装置および情報処理方法
KR20130132240A (ko) 입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법 및 입체 화상 데이터 수신 장치
JP6930420B2 (ja) 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法
JP7205590B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5684415B2 (ja) デジタル放送信号受信装置およびデジタル放送信号受信方法
JP2012182589A (ja) 3dコンテンツを2dでプレビュー表示する装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230620

R150 Certificate of patent or registration of utility model

Ref document number: 7300985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150