TWI744292B - 送訊裝置、送訊方法、收訊裝置及收訊方法 - Google Patents

送訊裝置、送訊方法、收訊裝置及收訊方法 Download PDF

Info

Publication number
TWI744292B
TWI744292B TW106108185A TW106108185A TWI744292B TW I744292 B TWI744292 B TW I744292B TW 106108185 A TW106108185 A TW 106108185A TW 106108185 A TW106108185 A TW 106108185A TW I744292 B TWI744292 B TW I744292B
Authority
TW
Taiwan
Prior art keywords
frame rate
image
display
image data
identification information
Prior art date
Application number
TW106108185A
Other languages
English (en)
Other versions
TW201739257A (zh
Inventor
越郁夫
Original Assignee
日商新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司 filed Critical 日商新力股份有限公司
Publication of TW201739257A publication Critical patent/TW201739257A/zh
Application granted granted Critical
Publication of TWI744292B publication Critical patent/TWI744292B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

使得即使在將24Hz之動態影像資料以60Hz之畫格速率予以編碼而發送的情況下,在收訊側仍可良好地進行120Hz顯示。
將構成第1畫格速率之動態影像資料的各圖像,以大於第1畫格速率的第2畫格速率進行編碼,而獲得該第2畫格速率之視訊串流。在構成第2畫格速率之視訊串流的各圖像的編碼影像資料中,插入表示第1畫格速率與顯示開始時序之同步關係的識別資訊。
將已被插入有識別資訊的第2畫格速率之視訊串流,予以發送。

Description

送訊裝置、送訊方法、收訊裝置及收訊方法
本技術係有關於送訊裝置、送訊方法、收訊裝置及收訊方法。詳言之,本技術係有關於,將低畫格速率之動態影像資料以較其還大的畫格速率予以編碼而發送的送訊裝置等。
先前,為了提升顯示裝置的畫質而在收訊側將畫格速率轉換成較高然後加以顯示,已為人知(例如參照專利文獻1)。又,先前,例如,將24Hz之動態影像資料以60Hz之畫格速率予以編碼而發送,在收訊側進行3-2下拉之顯示重複以進行60Hz之顯示再生,已為人知。此情況下,由於3次重複與2次重複係被交互地反覆,因此例如在有動態的場景下,其動態會看起來不自然,也就是會讓視聽者感覺到抖動。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2013-143646號公報
將24Hz之動態影像資料以120Hz之畫格速率予以編碼而發送的情況下,相對於24Hz而言由於120Hz係為整數倍,因此在收訊側上藉由反覆5次重複,就可不損及素材的滑順度,可進行120Hz之顯示再生。
本技術的目的在於例如,即使在將24Hz之動態影像資料以60Hz之畫格速率予以編碼而發送的情況下,在收訊側仍可良好地進行120Hz顯示。
本技術的概念係在於,一種送訊裝置,其係具備:編碼部,係將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼,而獲得該第2畫格速率之視訊串流;和資訊插入部,係在構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料中,插入表示上記第1畫格速率與顯示開始時序之同步關係的識別資訊;和送訊部,係將已被插入有上記識別資訊的上記第2畫格速率之視訊串流,予以發送。
於本技術中,藉由編碼部,構成第1畫格速率之動態影像資料的各圖像,是以大於第1畫格速率的第2畫格速率而被編碼,而獲得第2畫格速率之視訊串流。 藉由資訊插入部,在構成第2畫格速率之視訊串流的各圖像的編碼影像資料中,表示第1畫格速率與顯示開始時序之同步關係的識別資訊,會被插入。藉由送訊部,已被插入有識別資訊的第2畫格速率之視訊串流,會被發送。
例如,資訊插入部,係亦可將含有識別資訊的SEI訊息,插入至第2畫格速率之視訊串流。又,例如,表示同步關係的識別資訊,係亦可含有:表示是否已經和第1畫格速率同步的識別資訊。甚至,此情況下,例如,表示同步關係的識別資訊係還含有:在未與第1畫格速率同步時,表示相對於該第1畫格速率是較早還是較晚的識別資訊。又,例如,亦可為,第1畫格速率係為24Hz且第2畫格速率係為60Hz,或是第1畫格速率係為48Hz且第2畫格速率係為120Hz。
如此於本技術中,係在構成第2畫格速率之視訊串流的各圖像的編碼影像資料中,插入表示第1畫格速率與顯示開始時序之同步關係的識別資訊而予以發送。因此,在收訊側,係可基於該識別資訊,而容易將各圖像之影像資料的顯示開始時序補正成,與將構成第1畫格速率之動態影像資料的各圖像以第1畫格速率之N倍的第3畫格速率進行編碼時相同之狀態,藉由對各圖像之影像資料進行N之次數的顯示重複處理,就可使得第3畫格速率之顯示,在不損及第1畫格速率之素材的滑順度的情況下,而被良好地進行。
又,本技術的另一概念係在於,一種收訊裝 置,其係具備收訊部,係將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼所得到的該第2畫格速率之視訊串流,予以接收;還具備控制部,係控制:將構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料予以解碼而獲得該各圖像之影像資料的解碼處理;和將上記各圖像之影像資料的顯示開始時序補正成,與將構成上記第1畫格速率之動態影像資料的各圖像以大於上記第2畫格速率、且為上記第1畫格速率之N倍(N係為整數)的第3畫格速率進行編碼時相同之狀態的時序補正處理;和將該顯示開始時序已被補正之上記各圖像之影像資料,以上記第3畫格速率,予以反覆輸出上記N之次數的顯示重複處理。
於本技術中,藉由收訊部,第2畫格速率之視訊串流,係被接收。該第2畫格速率之視訊串流係為,將構成第1畫格速率之動態影像資料的各圖像,以大於該第1畫格速率的第2畫格速率進行編碼所得。
藉由控制部,將構成第2畫格速率之視訊串流的各圖像的編碼影像資料予以解碼而獲得各圖像之影像資料的解碼處理,會被控制。又,藉由控制部,將各圖像之影像資料的顯示開始時序補正成,與將構成第1畫格速率之動態影像資料的各圖像以大於第2畫格速率、且為第1畫格速率之N倍(N係為整數)的第3畫格速率進行編碼時相同之狀態的時序補正處理,會被控制。又,藉由控 制部,將顯示開始時序已被補正之各圖像之影像資料,以第3畫格速率予以反覆輸出N之次數的顯示重複處理,會被控制。
例如,亦可為,第1畫格速率係為24Hz、第2畫格速率係為60Hz、第3畫格速率係為120Hz、且N係為5;或者,第1畫格速率係為24Hz、第2畫格速率係為60Hz、第3畫格速率係為240Hz、且N係為10;或者,第1畫格速率係為48Hz、第2畫格速率係為120Hz、第3畫格速率係為240Hz、且N係為5。
如此於本技術中,係將各圖像之影像資料的顯示開始時序補正成,與以第1畫格速率之N倍的第3畫格速率進行編碼時相同之狀態,將如此顯示開始時序已被補正之各圖像之影像資料,以第3畫格速率予以反覆輸出N之次數的顯示重複之處理,會被進行。因此,可使得第3畫格速率之顯示,在不損及第1畫格速率之素材的滑順度的情況下,而被良好地進行。
此外,於本技術中,亦可為,例如,在構成第2畫格速率之視訊串流的各圖像的編碼影像資料中,表示第1畫格速率與顯示開始時序之同步關係的識別資訊,會被插入;控制部,係將時序補正處理,基於表示同步關係的識別資訊而加以控制。此情況下,例如,表示同步關係的識別資訊,係亦可含有:表示是否已經和第1畫格速率同步的識別資訊。甚至,此情況下,例如,表示同步關係的識別資訊係還含有:在未與第1畫格速率同步時,表 示相對於該第1畫格速率是較早還是較晚的識別資訊。
藉由如此基於表示同步關係的識別資訊來控制時序補正處理,在處理複數個第2畫格速率之視訊串流時,在進行時序補正之階段中,可防止複數個串流間發生偏誤,可保證複數個視訊串流能以第3畫格速率進行同步顯示。又,在表示同步關係的識別資訊中,使其含有:在未與第1畫格速率同步時,表示相對於該第1畫格速率是較早還是較晚的識別資訊;藉此,可容易判斷顯示開始時序的補正方向。
若依據本技術,則即使在將24Hz之動態影像資料以60Hz之畫格速率予以編碼而發送的情況下,在收訊側仍可良好地進行120Hz顯示。此外,並非一定限定於這裡所記載的效果,亦可為本揭露中所記載之任一效果。
10‧‧‧收送訊系統
100‧‧‧送訊裝置
101‧‧‧CPU
102‧‧‧編碼器
102a‧‧‧視訊編碼部
102b‧‧‧偵測部
103‧‧‧多工器
104‧‧‧送訊部
200‧‧‧收訊裝置
201‧‧‧CPU
202‧‧‧收訊部
203‧‧‧解多工器
204‧‧‧輸入緩衝器
205‧‧‧解碼器
206‧‧‧輸出緩衝器
207‧‧‧顯示處理部
208‧‧‧顯示部
[圖1]實施形態的收送訊系統之構成例的區塊圖。
[圖2]將構成24Hz之畫格速率的動態影像資料的各圖像以60Hz之畫格速率進行編碼時的編碼例的圖示。
[圖3]將構成24Hz之畫格速率的動態影像資料的各圖像以60Hz之畫格速率進行編碼而成的視訊串流中的各圖像之解碼時序與顯示開始時序之一例的圖示。
[圖4]24Hz之時序、與60Hz顯示及120Hz顯示時的各圖像之顯示開始時序之對應關係之一例的圖示。
[圖5]將構成24Hz之畫格速率的動態影像資料的各圖像以60Hz之畫格速率進行編碼而成的視訊串流中的各圖像之解碼時序與顯示開始時序之一例的圖示。
[圖6]24Hz之時序、與60Hz顯示及120Hz顯示時的各圖像之顯示開始時序之對應關係之一例的圖示。
[圖7]送訊裝置之構成例的區塊圖。
[圖8]圖像時序SEI訊息的結構例的圖示。
[圖9]圖像時序SEI訊息的「pic_struct」的顯示程序的圖示。
[圖10]編碼方式為HEVC時的GOP之開頭的存取單元的圖示。
[圖11]編碼方式為HEVC時的GOP之開頭以外的存取單元的圖示。
[圖12]圖像時序置換SEI訊息的結構例、和在該結構例下的主要資訊之內容的圖示。
[圖13]編碼器之構成例的區塊圖。
[圖14]視訊串流之構成例的圖示。
[圖15]收訊裝置之構成例的區塊圖。
[圖16]原素材的畫格速率、顯示畫格速率、編碼畫格速率、顯示重複次數、平移圖像數的關係之一例的圖示。
[圖17]只插入識別資訊「PS」時的圖像時序置換 SEI訊息的結構例、和在該結構例下的主要資訊之內容的圖示。
[圖18]24Hz之時序、與60Hz顯示及120Hz顯示時的各圖像之顯示開始時序之對應關係之一例的圖示。
[圖19]24Hz之時序、與60Hz顯示及120Hz顯示時的各圖像之顯示開始時序之對應關係之一例的圖示。
[圖20]只有識別資訊「PS」被插入時,或是該識別資訊「PS」也未被插入時,辨識應補正顯示開始時序之圖像並且決定其補正方向(較早還是較晚)的處理程序之一例的流程圖。
[圖21]處理2個60Hz之畫格速率的視訊串流的情況下,且識別資訊「PS」有插入時之例子的圖示。
[圖22]處理2個60Hz之畫格速率的視訊串流的情況下,且沒有插入識別資訊「PS」時之例子的圖示。
以下,說明用以實施發明的形態(以下稱作「實施形態」)。此外,說明係用以下順序來進行。
1.實施形態
2.變形例
<1.實施形態> 〔收送訊系統〕
圖1係圖示,作為實施形態的收送訊系統10的構成 例。該收送訊系統10,係具有:送訊裝置100、收訊裝置200的構成。
送訊裝置100,係將以容器而被傳輸的視訊串流VS(以下簡稱為「視訊串流VS」),裝載於播送波或是網路之封包而予以發送。該視訊串流VS中係含有:將構成24Hz之畫格速率(第1畫格速率)之動態影像資料的各圖像以60Hz之畫格速率(第2畫格速率)進行編碼所得到的60Hz之視訊串流(60p串流)。此情況下,例如,施以H.264/AVC、H.265/HEVC等之編碼。
圖2(a)係圖示了編碼之一例。圖示的例子係進行3階層的階層編碼,但亦可為1階層。橫軸係表示顯示順序(POC:Picture Order of Composition)。實線矩形框之每一者係表示構成24Hz之動態影像資料的各圖像,只有這些圖像之編碼影像資料是被包含在60Hz之視訊串流中。於實線矩形框中,未標示括弧的數字係表示顯示順序,有標示括弧的數字係表示所被編碼的圖像之順序,亦即編碼順序(在收訊側係為解碼順序)。
又,在圖示的例子中,是以參照I圖像(顯示順序「6」、編碼順序「0」)的型態,在該I圖像之前係存在有B圖像(顯示順序「0」、編碼順序「1」)。又,以參照I圖像(顯示順序「6」、編碼順序「0」)的型態,在該I圖像之後係存在有P圖像(顯示順序「16」、編碼順序「2」)。又,以參照I圖像(顯示順序「6」、編碼順序「0」)及P圖像(顯示順序「16」、 編碼順序「2」)的型態,在這些I圖像及P圖像之間,存在有B圖像(顯示順序「10」、編碼順序「3」)。
在實線矩形框所示的各圖像之編碼影像資料中,係被插入有圖像時序SEI訊息(Picture_timing SEI message),以其「pic_struct」之欄位來指定重複次數。此情況下,在B圖像(顯示順序「0」、編碼順序「1」)、B圖像(顯示順序「10」、編碼順序「3」)上重複次數係被指定為3,在I圖像(顯示順序「6」、編碼順序「0」)、P圖像(顯示順序「16」、編碼順序「2」)上重複次數係被指定為2。藉此,在收訊側上,就可進行3-2下拉(3-2 pulldown)所致之60Hz之畫格速率所致之顯示(60Hz顯示)。
圖2(b)係圖示了編碼之另一例。圖示的例子係進行3階層的階層編碼,但亦可為1階層。橫軸係表示顯示順序(POC:Picture Order of Composition)。實線矩形框之每一者係表示構成24Hz之動態影像資料的各圖像,只有這些圖像之編碼影像資料是被包含在60Hz之視訊串流中。於實線矩形框中,未標示括弧的數字係表示顯示順序,有標示括弧的數字係表示所被編碼的圖像之順序,亦即編碼順序(在收訊側係為解碼順序)。
又,在圖示的例子中,是以參照I圖像(顯示順序「4」、編碼順序「0」)的型態,在該I圖像之前係存在有B圖像(顯示順序「0」、編碼順序「1」)。又,以參照I圖像(顯示順序「4」、編碼順序「0」)的 型態,在該I圖像之後係存在有P圖像(顯示順序「14」、編碼順序「2」)。又,以參照I圖像(顯示順序「4」、編碼順序「0」)及P圖像(顯示順序「14」、編碼順序「2」)的型態,在這些I圖像及P圖像之間,存在有B圖像(顯示順序「10」、編碼順序「3」)。
在實線矩形框所示的各圖像之編碼影像資料中,係被插入有圖像時序SEI訊息(Picture_timing SEI message),以其「pic_struct」之欄位來指定重複次數。此情況下,在B圖像(顯示順序「0」、編碼順序「1」)、B圖像(顯示順序「10」、編碼順序「3」)上重複次數係被指定為2,在I圖像(顯示順序「4」、編碼順序「0」)、P圖像(顯示順序「14」、編碼順序「2」)上重複次數係被指定為3。藉此,在收訊側上,就可進行3-2下拉(3-2 pulldown)所致之60Hz之畫格速率所致之顯示(60Hz顯示)。
在構成60Hz之畫格速率的視訊串流中所含之各圖像的編碼影像資料中係被插入有:表示24Hz之畫格速率與顯示開始時序之同步關係的識別資訊。
例如,在圖2(a)的編碼例中,B圖像(顯示順序「0」、編碼順序「1」)、B圖像(顯示順序「10」、編碼順序「3」)之圖像的顯示開始時序,係與24Hz時序一致。因此,在這些圖像中係被插入有,表示顯示開始時序是與24Hz時序一致的識別資訊「PS」。
又,在圖2(a)的編碼例中,I圖像(顯示順 序「6」、編碼順序「0」)、P圖像(顯示順序「16」、編碼順序「2」)之圖像的顯示開始時序,係比24Hz時序還晚。因此,在這些圖像中係被插入有,表示顯示開始時序是比24Hz時序還晚的識別資訊「PA」。
例如,在圖2(b)的編碼例中,B圖像(顯示順序「0」、編碼順序「1」)、B圖像(顯示順序「10」、編碼順序「3」)之圖像的顯示開始時序,係與24Hz時序一致。因此,在這些圖像中係被插入有,表示顯示開始時序是與24Hz時序一致的識別資訊「PS」。
又,在圖2(b)的編碼例中,I圖像(顯示順序「4」、編碼順序「0」)、P圖像(顯示順序「14」、編碼順序「2」)之圖像的顯示開始時序,係比24Hz時序還早。因此,在這些圖像中係被插入有,表示顯示開始時序是比24Hz時序還早的識別資訊「PB」。
收訊裝置200,係將從送訊裝置100被裝載於播送波或網路之封包而被送來的視訊串流VS,予以接收。該視訊串流VS中係含有:將構成24Hz之畫格速率的動態影像資料的各圖像以60Hz進行編碼所得到的60Hz之視訊串流(60p串流)(參照圖2(a)、圖2(b))。在構成該60Hz之畫格速率的視訊串流中所含之各圖像的編碼影像資料中係被插入有:表示24Hz之畫格速率與顯示開始時序之同步關係的識別資訊(「PS」、「PA」、「PB」)。
收訊裝置200係在進行60Hz之畫格速率所致 之顯示(60Hz顯示)時,以圖像時序SEI訊息(Picture_timing SEI message)的「pic_struct」之欄位所指定的重複次數,進行顯示重複之處理,進行60Hz之畫格速率所致之顯示(60Hz顯示)。
另一方面,收訊裝置200係在進行120Hz之畫格速率所致之顯示(120Hz顯示)時,將各圖像之影像資料的顯示開始時序,基於識別資訊,而補正成與將構成24Hz之動態影像資料的各圖像以120Hz之畫格速率進行編碼時相同的狀態,對該顯示開始時序已被補正之各圖像的影像資料,以120Hz之畫格速率且5次的重複次數進行顯示重複之處理,而進行120Hz之畫格速率所致之顯示(120Hz顯示)。
圖3係圖示,對應於圖2(a)之編碼例的,各圖像之解碼時序、與顯示開始時序。此情況下,是依照I圖像(顯示順序「6」、編碼順序「0」)→B圖像(顯示順序「0」、編碼順序「1」)→P圖像(顯示順序「16」、編碼順序「2」)→B圖像(顯示順序「10」、編碼順序「3」)之順序,而被逐一解碼。然後,在B圖像(顯示順序「0」、編碼順序「1」)之解碼後,依照B圖像(顯示順序「0」、編碼順序「1」)→I圖像(顯示順序「6」、編碼順序「0」)→B圖像(顯示順序「10」、編碼順序「3」)→P圖像(顯示順序「16」、編碼順序「2」)之順序,而被逐一顯示。
在60Hz顯示的情況下,各圖像的顯示開始時 序係維持原狀,B圖像(顯示順序「0」)係以60Hz之畫格速率做3次顯示重複、I圖像(顯示順序「6」)係以60Hz之畫格速率做2次顯示重複、B圖像(顯示順序「10」)係以60Hz之畫格速率做3次顯示重複、P圖像(顯示順序「16」)係以60Hz之畫格速率做2次顯示重複,被如此處理。
在120Hz顯示的情況下,B圖像(顯示順序「0」)係顯示開始時序維持原狀而以120Hz之畫格速率做5次顯示重複、I圖像(顯示順序「6」)係顯示開始時序是被提早1/120秒而被補正後以120Hz之畫格速率做5次顯示重複、B圖像(顯示順序「10」)係顯示開始時序維持原狀而以120Hz之畫格速率做5次顯示重複、P圖像(顯示順序「16」)係顯示開始時序是被提早1/120秒而被補正後以120Hz之畫格速率做5次顯示重複,被如此處理。
圖4係圖示了,24Hz之時序、與60Hz顯示及120Hz顯示時的各圖像之顯示開始時序之對應關係之一例。“TS”係表示,給予各圖像之編碼影像資料中所被附加而被傳輸的顯示開始時序的時間戳記。在60Hz顯示的情況下,係每2圖像地使得其顯示開始時序會比24Hz之時序還晚。相對於此,在120Hz顯示的情況下,則顯示開始時序會被補正,所有的圖像之顯示開始時序都會變成與24Hz之時序一致。因此,120Hz顯示的情況下,即使是有動態的場景仍可行滑順的顯示。
圖5係圖示,對應於圖2(b)之編碼例的,各圖像之解碼時序、與顯示開始時序。此情況下,是依照I圖像(顯示順序「4」、編碼順序「0」)→B圖像(顯示順序「0」、編碼順序「1」)→P圖像(顯示順序「14」、編碼順序「2」)→B圖像(顯示順序「10」、編碼順序「3」)之順序,而被逐一解碼。然後,在B圖像(顯示順序「0」、編碼順序「1」)之解碼後,依照B圖像(顯示順序「0」、編碼順序「1」)→I圖像(顯示順序「4」、編碼順序「0」)→B圖像(顯示順序「10」、編碼順序「3」)→P圖像(顯示順序「14」、編碼順序「2」)之順序,而被逐一顯示。
在60Hz顯示的情況下,各圖像的顯示開始時序係維持原狀,B圖像(顯示順序「0」)係以60Hz之畫格速率做2次顯示重複、I圖像(顯示順序「4」)係以60Hz之畫格速率做3次顯示重複、B圖像(顯示順序「10」)係以60Hz之畫格速率做2次顯示重複、P圖像(顯示順序「14」)係以60Hz之畫格速率做3次顯示重複,被如此處理。
在120Hz顯示的情況下,B圖像(顯示順序「0」)係顯示開始時序維持原狀而以120Hz之畫格速率做5次顯示重複、I圖像(顯示順序「4」)係顯示開始時序是被延遲1/120秒而被補正後以120Hz之畫格速率做5次顯示重複、B圖像(顯示順序「10」)係顯示開始時序維持原狀而以120Hz之畫格速率做5次顯示重複、P圖像 (顯示順序「16」)係顯示開始時序是被延遲1/120秒而被補正後以120Hz之畫格速率做5次顯示重複,被如此處理。
圖6係圖示了,24Hz之時序、與60Hz顯示及120Hz顯示時的各圖像之顯示開始時序之對應關係之一例。“TS”係表示,給予各圖像之編碼影像資料中所被附加而被傳輸的顯示開始時序的時間戳記。在60Hz顯示的情況下,係每2圖像地使得其顯示開始時序會比24Hz之時序還早。相對於此,在120Hz顯示的情況下,則顯示開始時序會被補正,所有的圖像之顯示開始時序都會變成與24Hz之時序一致。因此,120Hz顯示的情況下,即使是有動態的場景仍可行滑順的顯示。
「送訊裝置之構成」
圖7係圖示了送訊裝置100的構成例。該送訊裝置100係具有:CPU(Central Processing Unit)101、編碼器102、多工器103、送訊部104。CPU101係為控制部,控制送訊裝置100之各部的動作。
編碼器102,係將24Hz之畫格速率的動態影像資料VD當作輸入,將構成該動態影像資料VD的各圖像,以60Hz之畫格速率進行編碼(參照圖2(a)、(b)的編碼例),獲得60Hz之畫格速率的視訊串流。此情況下,例如,施以H.264/AVC、H.265/HEVC等之編碼。
編碼器102,係在60Hz之畫格速率的視訊串流中所實際含有的各圖像之編碼影像資料中,插入圖像時序SEI訊息(Picture_timing SEI message),以其「pic_struct」之欄位來指定重複次數。藉此,在收訊側上,就可進行3-2下拉(3-2 pulldown)所致之60Hz之畫格速率所致之顯示(60Hz顯示)。圖8係圖示了圖像時序SEI訊息的結構例(Syntax)。圖9係圖示了「pic_struct」的顯示程序。
於圖2(a)、(b)的編碼例中,實線矩形框係表示,60Hz之畫格速率中所實際含有的各圖像之編碼影像資料。在圖2(a)的編碼例的情況下,在B圖像(顯示順序「0」、編碼順序「1」)、B圖像(顯示順序「10」、編碼順序「3」)上重複次數係被指定為3,在I圖像(顯示順序「6」、編碼順序「0」)、P圖像(顯示順序「16」、編碼順序「2」)上重複次數係被指定為2。又,在圖2(b)的編碼例的情況下,在B圖像(顯示順序「0」、編碼順序「1」)、B圖像(顯示順序「10」、編碼順序「3」)上重複次數係被指定為2,在I圖像(顯示順序「4」、編碼順序「0」)、P圖像(顯示順序「14」、編碼順序「2」)上重複次數係被指定為3。
又,編碼器102,係在構成該60Hz之畫格速率的視訊串流中所實際含有的各圖像的編碼影像資料中,插入表示24Hz之畫格速率與顯示開始時序之同步關係的識別資訊,亦即相位資訊(Phase information)。此外, 各圖像的顯示開始時序,係由各圖像之編碼影像資料中所被附加之顯示用的時間戳記(TS:Time Stamp),而被給定。
此情況下,在各圖像的編碼影像資料中係被插入有:表示顯示開始時序是與24Hz時序一致的識別資訊「PS」、表示顯示開始時序是比24Hz時序還晚的識別資訊「PA」、表示顯示開始時序是比24Hz時序還早的識別資訊「PB」之任一者。
在圖2(a)的編碼例的情況下,在B圖像(顯示順序「0」、編碼順序「1」)、B圖像(顯示順序「10」、編碼順序「3」)中係被插入有識別資訊「PS」,在I圖像(顯示順序「6」、編碼順序「0」)、P圖像(顯示順序「16」、編碼順序「2」)中係被插入有識別資訊「PA」。又,在圖2(b)的編碼例的情況下,在B圖像(顯示順序「0」、編碼順序「1」)、B圖像(顯示順序「10」、編碼順序「3」)中係被插入有識別資訊「PS」,在I圖像(顯示順序「4」、編碼順序「0」)、P圖像(顯示順序「14」、編碼順序「2」)中係被插入有識別資訊「PB」。
編碼器102,係為了在各圖像之編碼影像資料中插入這些識別資訊,而在存取單元(AU)的“SEIs”之部分,插入新定義的,圖像時序置換SEI訊息(Picture_timing_displacement SEI message)。
圖10係圖示了,編碼方式為HEVC時的GOP (Group Of Pictures)之開頭的存取單元。又,圖11係圖示了,編碼方式為HEVC時的GOP之開頭以外的存取單元。在HEVC之編碼方式的情況下,在像素資料所被編碼的切片(slices)之前係配置有解碼用的SEI訊息群「Prefix_SEIs」,在該切片(slices)之後係配置有顯示用的SEI訊息群「Suffix_SEIs」。如圖10、圖11所示,圖像時序置換SEI訊息,係例如,以SEI訊息群「Suffix_SEIs」的方式而被配置。
圖12(a)係圖示了,圖像時序置換SEI訊息的結構例(Syntax)。圖12(b)係圖示了該結構例中主要資訊內容(Semantics)。「resync_to_picstruct_flag」之1位元欄位係表示,「pic_struct」所示的重複之起點與原本的24Hz素材之時序是否相同。例如,“1”係表示相同,“0”係表示不相同。「resync_to_picstruct_flag」=“1”係構成,表示顯示開始時序是與24Hz時序一致的識別資訊「PS」。
「early_display_flag」之1位元欄位,係表示顯示開始時序是否比24Hz時序還晚,該值為“1”時係表示,若比前一個的「pic_struct」所示的畫格重複數還早讀出,就可與24Hz同步顯示,亦即表示識別資訊「PA」;“0”係表示並非如此。
「late_display_flag」之1位元欄位,係表示顯示開始時序是否比24Hz時序還早,該值為“1”時係表示,若比前一個的「pic_struct」所示的畫格重複數還晚讀 出,就可與24Hz同步顯示,亦即表示識別資訊「PB」;“0”係表示並非如此。
圖13係圖示了編碼器102的構成例。編碼器102係具有:視訊編碼部102a、偵測部102b。對視訊編碼部102a係輸入有,24Hz之畫格速率的動態影像資料VD。又,對應於動態影像資料VD之各圖像而表示3-2下拉處理所需之重複次數的畫格重複(Frame repeat)資訊,係被供給至視訊編碼部102a及偵測部102b。
又,與動態影像資料VD畫格同步的24Hz畫格時脈(24Hz frame clock),係被供給至視訊編碼部102a及偵測部102b。又,與24Hz畫格時脈每次間隔1回而同步的60Hz畫格時脈(60Hz frame clock),係被供給至視訊編碼部102a及偵測部102b。
在視訊編碼部102a中,構成動態影像資料VD的各圖像,係基於60Hz畫格時脈,以60Hz之畫格速率而被編碼(參照圖2(a)、(b)的編碼例),獲得60Hz之畫格速率的視訊串流(60p串流)。又,在視訊編碼部102a中,基於構成動態影像資料VD的各圖像所對應的畫格重複(Frame repeat)資訊,而在60Hz之畫格速率的視訊串流中所實際含有的各圖像之編碼影像資料中所被插入的圖像時序SEI訊息的「pic_struct」之欄位中,會指定重複次數。
又,在偵測部102b中,基於24Hz畫格時脈與60Hz畫格時脈之相位關係,表示60Hz之畫格速率的 視訊串流中所實際含有的各圖像之顯示開始時序與24Hz之畫格速率的同步關係的識別資訊(PS/PA/PB)會被生成,並被供給至視訊編碼部102a。然後,在60Hz之畫格速率的視訊串流中所實際含有的各圖像之編碼影像資料中會被插入:具有各個圖像所對應之識別資訊的圖像時序置換SEI訊息(參照圖12(a))。
回到圖7,多工器103,係將已被編碼器102所生成的視訊串流,進行PES(Packetized Elementary Stream)封包化,然後進行傳輸封包化而進行多工,獲得身為多工化串流的視訊串流VS。送訊部104,係將多工器103所得到的視訊串流VS,裝載於播送波或網路之封包,發送至收訊裝置200。
圖14係圖示了視訊串流VS之構成例。在該構成例中,存在有以PID1而被識別的視訊串流之PES封包「video PES1」。在PES標頭中係配置有DTS、PTS。PES酬載中所含之各圖像之編碼影像資料,係由「AUD」、「VPS」、「SPS」、「PPS」、「PSEI」、「SLICE」、「SSEI」、「EOS」等之NAL單元所構成。作為SEI訊息係被插入有上述的圖像時序SEI訊息、圖像時序置換SEI訊息等。
又,在視訊串流VS中,作為PSI(Program Specific Information),係含有PMT(Program Map Table)。該PSI係用來表示,各元素串流是屬於哪個節目的資訊。PMT中係存在有,描述節目全體所關連之資訊 的節目迴圈(Program loop)。又,在該PMT中係存在有,具有各元素串流所關連之資訊的元素串流迴圈。在該構成例中係存在有視訊元素串流迴圈(video ES1 loop)。
視訊元素串流迴圈中,係對應於視訊串流(video PES1),而被配置有串流類型、封包識別元(PID)等之資訊,並且還配置有描述該視訊串流所關連之資訊的描述元。
簡單說明圖7所示的送訊裝置100之動作。對編碼器102係輸入有,24Hz之畫格速率的動態影像資料VD。在編碼器102中,構成該動態影像資料VD的各圖像,是以60Hz之畫格速率,實施例如H.264/AVC、H.265/HEVC等之編碼(參照圖2(a)、(b)的編碼例),獲得60Hz之畫格速率的視訊串流。
又,在編碼器102中,係在60Hz之畫格速率的視訊串流中所實際含有的各圖像之編碼影像資料中,插入圖像時序SEI訊息,以其「pic_struct」之欄位,指定收訊側上的3-2下拉處理所需之重複次數。
又,在編碼器102中,係在60Hz之畫格速率的視訊串流中所實際含有的各圖像之編碼影像資料中,插入具有表示24Hz之畫格速率與顯示開始時序之同步關係的識別資訊(PS/PA/PB)的,圖像時序置換SEI訊息(參照圖12(a))。
已被編碼器102所生成的視訊串流,係被供 給至多工器103。在多工器103中,會進行視訊串流的PES封包化,然後進行傳輸封包化而被多工,獲得身為容器(多工化串流)的視訊串流VS。該視訊串流VS,係被送往送訊部104。在送訊部104中,該視訊串流VS,係被裝載於播送波或網路之封包中而被發送。
「收訊裝置之構成」
圖15係圖示了收訊裝置200的構成例。該收訊裝置200係具有:CPU(Central Processing Unit)201、收訊部202、解多工器203、輸入緩衝器204、解碼器205、輸出緩衝器206、顯示處理部207、顯示部208。CPU201,係構成控制部,控制收訊裝置200各部的動作。
收訊部202,係將從送訊裝置100被裝載於播送波或網路之封包而被送來的視訊串流VS,予以接收。在該視訊串流VS中係含有,構成24Hz之畫格速率的動態影像資料的各圖像以60Hz之畫格速率而被編碼所得到的60Hz之視訊串流(60p串流)。
解多工器203,係從視訊串流VS,藉由PID之過濾而取出視訊串流。又,解多工器203,係將視訊串流VS的層中所含之節區資訊予以抽出,送往CPU201。輸入緩衝器204,係將已被解多工器203所取出的視訊串流予以暫時記憶。
解碼器205,係對輸入緩衝器204中所被記憶之視訊串流實施解碼處理,獲得視訊串流中所實際含有 的,構成24Hz之畫格速率的動態影像資料的各圖像之影像資料。輸出緩衝器206,係將解碼器205所得到的各圖像之影像資料,予以暫時記憶。
又,解碼器205,係將表示各圖像之顯示開始時序的PTS,還有各圖像之編碼影像資料(存取單元)中所被插入之參數集或SEI訊息予以抽出,送往CPU201。此情況下,具有進行3-2下拉處理所需之重複次數資訊的圖像時序SEI訊息(圖8參照)或具有表示各圖像之顯示開始時序與24Hz之畫格速率之同步關係的識別資訊(PS/PA/PB)的圖像時序置換SEI訊息(參照圖12(a))等,也被抽出。
CPU201,係在進行60Hz之畫格速率所致之顯示(60Hz顯示)的情況下,作為輸出緩衝器206中所被記憶之各圖像的顯示開始時序,係直接使用PTS所示的顯示開始時序。此情況下,顯示處理部207,係基於CPU201的控制,在PTS所示的顯示開始時序上開始從輸出緩衝器206讀出各個圖像之影像資料,以圖像時序SEI訊息的「pic_struct」之欄位所指定的重複次數,以60Hz之畫格速率進行顯示重複處理,獲得3-2下拉處理所致之60Hz之畫格速率的動態影像資料(參照圖4、圖6的「60Hz顯示」部分)。
另一方面,CPU201,係在進行120Hz之畫格速率(第3畫格速率)所致之顯示(120Hz顯示)的情況下,作為輸出緩衝器206中所被記憶之各圖像之顯示開始 時序,並非直接使用PTS所示的顯示開始時序,而是基於各圖像之編碼影像資料中所被插入之識別資訊(PS/PA/PB),將該當PTS所示的顯示開始時序予以適宜補正然後加以使用。
此情況下,CPU201,關於被插入了識別資訊「PS」的圖像之顯示開始時序,係直接使用PTS所示的顯示開始時序。又,CPU201,關於被插入了識別資訊「PA」的圖像之顯示開始時序,係將PTS所示的顯示開始時序,以120Hz之畫格速率提早1圖像,亦即提早1/120秒之方向,進行平移補正然後加以使用。又,CPU201,關於被插入了識別資訊「PB」的圖像之顯示開始時序,係將PTS所示的顯示開始時序,以120Hz之畫格速率延遲1圖像,亦即延遲1/120秒之方向,進行平移補正然後加以使用。
此情況下,顯示處理部207,係基於CPU201的控制,輸在上述已被補正之顯示開始時序上,開始從輸出緩衝器206讀出各個圖像之影像資料,以120Hz之畫格速率進行5次顯示重複處理,獲得120Hz之畫格速率的動態影像資料(參照圖4、圖6的「120Hz顯示」部分)。
此處,顯示重複次數「Frame Repeat At Display Rate」,係可由第3畫格速率也就是顯示畫格速率「Display Frame Rate(Hz)」、和第1畫格速率也就是原素材之畫格速率「Original Frame Rate(Hz)」,用以下的數式(1)而算出。
{Frame Repeat at Display Rate}={Display Frame Rate}/{Original Frame Rate}‧‧‧(1)
又,平移圖像數「Num of pictures to Shift Timing」,係可由第3畫格速率也就是顯示畫格速率「Display Frame Rate(Hz)」、和第2畫格速率也就是編碼畫格速率「Encoding Frame Rate(Hz)」,用以下的數式(2)而算出。
{Num of pictures to Shift Timing}={Display Frame Rate}/{Encoding Frame Rate*2}‧‧‧(2)
圖16係圖示了,原素材之畫格速率「Original Frame Rate(Hz)」、顯示畫格速率「Display Frame Rate(Hz)」、編碼畫格速率「Encoding Frame Rate(Hz)」、顯示重複次數「Frame Repeat At Display Rate」、平移圖像數「Num of pictures to Shift Timing」的對應關係之一例。
在此實施形態中,「Original Frame Rate(Hz)」係為24Hz,「Display Frame Rate(Hz)」係為120Hz,「Encoding Frame Rate(Hz)」係為60Hz,「Frame Repeat At Display Rate」係為5,「Num of pictures to Shift Timing」係為1。又,作為其他例,「Original Frame Rate(Hz)」係為24Hz,「Display Frame Rate(Hz)」係為240Hz,「Encoding Frame Rate(Hz)」係為60Hz時,「Frame Repeat At Display Rate」係為10,「Num of pictures to Shift Timing」係為2。作為再一其他例,「Original Frame Rate(Hz)」係為48Hz,「 Display Frame Rate(Hz)」係為240Hz,「Encoding Frame Rate(Hz)」係為120Hz時,「Frame Repeat At Display Rate」係為5,「Num of pictures to Shift Timing」係為1。此外,圖示的例子係為一例,並非限定於此。
此處,如上述般地在顯示處理部207中將非同步圖像(識別資訊「PA」、「PB」所被插入之圖像)的顯示開始時序進行平移補正而進行早讀或晚讀時,考慮對輸出緩衝器206之影響。
首先,解碼時序,係為從輸入緩衝器204把圖像拉出來的時序,對輸出緩衝器206不會造成影響。接著,解碼後的輸出緩衝器206的緩衝區大小(buffer occupancy),係會因為將非同步圖像進行早讀或晚讀,而與送訊側之編碼器所預期的有所不同。
在收訊機側改變輸出緩衝器206之時序的情況下,作為後續的解碼圖像的被參照圖像,會擔心是否會發生破綻。可是,將非同步圖像予以早讀或晚讀這件事情,係為使得從輸出緩衝器206的讀出開始時序變早、或變晚,作為非參照畫而滯留在輸出緩衝器206中的時間係不受影響。而且,讀出的偏差係為120Hz之精度下的1圖像份。又,該偏差的影響係不會擴散,以2圖像間隔而與24Hz同步刷新。因此,輸出緩衝器206的緩衝區管理係不會有問題。
回到圖15,顯示部208,係將顯示處理部207所得到的動態影像資料所致之動態影像,加以顯示。該顯 示部208係由例如:LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)面板等所構成。此外,該顯示部208,係亦可為收訊裝置200上所被連接的外部機器。
簡單說明圖15所示的收訊裝置200之動作。在收訊部202中,從送訊裝置100被裝載於播送波或網路之封包而被送來的視訊串流VS,會被接收。在該視訊串流VS中係含有,構成24Hz之畫格速率的動態影像資料的各圖像以60Hz之畫格速率而被編碼所得到的60Hz之視訊串流(60p串流)。
已被收訊部202所接收之視訊串流VS,係被供給至解多工器203。在解多工器203中,係從視訊串流VS,藉由PID之過濾而取出視訊串流。又,在解多工器203中,將視訊串流VS的層中所含之節區資訊會被抽出,被送往CPU201。
已被解多工器203所取出的視訊串流,係被供給至輸入緩衝器204,而被暫時記憶。該視訊串流中係含有,構成24Hz之畫格速率的動態影像資,料的各圖像之編碼影像資料。輸入緩衝器204中所被記憶之各圖像的編碼影像資料,係分別在DTS(Decoding Time Stamp)所示的時序上,被擷取至解碼器205而被解碼。然後,解碼器205所得的各圖像之影像資料,係被供給至輸出緩衝器206,而被暫時記憶。
又,在解碼器205中,將表示各圖像之顯示 開始時序的PTS,還有各圖像之編碼影像資料(存取單元)中所被插入之參數集或SEI訊息,會被抽出,而被送往CPU201。此情況下,具有進行3-2下拉處理所需之重複次數資訊的圖像時序SEI訊息或具有表示各圖像之顯示開始時序與24Hz之畫格速率之同步關係的識別資訊(PS/PA/PB)的圖像時序置換SEI訊息等,也被抽出。
以下,將收訊裝置200進行60Hz之畫格速率所致之顯示(60Hz顯示)時的動作、和收訊裝置200進行120Hz之畫格速率所致之顯示(120Hz顯示)時的動作,分開說明。
首先說明,收訊裝置200進行60Hz之畫格速率所致之顯示(60Hz顯示)的情況。此情況下,在CPU201中,作為輸出緩衝器206中所被記憶之各圖像的顯示開始時序,是直接使用PTS所示的顯示開始時序。在顯示處理部207中,係基於CPU201的控制,從輸出緩衝器206的每一圖像之影像資料的讀出,是在PTS所示的顯示開始時序上被開始。
然後,在顯示處理部207中,以圖像時序SEI訊息的「pic_struct」之欄位所指定的重複次數,以60Hz之畫格速率進行顯示重複處理,獲得3-2下拉處理所致之60Hz之畫格速率的動態影像資料。該動態影像資料係被供給至顯示部208,在該顯示部208上,係進行60Hz之畫格速率所致之顯示(60Hz顯示)。
接著說明,收訊裝置200進行120Hz之畫格 速率所致之顯示(120Hz顯示)的情況。此情況下,在CPU201中,作為輸出緩衝器206中所被記憶之各圖像的顯示開始時序,是基於各圖像之編碼影像資料中所被插入之識別資訊(PS/PA/PB)而將PTS所示的顯示開始時序做適宜補正而使用之。
此情況下,關於被插入了識別資訊「PS」的圖像之顯示開始時序,PTS所示的顯示開始時序係被直接使用。又,關於被插入了識別資訊「PA」的圖像之顯示開始時序,係將PTS所示的顯示開始時序,以120Hz之畫格速率提早1圖像,亦即提早1/120秒之方向進行平移補正,然後加以使用。又,關於被插入了識別資訊「PB」的圖像之顯示開始時序,係將PTS所示的顯示開始時序,以120Hz之畫格速率延遲1圖像,亦即延遲1/120秒之方向進行平移補正,然後加以使用。
在顯示處理部207中,係基於CPU201的控制,從輸出緩衝器206的每一圖像之影像資料的讀出,是在上述已被補正之顯示開始時序上被開始。然後,在顯示處理部207中,以120Hz之畫格速率進行5次顯示重複處理,獲得120Hz之畫格速率的動態影像資料。該動態影像資料係被供給至顯示部208,在該顯示部208上,係進行120Hz之畫格速率所致之顯示(120Hz顯示)。
如以上說明,在圖1所示的收送訊系統10中,送訊裝置100,係在構成60Hz之畫格速率的視訊串流的各圖像之編碼影像資料中,插入表示24Hz之畫格速 率與顯示開始時序之同步關係的識別資訊(「PS」、「PA」、「PB」)。因此,在收訊側,係可容易基於該識別資訊,而將各圖像之影像資料之顯示開始時序補正成,與將構成24Hz之畫格速率的動態影像資料的各圖像以120Hz之畫格速率進行編碼時相同的狀態,對各圖像之影像資料進行5次的顯示重複處理而獲得120Hz之畫格速率的動態影像資料,將120Hz之畫格速率所致之顯示(120Hz顯示),在不損及24Hz之素材的滑順度的情況下,予以良好地進行。
又,在圖1所示的收送訊系統10中,收訊裝置200,係基於各圖像之編碼影像資料中所被插入之識別資訊(「PS」、「PA」、「PB」),而將各圖像之影像資料之顯示開始時序補正成,與將構成24Hz之畫格速率的動態影像資料的各圖像以120Hz之畫格速率進行編碼時相同的狀態,對各圖像之影像資料進行5次的顯示重複處理而獲得120Hz之畫格速率的動態影像資料。因此,可使120Hz之畫格速率所致之顯示(120Hz顯示),在不損及24Hz之素材的滑順度的情況下,而被良好地進行。
<2.變形例>
此外,在上述實施形態中係展示了,在構成60Hz之畫格速率的視訊串流的各圖像之編碼影像資料中,作為表示24Hz之畫格速率與顯示開始時序之同步關係的識別資訊,除了識別資訊「PS」以外,還會插入有識別資訊 「PA」、「PB」的例子。可是,亦可考慮只插入識別資訊「PS」,不會插入識別資訊「PA」、「PB」,而在收訊側上使其進行相同的處理。
圖17(a)係圖示了,只插入識別資訊「PS」時的圖像時序置換SEI訊息的結構例(Syntax)。圖17(b)係圖示了該結構例中主要資訊內容(Semantics)。此情況下,圖12(a)所示的圖像時序置換SEI訊息的結構例中所存在的「early_display_flag」、「late_display_flag」之欄位,係不存在。
圖18、圖19係分別和上述的圖4、圖6同樣地,圖示了24Hz之時序、與60Hz顯示及120Hz顯示時的各圖像之顯示開始時序之對應關係之一例。在圖18、圖19的例子中,與圖4、圖6的例子不同,只有識別資訊「PS」被插入,識別資訊「PA」、「PB」係未被插入。
如圖4、圖6的例子般地有識別資訊「PA」、「PB」存在的情況下,在收訊裝置200中,係基於識別資訊「PA」、「PB」,而判斷該識別資訊「PA」、「PB」所被插入的圖像相對於24Hz之畫格速率是較早還是較晚,辨識出該當圖像的顯示開始時序是應該要補正,並且決定其補正方向。
例如,於圖4的例子中,I圖像(顯示順序「6」)中係被插入有識別資訊「PA」,在收訊裝置200中,係基於該識別資訊「PA」,而得知該I圖像(顯示順 序「6」)的顯示開始時序相對於24Hz之畫格速率是較晚,辨識出該I圖像(顯示順序「6」)的顯示開始時序係必須補正,其補正方向係決定成提早之方向。
又,例如,於圖6的例子中,I圖像(顯示順序「4」)中係被插入有識別資訊「PB」,在收訊裝置200中,係基於該識別資訊「PB」,而得知該I圖像(顯示順序「4」)的顯示開始時序相對於24Hz之畫格速率是較早,辨識出該I圖像(顯示順序「4」)的顯示開始時序係必須補正,其補正方向係決定成延遲之方向。
如圖18、圖19的例子般地沒有識別資訊「PA」、「PB」存在的情況下,在收訊裝置200中,係在某個圖像上抽出識別資訊「PS」時,基於圖像時序SEI訊息的「pic_struct」所指定的3-2下拉處理所需之重複次數,判斷下個圖像相對於24Hz之畫格速率是較早還是較晚,辨識出該當圖像的顯示開始時序是應該要補正,並且決定其補正方向。
例如,於圖18的例子中,B圖像(顯示順序「0」)中係被插入有識別資訊「PS」,又,該圖像的重複次數係被指定成3。因此,在收訊裝置200中,係得知下個圖像也就是I圖像(顯示順序「6」)的顯示開始時序相對於24Hz之畫格速率是較晚,辨識出該I圖像(顯示順序「6」)的顯示開始時序係必須補正,其補正方向係決定成提早之方向。
例如,於圖19的例子中,B圖像(顯示順序 「0」)中係被插入有識別資訊「PS」,又,該圖像的重複次數係被指定成2。因此,在收訊裝置200中,係得知下個圖像也就是I圖像(顯示順序「4」)的顯示開始時序相對於24Hz之畫格速率是較早,辨識出該I圖像(顯示順序「4」)的顯示開始時序係必須補正,其補正方向係決定成延遲之方向。
圖20的流程圖係圖示了,收訊裝置200的CPU201是在如上述般地只有識別資訊「PS」被插入的情況下,或是該識別資訊「PS」也未被插入時,辨識應補正顯示開始時序之圖像並且決定其補正方向(較早還是較晚)的處理程序之一例。該流程圖之處理,係每一圖像地被進行。
CPU201係於步驟ST1中,開始處理。接著,CPU201係於步驟ST2中,判斷現在的圖像中是否有圖像時序置換SEI訊息存在。圖像時序置換SEI訊息為存在時,CPU201係於步驟ST3中,判斷是否有識別資訊「PS」,亦即「resync_to_picstruct_flag」是“1”還是“0”。
有識別資訊「PS」時,CPU201係於步驟ST4中,判斷圖像時序SEI訊息的「pic_struct」所指定的顯示重複數是否為3。顯示重複數為3時,CPU201係於步驟ST5中,將下個圖像的顯示開始時序辨識成應予以補正而視為補正對象,將其補正方向決定成提早之方向。CPU201係在該步驟ST5的處理之後,於步驟ST6中,結 束處理。
又,步驟ST4中顯示重複數並非3時,CPU201係於步驟ST7中,判斷圖像時序SEI訊息的「pic_struct」所指定的顯示重複數是否為2。顯示重複數為2時,CPU201係於步驟ST8中,將下個圖像的顯示開始時序辨識成應予以補正而視為補正對象,將其補正方向決定成延遲之方向。CPU201係在該步驟ST8的處理之後,於步驟ST6中,結束處理。
又,在步驟ST3中沒有識別資訊「PS」時,或在步驟ST7中顯示重複數並非2時,CPU201係立刻前進至步驟ST6,結束處理。
又,在步驟ST2中沒有圖像時序置換SEI訊息存在時,CPU201係於步驟ST9中,判斷現在的圖像是否為顯示時序的補正對象。現在的圖像並非補正對象時,CPU201係前進至步驟ST4之處理,以下進行和上述相同的處理。另一方面,現在的圖像係為補正對象時,CPU201係立刻前進至步驟ST6,結束處理。
從上述的圖20的流程圖之說明也可了解,即使圖像時序置換SEI訊息係不存在,因而識別資訊「PS」未被插入,仍可將各圖像之影像資料的顯示開始時序,補正成與將構成24Hz之畫格速率的動態影像資料的各圖像以120Hz之畫格速率進行編碼時相同的狀態。然後,此情況下也是,藉由對各圖像之影像資料進行5次的顯示重複處理而獲得120Hz之畫格速率的動態影像資料,就可使 120Hz之畫格速率所致之顯示(120Hz顯示),在不損及24Hz之素材的滑順度的情況下,而被良好地進行。
即使像這樣識別資訊「PS」之插入未被進行,仍可補正各圖像之影像資料之顯示開始時序。有識別資訊「PS」之插入的情況下,則在處理複數個60Hz之畫格速率的視訊串流時,在進行時序補正之階段中,可防止複數個串流間發生偏誤,可保證複數個120Hz之畫格速率的同步顯示。
圖21係圖示了,處理2個60Hz之畫格速率的視訊串流的情況下,且識別資訊「PS」有插入時之例子。此情況下,由於有識別資訊「PS」的插入,因此可以特定出,要補正顯示開始時序的圖像,是在串流1(Stream 1)與串流2(Stream 2)中為相對應者。因此,在進行時序補正的階段中,2個串流間不會發生偏誤,可進行2個串流的120Hz之畫格速率下的同步顯示。
圖22係圖示了,處理2個60Hz之畫格速率的視訊串流的情況下,且沒有插入識別資訊「PS」時之例子。2個串流係在進行60Hz之顯示的情況下,以顯示時間戳記TS而取得同步。此情況下,由於沒有識別資訊「PS」的插入,在為了120Hz之顯示而補正顯示開始時序的階段中,要補正顯示開始時序的圖像,係如圖示,在串流1(Stream 1)與串流2(Stream 2)中,補正對象有可能並不相同。此情況下,2個120Hz之畫格速率的同步顯示就變成不可能。
又,本技術係亦可採取如下之構成。
(1)一種送訊裝置,係具備:編碼部,係將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼,而獲得該第2畫格速率之視訊串流;和資訊插入部,係在構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料中,插入表示上記第1畫格速率與顯示開始時序之同步關係的識別資訊;和送訊部,係將已被插入有上記識別資訊的上記第2畫格速率之視訊串流,予以發送。
(2)如前記(1)所記載之送訊裝置,其中,表示上記同步關係的識別資訊係含有:表示是否已經和上記第1畫格速率同步的識別資訊。
(3)如前記(2)所記載之送訊裝置,其中,表示上記同步關係的識別資訊係還含有:在未與上記第1畫格速率同步時,表示相對於該第1畫格速率是較早還是較晚的識別資訊。
(4)如前記(1)至(3)之任一項所記載之送訊裝置,其中,上記第1畫格速率係為24Hz且上記第2畫格速率係為60Hz,或是上記第1畫格速率係為48Hz且上記第2畫格速率係為120Hz。
(5)如前記(1)至(4)之任一項所記載之送訊裝置,其中, 上記資訊插入部,係將含有上記識別資訊的SEI訊息,插入至上記第2畫格速率之視訊串流。
(6)一種送訊方法,係具有:編碼步驟,係將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼,而獲得該第2畫格速率之視訊串流;和資訊插入步驟,係在構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料中,插入表示上記第1畫格速率與顯示開始時序之同步關係的識別資訊;和送訊步驟,係藉由送訊部,將已被插入有上記識別資訊的上記第2畫格速率之視訊串流,予以發送。
(7)一種收訊裝置,其係具備收訊部,係將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼所得到的該第2畫格速率之視訊串流,予以接收;還具備控制部,係控制:將構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料予以解碼而獲得該各圖像之影像資料的解碼處理;和將上記各圖像之影像資料的顯示開始時序補正成,與將構成上記第1畫格速率之動態影像資料的各圖像以大於上記第2畫格速率、且為上記第1畫格速率之N倍(N係為整數)的第3畫格速率進行編碼時相同之狀態的時序補正處理;和將該顯示開始時序已被補正之上記各圖像之影像資料,以上記第3畫格速 率,予以反覆輸出上記N之次數的顯示重複處理。
(8)如前記(7)所記載之收訊裝置,其中,在構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料中係被插入有:表示上記第1畫格速率與顯示開始時序之同步關係的識別資訊;上記控制部,係將上記時序補正處理,基於表示上記同步關係的識別資訊而加以控制。
(9)如前記(9)所記載之收訊裝置,其中,表示上記同步關係的識別資訊係含有:表示是否已經和上記第1畫格速率同步的識別資訊。
(10)如前記(9)所記載之收訊裝置,其中,表示上記同步關係的識別資訊係還含有:在未與上記第1畫格速率同步時,表示相對於該第1畫格速率是較早還是較晚的識別資訊。
(11)如前記(7)至(10)之任一項所記載之收訊裝置,其中,上記第1畫格速率係為24Hz、上記第2畫格速率係為60Hz、上記第3畫格速率係為120Hz、且上記N係為5;或者,上記第1畫格速率係為24Hz、上記第2畫格速率係為60Hz、上記第3畫格速率係為240Hz、且上記N係為10;或者,上記第1畫格速率係為48Hz、上記第2畫格速率係為120Hz、上記第3畫格速率係為240Hz、且上記N係為5。
(12)一種收訊方法,其係具有收訊步驟,係藉由收訊部,將構成第1畫格速率 之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼所得到的該第2畫格速率之視訊串流,予以接收;還具有:解碼步驟,係將構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料予以解碼而獲得該各圖像之影像資料;和補正步驟,係將上記各圖像之影像資料的顯示開始時序補正成,與將構成上記第1畫格速率之動態影像資料的各圖像以大於上記第2畫格速率、且為上記第1畫格速率之N倍(N係為整數)的第3畫格速率進行編碼時相同之狀態;和顯示重複步驟,係將上記顯示開始時序已被補正之上記各圖像之影像資料,以上記第3畫格速率,予以反覆輸出上記N之次數。
本技術的主要特徵為,在構成60Hz之畫格速率的視訊串流的各圖像的編碼影像資料中,插入表示24Hz之畫格速率與顯示開始時序之同步關係的識別資訊,藉此,在收訊側,係容易將各圖像之影像資料的顯示開始時序補正成,與將構成24Hz之畫格速率的動態影像資料的各圖像以120Hz之畫格速率進行編碼時相同之狀態,可使120Hz之畫格速率所致之顯示(120Hz顯示),在不損及24Hz之素材的滑順度的情況下,而被良好地進行(參照圖4、圖6)。

Claims (9)

  1. 一種送訊裝置,係具備電路,其係被構成以:將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼,而獲得該第2畫格速率之視訊串流;在構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料中,插入識別資訊,其係表示,相對於上記第1畫格速率之時序,上記各圖像的顯示開始時序是否晚於上記第2畫格速率之1個畫格、還是早於上記第2畫格速率之1個畫格;將已被插入有上記識別資訊的上記第2畫格速率之視訊串流,予以發送。
  2. 如請求項1所記載之送訊裝置,其中,至少1個上記圖像的上記識別資訊係表示:上記各圖像的顯示開始時序,是同步於上記第1畫格速率。
  3. 如請求項1所記載之送訊裝置,其中,上記第1畫格速率係為24Hz且上記第2畫格速率係為60Hz,或是上記第1畫格速率係為48Hz且上記第2畫格速率係為120Hz。
  4. 如請求項1所記載之送訊裝置,其中,上記電路係更進一步被構成以:將含有上記識別資訊的SEI(supplemental enhancement information)訊息,插入至上記第2畫格速率之視訊串 流。
  5. 一種送訊方法,係包含以下步驟:將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼,而獲得該第2畫格速率之視訊串流;在構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料中,插入識別資訊,其係表示,相對於上記第1畫格速率之時序,上記各圖像的顯示開始時序是否晚於上記第2畫格速率之1個畫格、還是早於上記第2畫格速率之1個畫格;藉由送訊部,將已被插入有上記識別資訊的上記第2畫格速率之視訊串流,予以發送。
  6. 一種收訊裝置,係具備電路,其係被構成以:將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼所得到的該第2畫格速率之視訊串流,予以接收;從已接收之上記視訊串流,抽出識別資訊,其中,上記識別資訊係表示,相對於上記第1畫格速率之時序,上記各圖像的顯示開始時序是否晚於上記第2畫格速率之1個畫格、還是早於上記第2畫格速率之1個畫格;控制:將構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料予以解碼而獲得該各圖像之影像資料的解碼處理;控制:基於上記各圖像所對應之上記已被抽出的識別 情報,而使至少1個上記圖像之影像資料的顯示開始時序做提前或延遲,以將上記各圖像之影像資料的顯示開始時序予以補正的時序補正處理;和將上記各圖像之影像資料,在已被補正之上記顯示開始時序上予以反覆輸出的顯示重複處理。
  7. 如請求項6所記載之收訊裝置,其中,至少1個上記圖像的上記識別資訊係表示:上記各圖像的顯示開始時序,是同步於上記第1畫格速率。
  8. 如請求項6所記載之收訊裝置,其中,上記第1畫格速率係為24Hz且上記第2畫格速率係為60Hz;或者,上記第1畫格速率係為48Hz且上記第2畫格速率係為120Hz。
  9. 一種收訊方法,係包含以下步驟:藉由收訊部,將構成第1畫格速率之動態影像資料的各圖像,以大於上記第1畫格速率的第2畫格速率進行編碼所得到的該第2畫格速率之視訊串流,予以接收;從已接收之上記視訊串流,抽出識別資訊,其中,上記識別資訊係表示,相對於上記第1畫格速率之時序,上記各圖像的顯示開始時序是否晚於上記第2畫格速率之1個畫格、還是早於上記第2畫格速率之1個畫格;將構成上記第2畫格速率之視訊串流的上記各圖像的編碼影像資料予以解碼而獲得該各圖像之影像資料;基於上記各圖像所對應之上記已被抽出的識別情報, 而使至少1個上記圖像之影像資料的顯示開始時序做提前或延遲,以將上記各圖像之影像資料的顯示開始時序予以補正;將上記各圖像之影像資料,在已被補正之上記顯示開始時序上予以反覆輸出。
TW106108185A 2016-03-24 2017-03-13 送訊裝置、送訊方法、收訊裝置及收訊方法 TWI744292B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016060956 2016-03-24
JP2016-060956 2016-03-24

Publications (2)

Publication Number Publication Date
TW201739257A TW201739257A (zh) 2017-11-01
TWI744292B true TWI744292B (zh) 2021-11-01

Family

ID=59900261

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106108185A TWI744292B (zh) 2016-03-24 2017-03-13 送訊裝置、送訊方法、收訊裝置及收訊方法

Country Status (6)

Country Link
US (1) US10659795B2 (zh)
EP (1) EP3435678B1 (zh)
JP (1) JP6996490B2 (zh)
CN (1) CN108781301B (zh)
TW (1) TWI744292B (zh)
WO (1) WO2017164087A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3706422A1 (en) * 2017-11-02 2020-09-09 Sony Corporation Transmission device, transmission method, reception device and reception method
CN112866745B (zh) * 2020-12-31 2023-04-25 南方电网大数据服务有限公司 流媒体视频数据处理方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080019438A1 (en) * 2004-06-10 2008-01-24 Sony Computer Entertainment Encoder Apparatus, Encoding Method, Decoder Apparatus, Decoding Method, Program, Program Recording Medium, Data Recording Medium, Data Structure, and Playback Apparatus
JP2012227799A (ja) * 2011-04-21 2012-11-15 Mitsubishi Electric Corp 画像表示装置
US20140036148A1 (en) * 2011-04-01 2014-02-06 Panasonic Corporation Apparatus and method for converting frame rate of video signal, and video processing apparatus using the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433683B2 (en) * 2000-12-28 2008-10-07 Northstar Acquisitions, Llc System for fast macrodiversity switching in mobile wireless networks
JP2004159191A (ja) * 2002-11-07 2004-06-03 Seiko Epson Corp 画像データに応じたフレームレートの変換
JP3729189B2 (ja) * 2003-07-18 2005-12-21 ソニー株式会社 撮像装置
CN101534405B (zh) * 2004-03-31 2011-06-01 松下电器产业株式会社 用于可变帧速率记录的视频记录设备
GB0428155D0 (en) * 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
JP2013143646A (ja) 2012-01-10 2013-07-22 Sony Corp 表示装置、フレームレート変換装置、および表示方法
JP6558246B2 (ja) 2013-10-11 2019-08-14 ソニー株式会社 送信装置、送信方法および受信装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080019438A1 (en) * 2004-06-10 2008-01-24 Sony Computer Entertainment Encoder Apparatus, Encoding Method, Decoder Apparatus, Decoding Method, Program, Program Recording Medium, Data Recording Medium, Data Structure, and Playback Apparatus
US20140036148A1 (en) * 2011-04-01 2014-02-06 Panasonic Corporation Apparatus and method for converting frame rate of video signal, and video processing apparatus using the same
JP2012227799A (ja) * 2011-04-21 2012-11-15 Mitsubishi Electric Corp 画像表示装置

Also Published As

Publication number Publication date
EP3435678B1 (en) 2021-04-28
JPWO2017164087A1 (ja) 2019-02-14
US10659795B2 (en) 2020-05-19
EP3435678A4 (en) 2019-01-30
WO2017164087A1 (ja) 2017-09-28
JP6996490B2 (ja) 2022-01-17
CN108781301B (zh) 2021-04-16
TW201739257A (zh) 2017-11-01
US20190052889A1 (en) 2019-02-14
CN108781301A (zh) 2018-11-09
EP3435678A1 (en) 2019-01-30

Similar Documents

Publication Publication Date Title
US8711934B2 (en) Decoding and presentation time stamps for MPEG-4 advanced video coding
US9456209B2 (en) Method of multiplexing H.264 elementary streams without timing information coded
TWI544791B (zh) 經由寬頻網路所接收第二節目內容之解碼方法及解碼器裝置
JP6313704B2 (ja) 受信装置およびその同期処理方法
EP2574064A1 (en) Image data transmitting device, image data transmitting method and image data receiving device
US20050175098A1 (en) Method, protocol, and apparatus for transporting advanced video coding content
US20110050851A1 (en) Method and system for transmitting a 1080p60 video in 1080i format to a legacy 1080i capable video receiver without resolution loss
EP2346261A1 (en) Method and apparatus for multiplexing H.264 elementary streams without timing information coded
US10812854B2 (en) Image processing device, image processing method, reception device, and transmission device
KR20130121058A (ko) 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
TWI744292B (zh) 送訊裝置、送訊方法、收訊裝置及收訊方法
EP2580917A1 (en) Receiver and method at the receiver for enabling channel change with a single decoder
CN107534786B (zh) 传输装置、传输方法、图像处理装置、图像处理方法、接收装置、及接收方法
JP5886341B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5976189B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6614281B2 (ja) 受信装置および受信方法
JP5976188B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6052354B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2017055438A (ja) 送信装置、送信方法、受信装置および受信方法