TW201921940A - 解碼裝置、解碼方法、顯示裝置、及顯示方法 - Google Patents

解碼裝置、解碼方法、顯示裝置、及顯示方法 Download PDF

Info

Publication number
TW201921940A
TW201921940A TW107131863A TW107131863A TW201921940A TW 201921940 A TW201921940 A TW 201921940A TW 107131863 A TW107131863 A TW 107131863A TW 107131863 A TW107131863 A TW 107131863A TW 201921940 A TW201921940 A TW 201921940A
Authority
TW
Taiwan
Prior art keywords
preamble
image
display
brightness
decoding
Prior art date
Application number
TW107131863A
Other languages
English (en)
Other versions
TWI713355B (zh
Inventor
服部忍
江藤博昭
津留卓己
金井健一
浜田俊也
Original Assignee
日商新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司 filed Critical 日商新力股份有限公司
Publication of TW201921940A publication Critical patent/TW201921940A/zh
Application granted granted Critical
Publication of TWI713355B publication Critical patent/TWI713355B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露係有關於,可在解碼側上能夠正確辨識編碼對象影像之色域的解碼裝置及解碼方法、以及編碼裝置及編碼方法。
收取部,係從將含有影像之編碼資料和表示影像之色域之色域資訊的編碼串流予以傳輸的編碼裝置,收取編碼串流。抽出部,係從編碼串流中抽出編碼資料和色域資訊。解碼部係將編碼資料予以解碼,生成影像。本揭露係可適用於例如HEVC(High Efficiency Video Coding)方式的解碼裝置等。

Description

解碼裝置、解碼方法、顯示裝置、及顯示方法
本揭露係有關於解碼裝置及解碼方法、以及編碼裝置及編碼方法,尤其是有關於,使得解碼側上能夠正確辨識編碼對象影像之色域的解碼裝置及解碼方法、以及編碼裝置及編碼方法。
近年來,利用影像資訊特有的冗長性,藉由離散餘弦轉換等之正交轉換和動態補償進行壓縮的MPEG(Moving Picture Experts Group phase)等方式,依據其之裝置,是已經在電視台等的資訊遞送,以及一般家庭的資訊接收雙方面上日益普及。
尤其是,MPEG2(ISO/IEC 13818-2)方式,係被定義來作為通用影像編碼方式,係為網羅了跳躍掃描影像及依序掃描影像之雙方、以及標準解析度影像及高精細影像的標準,目前已經被廣為運用在專業用途及消費市場用途的廣泛之應用程式中。藉由使用MPEG2方式,例如,若為具有720×480像素的標準解析度之跳躍掃描影像,則指派了4乃至8Mbps、若為具有1920×1088像素的 高解析度之跳躍掃描影像,則指派了18乃至22MBps的編碼量(位元速率),藉此而可實現高壓縮率和良好畫質。
雖然MPEG2係主要是以適合播送用之高畫質編碼為對象,但並不支援比MPEG1還低之編碼量(位元速率)、亦即高壓縮率的編碼方式。隨著攜帶型終端的普及,今後此類編碼方式的需求會逐漸增加,對應於此而進行了MPEG4編碼方式的標準化。關於MPEG4之影像編碼方式,其規格在1998年12月已被承認為國際標準成為ISO/IEC 14496-2。
再者,近年來,當初作為電視會議用的影像編碼為目的,而有所謂的H.26L(ITU-T Q6/16 VCEG)標準,正朝規格化邁進。H.26L係相較於MPEG2或MPEG4這些編碼方式,其編碼、解碼上要求較多的演算量,但可實現更高的編碼效率,係為人所知。
又,近年來,作為MPEG4的活動之一環,以此H.26L為基礎,還家近了H.26L中未支援的機能,以實現更高編碼效率的標準化,係以Joint Model of Enhanced-Compression Video Coding的名義而被進行。此標準化,係在2003年3月在H.264及MPEG-4 Part10(AVC(Advanced Video Coding))的名下,成為國際標準。
再者,作為其擴充,包含有RGB或YUV422、YUV444這類,業務用所必須之編碼工具、或MPEG-2所規定之8×8DCT或量化矩陣的FRExt(Fidelity Range Extension)之標準化,已經在2005年2月完成。 藉此,AVC方式,係成為連電影中所包含之底片雜訊都能良好呈現的編碼方式,逐漸被使用於BD(Blu-ray(註冊商標)Disc)等廣泛之應用。
然而,最近,欲壓縮高解析度電視(Hi-Vision)影像的4倍也就是4000×2000像素左右的影像,或者,欲在網際網路這類受限的傳輸容量之環境下配送高解析度電視影像,對更高壓縮率編碼的需求日益增高。因此,在ITU-T旗下的VCEG(=Video Coding Expert Group)中,持續有關改善編碼效率之檢討。
又,目前,為了比AVC更加提昇編碼效率之目的,由ITU-T、和ISO/IEC之共同標準化團體亦即JCTVC(Joint Collaboration Team-Video Coding),正在進行一種稱作HEVC(High Efficiency Video Coding)的編碼方式的標準化。到2013年8月為止,作為Draft係發行有非專利文獻1。
順便一題,在AVC方式或HEVC方式中,編碼對象影像之色域,是以VUI(Video Usability Information)的colour_primaries而被定義。
〔先前技術文獻〕 〔非專利文獻〕
[非專利文獻1]Benjamin Bross,Gary J.Sullivan,Ye-Kui Wang, “Editors' proposed corrections to HEVC version 1”, JCTVC-M0432_v3, 2013.4.18-4.26
然而,藉由用來識別其他規格所定義之色域的索引,來定義編碼對象影像之色域。因此,無法定義固定色域以外之色域來作為編碼對象影像之色域,在解碼側上無法正確辨識編碼對象影像之色域。
本揭露係有鑑於此種狀況而研發,目的在於使得解碼側上能夠正確辨識編碼對象影像之色域。
本揭露之第1側面的解碼裝置,係一種解碼裝置,其係具備:收取部,係從將含有影像之編碼資料和表示前記影像之色域之色域資訊的編碼串流予以傳輸的編碼裝置,收取前記編碼串流;和抽出部,係從前記收取部所收取到的前記編碼串流,抽出前記編碼資料和前記色域資訊;和解碼部,係將已被前記抽出部所抽出之前記編碼資料予以解碼,生成前記影像。
本揭露之第1側面的解碼方法,係對應於本揭露之第1側面的解碼裝置。
於本揭露之第1側面中,從將含有影像之編碼資料和表示前記影像之色域之色域資訊的編碼串流予以傳輸的編碼裝置,會收取前記編碼串流,從前記編碼串流會抽出前記編碼資料和前記色域資訊,前記編碼資料會被 解碼,生成前記影像。
本揭露之第2側面的編碼裝置,係一種編碼裝置,其係具備:編碼部,係將影像予以編碼,生成編碼資料;和設定部,係設定表示前記影像之色域的色域資訊;和傳輸部,係將含有前記編碼部所生成之前記編碼資料、和前記設定部所生成之前記色域資訊的編碼串流,予以傳輸。
本揭露之第2側面的編碼方法,係對應於本揭露之第2側面的編碼裝置。
於本揭露之第2側面中,影像會被編碼而生成編碼資料,表示前記影像之色域的色域資訊會被設定,含有前記編碼資料和前記色域資訊的編碼串流會被傳輸。
本揭露之第3側面的解碼裝置,係一種解碼裝置,其係具備:收取部,係從將含有影像之編碼資料、識別所定色域之識別資訊、及前記影像之色域相對於前記所定色域之涵蓋率的編碼串流予以傳輸的編碼裝置,收取前記編碼串流;和抽出部,係從前記收取部所收取到的前記編碼串流,抽出前記編碼資料、前記識別資訊、及前記涵蓋率;和解碼部,係將已被前記抽出部所抽出之前記編碼資料予以解碼,生成前記影像。
本揭露之第3側面的解碼方法,係對應於本揭露之第3側面的解碼裝置。
於本揭露之第3側面中,從將含有影像之編碼資料、識別所定色域之識別資訊、及前記影像之色域相 對於前記所定色域之涵蓋率的編碼串流予以傳輸的編碼裝置,前記編碼串流會被收取;從前記編碼串流會抽出前記編碼資料、前記識別資訊及前記涵蓋率,前記編碼資料會被解碼而生成前記影像。
本揭露之第4側面的編碼裝置,係一種編碼裝置,其係具備:編碼部,係將影像予以編碼,生成編碼資料;和設定部,係設定用來識別所定色域之識別資訊和前記影像之色域相對於前記所定色域之涵蓋率;和傳輸部,係將含有前記編碼部所生成之前記編碼資料、和前記設定部所生成之前記識別資訊及前記涵蓋率的編碼串流,予以傳輸。
本揭露之第4側面的編碼方法,係對應於本揭露之第4側面的編碼裝置。
於本揭露之第4側面中,影像會被編碼而生成編碼資料,用來識別所定色域之識別資訊和前記影像之色域相對於前記所定色域之涵蓋率會被設定,含有前記編碼資料和前記識別資訊及前記涵蓋率的編碼串流會被傳輸。
此外,第1及第3側面的解碼裝置及第2及第4側面的編碼裝置,係可藉由令電腦執行程式而實現。
又,為了實現第1及第3側面的解碼裝置以及第2及第4側面的編碼裝置,而令電腦執行的程式,係可透過傳輸媒體來傳輸,或可記錄在記錄媒體中來提供之。
此外,第1或第3側面的解碼裝置及第2或第4側面的編碼裝置,係可為獨立的裝置,亦可為構成1個裝置的內部區塊。
若依據本揭露之第1及第3側面,則可將影像之編碼資料予以解碼。又,若依據本揭露之第1及第3側面,則正確地辨識編碼對象影像之色域。
又,若依據本揭露之第2及第4側面,則可將影像予以編碼。又,若依據本揭露之第2及第4側面,則可讓解碼側正確地辨識編碼對象影像之色域。
此外,並非一定限定於這裡所記載的效果,亦可為本揭露中所記載之任一效果。
10‧‧‧編碼裝置
11‧‧‧設定部
12‧‧‧編碼部
13‧‧‧傳輸部
50‧‧‧解碼裝置
51‧‧‧收取部
52‧‧‧抽出部
53‧‧‧解碼部
54‧‧‧調整部
55‧‧‧顯示控制部
56‧‧‧顯示部
70‧‧‧編碼裝置
71‧‧‧影像調整部
72‧‧‧設定部
90‧‧‧解碼裝置
91‧‧‧抽出部
92‧‧‧調整部
93‧‧‧顯示控制部
201‧‧‧CPU
202‧‧‧ROM
203‧‧‧RAM
204‧‧‧匯流排
205‧‧‧輸出入介面
206‧‧‧輸入部
207‧‧‧輸出部
208‧‧‧記錄部
209‧‧‧通訊部
210‧‧‧驅動機
211‧‧‧可移除式媒體
601‧‧‧編碼部
602‧‧‧編碼部
603‧‧‧多工化部
610‧‧‧多視點影像解碼裝置
611‧‧‧逆多工部
612‧‧‧解碼部
613‧‧‧解碼部
620‧‧‧階層影像編碼裝置
621‧‧‧編碼部
622‧‧‧編碼部
623‧‧‧多工化部
630‧‧‧階層影像解碼裝置
631‧‧‧逆多工部
632‧‧‧解碼部
633‧‧‧解碼部
800‧‧‧電腦
900‧‧‧電視裝置
901‧‧‧天線
902‧‧‧選台器
903‧‧‧解多工器
904‧‧‧解碼器
905‧‧‧映像訊號處理部
906‧‧‧顯示部
907‧‧‧聲音訊號處理部
908‧‧‧揚聲器
909‧‧‧外部介面
910‧‧‧控制部
911‧‧‧使用者介面
912‧‧‧匯流排
920‧‧‧行動電話機
921‧‧‧天線
922‧‧‧通訊部
923‧‧‧聲音編解碼器
924‧‧‧揚聲器
925‧‧‧麥克風
926‧‧‧攝影機部
927‧‧‧影像處理部
928‧‧‧多工分離部
929‧‧‧記錄再生部
930‧‧‧顯示部
931‧‧‧控制部
932‧‧‧操作部
933‧‧‧匯流排
940‧‧‧記錄再生裝置
941‧‧‧選台器
942‧‧‧外部介面
943‧‧‧編碼器
944‧‧‧HDD(Hard Disk Drive)部
945‧‧‧碟片驅動機
946‧‧‧選擇器
947‧‧‧解碼器
948‧‧‧OSD(On-Screen Display)部
949‧‧‧控制部
950‧‧‧使用者介面
960‧‧‧攝像裝置
961‧‧‧光學區塊
962‧‧‧攝像部
963‧‧‧攝影機訊號處理部
964‧‧‧影像資料處理部
965‧‧‧顯示部
966‧‧‧外部介面
967‧‧‧記憶體部
968‧‧‧媒體驅動機
969‧‧‧OSD部
970‧‧‧控制部
971‧‧‧使用者介面
972‧‧‧匯流排
1000‧‧‧資料傳輸系統
1001‧‧‧可調式編碼資料記憶部
1002‧‧‧配訊伺服器
1003‧‧‧網路
1004‧‧‧個人電腦
1005‧‧‧AV機器
1006‧‧‧平板裝置
1007‧‧‧行動電話機
1011‧‧‧可調式編碼資料(BL+EL)
1012‧‧‧可調式編碼資料(BL)
1100‧‧‧資料傳輸系統
1101‧‧‧播送台
1102‧‧‧終端裝置
1111‧‧‧地表波播送
1112‧‧‧網路
1121‧‧‧可調式編碼資料(BL)
1122‧‧‧可調式編碼資料(EL)
1200‧‧‧攝像系統
1201‧‧‧攝像裝置
1202‧‧‧可調式編碼資料記憶裝置
1211‧‧‧被攝體
1221‧‧‧可調式編碼資料(BL+EL)
1222‧‧‧可調式編碼資料(BL)
1300‧‧‧視訊套組
1311‧‧‧視訊模組
1312‧‧‧外部記憶體
1313‧‧‧電力管理模組
1314‧‧‧前端模組
1321‧‧‧連接性構件
1322‧‧‧攝影機
1323‧‧‧感測器
1331‧‧‧應用程式處理器
1332‧‧‧視訊處理器
1333‧‧‧寬頻數據機
1334‧‧‧RF模組
1341‧‧‧虛線
1351‧‧‧天線部
1352‧‧‧濾波器
1353‧‧‧增幅部
1361‧‧‧視訊單元
1401‧‧‧視訊輸入處理部
1402‧‧‧第1影像放大縮小部
1403‧‧‧第2影像放大縮小部
1404‧‧‧視訊輸出處理部
1405‧‧‧畫格記憶體
1406‧‧‧記憶體控制部
1407‧‧‧編碼‧解碼引擎
1408A、1408B‧‧‧視訊ES緩衝區
1409A、1409B‧‧‧音訊ES緩衝區
1410‧‧‧音訊編碼器
1411‧‧‧音訊解碼器
1412‧‧‧多工化部
1413‧‧‧逆多工部
1414‧‧‧串流緩衝區
1511‧‧‧控制部
1512‧‧‧顯示器介面
1513‧‧‧顯示引擎
1514‧‧‧影像處理引擎
1515‧‧‧內部記憶體
1516‧‧‧編解碼器引擎
1517‧‧‧記憶體介面
1518‧‧‧多工‧逆多工部
1519‧‧‧網路介面
1520‧‧‧視訊介面
1531‧‧‧主CPU
1532‧‧‧副CPU
1533‧‧‧系統控制器
1541‧‧‧MPEG-2 Video
1542‧‧‧AVC/H.264
1543‧‧‧HEVC/H.265
1544‧‧‧HEVC/H.265(Scalable)
1545‧‧‧HEVC/H.265(Multi-view)
1551‧‧‧MPEG-DASH
[圖1]適用了本揭露之編碼裝置的第1實施形態之構成例的區塊圖。
[圖2]colour_primaries_info SEI之語法的例子的圖示。
[圖3]colour_primaries_info SEI之各資訊之內容的說明圖。
[圖4]colour_primaries_info SEI之各資訊之內容的說明圖。
[圖5]colour_primaries_info_sei_element之語法的例子的圖示。
[圖6]colour_primaries_info_sei_element之各資訊之內容的說明圖。
[圖7]colour_primaries_info_sei_element之各資訊之內容的說明圖。
[圖8]ref_display_luminance_info SEI之語法的例子的圖示。
[圖9]ref_display_luminance_info SEI之各資訊之內容的說明圖。
[圖10]說明編碼裝置的串流生成處理的流程圖。
[圖11]適用了本揭露之解碼裝置的第1實施形態之構成例的區塊圖。
[圖12]圖11的解碼裝置的影像生成處理的說明用流程圖。
[圖13]適用了本揭露之編碼裝置的第2實施形態之構成例的區塊圖。
[圖14]colour_primaries_info SEI之語法的例子的圖示。
[圖15]colour_primaries_info SEI之各資訊的說明圖。
[圖16]colour_primaries_info SEI之各資訊的說明圖。
[圖17]colour_primaries_info SEI之各資訊的說明 圖。
[圖18]colour_primaries_info SEI之各資訊的說明圖。
[圖19]colour_primaries_info SEI之各資訊的說明圖。
[圖20]說明編碼裝置的串流生成處理的流程圖。
[圖21]適用了本揭露之解碼裝置的第2實施形態之構成例的區塊圖。
[圖22]圖21的解碼裝置的影像生成處理的說明用流程圖。
[圖23]色域資訊和亮度資訊所被配置的作為系統層的MP4之箱盒的說明圖。
[圖24]電腦硬體之構成例的區塊圖。
[圖25]多視點影像編碼方式之例子的圖示。
[圖26]適用了本揭露的多視點影像編碼裝置的構成例之區塊圖。
[圖27]適用了本揭露的多視點影像解碼裝置的構成例之區塊圖。
[圖28]階層影像編碼方式之例子的圖示。
[圖29]空間性可調式編碼之例子的說明圖。
[圖30]時間性可調式編碼之例子的說明圖。
[圖31]訊噪比的可調式編碼之例子的說明圖。
[圖32]適用了本揭露的階層影像編碼裝置的構成例之區塊圖。
[圖33]適用了本揭露的階層影像解碼裝置的構成例之區塊圖。
[圖34]適用了本揭露之電視裝置的概略構成例的圖示。
[圖35]適用了本揭露之行動電話機的概略構成例的圖示。
[圖36]適用了本揭露之記錄再生裝置的概略構成例的圖示。
[圖37]適用了本揭露之攝像裝置的概略構成例的圖示。
[圖38]可調式編碼利用之一例的區塊圖。
[圖39]可調式編碼利用之另一例的區塊圖。
[圖40]可調式編碼利用的再另一例的區塊圖。
[圖41]圖示了適用了本揭露之視訊套組的概略構成之一例。
[圖42]圖示了適用了本揭露之視訊處理器的概略構成之一例。
[圖43]圖示了適用了本揭露之視訊處理器的概略構成之另一例。
<第1實施形態> (編碼裝置的第1實施形態的構成例)
圖1係適用了本揭露之編碼裝置的第1實施形態之構成例的區塊圖。
圖1的編碼方式10係由設定部11、編碼部12、及傳輸部13所構成,將影像以符合HEVC方式進行編碼。
具體而言,編碼裝置10的設定部11係設定SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、VUI,SEI(Supplemental Enhancement Information)等之參數集。
作為SEI,係有colour_primaries_info SEI、ref_display_luminance_info SEI等。colour_primaries_info SEI,係為含有表示色域(之交界)之資訊亦即色域資訊的SEI。ref_display_luminance_info SEI係為,含有表示編碼對象影像在製作時顯示編碼對象影像之母片的顯示器(顯示部)的白色、灰色及黑色之亮度位準之亮度資訊(母片之顯示器的色域資訊)的SEI。設定部11係將已被設定之參數集,供給至編碼部12。
對編碼部12係輸入畫格單位的編碼對象影像。編碼部12係將所被輸入之編碼對象影像,以HEVC方式進行編碼。編碼部12係根據編碼結果所得之編碼資料和從設定部11所供給之參數集而生成編碼串流,供給至傳輸部13。
傳輸部13,係將從編碼部12所供給之編碼串流,傳輸至後述的解碼裝置。
(colour_primaries_info SEI之語法的例子)
圖2係colour_primaries_info SEI之語法的例子的圖示。
如圖2的第2行所示,colour_primaries_info SEI係描述有colour_primaries_info_id。如圖3所示,colour_primaries_info_id係為用來識別色域資訊之目的所需的ID。
如圖2的第3行所示,colour_primaries_info SEI係描述有colour_primaries_type。如圖3所示,colour_primaries_type係為色空間的類型。例如,如圖3的表所示,色空間之類型是RGB表色系的時候,colour_primaries_type係為1,色空間之類型是XYZ表色系的時候,colour_primaries_type係為2。
如圖2的第4行所示,colour_primaries_info SEI係描述有colour_primaries_info_present_flag。如圖3所示,colour_primaries_info_present_flag,係表示色域資訊之中的原色在色彩空間內之位置的原色資訊是否有被描述在colour_primaries_info SEI中的旗標。若原色資訊有被描述,則colour_primaries_info_present_flag係為1,若未被描述,則colour_primaries_info_present_flag係為0。
如圖2的第5行所示,colour_primaries_info SEI係描述有white_point_info_present_flag。如圖3所 示,white_point_info_present_flag,係表示色域資訊之中的白色在色彩空間內之位置(white point)的白色資訊是否有被描述在colour_primaries_info SEI中的旗標。若白色資訊有被描述,則white_point_info_present_flag係為1,若未被描述,則white_point_info_present_flag係為0。
如圖2的第6行及第7行所示,若VUI中所含之colour_description_present_flag為1,則colour_primaries_info SEI中係描述有limited_colour_gamut_boundaries_flag。此外,colour_description_present_flag,係為表示VUI中是否有描述用來識別其他規格所定義之色域的索引的旗標。若VUI中有索引被描述,則colour_description_present_flag係為1,若VUI中沒有索引被描述,則colour_description_present_flag係為0。
又,limited_colour_gamut_boundaries_flag,係如圖4所示,表示編碼對象影像之色域是否被限制在VUI中所描述之索引所識別的色域內的旗標。若色域有被限制,則limited_colour_gamut_boundaries_flag係為0,若色域未被限制,則limited_colour_gamut_boundaries_flag係為1。
如圖2的第8及9行所示,若limited_colour_gamut_boundaries_flag為1,則在colour_primaries_info SEI中,係有limited_colour_gamut_range_in_percent會被描述。如圖4 所示,limited_colour_gamut_range_in_percent,係表示編碼對象影像之色域相對於被VUI中所描述之索引所識別之色域的涵蓋率。亦即,limited_colour_gamut_range_in_percent,係為編碼對象影像之色域在被VUI中所描述之索引所識別之色域中所佔有的比率。
如圖2的第10行及第11行所示,若colour_primaries_info_present_flag為1,則在colour_primaries_info SEI中,係有colour_primaries_order_type會被描述。如圖4所示,colour_primaries_order_type係為原色資訊之描述順序的類型。
例如,如圖4的表所示,色空間的類型係為RGB表色系,原色資訊係以紅色、綠色、藍色的順序而被描述,其後,其他顏色的波長是由較長順序(例如黃色、青藍之順序)而被描述的情況下,colour_primaries_order_type係為1。又,色空間的類型係為RGB表色系,原色資訊是以波長較長之順序(例如紅色、黃色、綠色、青藍、藍色之順序)而被描述的情況下,colour_primaries_order_type係為2。色空間的類型係為XYZ表色系,原色資訊是以X,Y,Z之順序而被描述的情況下,colour_primaries_order_type係為3。
又,如圖2的第12行所示,若colour_primaries_info_present_flag為1,則在 colour_primaries_info SEI中,係有num_colour_primaries_minus3會被描述。如圖4所示,num_colour_primaries_minus3係為,從colour_primaries_info SEI中所被描述之原色資訊之數目,減算3之後的值。
如圖2的第13行乃至第16行所示,若colour_primaries_info_present_flag為1,則在colour_primaries_info SEI中係會被描述有,對num_colour_primaries_minus3加算3後之數量的原色資訊。原色資訊,係由表示原色在色彩空間內之X方向之位置的colour_primaries_info_sei_element(ColourPrimaryXSign[i]、ColourPrimaryXExp[i]、ColourPrimaryXMantissa[i]、ColourPrimaryXManlen[i]),和表示在Y方向之位置的colour_primaries_info_sei_element(ColourPrimaryYSign[i]、ColourPrimaryYExp[i]、ColourPrimaryYMantissa[i]、ColourPrimaryYManlen[i])所構成。
如圖2的第17行乃至第19行所示,若white_point_info_present_flag為1,則在colour_primaries_info SEI中,係有白色資訊會被描述。白色資訊,係由表示白色在色彩空間內之X方向之位置的colour_primaries_info_sei_element(WhitePointXSign、WhitePointXExp、WhitePointXMantissa、WhitePointXManlen),和表示在Y方向之位置的 colour_primaries_info_sei_element(WhitePointYSign、WhitePointYExp、WhitePointYMantissa、WhitePointYManlen)所構成。
(colour_primaries_info_sei_element之語法的例子)
圖5係為構成原色資訊及白色資訊的colour_primaries_info_sei_element之語法的例子的圖示。
如圖5所示,colour_primaries_info_sei_element係由colour_primaries_info_sign、colour_primaries_info_exponent、colour_primaries_info_mantissa_len_minus1、及colour_primaries_info_mantissa所構成。
此外,在圖5中,ColourPrimaryXSign[i]、ColourPrimaryYSign[i]、WhitePointXSign、WhitePointYSign總稱為OutSign。同樣地,ColourPrimaryXExp[i]、ColourPrimaryYExp[i]、WhitePointXExp、WhitePointYExp總稱為OutExp,ColourPrimaryXMantissa[i]、ColourPrimaryYMantissa[i]、WhitePointXMantissa、WhitePointYMantissa總稱為OutMantissa。又,ColourPrimaryXManlen[i]、ColourPrimaryYManlen[i]、WhitePointXManlen、WhitePointYManlen總稱為OutManLen。
colour_primaries_info_sign,係如圖6所示, 表示對應之色彩在色彩空間內之位置的座標之浮點的符號。若符號為正,則colour_primaries_info_sign係為0,若為負,則colour_primaries_info_sign係為1。
colour_primaries_info_exponent,係如圖6所示,表示對應之色彩在色彩空間內之位置的座標之浮點的指數。
colour_primaries_info_mantissa_len_minus1,係如圖6所示,是從colour_primaries_info_mantissa之位元數減算1之後的值。colour_primaries_info_mantissa,係如圖6所示,是對應之色彩在色彩空間內之位置的座標之浮點的尾數。
藉由以上,colour_primaries_info_sei_element,係可表示對應之色彩在色彩空間內之位置的座標x。亦即,座標x,係如圖7所示,可使用colour_primaries_info_sign、colour_primaries_info_exponent、colour_primaries_info_mantissa_len_minus1、及colour_primaries_info_mantissa,藉由以下的式(1)而求出。
[數1]0<e<127時 x=(-1)s*2e-31*(1+n÷2v) e=0時 x=(-1)s*2-(30+V)*n‧‧‧(1)
此外,於式(1)中,s係為colour_primaries_info_sign,e係為colour_primaries_info_exponent。又,n係為colour_primaries_info_mantissa,v係為colour_primaries_info_mantissa_len_minus1。
例如,若colour_primaries_info_sei_element是表示原色在色彩空間內之x方向之位置之座標ColourPrimariesX的colour_primaries_info_sei_element(ColourPrimaryXSign[i]、ColourPrimaryXExp[i]、ColourPrimaryXMantissa[i]、ColourPrimaryXManlen[i])的情況下,則如圖7的表所示,在式(1)的s中係會代入colour_primaries_info_sei_element(ColourPrimaryXSign[i]、ColourPrimaryXExp[i]、ColourPrimaryXMantissa[i]、ColourPrimaryXManlen[i])的colour_primaries_info_sign亦即ColourPrimariesXSign。
又,在式(1)的e中係會代入colour_primaries_info_sei_element(ColourPrimaryXSign[i]、ColourPrimaryXExp[i]、ColourPrimaryXMantissa[i]、ColourPrimaryXManlen[i])的colour_primaries_info_exponent亦即ColourPrimariesXExp。再者,在式(1)的n中係會代入colour_primaries_info_sei_element(ColourPrimaryXSign[i] 、ColourPrimaryXExp[i]、ColourPrimaryXMantissa[i]、ColourPrimaryXManlen[i])的colour_primaries_info_mantissa亦即ColourPrimaryXMantissa,在v中係會代入colour_primaries_info_mantissa_len_minus1亦即ColourPrimaryXManlen。藉此,作為座標x,係會算出原色在色彩空間內之x方向之位置的座標ColourPrimariesX。
同樣地,若colour_primaries_info_sei_element是colour_primaries_info_sei_element(ColourPrimaryYSign[i]、ColourPrimaryYExp[i]、ColourPrimaryYMantissa[i]、ColourPrimaryYManlen[i])的情況下,則作為座標x,係會算出原色在色彩空間內之y方向之位置的座標ColourPrimariesY。
若colour_primaries_info_sei_element是colour_primaries_info_sei_element(WhitePointXSign、WhitePointXExp、WhitePointXMantissa、WhitePointXManlen)的情況下,則作為座標x,係會算出白色在色彩空間內之x方向之位置的座標WhitePointX。
若colour_primaries_info_sei_element是colour_primaries_info_sei_element(WhitePointYSign、WhitePointYExp、WhitePointYMantissa、WhitePointYManlen)的情況下,則作為座標x,係會算出 白色在色彩空間內之y方向之位置的座標WhitePointY。
(ref_display_luminance_info SEI之語法的例子)
圖8係ref_display_luminance_info SEI之語法的例子的圖示。
如圖8的第2行所示,ref_display_luminance_info SEI係描述有ref_display_luminance_info_id。ref_display_luminance_info_id,係如圖9所示,係為用來識別母片之顯示器(reference display)的白色、灰色、及黑色之亮度資訊之目的所需的ID。
如圖8的第3行所示,ref_display_luminance_info SEI係描述有ref_display_luminance_white_present_flag。ref_display_luminance_white_present_flag,係如圖9所示,是表示母片之顯示器的白色之亮度資訊是否有被描述在ref_display_luminance_info SEI中的旗標。若母片之顯示器的白色之亮度資訊是有被描述在ref_display_luminance_info SEI中,則ref_display_luminance_white_present_flag係為1,若未被描述則ref_display_luminance_white_present_flag係為0。
如圖8的第4行及第5行所示,在ref_display_luminance_info SEI中,係針對黑色及灰色都同樣地,會描述有 ref_display_luminance_black_present_flag和ref_display_luminance_gray_present_flag。
又,如圖8的第6行及第7行所示,若ref_display_luminance_white_present_flag為1,則在ref_display_luminance_info SEI中,係有ref_display_luminance_white會被描述。如圖9所示,ref_display_luminance_white係為白色的亮度資訊。
如圖8的第8行及第9行所示,在ref_display_luminance_info SEI中,係針對黑色也同樣地,若ref_display_luminance_black_present_flag為1,則會描述有黑色的亮度資訊亦即ref_display_luminance_black。
又,如圖8的第10行及第11行所示,在ref_display_luminance_info SEI中,係針對灰色也同樣地,若ref_display_luminance_gray_present_flag為1,則會描述有灰色的亮度資訊亦即ref_display_luminance_gray。
(編碼裝置之處理的說明)
圖10係說明編碼裝置10的串流生成處理的流程圖。
於圖10的步驟S11中,編碼裝置10的設定部11係設定SPS。於步驟S12中,設定部11係設定含有用來識別其他規格所定義之色域的索引(識別資訊)的VUI。
於步驟S13中,設定部11係設定PPS。於步驟S14中,設定部11係判定編碼對象影像之色域是否比被VUI中所含之索引所識別之色域還窄。
在步驟S14中若判定編碼對象影像之色域是比被VUI中所含之索引所識別之色域還窄,則處理係前進至步驟S15。於步驟S15中,設定部11係設定含有編碼對象影像之色域的colour_primaries_info SEI,使處理前進至步驟S16。
另一方面,在步驟S14中若判定編碼對象影像之色域是不比被VUI中所含之索引所識別之色域還窄,則含有編碼對象影像之色域的colour_primaries_info SEI係不被設定。例如,含有limited_colour_gamut_range_in_percent的colour_primaries_info SEI,會被設定。然後,處理便進入步驟S16。
於步驟S16中,設定部11係設定含有母片之顯示器之白色、灰色、及黑色之亮度資訊的ref_display_luminance_info SEI。設定部11係將已被設定之SPS、PPS、VUI、colour_primaries_info SEI、ref_display_luminance_info SEI等之參數集,供給至編碼部12。
於步驟S17中,編碼部12係將從外部所被輸入之畫格單位的編碼對象影像,以HEVC方式進行編碼。於步驟S18中,編碼部12係根據編碼結果所得之編碼資 料和從設定部11所供給之參數集而生成編碼串流,供給至傳輸部13。
於步驟S19中,傳輸部13係將從編碼部12所供給之編碼串流,傳輸至後述的解碼裝置,結束處理。
如以上,編碼裝置10係將含有色域資訊的colour_primaries_info SEI予以設定並傳輸,因此即使編碼對象影像是和其他規格所定義之色域不同,仍可使解碼側正確辨識編碼對象影像之色域。
又,編碼裝置10係將含有白色、黑色、及灰色之亮度資訊的ref_display_luminance_info SEI予以設定並傳輸,因此可使解碼側正確辨識母片之顯示器的亮度資訊。
此外,在上述的說明中,係若編碼對象影像之色域是比被VUI中所含之索引所識別之色域還窄,則含有色域資訊的colour_primaries_info SEI會被設定,但亦可為在較廣時也被設定。
(解碼裝置的第1實施形態的構成例)
圖11係將從圖1的編碼裝置10所傳輸過來的編碼串流予以解碼,適用了本揭露的解碼裝置的第1實施形態之構成例的區塊圖。
圖11的解碼裝置50係由收取部51、抽出部52、解碼部53、調整部54、顯示控制部55、及顯示部56所構成。
解碼裝置50的收取部51,係將從圖1的編碼裝置10所傳輸過來的編碼串流予以收取,供給至抽出部52。
抽出部52係從收取部51所供給之編碼串流中,抽出參數集和編碼資料。抽出部52係將參數集和編碼資料,供給至解碼部53。又,抽出部52係將參數集之中的VUI、colour_primaries_info SEI、及ref_display_luminance_info SEI,供給至調整部54。
解碼部53係將從抽出部52所供給之編碼資料,以HEVC方式予以解碼。此時,解碼部53係因應需要,而也會參照從抽出部52所供給之參數集。解碼部53係將解碼結果所得之影像,供給至調整部54。
調整部54,係關於是否有從抽出部52所供給之colour_primaries_info SEI中取得色域資訊,是根據VUI中所含之索引而辨識色域。調整部54,係基於已被取得之色域資訊所表示之色域或所被辨識之色域、和顯示部56的色域,來調整從解碼部53所供給之影像的色域。
又,調整部54,係從抽出部52所供給之ref_display_luminance_info SEI,取得白色、黑色、及灰色之亮度資訊。調整部54,係基於該亮度資訊和顯示部56的亮度資訊,來調整色域調整後之影像的亮度動態範圍。調整部54,係將亮度之動態範圍調整後的影像,供給至顯示控制部55。
此外,此處雖然設計成,亮度之動態範圍的 調整是在色域調整後進行,但亦可為在亮度之動態範圍的調整後,才調整色域。
顯示控制部55,係令從調整部54所供給之影像,被顯示在顯示部56。
(解碼裝置之處理的說明)
圖12係圖11的解碼裝置50的影像生成處理的說明用流程圖。
於圖12的步驟S51中,解碼裝置50的收取部51,係將從圖1的編碼裝置10所傳輸過來的編碼串流予以收取,供給至抽出部52。
於步驟S52中,抽出部52係從收取部51所供給之編碼串流中,抽出參數集和編碼資料。抽出部52係將參數集和編碼資料,供給至解碼部53。又,抽出部52係將參數集之中的VUI、colour_primaries_info SEI、及ref_display_luminance_info SEI,供給至調整部54。
於步驟S53中,解碼部53係將從抽出部52所供給之編碼資料,以HEVC方式予以解碼。此時,解碼部53係因應需要,而也會參照從抽出部52所供給之參數集。解碼部53係將解碼結果所得之影像,供給至調整部54。
於步驟S54中,調整部54係判定,是否有從抽出部52供給colour_primaries_info SEI。若步驟S54中判定為有colour_primaries_info SEI被供給,則處理係前 進至步驟S55。
於步驟S55中,調整部54係從colour_primaries_info SEI取得色域資訊,辨識該色域資訊所表示的色域。此外,若colour_primaries_info SEI中不含色域資訊,則例如,基於limited_colour_gamut_range_in_percent來辨識色域。然後,處理便進入步驟S57。
另一方面,若步驟S54中判定為沒有colour_primaries_info SEI被供給,則於步驟S56中,調整部54,係根據從抽出部52所供給之VUI中所含之索引,辨識其他規格所定義的色域。然後,處理便進入步驟S57。
於步驟S57中,調整部54係基於顯示部56之色域和步驟S55或步驟S56中所辨識之色域,來調整從解碼部53所供給之影像的色域。
於步驟S58中,調整部54係從抽出部52所供給之ref_display_luminance_info SEI,取得白色、黑色、及灰色之亮度資訊。
於步驟S59中,調整部54係基於顯示部56的亮度資訊和所取得到的亮度資訊,來調整色域調整後的影像之亮度的動態範圍。調整部54係將亮度之動態範圍調整後的影像,供給至顯示控制部55。
於步驟S60中,顯示控制部55係令從調整部54所供給之影像被顯示在顯示部56,結束處理。
如以上,解碼裝置50係收取含有色域資訊的colour_primaries_info SEI,因此可正確辨識編碼對象影像之色域。其結果為,可將解碼後的影像之色域做最佳化。亦即,在編碼對象影像之色域是和其他規格所定義之色域不同的情況下,可防止解碼後之影像的色域被無謂削減或擴大。
又,解碼裝置50係收取含有白色、黑色、及灰色之亮度資訊的ref_display_luminance_info SEI,因此可正確辨識母片之顯示器的亮度資訊。其結果為,可將解碼後的影像的亮度之動態範圍做最佳化。
此外,若編碼對象影像之色域是比被VUI中所含之索引所識別之色域還廣,則亦可不在colour_primaries_info SEI中描述色域資訊。此情況下,解碼裝置50係基於limited_colour_gamut_range_in_percent、和被VUI中所含之索引所識別之色域,來辨識編碼對象影像之色域,調整色域。
如此,即使色域資訊未被描述的情況下,解碼裝置50係仍基於limited_colour_gamut_range_in_percent而相較於藉由VUI之索引而定義了編碼對象之色域的情況,可正確辨識編碼對象影像之色域。
<第2實施形態> (編碼裝置的第2實施形態的構成例)
圖13係適用了本揭露之編碼裝置的第2實施形態之構成例的區塊圖。
在圖13所示的構成當中,和圖1之構成相同的構成係標示相同符號。關於重複的說明則會適宜省略。
圖13的編碼裝置70之構成,係在取代設定部11改為設置設定部72這點上,以及新設置了影像調整部71這點上,是和圖1的構成不同。
對編碼裝置70的影像調整部71,係從外部輸入影像。影像調整部71,係隨著使用者的製作作業,一面令從外部輸入之影像被顯示在未圖示的母片之顯示器上,一面進行該影像之編輯等。影像調整部71,係將編輯後的影像的色域資訊、和未圖示之母片之顯示器的白色及黑色的亮度資訊,供給至設定部72。又,影像調整部71,係將編輯後之影像當作編碼對象影像而輸入至編碼部12。
設定部72係設定SPS、PPS、VUI。又,設定部72係設定含有從影像調整部71所供給之色域資訊和亮度資訊的colour_primaries_info SEI。設定部72係將已被設定之SPS、PPS、VUI、colour_primaries_info SEI等之參數集,供給至編碼部12。
(colour_primaries_info SEI之語法的例子)
圖14係colour_primaries_info SEI之語法之例子的圖 示,圖15乃至圖19係colour_primaries_info SEI的各資訊之說明圖。
如圖14所示,colour_primaries_info SEI中係描述有colour_primaries_info_id。如圖15所示,colour_primaries_info_id係用來識別色域資訊之目的所需的ID。
又,如圖14所示,colour_primaries_info SEI中係描述有colour_primaries_cancel_flag。如圖15所示,colour_primaries_cancel_flag,係表示是否取消之前的colour_primaries_info SEI的連續性用的旗標。colour_primaries_cancel_flag,係若表示要取消之前的colour_primaries_info SEI的連續性時則為1,若表示不取消時則為0。
若colour_primaries_cancel_flag為0,則如圖14所示,在colour_primaries_info SEI中,係會描述有colour_primaries_persistence_flag。如圖15所示,colour_primaries_persistence_flag,係表示是否將colour_primaries_info SEI中所含之色域資訊及亮度資訊,適用於連續之複數圖像的旗標。colour_primaries_persistence_flag,係若要將色域資訊及亮度資訊對連續之複數圖像做適用時則為1,若僅對1個圖像做適用時則為0。
又,如圖14所示,colour_primaries_info SEI中係描述有white_level_display_luminance_present_flag。 white_level_display_luminance_present_flag,係如圖16所示,是表示white_level_display_luminance是否有被描述在colour_primaries_info SEI中的旗標。如圖19所示,white_level_display_luminance係為母片之顯示器的白色之亮度資訊。若母片之顯示器的白色之亮度資訊是有被描述在colour_primaries_info SEI中,則white_level_display_luminance_present_flag係為1,若未被描述則為0。
如圖14及圖16所示,在colour_primaries_info SEI中,針對黑色也同樣地,會描述有black_level_display_luminance_present_flag。
又,如圖14所示,colour_primaries_info SEI中係描述有colour_gamut_coverage_present_flag。colour_gamut_coverage_present_flag,係如圖16所示,是表示colour_gamut_coverage是否有被描述在colour_primaries_info SEI中的旗標。colour_gamut_coverage,係如圖19所示,是表示編碼對象影像之色域相對於被VUI中所描述之索引所識別之色域的涵蓋率的資訊。若colour_gamut_coverage是有被描述在colour_primaries_info SEI中,則colour_gamut_coverage_present_flag係為1,若未被描述則為0。
如圖14及圖17所示,colour_primaries_info SEI中係還會描述有,表示色域資訊之中的CIE表色系中 的紅色之x方向之色度的colour_primary_Red_x、和表示y方向之色度的colour_primary_Red_y。如圖14及圖18所示,在colour_primaries_info SEI中,係針對綠色、藍色、及白色也都同樣地,colour_primary_Green_x、colour_primary_Green_y、colour_primary_Blue_x、colour_primary_Blue_y、white_point_x、white_point_y,是被當作色域資訊而描述。
這些色域資訊,係全部都是以16位元固定小數點而被描述。亦即,色域資訊係可考慮藉由,所能傳輸之資訊大小是有所限制的HDMI(註冊商標))(High-Definition Multimedia Interface)的EDID(Extended display identification data)等,從影像調整部71等而被傳輸過來。又,本申請人目前正在將以固定小數點而被描述的關於色域之詮釋資料,提案成為IEC(International Electrotechnical Commission)61966-12-2。因此,為了使色域資訊的大小不會變動,或,為了使得提議中的詮釋資料能夠當作色域資訊來使用,因此色域資訊係以固定小數點而被描述。
此外,第1實施形態中的色域資訊,亦可也是用16位元固定小數點而被描述。
又,如圖14所示,若white_level_display_luminance_present_flag為1,則在colour_primaries_info SEI中,係有white_level_display_luminance會被描述。若 black_level_display_luminance_present_flag為1,則會描述有blak_level_display_luminance。blak_level_display_luminance,係如圖19所示,是母片之顯示器的黑色之亮度資訊。
如以上,在colour_primaries_info SEI中,係會描述有white_level_display_luminance和blak_level_display_luminance。亦即,本申請人目前正在將含有白色與黑色之亮度資訊的關於亮度之詮釋資料,提議成為IEC61966-12-2。因此,為了可將提議中的詮釋資料,當作white_level_display_luminance和blak_level_display_luminance來使用,因此white_level_display_luminance和blak_level_display_luminance,係被描述在colour_primaries_info SEI中。
又,如圖14所示,若colour_gamut_coverage_present_flag為1,則在colour_primaries_info SEI中,係有colour_gamut_coverage會被描述。
(編碼裝置之處理的說明)
圖20係說明編碼裝置70的串流生成處理的流程圖。
於圖20的步驟S80中,影像調整部71,係隨著使用者的製作作業,一面令從外部輸入之影像被顯示在未圖示的母片之顯示器上,一面編輯該影像。影像調整部 71,係將編輯後的影像的色域資訊、和未圖示之母片之顯示器的白色及黑色的亮度資訊,供給至設定部72。又,影像調整部71,係將編輯後之影像當作編碼對象影像而輸入至編碼部12。
步驟S81乃至S83之處理,係和圖10的步驟S11乃至S13之處理相同,因此省略說明。
於步驟S84中,設定部72係設定,含有從影像調整部71所供給之編碼對象影像之色域和母片之顯示器之亮度資訊的colour_primaries_info SEI。
步驟S85乃至S87之處理,係和圖20的步驟S17乃至S19之處理相同,因此省略說明。
如以上,編碼裝置70係將含有色域資訊的colour_primaries_info SEI予以設定並傳輸,因此即使編碼對象影像是和其他規格所定義之色域不同,仍可使解碼側正確辨識編碼對象影像之色域。
又,編碼裝置70係也將white_level_display_luminance和black_level_display_luminance,設定在colour_primaries_info SEI中,加以傳輸,因此可使解碼側正確辨識母片之顯示器的亮度資訊。
(解碼裝置的第2實施形態的構成例)
圖21係將從圖13的編碼裝置70所傳輸過來的編碼串流予以解碼,適用了本揭露的解碼裝置的第2實施形態 之構成例的區塊圖。
在圖21所示的構成當中,和圖11之構成相同的構成係標示相同符號。關於重複的說明則會適宜省略。
圖21的解碼裝置90之構成,係在取代了抽出部52、調整部54、顯示控制部55改為設置抽出部91、調整部92、顯示控制部93這點上,是與圖11的構成不同。
圖21的解碼裝置90之抽出部91,係從收取部51所供給之編碼串流,抽出參數集和編碼資料。抽出部91係將參數集和編碼資料,供給至解碼部53。又,抽出部91係將參數集之中的VUI及colour_primaries_info SEI,供給至調整部92,將colour_primaries_info SEI供給至顯示控制部93。
調整部92係從抽出部91所供給的colour_primaries_info SEI,取得色域資訊和colour_gamut_coverage。又,調整部92係根據從抽出部91所供給之VUI中所含之索引,辨識出色域。調整部92,係基於已被取得之色域資訊所表示之色域、或是以所被辨識出來的色域和colour_gamut_coverage為基礎之色域、和顯示部56的色域,來調整從解碼部53所供給之影像的色域。調整部92係將色域調整後的影像,供給至顯示控制部93。
顯示控制部93,係從抽出部91所供給之 colour_primaries_info SEI,取得白色及黑色的亮度資訊。顯示控制部93,係基於該亮度資訊和顯示部56的亮度資訊,來調整從調整部92所供給之色域調整後之影像的亮度動態範圍。顯示控制部93,係將亮度動態範圍調整後的影像,供給至顯示部56,並顯示之。
(解碼裝置之處理的說明)
圖22係圖21的解碼裝置90的影像生成處理的說明用流程圖。
於圖22的步驟S101中,解碼裝置90的收取部51,係將從圖13的編碼裝置70所傳輸過來的編碼串流予以收取,供給至抽出部91。
於步驟S102中,抽出部91係從收取部51所供給之編碼串流中,抽出參數集和編碼資料。抽出部91係將參數集和編碼資料,供給至解碼部53。又,抽出部91係將參數集之中的VUI及colour_primaries_info SEI,供給至調整部92,將colour_primaries_info SEI供給至顯示控制部93。
於步驟S103中,解碼部53係將從抽出部91所供給之編碼資料,以HEVC方式予以解碼。此時,解碼部53係因應需要,而也會參照從抽出部91所供給之參數集。解碼部53係將解碼結果所得之影像,供給至調整部92。
於步驟S104中,調整部92係根據從抽出部 91所供給之VUI中所含之索引,辨識其他規格所定義的色域。
於步驟S105中,調整部92係判定,是否有從抽出部91供給colour_primaries_info SEI。若步驟S105中判定為有colour_primaries_info SEI被供給,則處理係前進至步驟S106。
於步驟S106中,調整部92係從colour_primaries_info SEI取得色域資訊,辨識該色域資訊所表示的色域。此外,若colour_primaries_info SEI中不含色域資訊,則例如,基於colour_gamut_coverage和步驟S104所辨識出來的色域,來辨識色域。然後,處理便進入步驟S107。
另一方面,若步驟S105中判定為沒有colour_primaries_info SEI被供給,則處理係前進至步驟S107。
於步驟S107中,調整部92係基於顯示部56之色域和步驟S104或步驟S106中所辨識之色域,來調整從解碼部53所供給之影像的色域。
於步驟S108中,顯示控制部93,係從抽出部91所供給之colour_primaries_info SEI,取得白色及黑色的亮度資訊。於步驟S109中,顯示控制部93係基於顯示部56的亮度資訊和所取得到的亮度資訊,來調整從調整部92所供給之色域調整後的影像之亮度的動態範圍。
於步驟S110中,顯示控制部93係將亮度動 態範圍調整後的影像供給至顯示部56而顯示之,結束處理。
如以上,解碼裝置90係收取含有色域資訊的colour_primaries_info SEI,因此可正確辨識編碼對象影像之色域。其結果為,可將解碼影像之色域做最佳化。亦即,在編碼對象影像之色域是和其他規格所定義之色域不同的情況下,可防止解碼影像之色域被無謂削減或擴大。
例如,若顯示部56的色域是比編碼對象影像之色域還大,則解碼裝置90係可不調整解碼影像之色域就進行顯示。其結果為,可使製作作業者所意圖之影像,被顯示在顯示部56。
又,解碼裝置90係基於已被正確辨識之色域來調整解碼影像的色域,就可顯示高畫質的解碼影像。
然後,在colour_primaries_info SEI中,係也還含有white_level_display_luminance和blak_level_display_luminance,因此解碼裝置90係可正確辨識母片之顯示器的亮度資訊。其結果為,可將解碼後的影像的亮度之動態範圍做最佳化。
此外,在上述的說明中,係雖然是在SEI裡配置色域資訊或亮度資訊,但亦可被配置在系統層。
<將色域資訊和亮度資訊配置在MP4之箱盒中的例子> (色域資訊和亮度資訊所被配置的MP4之箱盒的說明)
圖23係色域資訊和亮度資訊所被配置的作為系統層 的MP4之箱盒的說明圖。
如圖23所示,將色域資訊和亮度資訊配置在MP4之箱盒中時,會新定義一種將色域資訊與亮度資訊當作ColourPrimariesInfo而儲存的tinf(Colour Primaries Information Box)箱盒。該tinf箱盒係被儲存在trak箱盒(tarck box)(中所被儲存之stbl箱盒)或traf箱盒(track fragment box)中。
ColourPrimariesInfo,係除了被插入有為了位元組對齊所需的padding_value以外,其餘是和圖2的colour_primaries_info SEI及圖8的ref_display_luminance_info SEI、或圖14的colour_primaries_info SEI相同構成。
本揭露係可適用於AVC方式。
<第3實施形態> (適用了本揭露之電腦的說明)
上述一連串處理,係可藉由硬體來執行,也可藉由軟體來執行。在以軟體來執行一連串之處理時,構成該軟體的程式,係可安裝至電腦。此處,電腦係包含:被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖24係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於電腦中,CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203,係藉由匯流排204而被彼此連接。
在匯流排204上係還連接有輸出入介面205。輸出入介面205上係連接有:輸入部206、輸出部207、記憶部208、通訊部209、及驅動機210。
輸入部206,係由鍵盤、滑鼠、麥克風等所成。輸出部207係由顯示器、揚聲器等所成。記憶部208,係由硬碟或非揮發性記憶體等所成。通訊部209係由網路介面等所成。驅動機210係驅動:磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體211。
在如以上構成的電腦中,藉由CPU201而例如將記憶部208中所記憶之程式透過輸出入介面205及匯流排204,而載入至RAM203裡並加以執行,就可進行上述一連串處理。
電腦(CPU201)所執行的程式,係可記錄在例如封裝媒體等之可移除式媒體211中而提供。又,程式係可透過區域網路,網際網路,數位衛星播送這類有線或無線的傳輸媒介而提供。
在電腦中,程式係藉由將可移除式媒體211裝著至驅動機210,就可透過輸出入介面205,安裝至記憶部208。又,程式係可透過有線或無線之傳輸媒體,以通訊部209接收之,安裝至記憶部208。除此以外,程式係可事前安裝在ROM202或記憶部208中。
此外,電腦所執行的程式,係可為依照本說 明書所說明之順序而在時間序列上進行處理的程式,也可平行地,或呼叫進行時等必要之時序上進行處理的程式。
<第4實施形態> (對多視點影像編碼、多視點影像解碼之適用)
上述一連串處理,係可適用於多視點影像編碼‧多視點影像解碼。圖25係圖示多視點影像編碼方式之一例。
如圖25所示,多視點影像,係含有複數視點(view)之影像。此多視點影像的複數視點,係由不利用其他視點之影像僅使用自身視點之影像而進行編碼‧解碼的基礎視點、和利用其他視點之影像而進行編碼‧解碼的非基礎視點所成。非基礎視點,係可利用基礎視點之影像,也可利用其他非基礎視點之影像。
在將如圖25所示之多視點影像進行編碼‧解碼時,係將各視點之影像進行編碼‧解碼,但對於該各視點的編碼‧解碼,亦可適用上述第1實施形態的方法。藉由如此設計,在解碼側上可以正確辨識編碼對象影像之色域。
甚至,在各視點的編碼‧解碼中,亦可共用上述第1實施形態之方法中所被使用的旗標或參數。更具體而言,例如,將colour_primaries_info SEI或ref_display_luminance_info SEI的語法要素等,於各視點的編碼‧解碼中做共用。當然,亦可將這些以外的必要資訊,於各視點的編碼‧解碼時做共用。
藉由如此設計,可抑制冗長的資訊傳輸,可降低進行傳輸的資料量(編碼量)(亦即,可抑制編碼效率之降低)。
(多視點影像編碼裝置)
圖26係上述進行多視點影像編碼的多視點影像編碼裝置的圖示。如圖26所示,多視點影像編碼裝置600係具有:編碼部601、編碼部602、及多工化部603。
編碼部601,係將基礎視點影像予以編碼,生成基礎視點影像編碼串流。編碼部602,係將非基礎視點影像予以編碼,生成非基礎視點影像編碼串流。多工化部603,係將編碼部601中所生成之基礎視點影像編碼串流,和編碼部602中所生成之非基礎視點影像編碼串流,進行多工化,生成多視點影像編碼串流。
對該多視點影像編碼裝置600的編碼部601及編碼部602,可適用編碼裝置10(圖1)。亦即,在對各視點的編碼時,可使解碼側正確辨識編碼對象影像之色域。又,編碼部601及編碼部602,係可使用彼此相同的旗標或參數(例如有關影像間之處理的語法要素等)來進行編碼(亦即可共用旗標或參數),因此可抑制編碼效率之降低。
(多視點影像解碼裝置)
圖27係上述進行多視點影像解碼的多視點影像解碼 裝置的圖示。如圖27所示,多視點影像解碼裝置610係具有:逆多工化部611、解碼部612、及解碼部613。
逆多工化部611,係將基礎視點影像編碼串流與非基礎視點影像編碼串流所多工化而成的多視點影像編碼串流,進行逆多工化,抽出基礎視點影像編碼串流、和非基礎視點影像編碼串流。解碼部612,係將已被逆多工化部611所抽出的基礎視點影像編碼串流予以解碼,獲得基礎視點影像。解碼部613,係將已被逆多工化部611所抽出的非基礎視點影像編碼串流予以解碼,獲得非基礎視點影像。
對該多視點影像解碼裝置610的解碼部612及解碼部613,可適用解碼裝置50(圖11)。亦即,在對各視點的解碼時,可正確辨識編碼對象影像之色域。又,解碼部612及解碼部613,係可使用彼此相同的旗標或參數(例如有關影像間之處理的語法要素等)來進行解碼(亦即可共用旗標或參數),因此可抑制編碼效率之降低。
<第5實施形態> (對階層影像編碼、階層影像解碼之適用)
上述一連串處理,係可適用於階層影像編碼‧階層影像解碼(可調式編碼、可調式解碼)。圖28係圖示階層影像編碼方式之一例。
階層影像編碼(可調式編碼),係將影像資料,針對所定參數使其具有可調(scalable)機能,將影像予以複 數圖層化(階層化),針對每層來進行編碼。階層影像解碼(可調式解碼),係為對應於該階層影像編碼的解碼。
如圖28所示,於影像之階層化中,以具有可調式機能之所定參數為為基準,1個影像會被分割成複數影像(圖層)。亦即,已被階層化的影像(階層影像)係含有,其所定參數之值係為互異的複數階層(圖層)之影像。該階層影像的複數圖層係由,不利用其他圖層之影像僅使用自身圖層之影像而進行編碼‧解碼的基礎圖層、和利用其他圖層之影像而進行編碼‧解碼的非基礎圖層(亦稱增強圖層)所成。非基礎圖層,係可利用基礎圖層之影像,也可利用其他非基礎圖層之影像。
一般而言,非基礎圖層,係為了降低冗長性,而由自身之影像、和其他圖層之影像的差分影像之資料(差分資料)所構成。例如,若將1個影像變成基礎圖層和非基礎圖層亦稱作增強圖層)而做2階層化,則僅用基礎圖層的資料會獲得比原始影像還低品質的影像,藉由將基礎圖層之資料和非基礎圖層之資料加以合成,可獲得原始影像(亦即高品質影像)。
藉由如此把影像予以階層化,就可因應狀況而容易獲得多樣品質的影像。例如對於行動電話這類處理能力低的終端,係傳輸只有基礎圖層(base layer)的影像壓縮資訊,再生空間時間解析度低、或畫質不佳的動態影像;對電視機或個人電腦這類處理能力高的終端,係除了基礎圖層(base layer)之外,還將增強圖層(enhancement layer)之影像壓縮資訊予以傳輸,再生空間時間解析度高、或畫質高的動態影像,可不必進行轉碼處理,就能夠將符合終端或網路能力之影像壓縮資訊,從伺服器加以發送。
在將如圖28之例子的階層影像進行編碼‧解碼時,係將各圖層之影像進行編碼‧解碼,但對於該各圖層的編碼‧解碼,亦可適用上述第1實施形態的方法。藉由如此設計,在解碼側上可以正確辨識編碼對象影像之色域。
甚至,在各圖層的編碼‧解碼中,亦可共用上述第1實施形態之方法中所被使用的旗標或參數。更具體而言,例如,將colour_primaries_info SEI或ref_display_luminance_info SEI的語法要素等,於各圖層的編碼‧解碼中做共用。當然,亦可將這些以外的必要資訊,於各圖層的編碼‧解碼時做共用。
藉由如此設計,可抑制冗長的資訊傳輸,可降低進行傳輸的資料量(編碼量)(亦即,可抑制編碼效率之降低)。
(可調式的參數)
此種階層影像編碼、階層影像解碼(可調式編碼、可調式解碼)中,具有可調式(scalable)機能的參數,係為任意。例如,亦可將如圖29所示的空間解析度,當作該參數(spatial scalability)。此空間可調性(spatial scalability) 的情況下,每一圖層的影像的解析度係為不同。亦即,此情況下,如圖29所示,各圖像是被階層化成為空間性解析度低於原始影像的基礎圖層、和藉由與基礎圖層進行合成就可獲得原本空間解析度的增強圖層之2階層。當然,此階層數僅為一例,亦可階層化成任意之階層數。
又,作為帶有如此可調性的參數,其他還可適用例如圖30所示的時間解析度(temporal scalability)。此時間可調性(temporal scalability)的情況下,每一圖層的畫格速率係為不同。亦即,此情況下,如圖30所示,各圖像是被階層化成為畫格速率比原始動態影像還低的基礎圖層、和藉由與基礎圖層進行合成就可獲得原本畫格速率的增強圖層之2階層。當然,此階層數僅為一例,亦可階層化成任意之階層數。
再者,作為帶有如此可調性的參數,亦可適用例如訊噪比(SNR(Signal to Noise ratio))(SNR scalability)。此SNR可調性(SNR scalability)的情況下,每一圖層的SN比係為不同。亦即,此情況下,如圖31所示,各圖像是被階層化成為SNR比原始影像還低的基礎圖層、和藉由與基礎圖層進行合成就可獲得原本SNR的增強圖層之2階層。當然,此階層數僅為一例,亦可階層化成任意之階層數。
帶有可調性的參數,係當然亦可為上述例子以外者。例如,作為帶有可調性的參數,係亦可使用位元深度(bit-depth scalability)。此位元深度可調性(bit-depth scalability)的情況下,每一圖層的位元深度係為不同。此情況下,例如,基礎圖層(base layer)是由8位元(bit)影像所成,藉由對其加入增強圖層(enhancement layer),就可獲得10位元(bit)影像。
又,作為帶有可調性的參數,係亦可使用色度格式(chroma scalability)。此色度可調性(chroma scalability)的情況下,每一圖層的色度格式係為不同。此情況下,例如,基礎圖層(base layer)是由4:2:0格式的色差影像所成,藉由對其加入增強圖層(enhancement layer),就可獲得4:2:2格式的色差影像。
(階層影像編碼裝置)
圖32係上述進行階層影像編碼的階層影像編碼裝置的圖示。如圖32所示,階層影像編碼裝置620係具有:編碼部621、編碼部622、及多工化部623。
編碼部621,係將基礎圖層影像予以編碼,生成基礎圖層影像編碼串流。編碼部622,係將非基礎圖層影像予以編碼,生成非基礎圖層影像編碼串流。多工化部623,係將編碼部621中所生成之基礎圖層影像編碼串流,和編碼部622中所生成之非基礎圖層影像編碼串流,進行多工化,生成階層影像編碼串流。
對該階層影像編碼裝置620的編碼部621及編碼部622,可適用編碼裝置10(圖1)。亦即,在對各圖層的編碼時,可使解碼側正確辨識編碼對象影像之色域。 又,編碼部621及編碼部622,係可使用彼此相同的旗標或參數(例如有關影像間之處理的語法要素等)來進行畫面內預測之濾波處理的控制等(亦即可共用旗標或參數),因此可抑制編碼效率之降低。
(階層影像解碼裝置)
圖33係上述進行階層影像解碼的階層影像解碼裝置的圖示。如圖33所示,階層影像解碼裝置630係具有:逆多工化部631、解碼部632、及解碼部633。
逆多工化部631,係將基礎圖層影像編碼串流與非基礎圖層影像編碼串流所多工化而成的階層影像編碼串流,進行逆多工化,抽出基礎圖層影像編碼串流、和非基礎圖層影像編碼串流。解碼部632,係將已被逆多工化部631所抽出的基礎圖層影像編碼串流予以解碼,獲得基礎圖層影像。解碼部633,係將已被逆多工化部631所抽出的非基礎圖層影像編碼串流予以解碼,獲得非基礎圖層影像。
對該階層影像解碼裝置630的解碼部632及解碼部633,可適用解碼裝置50(圖11)。亦即,在對各圖層的解碼時,可正確辨識編碼對象影像之色域。又,解碼部612及解碼部613,係可使用彼此相同的旗標或參數(例如有關影像間之處理的語法要素等)來進行解碼(亦即可共用旗標或參數),因此可抑制編碼效率之降低。
<第6實施形態> (電視裝置之構成例)
圖34係例示了適用了本技術的電視裝置的概略構成。電視裝置900係具有:天線901、選台器902、解多工器903、解碼器904、映像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面部909。再者,電視裝置900係還具有控制部910、使用者介面部911等。
選台器902,係從天線901所接收到的播送波訊號中將所望之頻道加以選台然後進行解調,將所得到之編碼位元串流,輸出至解多工器903。
解多工器903係從編碼位元串流中抽出視聽對象之節目的映像或聲音的封包,將所抽出之封包的資料,輸出至解碼器904。又,解多工器903,係將EPG(Electronic Program Guide)等之資料的封包,供給至控制部910。此外,當有被進行擾頻時,則在解多工器等中進行擾頻之解除。
解碼器904,係進行封包的解碼處理,將解碼處理所生成之映像資料輸出至映像訊號處理部905,將聲音資料輸出至聲音訊號處理部907。
映像訊號處理部905,係對映像資料,進行雜訊去除或相應於使用者設定之映像處理等。映像訊號處理部905,係基於顯示部906中所被顯示之節目的映像資料、或透過網路所供給之應用程式,進行處理,而生成影 像資料等。又,映像訊號處理部905,係生成項目選擇等的用來顯示選單畫面等所需的映像資料,將其重疊於節目的映像資料上。映像訊號處理部905,係基於如此所生成之映像資料,而生成驅動訊號,驅動顯示部906。
顯示部906,係根據來自映像訊號處理部905的驅動訊號,來驅動顯示裝置(例如液晶顯示元件等),而使節目的映像等被顯示出來。
聲音訊號處理部907,係對聲音資料實施雜訊去除等之所定處理,進行處理後的聲音資料的D/A轉換處理或增幅處理,供給至揚聲器908而進行聲音輸出。
外部介面部909,係為用來與外部機器或網路做連接所需的介面,進行映像資料或聲音資料等之資料收送訊。
控制部910上係連接有使用者介面部911。使用者介面部911,係由操作開關或遙控訊號收訊部等所構成,會將相應於使用者操作之操作訊號,供給至控制部910。
控制部910係使用CPU(Central Processing Unit)或記憶體等所構成。記憶體係記憶著,被CPU所執行之程式或CPU進行處理上所必需的各種資料、EPG資料、透過網路所取得之資料等。記憶體中所記憶的程式,係在電視裝置900之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式,而控制著電視裝置900相應於使用者操作而動作的各部。
此外,在電視裝置900中係設有,用來將選台器902、解多工器903、映像訊號處理部905、聲音訊號處理部907、外部介面部909等與控制部910做連接所需的匯流排912。
在如此構成的電視裝置中,係在解碼器904裡設有本案之解碼裝置(解碼方法)的機能。因此,可正確辨識編碼對象影像之色域。
<第7實施形態> (行動電話機的構成例)
圖35係例示了適用了本技術的行動電話機的概略構成。行動電話機920係具有:通訊部922、聲音編解碼器923、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931。這些係透過匯流排933而被彼此連接。
又,通訊部922上係連接有天線921,聲音編解碼器923上係連接有揚聲器924和麥克風925。然後,控制部931上係還連接有操作部932。
行動電話機920,係在語音通話模式或資料通訊模式等之各種模式下,進行聲音訊號之收送訊、電子郵件或影像資料之收送訊、影像攝影或資料記錄等之各種動作。
於語音通話模式中,由麥克風925所生成的聲音訊號,係以聲音編解碼器923進行往聲音資料之轉換 或資料壓縮然後供給至通訊部922。通訊部922,係進行聲音資料的調變處理或頻率轉換處理等,生成送訊訊號。又,通訊部922係將送訊訊號供給至天線921然後發送至未圖示的基地台。又,通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等,將所獲得之聲音資料,供給至聲音編解碼器923。聲音編解碼器923,係進行聲音資料的資料解壓縮或往類比聲音訊號之轉換,對揚聲器924進行輸出。
又,於資料通訊模式中,當進行郵件送訊時,控制部931係受理藉由操作部932之操作而被輸入的文字資料,將所被輸入的文字,顯示在顯示部930。又,控制部931係基於操作部932的使用者指示等而生成郵件資料,然後供給至通訊部922。通訊部922,係進行郵件資料的調變處理或頻率轉換處理等,將所得到之送訊訊號,從天線921進行送訊。又,通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等,將郵件資料予以復原。將該郵件資料供給至顯示部930,進行郵件內容之顯示。
此外,行動電話機920係亦可將所收到之郵件資料,以記錄再生部929而記憶至記憶媒體。記憶媒體係為可任意改寫的記憶媒體。例如,記憶媒體係為RAM或內建式快閃記憶體等之半導體記憶體、硬碟、磁碟、光磁碟、光碟、USB(Universal Serial Bus)記憶體、或記憶卡等之可移除式媒體。
於資料通訊模式中,當要發送影像資料時,是將攝影機部926所生成的影像資料,供給至影像處理部927。影像處理部927係進行影像資料的編碼處理,生成編碼資料。
多工分離部928係將影像處理部927所生成之編碼資料、和從聲音編解碼器923所供給之聲音資料,以所定方式進行多工化然後供給至通訊部922。通訊部922,係進行多工化資料的調變處理或頻率轉換處理等,將所得到之送訊訊號,從天線921進行送訊。又,通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等,將多工化資料予以復原。將該多工化資料供給至多工分離部928。多工分離部928,係進行多工化資料的分離,將編碼資料供給至影像處理部927,將聲音資料供給至聲音編解碼器923。影像處理部927係進行編碼資料的解碼處理,生成影像資料。將該影像資料供給至顯示部930,進行所收到之影像的顯示。聲音編解碼器923,係將聲音資料轉換成類比聲音訊號而供給至揚聲器924,將所收到的聲音予以輸出。
在如此構成的行動電話裝置中,係在影像處理部927裡設有本案之編碼裝置及解碼裝置(編碼方法及解碼方法)的機能。因此,可使解碼側正確辨識編碼對象影像之色域。又,可正確辨識編碼對象影像之色域。
<第8實施形態> (記錄再生裝置的構成例)
圖36係例示了適用了本技術的記錄再生裝置的概略構成。記錄再生裝置940,係將例如所收到之播送節目的音訊資料與視訊資料,記錄在記錄媒體中,將該已被記錄之資料,以相應於使用者之指示的時序,提供給使用者。又,記錄再生裝置940係亦可從例如其他裝置取得音訊資料或視訊資料,將它們記錄至記錄媒體。再者,記錄再生裝置940係將記錄媒體中所記錄之音訊資料或視訊資料加以解碼並輸出,就可在監視器裝置等上,進行影像顯示或聲音輸出。
記錄再生裝置940係具有:選台器941、外部介面部942、編碼器943、HDD(Hard Disk Drive)部944、碟片驅動機945、選擇器946、解碼器947、OSD(On-Screen Display)部948、控制部949、使用者介面部950。
選台器941,係從未圖示之天線所接收到的播送訊號中,將所望之頻道予以選台。選台器941,係將所望之頻道的收訊訊號加以解調所得之編碼位元串流,輸出至選擇器946。
外部介面部942,係由IEEE1394介面、網路介面部、USB介面、快閃記憶體介面等之至少一者所構成。外部介面部942,係為用來與外部機器或網路、記憶卡等做連接所需的介面,進行所記錄之映像資料或聲音資料等之資料收訊。
編碼器943係從外部介面部942所供給之映 像資料或聲音資料未被編碼時係以所定方式進行編碼,將編碼位元串流輸出至選擇器946。
HDD部944係將映像或聲音等之內容資料、各種程式或其他資料等,記錄在內建的硬碟裡,或是再生時等從該當硬碟中加以讀出。
碟片驅動機945,係對所裝著之光碟,進行訊號的記錄及再生。光碟係為例如DVD碟片(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)碟片等。
選擇器946,係在映像或聲音之記錄時,選擇來自選台器941或編碼器943之任一者的編碼位元串流,供給至HDD部944或碟片驅動機945之任一者。又,選擇器946,係在映像或聲音之再生時,將從HDD部944或碟片驅動機945所輸出之編碼位元串流,供給至解碼器947。
解碼器947,係進行編碼位元串流之解碼處理。解碼器947,係將藉由進行解碼處理所生成之映像資料,供給至OSD部948。又,解碼器947,係將藉由進行解碼處理所生成之聲音資料,予以輸出。
OSD部948,係生成項目選擇等的用來顯示選單畫面等所需的映像資料,將其重疊至從解碼器947所輸出的映像資料而輸出。
控制部949上係連接有使用者介面部950。使用者介面部950,係由操作開關或遙控訊號收訊部等所構 成,會將相應於使用者操作之操作訊號,供給至控制部949。
控制部949係使用CPU或記憶體等所構成。記憶體係記憶著,被CPU所執行之程式或CPU進行處理上所必需的各種資料。記憶體中所記憶的程式,係在記錄再生裝置940之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式,而控制著記錄再生裝置940相應於使用者操作而動作的各部。
在如此構成的記錄再生裝置中,係在解碼器947裡設有本案之解碼裝置(解碼方法)的機能。因此,可正確辨識編碼對象影像之色域。
<第9實施形態> (攝像裝置的構成例)
圖37係例示了適用了本技術的攝像裝置的概略構成。攝像裝置960,係拍攝被攝體,將被攝體的影像顯示在顯示部上,或是將其當作影像資料而記錄在記錄媒體中。
攝像裝置960係具有:光學區塊961、攝像部962、攝影機訊號處理部963、影像資料處理部964、顯示部965、外部介面部966、記憶體部967、媒體驅動機968、OSD部969、控制部970。又,控制部970上係連接有使用者介面部971。再者,影像資料處理部964、外部介面部966、記憶體部967、媒體驅動機968、OSD部 969、控制部970等,係透過匯流排972而被連接。
光學區塊961,係使用對焦透鏡或光圈機構等所構成。光學區塊961,係使被攝體的光學像,成像在攝像部962的攝像面。攝像部962,係使用CCD或CMOS影像感測器所構成,藉由光電轉換而生成相應於光學像的電氣訊號然後供給至攝影機訊號處理部963。
攝影機訊號處理部963,係對從攝像部962所供給之電氣訊號,進行KNEE補正或γ補正、色彩補正等各種相機訊號處理。攝影機訊號處理部963,係將攝影機訊號處理後的影像資料,供給至影像資料處理部964。
影像資料處理部964,係進行從攝影機訊號處理部963所供給之影像資料的編碼處理。影像資料處理部964,係將藉由進行編碼處理所生成之編碼資料,供給至外部介面部966或媒體驅動機968。又,影像資料處理部964,係進行從外部介面部966或媒體驅動機968所供給之編碼資料的解碼處理。影像資料處理部964,係將藉由進行解碼處理所生成之影像資料,供給至顯示部965。又,影像資料處理部964,係將從攝影機訊號處理部963所供給之影像資料供給至顯示部965,或將從OSD部969所取得之顯示用資料,重疊至影像資料而供給至顯示部965。
OSD部969,係生成由記號、文字或圖形所成之選單畫面或小圖示等之顯示用資料而輸出至影像資料處理部964。
外部介面部966,係例如由USB輸出入端子等所構成,在進行影像之印刷時,與印表機連接。又,外部介面部966上係因應需要而連接有驅動機,磁碟、光碟等之可移除式媒體會被適宜裝著,從其中所讀出之電腦程式,係因應需要而被安裝。再者,外部介面部966係還具有被連接至LAN或網際網路等之所定網路的網路介面。控制部970係例如,依照來自使用者介面部971之指示,從媒體驅動機968中讀出編碼資料,將其從外部介面部966透過網路而提供至所連接的其他裝置。又,控制部970係可將透過網路而從其他裝置所供給之編碼資料或影像資料,透過外部介面部966而加以取得,將其供給至影像資料處理部964等等。
作為被媒體驅動機968所驅動的記錄媒體,係可使用例如磁碟、光磁碟、光碟、或半導體記憶體等之可讀寫之任意可移除式媒體。又,記錄媒體係為,身為可移除式媒體之種類亦可為任意,可以是磁帶裝置、也可以是碟片、也可以是記憶卡。當然,亦可以是非接觸IC(Integrated Circuit)卡等。
又,亦可將媒體驅動機968與記錄媒體一體化,例如,由內建式硬碟機或SSD(Solid State Drive)等這類非可移除性之記憶媒體所構成。
控制部970係使用CPU所構成。記憶體部967係記憶著,被控制部970所執行之程式或控制部970進行處理上所必需的各種資料等。記憶體部967中所記憶 的程式,係在攝像裝置960之啟動時等的所定時序上被控制部970所讀出而執行。控制部970係藉由執行程式,而控制著攝像裝置960相應於使用者操作而動作的各部。
在如此構成的攝像裝置中,係在影像資料處理部964裡設有本案之編碼裝置及解碼裝置(編碼方法及解碼方法)的機能。因此,可使解碼側正確辨識編碼對象影像之色域。又,可正確辨識編碼對象影像之色域。
<可調式編碼的應用例> (第1系統)
接著說明,被可調式編碼(階層編碼化)的可調式編碼資料的具體利用例。可調式編碼,係例如圖38所示的例子,被利用於傳輸資料之選擇。
於圖38所示的資料傳輸系統1000中,配訊伺服器1002,係將可調式編碼資料記憶部1001中所記憶的可調式編碼資料,予以讀出,透過網路1003,配送給個人電腦1004、AV機器1005、平板裝置1006、及行動電話機1007等之終端裝置。
此時,配訊伺服器1002,係隨著終端裝置的能力或通訊環境等,來選擇適切品質的編碼資料,進行傳輸。就算配訊伺服器1002多餘地傳輸高品質的資料,在終端裝置上也不一定會獲得高畫質的影像,反而會成為造成延遲或是溢位的主因。又,也恐怕會導致佔用多餘的通訊頻寬,增大終端裝置的負荷等等。反之,即是配訊伺服 器1002多餘地傳輸低品質的資料,在終端裝置則恐怕無法獲得充分畫質之影像。因此,配訊伺服器1002,係將可調式編碼資料記憶部1001中所記憶之可調式編碼資料,適宜地針對終端裝置的能力或通訊環境等,讀出適切品質之編碼資料而傳輸之。
例如,假設可調式編碼資料記憶部1001係將已被可調性編碼的可調式編碼資料(BL+EL)1011,加以記憶。該可調式編碼資料(BL+EL)1011,係為含有基礎圖層與增強圖層雙方的編碼資料,藉由將該資料進行解碼,就可獲得基礎圖層之影像及增強圖層之影像雙方。
配訊伺服器1002,係隨應於傳輸資料之終端裝置的能力或通訊環境等,來選擇適切的圖層,將該圖層之資料予以讀出。例如,配訊伺服器1002,係對處理能力高的個人電腦1004或平板裝置1006,係將高品質之可調式編碼資料(BL+EL)1011,從可調式編碼資料記憶部1001中予以讀出,直接傳輸。相對於此,例如,配訊伺服器1002,係對處理能力低的AV機器1005或行動電話機1007,係從可調式編碼資料(BL+EL)1011中抽出基礎圖層之資料,雖然是與可調式編碼資料(BL+EL)1011相同內容的資料,但是以比可調式編碼資料(BL+EL)1011低品質的可調式編碼資料(BL)1012,進行傳輸。
藉由如此使用可調式編碼資料,就可容易地調整資料量,因此可抑制延遲或是溢位的發生,或是抑制終端裝置或通訊媒體的無謂之負荷增大。又,可調式編碼 資料(BL+EL)1011,係由於降低了圖層間的冗長性,因此相較於將各圖層的編碼資料當作個別之資料時,可更加降低其資料量。因此,可更有效率地使用可調式編碼資料記憶部1001的記憶領域。
此外,像是個人電腦1004乃至行動電話機1007這樣,可在終端裝置上適用各種各樣的裝置,因此終端裝置的硬體性能,係隨裝置而不同。又,終端裝置所執行的應用程式也是相當多樣,因此該軟體的能力也相當多樣。甚至,作為通訊媒體的網路1003也是,例如網際網路或LAN(Local Area Network)等、有線或是無線、或是包含兩者的任何通訊線路網都會適用,其資料傳輸能力也是各式各樣。甚至,還可能隨著其他的通訊而變化。
於是,配訊伺服器1002係亦可在資料傳輸開始之前,先和資料傳輸目標之終端裝置進行通訊,獲得終端裝置的硬體性能、終端裝置所執行的應用程式(軟體)之性能等這些終端裝置的能力相關資訊,以及網路1003的可用頻寬等之通訊環境相關資訊。然後,配訊伺服器1002係亦可基於該所得到的資訊,來選擇適切的圖層。
此外,圖層的抽出,係亦可於終端裝置中進行。例如,個人電腦1004,係將所被傳輸來的可調式編碼資料(BL+EL)1011,予以解碼,可以顯示基礎圖層的影像,也可顯示增強圖層的影像。又,例如,個人電腦1004,係從所被傳輸來的可調式編碼資料(BL+EL)1011中,將基礎圖層的可調式編碼資料(BL)1012予以抽出、 記憶,或傳輸至其他裝置等等,或可進行解碼而顯示基礎圖層的影像等等。
當然,可調式編碼資料記憶部1001、配訊伺服器1002、網路1003、及終端裝置的數目均為任意。又,以上雖然說明了,配訊伺服器1002將資料傳輸給終端裝置的例子,但利用例並非限定於此。資料傳輸系統1000係為,將已被可調式編碼之編碼資料予以傳輸至終端裝置之際,只要會隨著終端裝置的能力或通訊環境等,來選擇適切圖層而進行傳輸的系統即可,可以適用任意之系統。
(第2系統)
又,可調式編碼,係例如圖39所示的例子,被利用於透過複數通訊媒體的傳輸。
於圖39所示的資料傳輸系統1100中,播送台1101係藉由地表波播送1111,而將基礎圖層的可調式編碼資料(BL)1121予以傳輸。又,播送台1101係透過由有線或無線或其雙方之通訊網所成的任意網路1112,而將增強圖層的可調式編碼資料(EL)1122,予以傳輸(例如封包化而傳輸)。
終端裝置1102係具有播送台1101所播送之地表波播送1111的收訊機能,會收取透過該地表波播送1111而被傳輸之基礎圖層的可調式編碼資料(BL)1121。又,終端裝置1102係還具有透過網路1112進行通訊的通 訊機能,會收取透過該網路1112而被傳輸之增強圖層的可調式編碼資料(EL)1122。
終端裝置1102係隨應於例如使用者指示等,將透過地表波播送1111所取得之基礎圖層的可調式編碼資料(BL)1121,進行解碼而獲得基礎圖層的影像,或是加以記憶,或是傳輸至其他裝置等等。
又,終端裝置1102係隨應於例如使用者指示等,將透過地表波播送1111所取得之基礎圖層的可調式編碼資料(BL)1121、和透過網路1112所取得之增強圖層的可調式編碼資料(EL)1122,進行合成,獲得可調式編碼資料(BL+EL),或是將其進行解碼而獲得增強圖層的影像,或是加以記憶,或是傳輸至其他裝置等等。
如以上,可調式編碼資料,係可例如每圖層地透過不同通訊媒體而被傳輸。因此,可分散負荷,抑制延遲或是溢位的發生。
又,亦可因應狀況,將傳輸時所使用的通訊媒體,按照每一圖層來做選擇。例如,亦可為,將資料量比較多的基礎圖層的可調式編碼資料(BL)1121透過頻寬較廣的通訊媒體來傳輸,將資料量比較少的增強圖層的可調式編碼資料(EL)1122透過頻寬較窄的通訊媒體來傳輸。又,亦可為,例如,將增強圖層的可調式編碼資料(EL)1122予以傳輸的通訊媒體,係為網路1112、還是地表波播送1111,是可隨著網路1112的可用頻寬來做切換。當然,針對任意圖層的資料也是同樣如此。
藉由如此控制,就可更為抑制資料傳輸時的負荷增大。
當然,圖層數係為任意,利用於傳輸之通訊媒體的數目也為任意。又,資料配送目標的終端裝置1102的數目也為任意。甚至,以上雖然是以從播送台1101之播送為例來說明,但利用例並非限定於此。資料傳輸系統1100係為,將已被可調式編碼之編碼資料,以圖層為單位而分割成複數,透過複數線路來加以傳輸的系統即可,可以適用任意之系統。
(第3系統)
又,可調式編碼,係例如圖40所示的例子,被利用於編碼資料的記憶。
於圖40所示的攝像系統1200中,攝像裝置1201係將拍攝被攝體1211所得之影像資料,進行可調式編碼,成為可調式編碼資料(BL+EL)1221,供給至可調式編碼資料記憶裝置1202。
可調式編碼資料記憶裝置1202,係將從攝像裝置1201所供給之可調式編碼資料(BL+EL)1221,以符合狀況的品質而加以記憶。例如,在通常時,可調式編碼資料記憶裝置1202係從可調式編碼資料(BL+EL)1221抽出基礎圖層的資料,成為低品質且資料量少的基礎圖層的可調式編碼資料(BL)1222而加以記憶。相對於此,例如,在注目時,可調式編碼資料記憶裝置1202係直接將高品 質且資料量多的可調式編碼資料(BL+EL)1221,加以記憶。
藉由如此設計,可調式編碼資料記憶裝置1202係可僅在必要時,將影像以高畫質來加以保存,因此可抑制畫質劣化所致之影像價值的降低,同時,可抑制資料量的增大,可提升記憶領域的利用效率。
例如,假設攝像裝置1201係為監視攝影機。當攝像影像中沒有映出監視對象(例如入侵者)時(通常的情形),由於攝像影像的內容不重要的可能性較高,因此以資料量的削減為優先,該影像資料(可調式編碼資料)係以低品質而被記憶。相對於此,當攝像影像中有監視對象被映出成為被攝體1211時(注目時的情形),由於該攝像影像的內容係為重要的可能性較高,因此以畫質優先,該影像資料(可調式編碼資料)係以高品質而被記憶。
此外,亦可為,在通常時還是注目時,例如,是由可調式編碼資料記憶裝置1202藉由解析影像來進行判斷。又,亦可由攝像裝置1201來做判定,將其判定結果傳輸至可調式編碼資料記憶裝置1202。
此外,通常時還是注目時的判定基準係為任意,作為判定基準之影像的內容係為任意。當然,亦可將影像內容以外的條件,當成判定基準。例如,亦可隨著收錄聲音的大小或波形等來切換,亦可每隔所定時間就切換,亦可隨著使用者指示等來自外部之指示而切換。
又,以上雖然說明了通常時和注目時的2個 狀態的切換例子,但狀態的數目係為任意,例如,亦可為通常時、稍微注目時、注目時、非常注目時這樣,切換3種以上之狀態。只不過,可切換狀態的上限數,係依存於可調式編碼資料的圖層數。
又,亦可由攝像裝置1201,隨著狀態來決定可調式編碼的圖層數。亦可為例如,在通常時的情況下,攝像裝置1201係生成低品質且資料量少的基礎圖層之可調式編碼資料(BL)1222,供給至可調式編碼資料記憶裝置1202。又,亦可為例如,在注目時的情況下,攝像裝置1201係生成高品質且資料量多的基礎圖層之可調式編碼資料(BL+EL)1221,供給至可調式編碼資料記憶裝置1202。
以上雖然以監視攝影機為例子來說明,但本攝像系統1200的用途係為任意,並不限定於監視攝影機。
<第10實施形態> (其他實施例)
以上雖然說明了適用本技術的裝置或系統等之例子,但本技術係不限於此,亦可成為構成這類裝置或系統之裝置中所搭載的任意構成,例如,作為系統LSI(Large Scale Integration)等的處理器、使用複數處理器等的模組、使用複數模組等的單元、對單元再附加其他機能而成的套組等(亦即裝置之部分構成)而實施之。
(視訊套組之構成例)
將本技術以套組來實施之情形的例子,參照圖41來說明。圖41係圖示了適用了本技術之視訊套組的概略構成之一例。
近年來,隨著電子機器的多機能化的進展,在其開發或製造時,將其部分構成予以販售或提供等而實施的情況下,不只有以具有單一機能之構成來做實施的情況,還可將具有相關連之機能的複數構成加以組合,成為具有複數機能的1套組的方式來進行實施的情形,也是很常看到的。
圖41所示的視訊套組1300,係為此種被多機能化之構成,是對具有影像編碼或解碼(可為其中一方,亦可為雙方)之相關機能的裝置,組合具有與該機能相關連之其他機能的裝置而成者。
如圖41所示,視訊套組1300係具有:視訊模組1311、外部記憶體1312、電力管理模組1313、及前端模組1314等之模組群,和具有連接性構件1321、相機1322、及感測器1323等之關連機能的裝置。
模組係為,將彼此具有關連之數個零件性機能予以整合,成為具有整合性機能之零件而成者。具體的實體構成係為任意,但可想成例如,分別具有機能的複數處理器、電阻或電容器等之電子電路元件、將其他裝置等配置在配線基板等而一體化所成者。又,亦可考慮對模組 組合其他模組或處理器等而變成新的模組。
圖41的例子中,視訊模組1311係為具有影像處理相關機能之構成加以組合而成,具有應用程式處理器、視訊處理器、寬頻數據機1333、及RF模組1334。
處理器係將具有所定機能之構成,藉由SoC(System On a Chip)而集縮在半導體晶片而成,有時也會被稱作例如系統LSI(Large Scale Integration)等。此具有所定機能之構成,係可為邏輯電路(硬體構成),也可為CPU、ROM、RAM等、和使用這些而被執行的程式(軟體構成),亦可為這兩者之組合。例如,亦可為,處理器係具有邏輯電路和CPU、ROM、RAM等,機能之一部分是藉由邏輯電路(硬體構成)來實現,其他機能則是藉由CPU中所執行之程式(軟體構成)來實現。
圖41的應用程式處理器1331,係為執行影像處理相關應用程式的處理器。此應用程式處理器1331中所被執行的應用程式,係為了實現所定之機能,而不只進行演算處理,還可因應需要而控制例如視訊處理器1332等、視訊模組1311內外之構成。
視訊處理器1332係為,具有影像編碼或解碼(其中一方或雙方)之相關機能的處理器。
寬頻數據機1333係為,透過網際網路或公眾電話線路網等寬頻線路所進行的有線或無線(或其兩者)之進行關於寬頻通訊之處理的處理器(或是模組)。例如,寬頻數據機1333,係將送訊之資料(數位訊號)進行數位調變 等而轉換成類比訊號,或將所接收到之類比訊號予以解調而轉換成資料(數位訊號)等。例如,寬頻數據機1333,係將視訊處理器1332所處理的影像資料或影像資料被編碼而成之串流、應用程式、設定資料等任意之資訊,進行數位調變、解調。
RF模組1334係為,對透過天線而收送之RF(Radio Frequency)訊號,進行頻率轉換、調變解調、增幅、濾波處理等之模組。例如,RF模組1334係對寬頻數據機1333所生成之基頻訊號,進行頻率轉換等,以生成RF訊號。又,例如,RF模組1334,係對透過前端模組1314而接收到的RF訊號,進行頻率轉換等,以生成基頻訊號。
此外,圖41中如虛線1341所示,亦可將應用程式處理器1331和視訊處理器1332一體化,構成為1個處理器。
外部記憶體1312,係被設置在視訊模組1311的外部,係為具有被視訊模組1311所利用之記憶裝置的模組。此外部記憶體1312的記憶裝置,係無論藉由何種實體構成來實現均可,但一般而言會被利用於畫格單位之影像資料這類大容量資料之儲存,因此以例如DRAM(Dynamic Random Access Memory)這類比較廉價且大容量的半導體記憶體來實現,較為理想。
電力管理模組1313,係管理、控制著對視訊模組1311(視訊模組1311內之各構成)的電力供給。
前端模組1314係為,對RF模組1334提供前端機能(天線側之收送訊端的電路)的模組。如圖41所示,前端模組1314係具有,例如:天線部1351、濾波器1352、及增幅部1353。
天線部1351,係具有收送無線訊號的天線及其周邊之構成。天線部1351,係將從增幅部1353所供給之訊號,以無線訊號方式加以發送,並將所收到之無線訊號變成電氣訊號(RF訊號)而供給至濾波器1352。濾波器1352,係對透過天線部1351所接收到的RF訊號,進行濾波處理等,將處理後之RF訊號,供給至RF模組1334。增幅部1353,係將從RF模組1334所供給之RF訊號予以增幅,供給至天線部1351。
連接性構件1321係為,具有與外部連接之相關機能的模組。連接性構件1321的實體構成係為任意。例如連接性構件1321係具有,寬頻數據機1333所對應之通訊規格以外之通訊機能的構成、或外部輸出入端子等。
例如,連接性構件1321係可具有,依據Bluetooth(註冊商標)、IEEE 802.11(例如Wi-Fi(Wireless Fidelity、註冊商標))、NFC(Near Field Communication)、IrDA(InfraRed Data Association)等之無線通訊規格的通訊機能之模組、或用來收送依據該規格之訊號的天線等。又,例如,連接性構件1321係可具有,依據USB(Universal Serial Bus)、HDMI(註冊商標)(High-Definition Multimedia Interface)等之有線通訊規格的通訊機能之模 組、或依據該規格之端子。甚至,例如,連接性構件1321還可具有類比輸出入端子等其他資料(訊號)傳輸機能等。
此外,連接性構件1321亦可包含資料(訊號)之傳輸目標裝置。例如,連接性構件1321係亦可具有,對磁碟、光碟、光磁碟、或半導體記憶體等之記錄媒體進行資料讀出或寫入的驅動機(不只是可移除式媒體的驅動機,還包含有硬碟、SSD(Solid State Drive)、NAS(Network Attached Storage)等)。又,連接性構件1321係亦可具有影像或聲音之輸出裝置(監視器或揚聲器等)。
攝影機1322係為,具有拍攝被攝體、獲得被攝體之影像資料之機能的模組。攝影機1322拍攝所得到的影像資料,係例如被供給至視訊處理器1332而被編碼。
感測器1323係為具有,例如:聲音感測器、超音波感測器、光感測器、照度感測器、紅外線感測器、影像感測器、旋轉感測器、角度感測器、角速度感測器、速度感測器、加速度感測器、傾斜感測器、磁性識別感測器、衝擊感測器、溫度感測器等,任意之感測器機能的模組。被感測器1323所測出的資料,係例如被供給至應用程式處理器1331而被應用程式等所利用。
以上以模組方式來說明之構成,可以處理器方式來實現,反之,以處理器來說明之構成,可以模組方式來實現。
在如上構成的視訊套組1300中,如後述,可對視訊處理器1332適用本技術。因此,視訊套組1300係可成為適用了本技術之套組而實施之。
(視訊處理器之構成例)
圖42係圖示了適用了本技術之視訊處理器1332(圖41)的概略構成之一例。
在圖42的例子中,視訊處理器1332係具有:接受視訊訊號及音訊訊號之輸入而將它們以所定方式進行編碼之機能、和將已被編碼之視訊資料及音訊資料予以解碼,將視訊訊號及音訊訊號予以再生輸出之機能。
如圖42所示,視訊處理器1332係具有:視訊輸入處理部1401、第1影像放大縮小部1402、第2影像放大縮小部1403、視訊輸出處理部1404、畫格記憶體1405、及記憶體控制部1406。又,視訊處理器1332係具有:編碼‧解碼引擎1407、視訊ES(Elementary Stream)緩衝區1408A及1408B、以及音訊ES緩衝區1409A及1409B。再者,視訊處理器1332係還具有:音訊編碼器1410、音訊解碼器1411、多工化部(MUX(Multiplexer))1412、逆多工部(DMUX(Demultiplexer))1413、及串流緩衝區1414。
視訊輸入處理部1401,係取得從例如連接性構件1321(圖41)等所輸入之視訊訊號,轉換成數位影像資料。第1影像放大縮小部1402,係對影像資料進行格 式轉換或影像之放大縮小處理等。第2影像放大縮小部1403,係對影像資料,隨應於透過視訊輸出處理部1404而輸出之目標的格式而進行影像的放大縮小處理,或進行和第1影像放大縮小部1402相同的格式轉換或影像之放大縮小處理等。視訊輸出處理部1404,係對影像資料,進行格式轉換或往類比訊號之轉換等,成為已被再生之視訊訊號而輸出至例如連接性構件1321(圖41)等。
畫格記憶體1405係為被視訊輸入處理部1401、第1影像放大縮小部1402、第2影像放大縮小部1403、視訊輸出處理部1404、及編碼‧解碼引擎1407所共用的影像資料用之記憶體。畫格記憶體1405,係以例如DRAM等之半導體記憶體而實現。
記憶體控制部1406係接受來自編碼‧解碼引擎1407的同步訊號,依照存取管理表1406A中所被寫入之對畫格記憶體1405之存取排程,來控制對畫格記憶體1405的寫入、讀出之存取。存取管理表1406A,係隨著編碼‧解碼引擎1407、第1影像放大縮小部1402、第2影像放大縮小部1403等中所被執行的處理,而被記憶體控制部1406所更新。
編碼‧解碼引擎1407,係進行影像資料的編碼處理、以及影像資料所被編碼而成之資料亦即視訊串流的解碼處理。例如,編碼‧解碼引擎1407係將從畫格記憶體1405所讀出的影像資料予以編碼,成為視訊串流而依序寫入視訊ES緩衝區1408A。又,例如,從視訊ES緩 衝區1408B依序讀出視訊串流並解碼之,成為影像資料而依序寫入至畫格記憶體1405。編碼‧解碼引擎1407,係於這些編碼或解碼中,把畫格記憶體1405當成作業領域來使用。又,編碼‧解碼引擎1407,係例如在每一巨集區塊的處理開始的時序上,對記憶體控制部1406輸出同步訊號。
視訊ES緩衝區1408A,係將編碼‧解碼引擎1407所生成之視訊串流予以緩衝,供給至多工化部(MUX)1412。視訊ES緩衝區1408B,係將從逆多工部(DMUX)1413所供給之視訊串流予以緩衝,供給至編碼‧解碼引擎1407。
音訊ES緩衝區1409A,係將音訊編碼器1410所生成之音訊串流予以緩衝,供給至多工化部(MUX)1412。音訊ES緩衝區1409B,係將從逆多工部(DMUX)1413所供給之音訊串流予以緩衝,供給至音訊解碼器1411。
音訊編碼器1410,係例如將從連接性構件1321(圖41)所輸入之音訊訊號予以例如數位轉換,以例如MPEG音訊方式或AC3(AudioCode number 3)方式等所定方式進行編碼。音訊編碼器1410,係將音訊訊號所被編碼而成之資料亦即音訊串流,依序寫入至音訊ES緩衝區1409A。音訊解碼器1411,係將從音訊ES緩衝區1409B所供給之音訊串流予以解碼,進行例如往類比訊號之轉換等,成為已被再生之音訊訊號而供給至例如連接性構件 1321(圖41)等。
多工化部(MUX)1412,係將視訊串流和音訊串流予以多工化。此多工化之方法(亦即藉由多工化而所生成之位元串流的格式),係為任意。又,此多工化之際,多工化部(MUX)1412係亦可將所定之標頭資訊等,附加至位元串流。亦即,多工化部(MUX)1412係可藉由多工化而將串流的格式進行轉換。例如,多工化部(MUX)1412係藉由將視訊串流和音訊串流進行多工化,以轉換成傳輸用之格式的位元串流亦即傳輸串流。又,例如,多工化部(MUX)1412係藉由將視訊串流和音訊串流進行多工化,以轉換成記錄用之檔案格式的資料(檔案資料)。
逆多工部(DMUX)1413係以對應於多工化部(MUX)1412所做之多工化的方法,將視訊串流和音訊串流所被多工化而成的位元串流,進行逆多工化。亦即,逆多工部(DMUX)1413係從串流緩衝區1414所讀出之位元串流,抽出視訊串流和音訊串流(將視訊串流和音訊串流予以分離)。亦即,逆多工部(DMUX)1413,係可藉由逆多工化而將串流的格式進行轉換(多工化部(MUX)1412所致之轉換的逆轉換)。例如,逆多工部(DMUX)1413係可將從例如連接性構件1321或寬頻數據機1333等(均示於圖41)所供給之傳輸串流,透過串流緩衝區1414而加以取得,藉由逆多工化,轉換成視訊串流和音訊串流。又,例如,逆多工部(DMUX)1413係可將藉由例如連接性構件1321(圖41)而從各種記錄媒體所讀出之檔案資料,透過串流緩衝 區1414而加以取得,藉由逆多工化,轉換成視訊串流和音訊串流。
串流緩衝區1414,係將位元串流予以緩衝。例如,串流緩衝區1414,係將從多工化部(MUX)1412所供給之傳輸串流予以緩衝,於所定之時序上,或是基於來自外部的要求等,而供給至例如連接性構件1321或寬頻數據機1333(均示於圖41)等。
又,例如,串流緩衝區1414,係將從多工化部(MUX)1412所供給之檔案資料予以緩衝,於所定之時序上,或是基於來自外部的要求等,而供給至例如連接性構件1321(圖41)等,令其被記錄至各種記錄媒體。
然後,串流緩衝區1414,係將透過例如連接性構件1321或寬頻數據機1333等(均示於圖41)所取得之傳輸串流予以緩衝,於所定之時序上,或是基於來自外部的要求等,而供給至逆多工部(DMUX)1413。
又,串流緩衝區1414,係將藉由例如連接性構件1321(圖41)等中從各種記錄媒體所讀出之檔案資料予以緩衝,於所定之時序上,或是基於來自外部的要求等,而供給至逆多工部(DMUX)1413。
其次,說明如此構成之視訊處理器1332的動作例。例如,從連接性構件1321(圖41)輸入至視訊處理器1332的視訊訊號,係於視訊輸入處理部1401中被轉換成4:2:2Y/Cb/Cr方式等之所定方式的數位影像資料,依序被寫入至畫格記憶體1405。此數位影像資料係被讀 出至第1影像放大縮小部1402或第2影像放大縮小部1403,進行往4:2:0Y/Cb/Cr方式等所定方式的格式轉換及放大縮小處理,再次被寫入至畫格記憶體1405。此影像資料,係被編碼‧解碼引擎1407所編碼,成為視訊串流而被寫入至視訊ES緩衝區1408A。
又,從連接性構件1321(圖41)輸入至視訊處理器1332的音訊訊號,係被音訊編碼器1410所編碼,成為音訊串流,而被寫入至音訊ES緩衝區1409A。
視訊ES緩衝區1408A的視訊串流、和音訊ES緩衝區1409A的音訊串流,係被多工化部(MUX)1412讀出而多工化,被轉換成傳輸串流或是檔案資料等。多工化部(MUX)1412所生成之傳輸串流,係被串流緩衝區1414緩衝後,透過例如連接性構件1321或寬頻數據機1333(均示於圖41)而被輸出至外部網路。又,多工化部(MUX)1412所生成之檔案資料,係被串流緩衝區1414緩衝後,被輸出至例如連接性構件1321(圖41)等,被記錄至各種記錄媒體。
又,透過例如連接性構件1321或寬頻數據機1333(均示於圖41)而從外部網路被輸入至視訊處理器1332的傳輸串流,係被串流緩衝區1414緩衝後,被逆多工部(DMUX)1413逆多工化。又,例如在連接性構件1321(圖41)等中從各種記錄媒體所讀出、被輸入至視訊處理器1332的檔案資料,係在被串流緩衝區1414緩衝後,被逆多工部(DMUX)1413逆多工化。亦即,被輸入至視訊 處理器1332的傳輸串流或檔案資料,係被逆多工部(DMUX)1413分離成視訊串流和音訊串流。
音訊串流,係透過音訊ES緩衝區1409B而被供給至音訊解碼器1411,被解碼而再生出音訊訊號。又,視訊串流係被寫入至視訊ES緩衝區1408B後,被編碼‧解碼引擎1407依序讀出而解碼,然後被寫入至畫格記憶體1405。已被解碼之影像資料,係藉由第2影像放大縮小部1403而被放大縮小處理,然後被寫入至畫格記憶體1405。然後,已被解碼之影像資料,係被讀出至視訊輸出處理部1404,被格式轉換成4:2:2Y/Cb/Cr方式等之所定方式,然後被轉換成類比訊號,視訊訊號就被再生輸出。
對如此所被構成的視訊處理器1332中適用本技術的時候,係只要對編碼‧解碼引擎1407,適用上述各實施形態所述之本技術即可。亦即,例如,只要讓編碼‧解碼引擎1407具有第1實施形態所述之編碼裝置或解碼裝置之機能即可。藉由如此設計,視訊處理器1332係可獲得和參照圖1乃至圖12而上述過之效果同樣的效果。
此外,於編碼‧解碼引擎1407中,本技術(亦即上述各實施形態所述之影像編碼裝置或影像解碼裝置之機能),係可藉由邏輯電路等之硬體來實現,亦可藉由內嵌程式等之軟體來實現,亦可藉由其雙方來實現。
(視訊處理器之另一構成例)
圖43係圖示了適用了本技術之視訊處理器1332(圖41)的概略構成之另一例。在圖43的例子的情況下,視訊處理器1332係具有,將視訊資料以所定方式進行編碼‧解碼之機能。
更具體而言,如圖43所示,視訊處理器1332係具有:控制部1511、顯示器介面1512、顯示引擎1513、影像處理引擎1514、及內部記憶體1515。又,視訊處理器1332係具有:編解碼器引擎1516、記憶體介面1517、多工‧逆多工部(MUX DMUX)1518、網路介面1519、及視訊介面1520。
控制部1511係控制,顯示器介面1512、顯示引擎1513、影像處理引擎1514、及編解碼器引擎1516等,視訊處理器1332內的各處理部之動作。
如圖43所示,控制部1511係具有例如:主CPU1531、副CPU1532、及系統控制器1533。主CPU1531係執行用來控制視訊處理器1332內之各處理部之動作所需的程式等。主CPU1531,係依照該程式等而生成控制訊號,供給至各處理部(亦即控制各處理部之動作)。副CPU1532,係擔任主CPU1531的輔助性角色。例如,副CPU1532係執行主CPU1531所執行之程式等的子處理程序或副常式等。系統控制器1533係指定主CPU1531及副CPU1532所執行的程式等,控制主CPU1531及副CPU1532的動作。
顯示器介面1512,係在控制部1511的控制之下,將影像資料輸出至例如連接性構件1321(圖41)等。例如,顯示器介面1512,係將數位資料的影像資料轉換成類比訊號,當作已被再生之視訊訊號,或直接以數位資料之影像資料的方式,輸出至連接性構件1321(圖41)的監視器裝置等。
顯示引擎1513,係在控制部1511的控制之下,對影像資料,以符合顯示該影像之監視器裝置等的硬體規格的方式,進行格式轉換、尺寸轉換、色域轉換等各種轉換處理。
影像處理引擎1514,係在控制部1511的控制之下,對影像資料,實施例如畫質改善所需的濾波處理等所定之影像處理。
內部記憶體1515,係被顯示引擎1513、影像處理引擎1514、及編解碼器引擎1516所共用,是被設在視訊處理器1332內部的記憶體。內部記憶體1515係被利用於,例如,顯示引擎1513、影像處理引擎1514、及編解碼器引擎1516之間所進行的資料收授。例如,內部記憶體1515,係將從顯示引擎1513、影像處理引擎1514、或編解碼器引擎1516所供給之資料予以儲存,因應需要(例如隨應於要求),而將該資料,供給至顯示引擎1513、影像處理引擎1514、或編解碼器引擎1516。此內部記憶體1515,係無論藉由何種記憶裝置來實現均可,但一般而言多會利用於區塊單位之影像資料或參數等這類小容量 之資料的儲存,因此以例如SRAM(Static Random Access Memory)這類比較小容量(例如相較於外部記憶體1312)但反應速度較為高速的半導體記憶體來實現,較為理想。
編解碼器引擎1516,係進行影像資料之編碼或解碼相關之處理。此編解碼器引擎1516所對應的編碼‧解碼方式係為任意,其數目可以是1個,也可為複數。例如,編解碼器引擎1516係可具備複數編碼‧解碼方式的編解碼器機能,以從其中所選擇出來者,進行影像資料的編碼或是編碼資料的解碼。
於圖43所示的例子中,編解碼器引擎1516係作為關於編解碼器之處理的機能區塊,具有例如:MPEG-2Video1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(Scalable)1544、HEVC/H.265(Multi-view)1545、及MPEG-DASH1551。
MPEG-2 Video1541係為,將影像資料以MPEG-2方式進行編碼或解碼等之機能區塊。AVC/H.2641542係為,將影像資料以AVC方式進行編碼或解碼等之機能區塊。HEVC/H.2651543係為,將影像資料以HEVC方式進行編碼或解碼等之機能區塊。HEVC/H.265(Scalable)1544係為,將影像資料以HEVC方式進行可調式編碼或可調式解碼等之機能區塊。HEVC/H.265(Multi-view)1545係為,將影像資料以HEVC方式進行多視點編碼或多視點解碼等之機能區塊。
MPEG-DASH1551,係將影像資料以MPEG- DASH(MPEG-Dynamic Adaptive Streaming over HTTP)方式進行收送訊的機能區塊。MPEG-DASH係為,使用HTTP(HyperText Transfer Protocol)來進行視訊串流化之技術,從事先準備的解析度等彼此不同之複數編碼資料之中以區段單位選擇出適切者,並加以傳輸,為其特徵之1。MPEG-DASH1551,係進行依據規格之串流的生成或該串流的傳輸控制等,關於影像資料的編碼‧解碼,係利用上述的MPEG-2 Video1541至HEVC/H.265(Multi-view)1545。
記憶體介面1517,係為外部記憶體1312用的介面。從影像處理引擎1514或編解碼器引擎1516所供給之資料,係透過記憶體介面1517而被供給至外部記憶體1312。又,從外部記憶體1312所讀出之資料,係透過記憶體介面1517而被供給至視訊處理器1332(影像處理引擎1514或是編解碼器引擎1516)。
多工‧逆多工部(MUX DMUX)1518,係進行編碼資料的位元串流、影像資料、視訊訊號等,關於影像之各種資料的多工化或逆多工化。此多工‧逆多工部之方法係為任意。例如,在多工化之際,多工‧逆多工部(MUX DMUX)1518係不只是將複數資料整合成1個,還可將所定的標頭資訊等,附加至該資料。又,在逆多工化之際,多工‧逆多工部(MUX DMUX)1518係不只是將1個資料分割成複數,還可對已分割之各資料,附加所定的標頭資訊等。亦即,多工‧逆多工部(MUX DMUX)1518, 係可藉由多工‧逆多工化,而將資料的格式做轉換。例如,多工‧逆多工部(MUX DMUX)1518係藉由將位元串流進行多工化,以轉換成傳輸用之格式的位元串流亦即傳輸串流、或是記錄用之檔案格式的資料(檔案資料)。當然,藉由逆多工化,其逆轉換亦為可能。
網路介面1519,係為給例如寬頻數據機1333或連接性構件1321(均示於圖41)等使用的介面。視訊介面1520,係為給例如連接性構件1321或攝影機1322(均示於圖41)等使用的介面。
其次,說明如此之視訊處理器1332的動作例。例如,一旦透過例如連接性構件1321或寬頻數據機1333(均示於圖41)而從外部網路接收了傳輸串流,則該傳輸串流係透過網路介面1519而被供給至多工‧逆多工部(MUX DMUX)1518而被逆多工化,被編解碼器引擎1516所解碼。藉由編解碼器引擎1516之解碼所得到的影像資料,係例如,被影像處理引擎1514實施所定之影像處理,被顯示引擎1513進行所定之轉換,透過顯示器介面1512而被供給至例如連接性構件1321(圖41)等,其影像就被顯示在監視器上。又,例如,藉由編解碼器引擎1516之解碼所得到的影像資料,係被編解碼器引擎1516再次編碼,被多工‧逆多工部(MUX DMUX)1518進行多工化而轉換成檔案資料,透過視訊介面1520而被輸出至例如連接性構件1321(圖41)等,被記錄至各種記錄媒體。
甚至例如,藉由連接性構件1321(圖41)等而從未圖示之記錄媒體所讀出、由影像資料所被編碼而成之編碼資料的檔案資料,係透過視訊介面1520而被供給至多工‧逆多工部(MUX DMUX)1518而被逆多工化,被編解碼器引擎1516所解碼。藉由編解碼器引擎1516之解碼所得到的影像資料,係被影像處理引擎1514實施所定之影像處理,被顯示引擎1513進行所定之轉換,透過顯示器介面1512而被供給至例如連接性構件1321(圖41)等,其影像就被顯示在監視器上。又,例如,藉由編解碼器引擎1516之解碼所得到的影像資料,係被編解碼器引擎1516再次編碼,被多工‧逆多工部(MUX DMUX)1518進行多工化而轉換成傳輸串流,透過網路介面1519而被供給至例如連接性構件1321或寬頻數據機1333(均示於圖41)而傳輸至未圖示的其他裝置。
此外,在視訊處理器1332內的各處理部之間的影像資料或其他資料之收授,係例如,利用內部記憶體1515或外部記憶體1312而進行。又,電力管理模組1313係控制例如對控制部1511之電力供給。
對如此所被構成的視訊處理器1332中適用本技術的時候,係只要對編解碼器引擎1516,適用上述各實施形態所述之本技術即可。亦即,例如,只要讓編解碼引擎1516具有實現第1實施形態所述之編碼裝置或解碼裝置的機能區塊即可。甚至例如,編解碼器引擎1516係藉由如此設計,視訊處理器1332係可獲得和參照圖1乃 至圖12而上述過之效果同樣的效果。
此外,於編解碼器引擎1516中,本技術(亦即上述各實施形態所述之影像編碼裝置或影像解碼裝置之機能),係可藉由邏輯電路等之硬體來實現,亦可藉由內嵌程式等之軟體來實現,亦可藉由其雙方來實現。
以上雖然例示了2個視訊處理器1332之構成,但視訊處理器1332之構成係為任意,亦可為上述2個例子以外的情形。又,此視訊處理器1332係亦可以1個半導體晶片的方式來構成,亦可以複數半導體晶片的方式來構成。例如,亦可為將複數半導體層積起來的3維層積LSI。又,亦可藉由複數LSI來實現。
(對裝置之適用例)
視訊套組1300,係可被組裝在處理影像資料的各種裝置中。例如,視訊套組1300係可被組裝在電視裝置900(圖34)、行動電話機920(圖35)、記錄再生裝置940(圖36)、攝像裝置960(圖37)等中。藉由組裝視訊套組1300,該裝置就可獲得和參照圖1乃至圖12而上述過之效果同樣的效果。
又,視訊套組1300係例如,亦可組裝在圖38的資料傳輸系統1000中的個人電腦1004、AV機器1005、平板裝置1006、及行動電話機1007等之終端裝置、圖39的資料傳輸系統1100中的播送台1101及終端裝置1102、以及圖40的攝像系統1200中的攝像裝置 1201及可調式編碼資料記憶裝置1202等中。藉由組裝視訊套組1300,該裝置就可獲得和參照圖1乃至圖12而上述過之效果同樣的效果。
此外,即使是上述視訊套組1300之各構成的一部分,只要是含有視訊處理器1332者,都可成為適用了本技術之構成而實施之。例如,亦可僅將視訊處理器1332當作適用了本技術之視訊處理器來實施之。又,例如,亦可將上述虛線1341所示的處理器或視訊模組1311等,當作適用了本技術之處理器或模組等來實施之。甚至例如,亦可將視訊模組1311、外部記憶體1312、電力管理模組1313、及前端模組1314加以組合,成為適用了本技術之視訊單元1361來實施之。無論哪種構成,都可獲得和參照圖1乃至圖12而上述過之效果同樣的效果。
亦即,只要是含有視訊處理器1332者,無論哪種構成,都可和視訊套組1300同樣地,被組裝在處理影像資料的各種裝置中。例如,亦可將視訊處理器1332、虛線1341所示的處理器、視訊模組1311、或、視訊單元1361,組裝在電視裝置900(圖34)、行動電話機920(圖35)、記錄再生裝置940(圖36)、攝像裝置960(圖37)、圖38的資料傳輸系統1000中的個人電腦1004、AV機器1005、平板裝置1006、及行動電話機1007等之終端裝置、圖39的資料傳輸系統1100中的播送台1101及終端裝置1102、以及圖40的攝像系統1200中的攝像裝置1201及可調式編碼資料記憶裝置1202等中。然後,藉由 組裝適用了本技術之任一構成,該裝置就可和視訊套組1300同樣地,獲得和參照圖1乃至圖12而上述過之效果同樣的效果。
此外,在本說明書中係說明了,色域資訊或亮度資訊等之各種資訊,係被多工化至編碼資料,從編碼列被傳輸至解碼側的例子。然而,這些資訊的傳輸手法係不限定於所述例子。例如,這些資訊係亦可不被多工化至編碼資料,而是以與編碼資料建立關連之個別資料的方式而被傳輸或記錄。此處,「建立關連」之用語係意味著,位元串流中所含之影像(切片或區塊等,亦可為影像之一部分)和該當影像所對應之資訊進行解碼時使其能夠彼此連結的意思。亦即,資訊係可有別於編碼資料而在另外的傳輸路上進行傳輸。又,資訊係亦可有別於編碼資料而被記錄在另外的記錄媒體(或是同一記錄媒體的其他記錄區域)。甚至,資訊和編碼資料,係亦可以例如複數畫格、1畫格、或畫格內之一部分等之任意單位,而彼此關連。
又,於本說明書中,所謂的系統,係意味著複數構成要素(裝置、模組(零件)等)的集合,所有構成要素是否位於同一框體內則在所不問。因此,被收納在個別的框體中,透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置,均為系統。
本說明書中所記載之效果僅為例示並非限定,亦可還有其他的效果。
又,本揭露的實施形態係不限定於上述實施 形態,在不脫離本揭露主旨的範圍內可做各種變更。
例如,本揭露係亦可將1個機能,透過網路而分擔給複數台裝置,採取共通進行處理的雲端運算之構成。
又,上述的流程圖中所說明的各步驟,係可由1台裝置來執行以外,亦可由複數台裝置來分擔執行。
甚至,若1個步驟中含有複數處理的情況下,該1個步驟中所含之複數處理,係可由1台裝置來執行以外,也可由複數台裝置來分擔執行。
本揭露係亦可視為如下之構成。
(1)
一種解碼裝置,係具備:收取部,係從將含有影像之編碼資料和表示前記影像之色域之色域資訊的編碼串流予以傳輸的編碼裝置,收取前記編碼串流;和抽出部,係從前記收取部所收取到的前記編碼串流,抽出前記編碼資料和前記色域資訊;和解碼部,係將已被前記抽出部所抽出之前記編碼資料予以解碼,生成前記影像。
(2)
如前記(1)所記載之解碼裝置,其中,還具備有:調整部,係基於已被前記抽出部所抽出之前記色域資 訊,來調整已被前記解碼部所生成之前記影像之色域。
(3)
如前記(2)所記載之解碼裝置,其中,係被構成為:前記編碼串流係含有,表示前記影像之製作時顯示前記影像之顯示部之亮度的亮度資訊;前記抽出部,係從前記編碼串流抽出前記亮度資訊;前記調整部,係基於已被前記抽出部所抽出之前記亮度資訊,來調整已被前記解碼部所生成之前記影像之亮度的動態範圍。
(4)
如前記(3)所記載之解碼裝置,其中,係被構成為:前記亮度資訊,係表示前記顯示部的白色及黑色之亮度。
(5)
一種解碼方法,係含有:由解碼裝置進行:收取步驟,係從將含有影像之編碼資料和表示前記影像之色域之色域資訊的編碼串流予以傳輸的編碼裝置,收取前記編碼串流;和抽出步驟,係從前記收取步驟之處理所收取到的前記編碼串流,抽出前記編碼資料和前記色域資訊;和解碼步驟,係將已被前記抽出步驟之處理所抽出之前 記編碼資料予以解碼,生成前記影像。
(6)
一種編碼裝置,係具備:編碼部,係將影像予以編碼,生成編碼資料;和設定部,係設定表示前記影像之色域的色域資訊;和傳輸部,係將含有前記編碼部所生成之前記編碼資料、和前記設定部所生成之前記色域資訊的編碼串流,予以傳輸。
(7)
如前記(6)所記載之編碼裝置,其中,係被構成為:前記設定部係設定,表示前記影像之製作時顯示前記影像之顯示部之亮度的亮度資訊;前記傳輸部,係將含有前記編碼資料、前記色域資訊、及前記亮度資訊的編碼串流,予以傳輸。
(8)
如前記(7)所記載之編碼裝置,其中,係被構成為:前記亮度資訊,係表示前記顯示部的白色及黑色之亮度。
(9)
一種編碼方法,係含有:由編碼裝置進行:編碼步驟,係將影像予以編碼,生成編碼資料;和 設定步驟,係設定表示前記影像之色域的色域資訊;和傳輸步驟,係將含有前記編碼步驟之處理所生成之前記編碼資料、和前記設定步驟之處理所生成之前記色域資訊的編碼串流,予以傳輸。
(10)
一種解碼裝置,係具備:收取部,係從將含有影像之編碼資料、識別所定色域之識別資訊、及前記影像之色域相對於前記所定色域之涵蓋率的編碼串流予以傳輸的編碼裝置,收取前記編碼串流;和抽出部,係從前記收取部所收取到的前記編碼串流,抽出前記編碼資料、前記識別資訊、及前記涵蓋率;和解碼部,係將已被前記抽出部所抽出之前記編碼資料予以解碼,生成前記影像。
(11)
如前記(10)所記載之解碼裝置,其中,還具備有:調整部,係基於已被前記抽出部所抽出之前記識別資訊和前記涵蓋率,來調整已被前記解碼部所生成之前記影像之色域。
(12)
如前記(11)所記載之解碼裝置,其中,係被構成為: 前記編碼串流係含有,表示前記影像之製作時顯示前記影像之顯示部之亮度的亮度資訊;前記抽出部,係從前記編碼串流抽出前記亮度資訊;前記調整部,係基於已被前記抽出部所抽出之前記亮度資訊,來調整已被前記解碼部所生成之前記影像之亮度的動態範圍。
(13)
如前記(12)所記載之解碼裝置,其中,係被構成為:前記亮度資訊,係表示前記顯示部的白色及黑色之亮度。
(14)
一種解碼方法,係含有:由解碼裝置進行:收取步驟,係從將含有影像之編碼資料、識別所定色域之識別資訊、及前記影像之色域相對於前記所定色域之涵蓋率的編碼串流予以傳輸的編碼裝置,收取前記編碼串流;和抽出步驟,係從前記收取步驟之處理所收取到的前記編碼串流,抽出前記編碼資料、前記識別資訊、及前記涵蓋率;和解碼步驟,係將已被前記抽出步驟之處理所抽出之前記編碼資料予以解碼,生成前記影像。
(15)
一種編碼裝置,係具備:編碼部,係將影像予以編碼,生成編碼資料;和設定部,係設定用來識別所定色域之識別資訊和前記影像之色域相對於前記所定色域之涵蓋率;和傳輸部,係將含有前記編碼部所生成之前記編碼資料、和前記設定部所生成之前記識別資訊及前記涵蓋率的編碼串流,予以傳輸。
(16)
如前記(15)所記載之編碼裝置,其中,係被構成為:前記設定部係設定,表示前記影像之製作時顯示前記影像之顯示部之亮度的亮度資訊;前記傳輸部,係將含有前記編碼資料、前記色域資訊、及前記亮度資訊的編碼串流,予以傳輸。
(17)
如前記(16)所記載之編碼裝置,其中,係被構成為:前記亮度資訊,係表示前記顯示部的白色及黑色之亮度。
(18)
一種編碼方法,係含有:由編碼裝置進行:編碼步驟,係將影像予以編碼,生成編碼資料;和設定步驟,係設定用來識別所定色域之識別資訊和前 記影像之色域相對於前記所定色域之涵蓋率;和 傳輸步驟,係將含有前記編碼步驟之處理所生成之前記編碼資料、和前記設定步驟之處理所生成之前記識別資訊及前記涵蓋率的編碼串流,予以傳輸。

Claims (51)

  1. 一種解碼裝置,係具備電路,其係被組態以:接收:影像之編碼資料、將前記影像之製作時顯示前記影像的第1顯示部的至少1原色的座標加以表示的原色資訊、將前記影像之製作時顯示前記影像的前記第1顯示部的某一色的亮度加以表示的亮度資訊;將前記編碼資料予以解碼,以生成前記影像;基於前記原色資訊,來調整已被生成之前記影像的色空間;前記第1顯示部,係不同於顯示已被前記電路所生成之前記影像的第2顯示部。
  2. 如請求項1所記載之解碼裝置,其中,前記電路係還被組態以:基於前記亮度資訊,來調整已被生成之前記影像的動態範圍。
  3. 如請求項2所記載之解碼裝置,其中,前記亮度資訊,係表示前記第1顯示部的白色之亮度。
  4. 一種解碼方法,係由解碼裝置所執行的解碼方法,其係含有:接收:影像之編碼資料、將前記影像之製作時顯示前記影像的第1顯示部的至少1原色的座標加以表示的原色資訊、將前記影像之製作時顯示前記影像的前記第1顯示部 的某一色的亮度加以表示的亮度資訊之步驟;和藉由前記解碼裝置的電路,將前記編碼資料予以解碼,以生成前記影像之步驟;和藉由前記電路,基於前記原色資訊,來調整已被生成之前記影像的色空間之步驟;前記第1顯示部,係不同於顯示已被前記電路所生成之前記影像的第2顯示部。
  5. 如請求項4所記載之解碼方法,其中,還含有:基於前記亮度資訊,來調整已被生成之前記影像的動態範圍之步驟。
  6. 如請求項5所記載之解碼方法,其中,前記亮度資訊,係表示前記第1顯示部的白色之亮度。
  7. 一種解碼裝置,係具備電路,其係被組態以:接收:影像之編碼資料、表示母片顯示部的3原色之座標的原色資訊、表示前記母片顯示部之亮度的亮度資訊;將前記編碼資料予以解碼,以生成前記影像;基於前記亮度資訊,來調整已被生成之前記影像的亮度;前記母片顯示部,係不同於顯示已被前記電路所生成之前記影像的顯示部。
  8. 如請求項7所記載之解碼裝置,其中,前記電路係還被組態以: 基於前記亮度資訊,來調整已被生成之前記影像的動態範圍。
  9. 如請求項8所記載之解碼裝置,其中,前記亮度資訊,係表示前記母片顯示部的白色之亮度。
  10. 一種解碼方法,係由解碼裝置所執行的解碼方法,其係含有:接收:影像之編碼資料、表示母片顯示部的3原色之座標的原色資訊、表示前記母片顯示部之亮度的亮度資訊之步驟;和藉由前記解碼裝置的電路,將前記編碼資料予以解碼,以生成前記影像之步驟;和藉由前記電路,基於前記亮度資訊,來調整已被生成之前記影像的亮度之步驟;前記母片顯示部,係不同於顯示已被前記電路所生成之前記影像的顯示部。
  11. 如請求項10所記載之解碼方法,其中,還含有:基於前記亮度資訊,來調整已被生成之前記影像的動態範圍之步驟。
  12. 如請求項11所記載之解碼方法,其中,前記亮度資訊,係表示前記母片顯示部的白色之亮度。
  13. 一種顯示裝置,係具備: 顯示器,係被組態以顯示影像;和電路,係被組態以:接收:影像之編碼資料、表示其他顯示裝置的3原色之座標的原色資訊、表示前記其他顯示裝置之亮度的亮度資訊;將前記編碼資料予以解碼,以生成前記影像;基於已被接收之前記亮度資訊,來調整已被生成之前記影像的亮度;將已被調整之前記影像予以輸出。
  14. 如請求項13所記載之顯示裝置,其中,前記其他顯示裝置係為參考顯示器。
  15. 如請求項13所記載之顯示裝置,其中,前記其他顯示裝置係為母片顯示器。
  16. 如請求項13所記載之顯示裝置,其中,前記其他顯示裝置係在前記影像之製作時顯示前記影像。
  17. 如請求項13所記載之顯示裝置,其中,前記電路係還被組態以:基於前記亮度資訊,來調整已被生成之前記影像的動態範圍。
  18. 如請求項13所記載之顯示裝置,其中,前記亮度資訊,係表示前記其他顯示裝置的白色之亮度。
  19. 如請求項13所記載之顯示裝置,其中, 前記其他顯示裝置的前記亮度,係以每平方米燭光(cd/m 2)來表示。
  20. 如請求項13所記載之顯示裝置,其中,前記電路係還被組態以:將表示白色在色彩空間內之位置(white point)的白色資訊,予以接收。
  21. 一種解碼方法,係由顯示裝置所執行的解碼方法,其係含有:接收:影像之編碼資料、表示其他顯示裝置的3原色之座標的原色資訊、表示前記其他顯示裝置之亮度的亮度資訊之步驟;藉由前記解碼裝置的電路,將前記編碼資料予以解碼,以生成前記影像之步驟;和藉由前記電路,基於已被接收之前記亮度資訊,來調整已被生成之前記影像的亮度之步驟;將已被調整之前記影像,輸出至前記顯示裝置的顯示器。
  22. 如請求項21所記載之解碼方法,其中,前記其他顯示裝置係為參考顯示器。
  23. 如請求項21所記載之解碼方法,其中,前記其他顯示裝置係為母片顯示器。
  24. 如請求項21所記載之解碼方法,其中,前記其他顯示裝置係在前記影像之製作時顯示前記影 像。
  25. 如請求項21所記載之解碼方法,其中,還含有:基於前記亮度資訊,來調整已被生成之前記影像的動態範圍之步驟。
  26. 如請求項21所記載之解碼方法,其中,前記亮度資訊,係表示前記其他顯示裝置的白色之亮度。
  27. 如請求項21所記載之解碼方法,其中,前記其他顯示裝置的前記亮度,係以每平方米燭光(cd/m 2)來表示。
  28. 如請求項21所記載之解碼方法,其中,還含有:將表示白色在色彩空間內之位置(white point)的白色資訊,予以接收之步驟。
  29. 一種顯示裝置,係具備電路,其係被組態以:接收:影像、聲音、表示其他顯示裝置的至少1原色之座標的原色資訊、表示前記其他顯示裝置之亮度的亮度資訊的資料;將已被接收之前記影像、與已被接收之前記聲音,予以分離;將已被接收之前記聲音,予以輸出;基於已被接收之前記亮度資訊,來調整前記影像的亮度;將前記影像及重疊於前記影像的選單予以顯示。
  30. 如請求項29所記載之顯示裝置,其中, 前記其他顯示裝置係為母片顯示器。
  31. 如請求項29所記載之顯示裝置,其中,前記其他顯示裝置係在前記影像之製作時顯示前記影像。
  32. 如請求項29所記載之顯示裝置,其中,前記電路係還被組態以:基於使用者設定,來調整前記影像的前記亮度。
  33. 如請求項29所記載之顯示裝置,其中,前記電路係還被組態以:基於前記亮度資訊,來調整前記影像的動態範圍。
  34. 如請求項29所記載之顯示裝置,其中,前記亮度資訊,係表示前記其他顯示裝置的白色之亮度。
  35. 如請求項29所記載之顯示裝置,其中,前記其他顯示裝置的前記亮度,係以每平方米燭光(cd/m 2)來表示。
  36. 如請求項29所記載之顯示裝置,其中,前記電路係還被組態以:將表示白色在色彩空間內之位置(white point)的白色資訊,予以接收。
  37. 一種顯示方法,係由顯示裝置所執行的顯示方法,其係含有:藉由前記顯示裝置的電路,接收:影像、聲音、表示 其他顯示裝置的至少1原色之座標的原色資訊、表示前記其他顯示裝置之亮度的亮度資訊的資料之步驟;和將已被接收之前記影像、與已被接收之前記聲音,予以分離之步驟;和將已被接收之前記聲音,予以輸出之步驟;和藉由前記電路,基於已被接收之前記亮度資訊,來調整前記影像的亮度之步驟;和將前記影像及重疊於前記影像的選單予以顯示之步驟。
  38. 如請求項37所記載之顯示方法,其中,前記其他顯示裝置係為母片顯示器。
  39. 如請求項37所記載之顯示方法,其中,前記其他顯示裝置係在前記影像之製作時顯示前記影像。
  40. 如請求項37所記載之顯示方法,其中,還含有:基於使用者設定,來調整前記影像的前記亮度之步驟。
  41. 如請求項37所記載之顯示方法,其中,還含有:基於前記亮度資訊,來調整前記影像的動態範圍之步驟。
  42. 如請求項37所記載之顯示方法,其中,前記亮度資訊,係表示前記其他顯示裝置的白色之亮度。
  43. 如請求項37所記載之顯示方法,其中, 前記其他顯示裝置的前記亮度,係以每平方米燭光(cd/m 2)來表示。
  44. 如請求項37所記載之顯示方法,其中,還含有:將表示白色在色彩空間內之位置(white point)的白色資訊,予以接收之步驟。
  45. 一種顯示裝置,係具備電路,其係被組態以:接收:影像、聲音、表示其他顯示裝置的至少1原色之座標的原色資訊、表示前記其他顯示裝置之亮度的亮度資訊的資料;將已被接收之前記影像、與已被接收之前記聲音,予以分離;將已被接收之前記聲音,予以輸出;基於使用者設定,來調整前記影像之亮度;將前記影像及重疊於前記影像的選單予以顯示。
  46. 如請求項45所記載之顯示裝置,其中,前記其他顯示裝置係為母片顯示器。
  47. 如請求項45所記載之顯示裝置,其中,前記其他顯示裝置係在前記影像之製作時顯示前記影像。
  48. 如請求項45所記載之顯示裝置,其中,前記電路係還被組態以:基於前記亮度資訊,來調整前記影像的動態範圍。
  49. 如請求項45所記載之顯示裝置,其中,前記亮度資訊,係表示前記其他顯示裝置的白色之亮 度。
  50. 如請求項45所記載之顯示裝置,其中,前記其他顯示裝置的前記亮度,係以每平方米燭光(cd/m 2)來表示。
  51. 如請求項45所記載之顯示裝置,其中,前記電路係還被組態以:將表示白色在色彩空間內之位置(white point)的白色資訊,予以接收。
TW107131863A 2013-09-03 2014-07-10 解碼裝置、解碼方法、顯示裝置、及顯示方法 TWI713355B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-182578 2013-09-03
JP2013182578 2013-09-03
JP2013-272944 2013-12-27
JP2013272944 2013-12-27

Publications (2)

Publication Number Publication Date
TW201921940A true TW201921940A (zh) 2019-06-01
TWI713355B TWI713355B (zh) 2020-12-11

Family

ID=52628287

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103123797A TWI646828B (zh) 2013-09-03 2014-07-10 解碼裝置及解碼方法、以及編碼裝置及編碼方法
TW107131863A TWI713355B (zh) 2013-09-03 2014-07-10 解碼裝置、解碼方法、顯示裝置、及顯示方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW103123797A TWI646828B (zh) 2013-09-03 2014-07-10 解碼裝置及解碼方法、以及編碼裝置及編碼方法

Country Status (10)

Country Link
EP (2) EP3783900A1 (zh)
JP (2) JP6651848B2 (zh)
KR (1) KR20160052459A (zh)
CN (2) CN104662911B (zh)
BR (1) BR112015006711B1 (zh)
IN (1) IN2015DN01681A (zh)
MX (1) MX343609B (zh)
MY (1) MY184223A (zh)
TW (2) TWI646828B (zh)
WO (1) WO2015033809A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6289900B2 (ja) * 2013-12-27 2018-03-07 株式会社東芝 放送信号送信装置
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
JP6817961B2 (ja) * 2015-12-14 2021-01-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
CN112702529B (zh) * 2020-12-29 2022-07-08 杭州海康机器人技术有限公司 云台相机配置方法、装置及可读存储介质和电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775417B2 (en) * 1997-10-02 2004-08-10 S3 Graphics Co., Ltd. Fixed-rate block-based image compression with inferred pixel values
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
WO2006106453A1 (en) * 2005-04-04 2006-10-12 Koninklijke Philips Electronics N.V. Color conversion unit for reduced fringing
US8417099B2 (en) * 2005-08-26 2013-04-09 Panasonic Corporation Multiplexing method and recording medium
CN100596200C (zh) * 2007-04-27 2010-03-24 华为技术有限公司 图像压缩方法及图像编码器
WO2010023884A1 (ja) * 2008-08-29 2010-03-04 パナソニック株式会社 色信号変換装置、映像表示装置、色信号変換方法、映像表示方法及び画像データ
JP4697557B2 (ja) * 2009-01-07 2011-06-08 ソニー株式会社 符号化装置、符号化方法、記録媒体及び画像処理装置
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
TWI521973B (zh) * 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
TWI606718B (zh) * 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數

Also Published As

Publication number Publication date
BR112015006711A2 (pt) 2017-07-04
MX343609B (es) 2016-11-14
IN2015DN01681A (zh) 2015-07-03
WO2015033809A1 (ja) 2015-03-12
EP3783900A1 (en) 2021-02-24
KR20160052459A (ko) 2016-05-12
TWI713355B (zh) 2020-12-11
EP2966869A4 (en) 2017-01-11
JP6651848B2 (ja) 2020-02-19
MX2015002589A (es) 2015-07-09
CN110012297B (zh) 2022-03-01
JP2020036368A (ja) 2020-03-05
JPWO2015033809A1 (ja) 2017-03-02
EP2966869A1 (en) 2016-01-13
TW201524200A (zh) 2015-06-16
CN104662911A (zh) 2015-05-27
MY184223A (en) 2021-03-27
BR112015006711B1 (pt) 2023-03-14
JP6881555B2 (ja) 2021-06-02
TWI646828B (zh) 2019-01-01
EP2966869B1 (en) 2020-11-18
CN110012297A (zh) 2019-07-12
CN104662911B (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
US10798398B2 (en) Decoding device and decoding method, encoding device, and encoding method
JP6202330B2 (ja) 復号装置および復号方法、並びに符号化装置および符号化方法
US20190215534A1 (en) Image processing apparatus and image processing method
US20200221090A1 (en) Decoding device, decoding method, encoding device, and encoding method
US10779009B2 (en) Image decoding device and method
JP6881555B2 (ja) 復号装置および復号方法
US20160227253A1 (en) Decoding device, decoding method, encoding device and encoding method
US20170295369A1 (en) Image processing device and method
US20190335191A1 (en) Image processing device and image processing method
US10298927B2 (en) Image decoding device and method
US20170214914A1 (en) Image coding device and method, and image decoding device and method
US20200288123A1 (en) Image processing apparatus and image processing method
WO2015053116A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法