JP5235411B2 - 多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路 - Google Patents

多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路 Download PDF

Info

Publication number
JP5235411B2
JP5235411B2 JP2007532065A JP2007532065A JP5235411B2 JP 5235411 B2 JP5235411 B2 JP 5235411B2 JP 2007532065 A JP2007532065 A JP 2007532065A JP 2007532065 A JP2007532065 A JP 2007532065A JP 5235411 B2 JP5235411 B2 JP 5235411B2
Authority
JP
Japan
Prior art keywords
encoded
color space
unit
decoded
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007532065A
Other languages
English (en)
Other versions
JPWO2007023698A1 (ja
Inventor
敏志 近藤
正真 遠間
克洋 金森
春生 山下
武志 井東
淳 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007532065A priority Critical patent/JP5235411B2/ja
Publication of JPWO2007023698A1 publication Critical patent/JPWO2007023698A1/ja
Application granted granted Critical
Publication of JP5235411B2 publication Critical patent/JP5235411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Systems (AREA)

Description

本発明は、動画像を符号化して生成された、色空間に関する情報を含む符号化ストリームを多重化する多重化方法、およびその多重化された符号化ストリームを記録している記録媒体に関する。
動画像符号化の国際標準方式であるMPEG−2規格では、sequence display extention部に、動画像信号の色空間に関する情報(以下、色空間情報という)を記述することができる(非特許文献1)。また、MPEG−4 AVC規格では、sequence parameter set内のvideo usability information部に色空間情報を記述することができる(非特許文献2)。ここでは、色空間情報は、例えば、colour_primaries(カラープライマリ)、transfer_characteristics(光電変換特性)、およびmatrix_coefficients(RGBからYUVへの変換行列)を示し、それぞれについて、予め定められた数種類(6〜9種類程度)から1種類を選択して記述される。
一方、DVD−Videoディスクでは、映像の符号化方法としてMPEG−2が採用されている。ここでは、上記の色空間情報について制限が設けられている(非特許文献3)。例えば、色空間情報であるcolour_primaries、transfer_characteristics、およびmatrix_coefficientsのそれぞれに対して、2種類の値がデフォルト値として設定されている(フレームレートが29.97Hzである場合)。
さらに近年、表現できる色空間が従来よりも大幅に広がっているディスプレイ(広色帯域ディスプレイ)の開発が盛んに行われている。それに対応してIEC TC100では、IEC61966−2−4としてxvYCC色空間の標準化が進められている。xvYCC色空間を従来の色空間と比較した場合、sRGB色空間と比較して約100%、sYCC色空間と比較して約5%、表現可能な色域が広くなっている。
上記従来のDVD−Videoディスクでは、DVD−Video規格上は異なる色空間を有する動画像シーケンスを同一の媒体上に記録することが可能である。さらにそのような異なる色空間を有する動画像シーケンスが混在する媒体を再生する際の制限は規定されていない。ただし、デフォルト値として設定されている値は、定義されている色空間の差が小さいため、これまで実用上の問題とはならなかった。
ISO/IEC 13818-2: Information technology Generic coding of moving pictures and associated audio information: Video, Second edition, 2000.12. ISO/IEC 14496-10: Information technology Coding of audio-visual objects Part 10: Advanced video coding, First edition, 2003.12. DVD Specifications for Read-Only Disc, Part 3. Video Specifications Version 1.0, August 1996
しかしながら、従来の多重化方法によって符号化および多重化された動画シーケンスを再生する場合には、その再生処理が複雑になったり、再生された動画像の主観的な画質に対して違和感を視聴者に与えてしまうという問題がある。
すなわち、近年の広色帯域ディスプレイの研究開発状況を考慮すると、これまでに定義されている色空間とは大きく異なる色空間(xvYCC色空間など)が、今後DVD−VideoやBD−ROM等の媒体規格に新規で追加されることが想定される。この場合、同一の媒体上に記録された複数の動画像シーケンス間で色空間が大きく異なることになり、これが実用上の問題になると想定される。その結果、例えば、MPEG−2方式やMPEG−4 AVC方式で符号化された動画像を復号して得られるYUV形式の動画像信号をRGB形式の動画像信号に変換する場合、色空間定義が異なる動画像シーケンスを連続して再生する際の切り替わり時に、上述の複雑な再生処理と、主観画質に対する違和感という問題が生じる。つまり、動画像シーケンスの切り替わり時に色変換処理(YUV形式からRGB形式への変換)の処理方法(色変換方式)を瞬間的に変更する必要があり、そのため再生処理が複雑になる。さらに、動画像シーケンスの切り替わり時に、前後の動画像シーケンスの色空間の差によって、ユーザに対して画質上の主観的な違和感を与える。
そこで、本発明は、かかる問題に鑑みてなされたものであって、再生処理を容易にするとともに、視聴者の受ける画質上の違和感を低減させる多重化方法を提供することを目的とする。
上記目的を達成するために、本発明に係る多重化方法は、動画像を構成単位ごとに符号化することによって複数の符号化ストリームを生成し、前記複数の符号化ストリームをパケット多重化する多重化方法であって、符号化対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位の一部として符号化されるべきか否かを判別し、前記連続再生単位の一部として符号化されるべきと判別したときには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空間を決定し、決定された前記色空間にしたがって前記符号化対象の構成単位を符号化して符号化ストリームを生成し、前記符号化ストリームをパケット多重化し、前記符号化ストリームの生成では、前記符号化対象の構成単位の色空間が、前記決定された色空間と異なる場合には、前記符号化対象の構成単位の色空間を、前記決定された色空間に変換し、変換された色空間で表現される前記符号化対象の構成単位を符号化することを特徴とする。例えば、連続再生単位の一部として符号化されるべきか否かを判別するときには、シームレス接続された複数の符号化ストリームを前記連続再生単位として扱う。または、連続再生単位の一部として符号化されるべきか否かを判別するときには、マルチアングル再生が可能なように構成された複数の符号化ストリームを前記連続再生単位として扱う。
シームレス接続された複数の符号化ストリームを連続的に再生するときに、その符号化ストリームの色空間が異なっていると、再生装置は、その色空間の異なる符号化ストリームに対して色変換方式を変更しなければならない。つまり、再生装置は、動画像をディスプレイに表示するために、符号化ストリームを復号化することによって生成されたYUV形式の復号動画像を、RGB形式の復号動画像に変換するという色変換処理を行う。ここで、符号化ストリームの色空間が異なっている場合には、再生装置は、その色変換処理に用いられるパラメータを切り替えることによって、色変換処理の方式を変更しなければならない。上述と同様に、マルチアングル再生が可能なように構成された複数の符号化ストリームを、アングルを切り替えて連続的に再生するときにも、その符号化ストリームの色空間が異なっていると、再生装置は、その色空間の異なる符号化ストリームに対して色変換方式を変更しなければならない。
そこで本発明では、連続再生単位の一部として符号化されるクリップたる構成単位は、その連続再生単位で共通の色空間にしたがって符号化されるため、シームレス接続により構成された連続再生単位や、マルチアングル再生可能なように構成された連続再生単位では、色空間が統一されている。言い換えれば、連続再生単位で色空間が固定されている。したがって、再生装置は、色変換方式を変更するという処理を省くことができ、再生処理を容易にすることができる。さらに、色空間が固定されているため、視聴者の受ける画質上の違和感を低減させることができる。
また、前記多重化方法は、さらに、連続再生単位内において色空間が統一されているか否かを示すフラグを生成することを特徴としてもよい。
これにより、パケット多重化された複数の符号化ストリーム(連続再生単位)とともにそのフラグを記録媒体に記録しておけば、再生装置は、そのフラグに基づいて連続再生単位内において色空間が統一されているか否かを容易に判別することができ、再生装置の処理負担をさらに軽減することができる。
また、前記多重化方法は、さらに、パケット多重化された複数の前記符号化ストリームを記録媒体に記録し、前記フラグを生成するときには、前記記録媒体に記録された全ての前記符号化ストリームの色空間が1種類だけであるか否かを示す前記フラグを生成することを特徴としてもよい。または、前記多重化方法は、さらに、パケット多重化された複数の前記符号化ストリームを記録媒体に記録し、前記フラグを生成するときには、前記記録媒体に記録された全ての前記符号化ストリームの色空間が狭色域空間のみであるか否かを示す前記フラグを生成することを特徴としてもよい。
これにより、再生装置は、記録媒体に記録された符号化ストリームの示す動画像を再生するときには、そのフラグに基づいて、その記録媒体に対して色変換方式を変更する必要があるか否かを容易に判別することができ、再生装置の処理負担をさらに軽減することができる。
なお、本発明は、このような多重化方法として実現することができるだけでなく、その方法を用いて多重化を行う多重化装置や、集積回路、その多重化装置を動作させるプログラム、その多重化装置によりパケット多重化された符号化ストリームを記録媒体に記録する記録装置としても実現することができる。さらに、本発明は、その記録装置によって符号化ストリームが記録された記録媒体や、その記録媒体の符号化ストリームの示す動画像を再生する再生方法、その方法を用いて動画像を再生する再生装置、集積回路、その再生装置を動作させるプログラムとしても実現することができる。
本発明の多重化方法は、例えば連続再生単位などの所定単位において再生される動画像の色空間を1種類のみにする(色空間を固定する)ため、色空間定義の切り替わりに起因する頻繁な色変換方式の切り替えをなくすことができる。その結果、異なる色空間を有する動画像シーケンスが同一媒体上に記録されたパッケージメディアの再生装置の処理負荷を軽減することができるとともに、色空間定義の切り替わりに起因する主観上の画質に対する違和感をなくすことができ、その実用的価値は高い。
(実施の形態1)
図1は、本実施の形態における多重化方法を実現する多重化装置の構成を示すブロック図である。
本実施の形態における多重化装置100は、再生処理を容易にするとともに、再生時に視聴者の受ける画質上の違和感を低減させるものであって、色空間決定部101、フラグ生成部102、符号化部103、システム多重化部104、管理情報作成部105、および結合部106を備える。
色空間決定部101は、例えば、画像データVinの示す動画像シーケンスたるクリップごとに色空間を決定し、決定した色空間を示す色空間情報Csをフラグ生成部102および符号化部103に出力する。ここで、色空間決定部101は、連続再生単位内で各クリップに対して共通の色空間を決定する。連続再生単位は、記録媒体に記録された複数の符号化されたクリップ(符号化ストリーム)からなり、各符号化ストリームが連続的に再生可能なように構成されたものである。例えば、連続再生単位は、シームレス接続された複数の符号化ストリームや、マルチアングル再生が可能となるように構成された複数の符号化ストリームである。
つまり、色空間決定部101は、符号化対象のクリップが連続再生単位の一部として符号化されるべきか否かを判別する判別手段と、その判別手段によって連続再生単位の一部として符号化されるべきと判別されたときには、そのクリップに対して、連続再生単位内で共通の色空間を決定する色空間決定手段とを備えている。
なお、色空間決定部101は、ユーザによる操作に応じて、または予め定められた条件や設定に基づいて特定の色空間を決定する。
符号化部103は、画像データVinを取得して、色空間情報Csの示す色空間を満たすように各クリップのデータを符号化し、その符号化によって生成された符号化ストリームCdをシステム多重化部104に出力する。
フラグ生成部102は、例えば各クリップに対して、色空間統一フラグSwIを生成し、管理情報作成部105に出力する。色空間統一フラグは、連続再生単位内において色空間が統一されているか否かを示す。例えば、色空間統一フラグは、1であるときには、連続再生単位の各クリップに対して、色空間が統一されていることを示し、0であるときには、連続再生単位でない各クリップに対して、色空間が統一されていないことを示す。つまり、色空間統一フラグが1のときには、その色空間統一フラグは、連続再生単位において色空間が1種類だけ定義されている、言い換えれば、その連続再生単位において色空間が固定されていることを示す。
システム多重化部104は、符号化ストリームCdをシステム多重化(パケット多重化)するとともに、補助情報SIを生成する。そしてシステム多重化部104は、生成された補助情報SIを管理情報作成部105に出力するとともに、システム多重化によって生成された多重化データMdを結合部106に出力する。BD−ROMにおけるシステム多重化では、符号化ストリームCdに対応するMPEG−2のトランスポートストリームに4バイトのヘッダを付加することによってソースパケットが生成される。また、補助情報SIは、多重化データMdについての管理情報CIに含まれるタイムマップなどを生成するための情報である。
管理情報作成部105は、補助情報SIに基づいてタイムマップなどを生成し、そのタイムマップおよび色空間統一フラグSwIなどを含む管理情報CIを生成する。また、この管理情報CIは、連続再生単位を構成している各クリップ(符号化ストリーム)を示している。そして、管理情報作成部105は、その管理情報CIを結合部106に出力する。
結合部106は、管理情報CIと多重化データMdを結合することによって記録データDを生成して出力する。多重化装置100は、その記録データDを記録媒体に記録する。
図2Aは、本実施の形態における連続再生単位を示す図である。
本実施の形態における連続再生単位は、複数の符号化されたクリップ(符号化ストリームCd)から構成され、各クリップの色空間は例えば第1色空間で統一されている。なお、符号化された各クリップには、色空間が第1色空間であることを示す色空間情報Csが含まれている。
つまり、図2Aは、MPEG−2やMPEG−4 AVCの動画像の符号化ストリームにおける、色空間定義の切替え単位の制約例を示している。なお、DVD−VideoやBD−ROMなどのパッケージメディアにおいては、プレイリストなどによって動画像の符号化ストリームを連続して再生する単位(連続再生単位)が示される。
このように、本実施の形態では、連続再生単位内において色空間が統一されているため、連続して再生される区間において色空間変更のための画像処理方式の切替えが発生しない。その結果、再生処理を容易にするとともに、視聴者の受ける画質上の違和感を低減させることができる。
図2Bは、本実施の形態における他の連続再生単位を示す図である。
この図2Bに示す連続再生単位内の各クリップの色空間は第2色空間で統一されている。
なお、連続して再生されるクリップの接続条件には、シームレス接続と、非シームレス接続との2種類がある。非シームレス接続においては、例えば、オープンGOP(Group Of Picture)への接続時のように復号動作にギャップが発生することがあるため、色空間の切り替わりを許容してもよい。つまり、本実施の形態では、連続再生単位のうち、各クリップがシームレス接続される連続再生単位だけにおいて色空間を統一している。また、非シームレス接続されたクリップの主観上の違和感をなくすために、非シームレス接続されたクリップを含む連続再生単位において色空間を統一してもよく、記録媒体に記録されるすべての動画像に対して色空間を統一しても良い。
図2Cは、本実施の形態におけるさらに他の連続再生単位を示す図である。
DVD−VideoやBD−ROMのようにマルチアングル機能をサポートしている場合には、アングルの切り替えにより接続される動画像に対して色空間を統一しても良い。例えば、図2Cに示すように、連続再生単位は、マルチアングル再生が可能となるように、3つのアングルから撮影されて符号化された動画像(アングル1、アングル2、およびアングル3)からなる。また、アングル1、アングル2、およびアングル3のそれぞれは、例えばシームレス接続された複数のクリップから構成されて、共通の時間軸に沿ったタイムスタンプが付されている。マルチアングル再生が行われる場合、ユーザは、クリップの途中でアングルを3つの中から任意に選択することができる。例えば、ユーザは、アングル1のクリップの再生途中でアングルを切り替え、アングル2またはアングル3のクリップの途中から引き続き再生を継続させることができる。
本実施の形態では、このようなマルチアングル再生が行われる場合においても、連続再生単位を構成するアングル1、アングル2、およびアングル3の動画像すべての色空間が、例えば第1色空間に統一されているため、アングル切替時に色空間が異なることにより生じる主観画質上の違和感をなくすことができる。
図3は、本実施の形態の多重化装置100によって記録媒体に記録された情報の一例を示す図である。
記録媒体には、複数の符号化されたクリップ(符号化ストリーム)が、図2A〜図2Cに示すような連続再生単位として記録されており、その連続再生単位において各クリップの色空間は統一されている。なお、記録媒体には、連続再生単位に含まれない符号化ストリームである不連続符号化ストリームも記録されている。
また、DVD−VideoやBD−ROMなどのパッケージメディアたる記録媒体には、プレイリストがあり、色空間統一フラグは、そのプレイリストに含まれる管理情報CIの一部として記録される。また、色空間統一フラグは、例えば管理情報CIのStreamCodingInfoと呼ばれる領域に格納される。このような色空間統一フラグは、MPEG−2やMPEG−4 AVCのストリームにおいて、色空間定義の切替え単位が制約されていることを示す。
なお、符号化方式の記述を上述の色空間統一フラグとして扱ってもよい。つまり、BD−ROMにおいては、プレイリストから参照される各クリップの符号化方式は、管理情報内のStreamCodingInfoと呼ばれる領域に格納される。したがって、その領域で符号化方式がMPEG−2やMPEG−4 AVCであることが示される際には、その符号化方式は、1である色空間統一フラグと同様、連続再生単位において色空間が固定されていることを示す。
また、具体的にどのような色空間を用いるかを示す識別番号等を記録媒体に別途記録してもよく、さらに、色空間定義の切替え単位を示す情報を格納してもよい。また、記録媒体に記録されている動画像の色空間定義が1種類のみであるか2種類以上であるかを示すフラグを上述の色空間統一フラグとして格納しても良い。また、記録媒体が従来色帯域(狭色域空間)と広色帯域(高色域空間)の2つの色空間の動画像を記録することを許可している場合に、従来色帯域の動画像のみが記録されているか、広色帯域の動画像が記録されている可能性があるか、を示すフラグを上述の色空間統一フラグとして格納しても良い。このようなフラグを用いることにより、再生装置は、記録媒体を再生する際に、記録媒体上の色空間定義が1種類のみであるか否か、または記録媒体上の色空間が従来色帯域のみであるか否かを容易に判別することができ、色変換処理を簡易化することができる。
図4は、本実施の形態における多重化装置100の動作を示すフローチャートである。
まず、多重化装置100の色空間決定部101は、符号化対象のクリップが連続再生単位の一部とされるべきか否かを判別する(ステップS100)。例えば、色空間決定部101は、符号化対象のクリップを、直前のクリップとシームレス接続するように符号化すべきか否かを判別する。そして、シームレス接続するように符号化すべきでないと判別したときには、色空間決定部101は、さらに、その符号化対象のクリップを、直前のクリップとマルチアングル再生可能なように符号化すべきか否かを判別する。その結果、色空間決定部101は、シームレス接続するように符号化すべきと判別し、且つマルチアングル再生可能なように符号化すべきと判別した場合に、上述の連続再生単位の一部とされるべきと判別し、上記以外の場合に、連続再生単位の一部とされるべきでないと判別する。
ここで、色空間決定部101は、連続再生単位の一部とされるべきでないと判別すると(ステップS100のN)、その符号化対象のクリップに対して色空間を決定する(ステップS102)。その結果、符号化部103は、色空間決定部101で決定された色空間を満たすようにそのクリップを符号化する(ステップS104)。このとき、符号化部103は、符号化されたクリップに、その決定された色空間を示す色空間情報Csを格納する。さらに、フラグ生成部102は、そのクリップに対して0を示す色空間統一フラグを生成する(ステップS106)。
そして、符号化部103は、最終のクリップが符号化されたか否かを判別し(ステップS108)、符号化されていないと判別したときには(ステップS108のN)、多重化装置100は、次の符号化対象のクリップに対してステップS100からの動作を繰り返し実行する。
一方、色空間決定部101は、符号化対象のクリップが連続再生単位の一部とされるべきとステップS100で判別すると(ステップS100のY)、そのクリップに対して、連続再生単位で共通の色空間を決定する(ステップS110)。つまり、色空間決定部101は、符号化対象のクリップが連続再生単位の先頭のクリップであれば、ユーザによる操作または予め定められた条件や設定に基づいて色空間を決定する。また、符号化対象のクリップが連続再生単位の先頭にないクリップであれば、色空間決定部101は、直前のクリップに対して決定された色空間と同一の色空間を、符号化対象のクリップに対して決定する。
その結果、符号化部103は、色空間決定部101で決定された色空間を満たすようにそのクリップを符号化する(ステップS112)。例えば、符号化部103は、画像データVinの示す符号化対象のクリップの色空間が、ステップS110で決定された色空間と異なっているときには、そのクリップの色空間を、決定された色空間に変換し、その変換された色空間で表現される符号化対象のクリップに対して符号化を行う。これにより、連続再生単位内の色空間が統一される。また、このとき、符号化部103は、符号化されたクリップに、その決定された色空間を示す色空間情報Csを格納する。そして、フラグ生成部102は、そのクリップに対して1を示す色空間統一フラグを生成する(ステップS114)。
そして、符号化部103は、最終のクリップが符号化されたか否かを判別し(ステップS108)、符号化されていないと判別したときには(ステップS108のN)、多重化装置100は、次の符号化対象のクリップに対してステップS100からの動作を繰り返し実行する。
システム多重化部104は、ステップS108で最終のクリップが符号化されたと判別されると(ステップS108のY)、システム多重化を行うことにより多重化データMdを生成するとともに補助情報SIを生成する(ステップS118)。そして、管理情報作成部105は、ステップS106,S114で生成された色空間統一フラグと、ステップS118で生成された補助情報SIとを用いて管理情報CIを生成する(ステップS120)。
結合部106は、ステップS118で生成された多重化データMdと、ステップS120で生成された管理情報CIとを結合することにより記録データDを生成する(ステップS122)。
なお、上述の例では、フラグ生成部102は色空間統一フラグをクリップごとに生成したが、連続再生単位で1つの色空間統一フラグを生成してもよい。
このように本実施の形態の多重化装置100は、連続再生単位において色空間定義を1種類だけにすることにより、色空間定義の切替単位を制約するとともに、切替単位が制約されていることを示す色空間統一フラグを記録媒体に記録する。また、本実施の形態における記録媒体では、連続再生単位内の各クリップの色空間は統一されており、上述の色空間統一フラグが記録されている。これにより、その記録媒体に記録された動画像を再生する再生装置は、連続再生単位内では色変換方式の切り替えを行うことなく動画像を再生することができ、再生処理を容易にすることができる。さらに、連続再生単位内では色空間の変更が生じないため、視聴者の受ける画質上の違和感を低減させることができる。
なお、オーサリングツールなどでデータを作成する際には、符号化ストリームCdの生成と、システム多重化と、管理情報CIの作成とを別々の装置で行うことがある。このような場合には、各装置は、多重化装置100における各構成要素と同一の動作を行う。つまり、符号化ストリームCdを生成する装置と、システム多重化を行う装置と、管理情報CIを生成する装置とを含めて本実施の形態の多重化装置100が構成される。
また、本実施の形態では多重化装置として本発明を説明したが、本発明を記録装置として実現してもよい。
(実施の形態2)
本実施の形態における再生装置は、実施の形態1の多重化装置100によって記録媒体に記録された記録データDを読み出して再生する。
図5は、本実施の形態における再生方法を実現する再生装置の構成を示すブロック図である。
本実施の形態における再生装置200は、復号部201、第1色変換部202、第2色変換部203、制御部204、および切替部205,206を備えている。
復号部201は、記録媒体から読み出された記録データDのうち多重化データMdを取得し、その多重化データMdに対して、そのデータの符号化方式(例えばMPEG−2やMPEG−4 AVC方式)に応じた復号処理を施す。その結果、復号部201は、YUV形式によって表現されるYUV復号画像データVyを生成して出力する。また、復号部201は、多重化データMdの各符号化ストリーム(クリップ)に含まれる色空間情報Csを抽出して制御部204に出力する。
第1色変換部202は、第1色空間で表現されるYUV復号画像データVyを、第1色空間に対応する色変換パラメータを用いて、第1色空間でRGB形式によって表現されるRGB復号画像データVrに変換する。
第2色変換部203は、第2色空間で表現されるYUV復号画像データVyを、第2色空間に対応する色変換パラメータを用いて、第2色空間でRGB形式によって表現されるRGB復号画像データVrに変換する。
なお、第1色空間に対応する色変換パラメータと第2色空間に対応する色変換パラメータとは、それぞれ異なっている。また、色変換パラメータは、例えば、YUV形式をRGB形式に変換する際に使用される色変換行列と、R/G/B/Whiteの色度点と、伝達特性と、YUV空間およびRGB空間での定義域(色域)とを含む。
例えば、第1色変換部202または第2色変換部203は、xvYCC規格のような広色域のYUV信号(YUV復号画像データVy)を扱う場合は、論理的に負から1.0以上にまで拡張された値を持つRGB信号のRGB復号画像データVrを出力する。したがって、第1色変換部202または第2色変換部203から出力されたRGB復号画像データVrを扱う手段(例えば切替部206や更にその後段に配置された編集装置や表示装置(図示せず)等)は、上記負から1.0以上の値を扱うことができるもので有る必要がある。
また、第1色変換部202または第2色変換部203は、BT.601やBT.709規格のような狭色域のYUV信号(YUV復号画像データVy)を扱う場合は、論理的に0.0から1.0までの値を持つRGB信号のRGB復号画像データVrを出力する。
切替部205は、制御部204からの制御に応じて、端子cを端子aと端子cに切り替えて接続する。つまり、切替部205は、端子cを端子aに接続することにより、復号部201で生成されたYUV復号画像データVyを第1色変換部202に出力し、端子cを端子bに接続することにより、復号部201で生成されたYUV復号画像データVyを第2色変換部203に出力する。
切替部206は、制御部204からの制御に応じて、端子cを端子aと端子cに切り替えて接続する。つまり、切替部206は、端子cを端子aに接続することにより、第1色変換部202で生成されたRGB復号画像データVrを再生装置200外に出力し、端子cを端子bに接続することにより、第2色変換部203で生成されたRGB復号画像データVrを再生装置200外に出力する。
制御部204は、色空間情報Csを復号部201から取得するとともに、管理情報CIを記録媒体から取得する。この管理情報CIには、復号化された各クリップに対応して色空間統一フラグが格納されている。制御部204は、復号化されたクリップに対応する色空間統一フラグが0を示すときには、そのクリップに対応する色空間情報Csに応じて、切替部205,206を制御する。つまり、制御部204は、色空間情報Csが第1色空間を示すときには、切替部205,206を制御することにより、その切替部205,206の端子cを端子aに接続させる。その結果、第1色変換部202は、復号部201から第1色空間で表現されるYUV復号画像データVyを取得してRGB復号画像データVrに変換し、そのRGB復号画像データVrを出力する。一方、制御部204は、色空間情報Csが第2色空間を示すときには、切替部205,206を制御することにより、その切替部205,206の端子cを端子bに接続させる。その結果、第2色変換部203は、復号部201から第2色空間で表現されるYUV復号画像データVyを取得してRGB復号画像データVrに変換し、そのRGB復号画像データVrを出力する。
また、0を示す色空間統一フラグに対応するクリップの色空間は、直前または直後のクリップの色空間と異なる可能性がある。したがって、制御部204は、0を示す色空間統一フラグを取得したときには、例えば、動画像シーケンスの切り換わりに違和感が生じる可能性があることをユーザに知らせる内容のメッセージMを生成して出力する。このようなメッセージMを取得したディスプレイは、上述のような内容を表示してユーザに知らせる。
ここで、制御部204は、連続再生単位の一部として復号化されたクリップに対応する色空間統一フラグが1を示すときには、その連続再生単位内の全てのクリップの色空間が統一されていることを認識する。
つまり、制御部204は、連続再生単位の一部として最初に復号化されたクリップに対応する色空間統一フラグが1を示すときには、上述の色空間統一フラグが0のときと同様に、そのクリップに対応する色空間情報Csに応じて切替部205,206を制御する。しかし、制御部204は、上述の最初のクリップ以後に連続再生単位の一部として復号化されたクリップに対しては、そのクリップに対応する色空間情報Csを特定することなく、切替部205,206に対する切替制御を停止する。すなわち、制御部204は、連続再生単位内の先頭のクリップに適用された色変換部(第1色変換部202または第2色変換部203)を、その連続再生単位内の後続のクリップに対しても適用させる。その結果、連続再生単位内では、第1色変換部202と第2色変換部203との切り替えは行われず、何れか一方の色変換部のみが使用される。
なお、この再生装置200では、第1色変換部202、第2色変換部203、切替部205,206、および制御部204から、第1の色変換手段と第2の色変換手段とが構成されている。ここで、第1の色変換手段は、YUV復号画像データVyが連続再生単位の符号化ストリームから復号化されているときには、その連続再生単位に対して共通の色変換パラメータを、YUV復号画像データVyに適用することによって、YUV復号画像データVyの色形式を変換する。第2の色変換手段は、YUV復号画像データVyが不連続符号化ストリームから復号化されているときには、その不連続符号化ストリームに含まれる色空間情報Csから、その不連続符号化ストリームに応じた色変換パラメータを特定し、その色変換パラメータをYUV復号画像データVyに適用することによって、YUV復号画像データVyの色形式を変換する。
また、上述の例では、制御部204は、多重化データMdから抽出された色空間情報Csを復号部201から取得したが、色空間情報Csが管理情報CIに含まれている場合には、その管理情報CIから色空間情報Csを取得してもよい。
ここで、例えば、記録媒体に記録されている動画像の色空間定義が1種類のみであるか2種類以上であるかを示すフラグが、記録媒体の管理情報に格納されている場合がある。また、従来色帯域と広色帯域の2つの色空間の動画像を記録媒体に記録することが許可されており、従来色帯域の動画像のみが記録されているか、広色帯域の動画像が記録されている可能性があるか、を示すフラグが、記録媒体の管理情報に格納されている場合がある。このような場合には、制御部204は、そのフラグを読み出してフラグの値を判定することにより、記録媒体上の色空間定義が1種類のみであるか否か、または記録媒体上の色空間が従来色帯域のみであるか否かを容易に判別することができ、色変換処理を更に簡易化することができる。
ところで、本実施の形態における再生装置は、第1色変換部202と第2色変換部203とを備えたが、これら2つの色変換部の代わりに、互いに異なる色変換パラメータを切り替えて使用する1つの色変換部を備えても良い。
図6は、色変換部を1つだけ備えた本実施の形態における再生装置の構成を示すブロック図である。
再生装置200aは、復号部301と、色変換部310と、パラメータ保持部311とを備える。復号部301は、上述の復号部201と同一の機能を有する。
色変換部310は、復号部201からYUV復号画像データVyを取得するとともに、パラメータ保持部311から、上述の第1色空間に対応する色変換パラメータ(以下、第1色変換パラメータという)と、上述の第2色空間に対応する色変換パラメータ(以下、第2色変換パラメータという)とを取得する。そして、この色変換部310は、第1色変換パラメータを取得したときには、第1色空間で表現されるYUV復号画像データVyを、その第1色変換パラメータを用いて、第1色空間でRGB形式によって表現されるRGB復号画像データVrに変換する。また、この色変換部310は、第2色変換パラメータを取得したときには、第2色空間で表現されるYUV復号画像データVyを、その第2色変換パラメータを用いて、第2色空間でRGB形式によって表現されるRGB復号画像データVrに変換する。
例えば、色変換部310は、xvYCC規格のような広色域のYUV信号(YUV復号画像データVy)を扱う場合は、論理的に負から1.0以上にまで拡張された値を持つRGB信号のRGB復号画像データVrを出力する。したがって、色変換部310から出力されたRGB復号画像データVrを扱う手段(例えば編集装置や表示装置(図示せず)等)は、上記負から1.0以上の値を扱うことができるもので有る必要がある。
また、色変換部310は、BT.601規格やBT.709規格のような狭色域のYUV信号(YUV復号画像データVy)を扱う場合は、論理的に0.0から1.0までの値を持つRGB信号のRGB復号画像データVrを出力する。
パラメータ保持部311は、第1色変換パラメータおよび第2色変換パラメータを保持している。そして、パラメータ保持部311は、色空間情報Csを復号部301から取得するとともに、管理情報CIを記録媒体から取得する。パラメータ保持部311は、復号化されたクリップに対応する色空間統一フラグが0を示すときには、そのクリップに対応する色空間情報Csに応じて、第1色変換パラメータと第2色変換パラメータとの何れか一方を選択して色変換部310に出力する。つまり、パラメータ保持部311は、色空間情報Csが第1色空間を示すときには、第1色変換パラメータを選択して色変換部310に出力する。その結果、色変換部310は、第1色空間で表現されるYUV復号画像データVyを復号部301から取得してRGB復号画像データVrに変換し、そのRGB復号画像データVrを出力する。一方、パラメータ保持部311は、色空間情報Csが第2色空間を示すときには、第2色変換パラメータを選択して色変換部310に出力する。その結果、色変換部310は、第2色空間で表現されるYUV復号画像データVyを復号部301から取得してRGB復号画像データVrに変換し、そのRGB復号画像データVrを出力する。
また、0を示す色空間統一フラグに対応するクリップの色空間は、直前または直後のクリップの色空間と異なる可能性がある。したがって、パラメータ保持部311は、0を示す色空間統一フラグを取得したときには、例えば、動画像シーケンスの切り換わりに違和感が生じる可能性があることをユーザに知らせる内容のメッセージMを生成して出力する。このようなメッセージMを取得したディスプレイは、上述のような内容を表示してユーザに知らせる。
ここで、パラメータ保持部311は、連続再生単位の一部として復号化されたクリップに対応する色空間統一フラグが1を示すときには、その連続再生単位内の全てのクリップの色空間が統一されていることを認識する。
つまり、パラメータ保持部311は、連続再生単位の一部として最初に復号化されたクリップに対応する色空間統一フラグが1を示すときには、上述の色空間統一フラグが0のときと同様に、そのクリップに対応する色空間情報Csに応じて色変換パラメータ(第1色変換パラメータまたは第2色変換パラメータ)を選択して出力する。しかし、パラメータ保持部311は、上述の最初のクリップ以後に連続再生単位の一部として復号化されたクリップに対しては、そのクリップに対応する色空間情報Csを特定することなく、色変換パラメータの選択および出力を停止する。すなわち、パラメータ保持部311は、連続再生単位内の先頭のクリップに適用された色変換パラメータを、その連続再生単位内の後続のクリップに対しても適用させる。その結果、連続再生単位内では、第1色変換パラメータと第2色変換パラメータとの切り替えは行われず、何れか一方の色変換パラメータのみが使用される。
なお、この再生装置200aでは、色変換部310およびパラメータ保持部311から、上述の第1の色変換手段と第2の色変換手段とが構成されている。
図7は、本実施の形態における再生装置200aの動作を示すフローチャートである。
まず、再生装置200aの復号部301は、記録媒体から読み出された多重化データMdを取得して、その多重化データMdにより示される符号化されたクリップを復号化する(ステップS200)。パラメータ保持部311は、その復号化されたクリップに対応する色空間統一フラグが1であるか否かを判別する(ステップS202)。
パラメータ保持部311は、色空間統一フラグが0であると判別すると(ステップS202のN)、上述の符号化されたクリップは不連続符号化ストリームであって、そのクリップの色空間が直前または直後のクリップの色空間と異なる可能性があるため、上述のメッセージMを生成する(ステップS204)。そして、パラメータ保持部311は、復号部301で抽出された、そのクリップに対応する色空間情報Csがどのような色空間を示しているかを特定する(ステップS206)。
パラメータ保持部311は、特定された色空間に基づいて、色変換部310で使用される色変換パラメータの切り替えが必要か否かを判別する(ステップS208)。ここで、切り替えが必要と判別すると、パラメータ保持部311は、色変換部310で使用されるべき色変換パラメータ(第1色変換パラメータまたは第2色変換パラメータ)を選択して色変換部310に出力することによって、色変換パラメータの切り替えを行う(ステップS210)。
一方、パラメータ保持部311は、色空間統一フラグが1であると判別すると(ステップS202のY)、さらに、ステップS200で復号化されたクリップの直前に復号化されたクリップに対応する色空間統一フラグが1であるか否かを判別する(ステップS212)。つまり、パラメータ保持部311は、ステップS200で復号化されたクリップが連続再生単位の先頭のクリップであるか否かを判別する。ここで、パラメータ保持部311は、直前のクリップに対応する色空間統一フラグが0であると判別すると(ステップS212のN)、つまりステップS200で復号化されたクリップが連続再生単位の先頭のクリップであると判別すると、ステップS206からの動作を実行する。一方、パラメータ保持部311は、直前のクリップに対応する色空間統一フラグが1であると判別すると(ステップS212のY)、つまりステップS200で復号化されたクリップが、連続再生単位の先頭にないと判別すると、ステップS206からの動作を実行せず、色変換パラメータの切替処理を停止する。
色変換部310は、ステップS210でパラメータ保持部311から色変換パラメータを取得したときには、その色変換パラメータを用いてYUV復号画像データVyをRGB復号画像データVrに変換する(ステップS214)。また、色変換部310は、ステップS208で色変換パラメータの切り替えが不必要と判別されたとき(ステップS208のN)、またはステップS200で復号化されたクリップが連続再生単位の先頭にないと判別されたときには(ステップS212のY)、以前から使用されている色変換パラメータを用いてYUV復号画像データVyをRGB復号画像データVrに変換する(ステップS214)。このように変換されたRGB復号画像データVrがディスプレイに出力されて、そのRGB復号画像データVrにより示される映像が表示されることによって、記録媒体に記録された記録データDが再生される。
復号部301は、最終のクリップが復号化されたか否かを判別し(ステップS216)、復号化されたと判別したときには(ステップS216のY)、復号処理を終了し、復号化されていないと判別したときには(ステップS216のN)、次に復号化されるべきクリップに対してステップS200からの復号処理を実行する。
このように本実施の形態では、符号化ストリームCdを復号化することによりYUV復号画像データVyが生成される。そして、その符号化ストリームCdに対応する色空間統一フラグが1のとき、つまり、YUV復号画像データVyが連続再生単位の符号化ストリームから復号化されているときには、その連続再生単位に対して共通の色変換パラメータが、YUV復号画像データVyに適用される。その結果、YUV復号画像データVyの色形式がRGB形式に変換される。また、その符号化ストリームに対応する色空間統一フラグが0のとき、つまり、YUV復号画像データVyが不連続符号化ストリームから復号化されているときには、その不連続符号化ストリームに含まれる色空間情報Csから、その不連続符号化ストリームに応じた色変換パラメータが特定される。そして、その色変換パラメータをYUV復号画像データVyに適用することによって、そのYUV復号画像データVyの色形式がRGB形式に変換される。
したがって、本実施の形態の再生装置200,200aは、色空間が統一された連続再生単位を再生するため、連続再生単位内で色変換方式を切り替えることなく動画像を再生することができ、再生処理を容易にすることができるとともに画質上の違和感を低減させることができる。さらに、色空間統一フラグを用いることによって、連続再生単位内の各クリップに収められた色空間情報Csの示す色空間をわざわざ特定するといった手間を省くことができる。
なお、上述の例では、パラメータ保持部311は、多重化データMdから抽出された色空間情報Csを復号部301から取得したが、色空間情報Csが管理情報CIに含まれている場合には、その管理情報CIから色空間情報Csを取得してもよい。
ここで、例えば、記録媒体に記録されている動画像の色空間定義が1種類のみであるか2種類以上であるかを示すフラグが、記録媒体の管理情報に格納されている場合がある。また、従来色帯域と広色帯域の2つの色空間の動画像を記録媒体に記録することが許可されており、従来色帯域の動画像のみが記録されているか、広色帯域の動画像が記録されている可能性があるか、を示すフラグが、記録媒体の管理情報に格納されている場合がある。このような場合には、パラメータ保持部311は、そのフラグを読み出してフラグの値を判定することにより、記録媒体上の色空間定義が1種類のみであるか否か、または記録媒体上の色空間が従来色帯域のみであるか否かを容易に判別することができ、色変換処理を更に簡易化することができる。
以上、本発明について実施の形態1および実施の形態2を用いて説明したが、本発明はこれらに限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
例えば、実施の形態1および実施の形態2では、2種類の色空間(第1色空間または第2色空間)を用いて説明したが、実施の形態1の多重化装置および実施の形態2の再生装置を、3種類以上の色空間を取り扱えるように構成してもよい。
また、実施の形態1および実施の形態2では、動画像の符号化方式の例として、MPEG−2やMPEG−4 AVCを挙げたが、他の符号化方式であってもよい。
また、実施の形態1および実施の形態2では、記録媒体の例として、DVD−VideoやBD−ROMなどのパッケージメディアを挙げたが、他のパッケージメディアであってもよい。
また、実施の形態1および実施の形態2では、連続再生単位を、シームレス接続された複数の符号化ストリームや、マルチアングル再生可能なように構成された複数の符号化ストリームとしたが、これら以外の複数の符号化ストリームとしてもよい。例えば、記録媒体に記録された全ての符号化ストリームを連続再生単位としてもよい。
また、図1、図5および図6に示す各機能ブロックを、集積回路であるLSI(Large Scale Integration)として実現してもよい。このLSIは、多重化装置100または再生装置200,200aで1チップ化されても良いし、複数チップ化されても良い(例えばメモリ以外の機能ブロックが1チップ化されていても良い)。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、図1、図5および図6に示す各機能ブロックと、図4および図7に示す処理動作とにおける中心的部分を、プロセッサおよびプログラムによって実現してもよい。
本発明にかかる多重化装置、多重化方法、記録媒体、再生装置、および再生方法は、例えば連続再生単位などの所定単位において、再生される動画像の色空間を1種類のみとする(固定とする)ため、色空間定義の切り替わりに起因する頻繁な色変換方式の切り替えをなくすことができる。その結果、異なる色空間を有する動画像シーケンスが同一媒体上に記録されたパッケージメディアの再生装置の処理負荷を軽減でき、また色空間定義の切り替わりに起因する主観上の画質に対する違和感をなくすことができるという効果を有する。したがって、本発明は、例えばビデオカメラや、ビデオ再生装置、携帯電話、パーソナルコンピュータなどに適用することができる。
図1は、本発明の実施の形態1における多重化方法を実現する多重化装置の構成を示すブロック図である。 図2Aは、本発明の実施の形態1における連続再生単位を示す図である。 図2Bは、本発明の実施の形態1における他の連続再生単位を示す図である。 図2Cは、本発明の実施の形態1におけるさらに他の連続再生単位を示す図である。 図3は、本発明の実施の形態1の多重化装置によって記録媒体に記録された情報の一例を示す図である。 図4は、本実施の形態における多重化装置100の動作を示すフローチャートである。 図5は、本実施の形態における再生装置の構成を示すブロック図である。 図6は、色変換部を1つだけ備えた本実施の形態における再生装置の構成を示すブロック図である。 図7は、本実施の形態における再生装置の動作を示すフローチャートである。
符号の説明
100 多重化装置
101 色空間決定部
102 フラグ生成部
103 符号化部
104 システム多重化部
105 管理情報作成部
106 結合部
200,200a 再生装置
201 復号部
202 第1色変換部
203 第2色変換部
204 制御部
205,206 切替部
301 復号部
310 色変換部
311 パラメータ保持部

Claims (16)

  1. 動画像を構成単位ごとに符号化て複数の符号化ストリームを生成し、前記複数の符号化ストリームをパケット多重化する多重化方法であって、
    符号化対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位の一部として符号化されるべきか否かを判別し、
    前記連続再生単位の一部として符号化されるべきと判別したときには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空間を決定し、
    決定された前記色空間にしたがって前記符号化対象の構成単位を符号化して符号化ストリームを生成し、
    前記符号化ストリームをパケット多重化し、
    前記符号化ストリームの生成では、前記符号化対象の構成単位の色空間が、前記決定された色空間と異なる場合には、前記符号化対象の構成単位の色空間を、前記決定された色空間に変換し、
    変換された色空間で表現される前記符号化対象の構成単位を符号化する
    ことを特徴とする多重化方法。
  2. 連続再生単位の一部として符号化されるべきか否かを判別するときには、
    シームレス接続された複数の符号化ストリームを前記連続再生単位として扱う
    ことを特徴とする請求項1記載の多重化方法。
  3. 連続再生単位の一部として符号化されるべきか否かを判別するときには、
    マルチアングル再生が可能なように構成された複数の符号化ストリームを前記連続再生単位として扱う
    ことを特徴とする請求項1記載の多重化方法。
  4. 前記多重化方法は、さらに、
    前記連続再生単位を構成している各符号化ストリームを示す管理情報を生成し、
    前記管理情報の一部として、符号化ストリームの色空間が統一されているか否かを示すフラグを生成する
    ことを特徴とする請求項1記載の多重化方法。
  5. 前記多重化方法は、さらに、
    パケット多重化された複数の前記符号化ストリームを記録媒体に記録し、
    前記フラグを生成するときには、
    前記記録媒体に記録された全ての前記符号化ストリームの色空間が1種類だけであるか否かを示す前記フラグを生成する
    ことを特徴とする請求項記載の多重化方法。
  6. 記フグは
    前記記録媒体に記録された全ての前記符号化ストリームの色空間が狭色域空間のみであるか否かを示
    とを特徴とする請求項5記載の多重化方法。
  7. 符号化された動画像を示す複数の符号化ストリームが記録された記録媒体から、前記複数の符号化ストリームを読み出して動画像を再生する再生方法であって、
    前記記録媒体には、
    共通の色空間で表現される複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位と、前記連続再生単位に含まれない符号化ストリームである不連続符号化ストリームとが記録されており、
    前記再生方法は、
    前記記録媒体から読み出した前記符号化ストリームを復号化することにより復号動画像を生成し、
    前記復号動画像が、前記連続再生単位最初に復号化される符号化ストリームから復号化されているとき、または、前記不連続符号化ストリームから復号化されているときには、前記最初に復号化される符号化ストリームまたは前記不連続符号化ストリーム含まれる情報から、当該符号化ストリームまたは当該不連続符号化ストリームに応じた色変換パラメータを特定し、特定した前記色変換パラメータを前記復号動画像に適用して前記復号動画像の色形式を変換し、
    前記復号動画像が記連再生単位内の、最初に復号化される符号化ストリーム以外の符号化ストリームから復号化されているときには、当該符号化ストリームに応じた色変換パラメータを特定することなく、前記連続再生単位に対して共通の色変換パラメータを前記復号動画像に適用して前記復号動画像の色形式を変換する
    ことを特徴とする再生方法。
  8. 前記記録媒体には、さらに、
    前記記録媒体に記録された符号化ストリームの色空間が統一されているか否かを示すフラグが記録されており、
    前記再生方法は、
    前記フラグを前記記録媒体から読み出して、前記復号動画像に適用する色変換パラメータを決定する
    ことを特徴とする請求項7記載の再生方法。
  9. 前記再生方法は、さらに、
    前記フラグが、色空間が統一していないことを示す場合、報知情報を生成する
    ことを特徴とする請求項8記載の再生方法。
  10. 動画像を構成単位ごとに符号化て複数の符号化ストリームを生成し、前記複数の符号化ストリームをパケット多重化する多重化装置であって、
    符号化対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位の一部として符号化されるべきか否かを判別する判別手段と、
    前記判別手段によって連続再生単位の一部として符号化されるべきと判別されたときには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空間を決定する色空間決定手段と、
    決定された前記色空間にしたがって前記符号化対象の構成単位を符号化して符号化ストリームを生成する符号化手段と、
    前記符号化ストリームをパケット多重化する多重化手段とを備え、
    前記符号化手段は、前記符号化対象の構成単位の色空間が、前記決定された色空間と異なる場合には、前記符号化対象の構成単位の色空間を、前記決定された色空間に変換し、
    変換された色空間で表現される前記符号化対象の構成単位を符号化する
    ことを特徴とする多重化装置。
  11. 動画像を構成単位ごとに符号化て複数の符号化ストリームを生成して記録媒体に記録する記録装置であって、
    符号化対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位の一部として符号化されるべきか否かを判別する判別手段と、
    前記判別手段によって連続再生単位の一部として符号化されるべきと判別されたときには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空間を決定する色空間決定手段と、
    決定された前記色空間にしたがって前記符号化対象の構成単位を符号化して符号化ストリームを生成する符号化手段と、
    前記符号化ストリームをパケット多重化する多重化手段と、
    前記多重化手段によってパケット多重化された符号化ストリームを記録媒体に記録する記録手段とを備え、
    前記符号化手段は、前記符号化対象の構成単位の色空間が、前記決定された色空間と異なる場合には、前記符号化対象の構成単位の色空間を、前記決定された色空間に変換し、
    変換された色空間で表現される前記符号化対象の構成単位を符号化する
    ことを特徴とする記録装置。
  12. 符号化された動画像を示す複数の符号化ストリームが記録された記録媒体から、前記複数の符号化ストリームを読み出して動画像を再生する再生装置であって、
    前記記録媒体には、
    共通の色空間で表現される複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位と、前記連続再生単位に含まれない符号化ストリームである不連続符号化ストリームとが記録されており、
    前記再生装置は、
    記記録媒体から読み出した前記符号化ストリームを復号化することにより復号動画像を生成する復号化手段と、
    前記復号動画像が前記連続再生単位最初に復号化される符号化ストリームから復号化されているとき、または、前記不連続符号化ストリームから復号化されているときには、前記最初に復号化される符号化ストリームまたは前記不連続符号化ストリーム含まれる情報から、当該符号化ストリームまたは当該不連続符号化ストリームに応じた色変換パラメータを特定し、特定した前記色変換パラメータを前記復号動画像に適用して前記復号動画像の色形式を変換する第1の色変換手段と、
    前記復号動画像が記連再生単位内の、最初に復号化される符号化ストリーム以外の符号化ストリームから復号化されているときには、当該符号化ストリームに応じた色変換パラメータを特定することなく、前記連続再生単位に対して共通の色変換パラメータを前記復号動画像に適用して前記復号動画像の色形式を変換する第2の色変換手段と
    を備えることを特徴とする再生装置。
  13. 動画像を構成単位ごとに符号化て複数の符号化ストリームを生成し、前記複数の符号化ストリームをパケット多重化するためのプログラムであって、
    符号化対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位の一部として符号化されるべきか否かを判別し、
    前記連続再生単位の一部として符号化されるべきと判別したときには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空間を決定し、
    決定された前記色空間にしたがって前記符号化対象の構成単位を符号化して符号化ストリームを生成し、
    前記符号化ストリームをパケット多重化することをコンピュータに実行させ、
    前記符号化ストリームの生成では、前記符号化対象の構成単位の色空間が、前記決定された色空間と異なる場合には、前記符号化対象の構成単位の色空間を、前記決定された色空間に変換し、
    変換された色空間で表現される前記符号化対象の構成単位を符号化する
    ことを特徴とするプログラム。
  14. 符号化された動画像を示す複数の符号化ストリームが記録された記録媒体から、前記複数の符号化ストリームを読み出して動画像を再生するためのプログラムであって、
    前記記録媒体には、
    共通の色空間で表現される複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位と、前記連続再生単位に含まれない符号化ストリームである不連続符号化ストリームとが記録されており、
    前記プログラムは、
    前記記録媒体から読み出した前記符号化ストリームを復号化することにより復号動画像を生成し、
    前記復号動画像が前記連続再生単位最初に復号化される符号化ストリームから復号化されているとき、または、前記不連続符号化ストリームから復号化されているときには、前記最初に復号化される符号化ストリームまたは前記不連続符号化ストリーム含まれる情報から、当該符号化ストリームまたは当該不連続符号化ストリームに応じた色変換パラメータを特定し特定した前記色変換パラメータを前記復号動画像に適用して前記復号動画像の色形式を変換し、
    前記復号動画像が記連再生単位内の、最初に復号化される符号化ストリーム以外の符号化ストリームから復号化されているときには、当該符号化ストリームに応じた色変換パラメータを特定することなく、前記連続再生単位に対して共通の色変換パラメータを前記復号動画像に適用して前記復号動画像の色形式を変換する
    ことをコンピュータに実行させることを特徴とするプログラム。
  15. 動画像を構成単位ごとに符号化て複数の符号化ストリームを生成し、前記複数の符号化ストリームをパケット多重化する集積回路であって、
    符号化対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位の一部として符号化されるべきか否かを判別する判別手段と、
    前記判別手段によって連続再生単位の一部として符号化されるべきと判別されたときには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空間を決定する色空間決定手段と、
    決定された前記色空間にしたがって前記符号化対象の構成単位を符号化して符号化ストリームを生成する符号化手段と、
    前記符号化ストリームをパケット多重化する多重化手段とを備え、
    前記符号化手段は、前記符号化対象の構成単位の色空間が、前記決定された色空間と異なる場合には、前記符号化対象の構成単位の色空間を、前記決定された色空間に変換し、
    変換された色空間で表現される前記符号化対象の構成単位を符号化する
    ことを特徴とする集積回路。
  16. 符号化された動画像を示す複数の符号化ストリームが記録された記録媒体から、前記複数の符号化ストリームを読み出して動画像を再生する集積回路であって、
    前記記録媒体には、
    共通の色空間で表現される複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位と、前記連続再生単位に含まれない符号化ストリームである不連続符号化ストリームとが記録されており、
    前記集積回路は、
    前記記録媒体から読み出した前記符号化ストリームを復号化することにより復号動画像を生成する復号化手段と、
    前記復号動画像が前記連続再生単位最初に復号化される符号化ストリームから復号化されているとき、または、前記不連続符号化ストリームから復号化されているときには、前記最初に復号化される符号化ストリームまたは前記不連続符号化ストリーム含まれる情報から、当該符号化ストリームまたは当該不連続符号化ストリームに応じた色変換パラメータを特定し特定した前記色変換パラメータを前記復号動画像に適用して前記復号動画像の色形式を変換する第1の色変換手段と、
    前記復号動画像が記連再生単位内の、最初に復号化される符号化ストリーム以外の符号化ストリームから復号化されているときには、当該符号化ストリームに応じた色変換パラメータを特定することなく、前記連続再生単位に対して共通の色変換パラメータを前記復号動画像に適用して前記復号動画像の色形式を変換する第2の色変換手段と
    を備えることを特徴とする集積回路。
JP2007532065A 2005-08-26 2006-08-11 多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路 Active JP5235411B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007532065A JP5235411B2 (ja) 2005-08-26 2006-08-11 多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005245567 2005-08-26
JP2005245567 2005-08-26
PCT/JP2006/315946 WO2007023698A1 (ja) 2005-08-26 2006-08-11 多重化方法および記録媒体
JP2007532065A JP5235411B2 (ja) 2005-08-26 2006-08-11 多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路

Publications (2)

Publication Number Publication Date
JPWO2007023698A1 JPWO2007023698A1 (ja) 2009-03-26
JP5235411B2 true JP5235411B2 (ja) 2013-07-10

Family

ID=37771449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007532065A Active JP5235411B2 (ja) 2005-08-26 2006-08-11 多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路

Country Status (6)

Country Link
US (1) US8417099B2 (ja)
EP (2) EP1933571B1 (ja)
JP (1) JP5235411B2 (ja)
KR (1) KR101237608B1 (ja)
CN (1) CN101248678B (ja)
WO (1) WO2007023698A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004783A1 (ko) * 2017-06-29 2019-01-03 포디리플레이코리아 주식회사 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 재생 방법 및 장치
WO2019004498A1 (ko) * 2017-06-29 2019-01-03 포디리플레이 인코포레이티드 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5157140B2 (ja) 2006-11-29 2013-03-06 ソニー株式会社 記録装置、記録方法、情報処理装置、情報処理方法、撮像装置およびビデオシステム
JP2009008835A (ja) * 2007-06-27 2009-01-15 Hitachi Ltd 画像表示装置
JP2009038685A (ja) * 2007-08-02 2009-02-19 Sony Corp 画像信号出力装置及び画像信号出力方法
KR20100036330A (ko) * 2007-08-02 2010-04-07 소니 주식회사 화상 처리 장치
JP2009038682A (ja) * 2007-08-02 2009-02-19 Sony Corp 画像処理装置及び画像処理方法
RU2656880C2 (ru) 2013-06-20 2018-06-07 Сони Корпорейшн Устройство воспроизведения, способ воспроизведения и носитель записи
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
TWI713355B (zh) * 2013-09-03 2020-12-11 日商新力股份有限公司 解碼裝置、解碼方法、顯示裝置、及顯示方法
JP6289900B2 (ja) * 2013-12-27 2018-03-07 株式会社東芝 放送信号送信装置
JP6149777B2 (ja) * 2014-03-28 2017-06-21 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
US10027856B2 (en) * 2015-03-05 2018-07-17 Sony Corporation Devices and methods for transmitting transmission video data
JP2019149753A (ja) * 2018-02-28 2019-09-05 株式会社Jvcケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191388A (ja) * 1996-12-27 1998-07-21 Canon Inc 画像記録装置、方法及びコンピュータ可読メモリ
WO2004036908A1 (ja) * 2002-10-17 2004-04-29 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2004186718A (ja) * 2002-11-29 2004-07-02 Toshiba Corp ビデオデータ変換装置及びビデオデータ変換方法
JP2004328450A (ja) * 2003-04-25 2004-11-18 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100238136B1 (ko) 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
US6335761B1 (en) * 1998-12-15 2002-01-01 Ati International S.R.L. Method and apparatus for converting color base of an image layer
DE60045538D1 (de) * 1999-09-02 2011-03-03 Panasonic Corp Aufnahmeanlage und Kodieranlage
JP2001186718A (ja) * 1999-12-27 2001-07-06 G & M:Kk 発電機
JP3826741B2 (ja) * 2001-02-09 2006-09-27 セイコーエプソン株式会社 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、画像処理方法、コンピュータプログラム、および、記録媒体
US7142251B2 (en) * 2001-07-31 2006-11-28 Micronas Usa, Inc. Video input processor in multi-format video compression system
US20030040925A1 (en) * 2001-08-22 2003-02-27 Koninklijke Philips Electronics N.V. Vision-based method and apparatus for detecting fraudulent events in a retail environment
JP4022644B2 (ja) * 2003-06-06 2007-12-19 株式会社ニコン 画像ファイルの読み取り方法、画像ファイル読み取り装置
US7139002B2 (en) * 2003-08-01 2006-11-21 Microsoft Corporation Bandwidth-efficient processing of video images
US20050129130A1 (en) * 2003-12-10 2005-06-16 Microsoft Corporation Color space coding framework

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191388A (ja) * 1996-12-27 1998-07-21 Canon Inc 画像記録装置、方法及びコンピュータ可読メモリ
WO2004036908A1 (ja) * 2002-10-17 2004-04-29 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2004186718A (ja) * 2002-11-29 2004-07-02 Toshiba Corp ビデオデータ変換装置及びビデオデータ変換方法
JP2004328450A (ja) * 2003-04-25 2004-11-18 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004783A1 (ko) * 2017-06-29 2019-01-03 포디리플레이코리아 주식회사 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 재생 방법 및 장치
WO2019004498A1 (ko) * 2017-06-29 2019-01-03 포디리플레이 인코포레이티드 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램

Also Published As

Publication number Publication date
EP1933571B1 (en) 2015-09-30
JPWO2007023698A1 (ja) 2009-03-26
EP2911390A1 (en) 2015-08-26
US8417099B2 (en) 2013-04-09
KR101237608B1 (ko) 2013-02-26
WO2007023698A1 (ja) 2007-03-01
EP2911390B1 (en) 2019-01-16
KR20080047366A (ko) 2008-05-28
US20090116819A1 (en) 2009-05-07
EP1933571A1 (en) 2008-06-18
EP1933571A4 (en) 2011-06-22
CN101248678B (zh) 2010-08-11
CN101248678A (zh) 2008-08-20

Similar Documents

Publication Publication Date Title
JP5235411B2 (ja) 多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路
JP5157140B2 (ja) 記録装置、記録方法、情報処理装置、情報処理方法、撮像装置およびビデオシステム
CN106105177B (zh) 变换方法及变换装置
JP5256025B2 (ja) 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路
CN111836047A (zh) 显示装置
WO2018235338A1 (ja) 映像表示装置及び映像表示方法
KR100633665B1 (ko) 그래픽 데이터의 재생을 관리하기 위한 데이터 구조를갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치
WO2019008818A1 (ja) 映像処理システム及び映像処理方法
JP2009038683A (ja) 画像信号出力装置及び方法
KR20050072491A (ko) 하이브리드 고해상도 dvd를 위한 2-층 인코딩 기술
WO2019012729A1 (ja) 映像表示装置及び映像表示方法
JP6731627B2 (ja) 再生装置で実行される方法、及び再生装置
JP2020092444A (ja) 表示装置、表示方法及びコンピュータプログラム
JP7170236B2 (ja) 再生装置
JP2009038682A (ja) 画像処理装置及び画像処理方法
US7450831B2 (en) Method for DVD-subpicture compositing in 420 chroma format

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130326

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3