WO2007023698A1 - 多重化方法および記録媒体 - Google Patents

多重化方法および記録媒体 Download PDF

Info

Publication number
WO2007023698A1
WO2007023698A1 PCT/JP2006/315946 JP2006315946W WO2007023698A1 WO 2007023698 A1 WO2007023698 A1 WO 2007023698A1 JP 2006315946 W JP2006315946 W JP 2006315946W WO 2007023698 A1 WO2007023698 A1 WO 2007023698A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoded
unit
moving image
color space
color
Prior art date
Application number
PCT/JP2006/315946
Other languages
English (en)
French (fr)
Inventor
Satoshi Kondo
Tadamasa Toma
Katsuhiro Kanamori
Haruo Yamashita
Takeshi Ito
Jun Ikeda
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2007532065A priority Critical patent/JP5235411B2/ja
Priority to EP06796384.3A priority patent/EP1933571B1/en
Priority to KR1020087004430A priority patent/KR101237608B1/ko
Priority to US12/064,793 priority patent/US8417099B2/en
Priority to EP15157621.2A priority patent/EP2911390B1/en
Priority to CN2006800297454A priority patent/CN101248678B/zh
Publication of WO2007023698A1 publication Critical patent/WO2007023698A1/ja

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention relates to a multiplexing method for multiplexing an encoded stream including information related to a color space generated by encoding a moving image, and a recording for recording the multiplexed encoded stream It relates to the medium.
  • color space information information relating to the color space of a moving picture signal
  • color space information can be described in the sequence display exten- sion part (hereinafter referred to as color space information).
  • Non-patent document 1 information relating to the color space of a moving picture signal
  • color space information can be described in the sequence display exten- sion part (hereinafter referred to as color space information).
  • Non-patent Document 2 color space information can be described in the video usability information part in the sequence parameter set (Non-Patent Document 2).
  • the color space information indicates, for example, colour_primaries (color primaries), trances-characteristics (photoelectric conversion characteristics), and matrix-coefficients (RGB to YUV conversion matrix). It is described by selecting one from several types (about 6 to 9 types).
  • ISO / IEC 1J818-2 Information technology Generic coding of moving pictures and associated audio information: Video, Second edition, 2000.12.
  • Non-Patent Document 2 ISO / IEC 14496-10: Information technology Coding of audio-visual objects Part 10: Advanced video coding, First edition, 2003.12.
  • Non-Patent Document 3 DVD Specifications for Read-Only Disc, Part 3. Video Specifications
  • an object of the present invention is to provide a multiplexing method that reduces the sense of discomfort in the image quality experienced by viewers.
  • a multiplexing method generates a plurality of encoded streams by encoding a moving image for each structural unit of the moving image, and generates the plurality of codes.
  • a multiplexing method for packet-multiplexing an encoded stream wherein the constituent unit to be encoded is encoded as part of a continuous playback unit configured such that a plurality of encoded streams can be continuously reproduced.
  • the constituent unit of the encoding target is within the continuous playback unit.
  • a common color space is determined, an encoded stream is generated by encoding the constituent unit to be encoded according to the determined color space, and the encoded stream is packet-multiplexed.
  • a plurality of seamlessly connected encoded streams are handled as the continuous reproduction unit.
  • a plurality of encoded streams configured to be capable of multi-angle reproduction are handled as the continuous reproduction unit.
  • the reproducing apparatus applies to the encoded streams having different color spaces.
  • the color conversion method must be changed. That is, the playback device converts the YUV-format decoded video generated by decoding the encoded stream into an RGB-format decoded video to display a moving image on the display. Process.
  • the playback device when the color spaces of the encoded streams are different, the playback device must change the color conversion processing method by switching the parameters used for the color conversion processing.
  • the device shall change the color conversion method for encoded streams with different color spaces.
  • a structural unit that is a clip encoded as a part of a continuous reproduction unit Is encoded according to a common color space in the continuous playback unit, so the color space is unified in the continuous playback unit configured by seamless connection and the continuous playback unit configured to be capable of multi-angle playback.
  • the color space is fixed in units of continuous playback. Therefore, the reproducing apparatus can omit the process of changing the color conversion method, and can facilitate the reproducing process. Furthermore, since the color space is fixed, it is possible to reduce discomfort in the image quality experienced by the viewer.
  • the multiplexing method may further include generating a flag indicating whether or not the color space is unified in a continuous reproduction unit and indicating whether the power is V or not.
  • the playback device can store within the continuous playback unit based on the flag, Therefore, it is possible to easily determine whether or not the color space is unified !, and the processing burden on the playback device can be further reduced.
  • the multiplexing method further records a plurality of the encoded streams that are packet-multiplexed on a recording medium, and generates all the codes recorded on the recording medium when generating the flag.
  • the flag may be generated to indicate whether the color space of the stream is only one type.
  • a plurality of encoded streams that are packet-multiplexed are recorded on a recording medium, and when the flag is generated, all the encoded streams recorded on the recording medium are recorded.
  • the flag indicating whether or not the color space is only a narrow color gamut space may be generated.
  • the reproducing apparatus when reproducing the moving image indicated by the encoded stream recorded on the recording medium, the reproducing apparatus needs to change the color conversion method for the recording medium based on the flag. Can be easily determined, and the processing load on the playback device can be further reduced.
  • the present invention can be realized as such a multiplexing method, a multiplexing device that performs multiplexing using the method, an integrated circuit, a program for operating the multiplexing device, It can also be realized as a recording device that records the encoded stream packet-multiplexed by the multiplexing device on a recording medium. Furthermore, the present invention relates to a recording medium on which an encoded stream is recorded by the recording apparatus, and an encoded stream of the recording medium. The present invention can also be realized as a playback method for playing back a moving image indicated by a program, a playback device for playing back a moving image using the method, an integrated circuit, and a program for operating the playback device. The invention's effect
  • the multiplexing method of the present invention uses only one type of color space for moving images to be reproduced in a predetermined unit such as a continuous reproduction unit (fixes the color space). It is possible to eliminate the frequent switching of the color conversion method. As a result, it is possible to reduce the processing load of the playback device of the package media in which moving image sequences having different color spaces are recorded on the same medium, and to reduce the subjective image quality caused by the change of the color space definition. The sense of incongruity can be eliminated and its practical value is high.
  • FIG. 1 is a block diagram showing a configuration of a multiplexing apparatus that realizes a multiplexing method according to Embodiment 1 of the present invention.
  • FIG. 2A is a diagram showing a continuous reproduction unit in the first embodiment of the present invention.
  • FIG. 2B is a diagram showing another continuous reproduction unit in the first embodiment of the present invention.
  • FIG. 2C is a diagram showing still another continuous reproduction unit in the first embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of information recorded on a recording medium by the multiplexing device according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of multiplexing apparatus 100 in the present embodiment.
  • FIG. 5 is a block diagram showing a configuration of a playback device in the present embodiment.
  • FIG. 6 is a block diagram showing a configuration of a reproducing apparatus according to the present embodiment provided with only one color conversion unit.
  • FIG. 7 is a flowchart showing the operation of the playback apparatus in the present embodiment. Explanation of symbols
  • FIG. 1 is a block diagram showing a configuration of a multiplexing apparatus that implements the multiplexing method according to the present embodiment.
  • the multiplexing apparatus 100 facilitates reproduction processing and reduces the sense of discomfort in the image quality experienced by the viewer during reproduction.
  • the color space determination unit 101 and the flag generation unit 102 A coding unit 103, a system multiplexing unit 104, a management information creating unit 105, and a combining unit 106.
  • the color space determination unit 101 determines, for example, a color space for each clip that is a moving image sequence indicated by the image data Vin, and uses the color space information Cs indicating the determined color space as the flag generation unit 102 and the sign signal. Output to part 103.
  • the color space determining unit 101 determines a common color space for each clip within the continuous reproduction unit.
  • a continuous playback unit consists of a plurality of encoded clips (encoded streams) recorded on a recording medium. It is configured to be continuously reproducible.
  • the continuous playback unit is a plurality of encoded streams connected in a seamless manner or a plurality of encoded streams configured to be capable of multi-angle playback.
  • the color space determining unit 101 determines whether or not the clip to be encoded is to be encoded as a part of the continuous playback unit, and the continuous playback unit by the determination unit. When it is determined that it should be encoded as a part, the clip is provided with color space determining means for determining a common color space in the continuous reproduction unit for the clip.
  • the color space determination unit 101 determines a specific color space according to an operation by the user or based on predetermined conditions and settings.
  • the code key unit 103 acquires the image data Vin, codes the data of each clip so as to satisfy the color space indicated by the color space information Cs, and generates a code generated by the code key.
  • the stream Cd is output to the system multiplexing unit 104.
  • the flag generation unit 102 generates a color space unified flag Swl for each clip, for example, and outputs it to the management information generation unit 105.
  • the color space unified flag indicates whether or not the color space is unified within the continuous reproduction unit. For example, when the color space unified flag is 1, it indicates that the color space is unified for each clip in the continuous playback unit, and when it is 0, for each clip that is not the continuous playback unit. This indicates that the color space is not unified. That is, when the color space unified flag is 1, only one type of color space is defined in the continuous reproduction unit, in other words, the color space is fixed for the continuous reproduction unit. Show!
  • the system multiplexing unit 104 performs system multiplexing (packet multiplexing) on the encoded stream Cd and generates auxiliary information SI.
  • the system multiplexing unit 104 outputs the generated auxiliary information SI to the management information creation unit 105, and outputs the multiplexed data Md generated by the system multiplexing to the combining unit 106.
  • a source packet is generated by adding a 4-byte header to the MPEG-2 transport stream corresponding to the encoded stream Cd.
  • the auxiliary information SI is information for generating a time map included in the management information CI for the multiplexed data Md.
  • the management information creation unit 105 generates a time map and the like based on the auxiliary information SI, and generates management information CI including the time map and the color space unified flag Swl. Also, this management information CI indicates each clip (encoded stream) that constitutes a continuous playback unit. Then, the management information creation unit 105 outputs the management information CI to the combining unit 106.
  • the combining unit 106 generates and outputs the recording data D by combining the management information CI and the multiplexed data Md.
  • Multiplexer 100 records the recorded data D on a recording medium.
  • FIG. 2A is a diagram showing a continuous reproduction unit in the present embodiment.
  • the continuous playback unit in the present embodiment is also configured with a plurality of encoded clip (encoded stream Cd) forces, and the color space of each clip is, for example, unified in the first color space.
  • Each encoded clip includes color space information Cs indicating that the color space is the first color space.
  • FIG. 2A shows a restriction example of the switching unit of the color space definition in the MPEG-2 or MPEG-4 AVC moving image encoded stream. Note that in package media such as DVD-Video and BD-ROM, a unit (continuous playback unit) for continuously playing back an encoded stream of moving images by a playlist or the like is indicated.
  • the color space is unified within the continuous reproduction unit, switching of the image processing method for changing the color space does not occur in the continuously reproduced section. .
  • the reproduction process can be facilitated and the discomfort in the image quality received by the viewer can be reduced.
  • FIG. 2B is a diagram showing another continuous playback unit in the present embodiment.
  • connection conditions for clips that are continuously played there are two types of connection conditions for clips that are continuously played: seamless connection and non-seamless connection.
  • non-seamless connection for example, a gap may occur in the decoding operation as in the case of connection to an open GOP (Group Of Picture), so switching of color spaces may be allowed. That is, in this embodiment, the continuous playback unit Among them, the color space is unified only in the continuous playback unit where each clip is seamlessly connected.
  • the color space may be unified in the continuous playback unit including clips connected non-seamlessly, and all moving images recorded on the recording medium may be unified. On the other hand, the color space may be unified.
  • FIG. 2C is a diagram showing still another continuous reproduction unit in the present embodiment.
  • the color space may be unified for moving images connected by switching the angle.
  • the continuous playback unit is a moving image (angle 1, angle 2, and angle 3) that has been recorded with three angle forces so that multi-angle playback is possible. There will be power.
  • each of Angle 1, Angle 2, and Angle 3 includes, for example, a plurality of seamlessly connected clip forces, and is given a time stamp along a common time axis.
  • the user can select any of the three medium powers in the middle of the clip. For example, the user can switch angles during playback of an angle 1 clip and continue playback from the middle of an angle 2 or angle 3 clip.
  • the color space of all the moving images of angle 1, angle 2, and angle 3 that constitute the continuous playback unit even when such multi-angle playback is performed, the color space of all the moving images of angle 1, angle 2, and angle 3 that constitute the continuous playback unit.
  • the first color space is unified, for example, it is possible to eliminate a sense of incongruity in subjective image quality caused by a difference in the color space when the angle is switched.
  • FIG. 3 is a diagram showing an example of information recorded on the recording medium by the multiplexing apparatus 100 according to the present embodiment.
  • a plurality of encoded clip (encoded stream) forces are recorded on the recording medium as continuous playback units as shown in FIGS. 2A to 2C, and the color of each tag in the continuous playback unit.
  • the space is unified.
  • the recording medium also records a discontinuous encoded stream that is an encoded stream that is not included in the continuous reproduction unit.
  • a recording medium as a package medium such as DVD-Video or BD-ROM has a playlist, and the color space unified flag is recorded as part of the management information CI included in the playlist.
  • the color space unified flag is, for example, the management information CI StreamCodinglnf Stored in an area called o.
  • Such a color space unified flag indicates that the switching unit of the color space definition is restricted in the MPEG-2 MPE G-4 AVC stream.
  • the description of the sign key method may be handled as the color space unified flag described above. That is, in the BD-ROM, the encoding method of each clip referenced from the playlist is stored in an area called StreamCodinglnfo in the management information. Therefore, when it is indicated that the encoding method is MPEG-2 or MPEG-4 AVC in the area, the encoding method is the color space in the continuous reproduction unit as with the color space unified flag of 1. Indicates that is fixed.
  • an identification number or the like indicating what color space is used may be separately recorded on a recording medium, and information indicating a color space definition switching unit may be stored.
  • a flag indicating whether the color space definition of the moving image recorded on the recording medium is only one type or two or more types may be stored as the color space unified flag.
  • the recording medium permits recording of moving images in two color spaces, the conventional color band (narrow color gamut space) and the wide color band (high color gamut space), A flag indicating the power to record only an image and the power to record a moving image in a wide color band may be stored as the color space unified flag.
  • FIG. 4 is a flowchart showing the operation of multiplexing apparatus 100 in the present embodiment.
  • the color space determination unit 101 of the multiplexing apparatus 100 determines whether or not the clip to be encoded should be a part of the continuous reproduction unit (step S 100). For example, the color space determination unit 101 determines whether or not the coding target clip should be coded so that the clip to be coded is seamlessly connected to the immediately preceding clip. When it is determined that the coding should not be performed so as to make a seamless connection, the color space determination unit 101 further codes the coding target clip so that multi-angle playback can be performed with the immediately preceding clip. It is determined whether or not the power should be.
  • the color space determination unit 101 determines that the encoding should be performed so that seamless connection is possible, and if it is determined that the encoding should be performed so that multi-angle reproduction is possible, a part of the continuous reproduction unit described above In other cases, it is determined that it should not be part of the continuous playback unit.
  • the color space determining unit 101 determines that it should not be a part of the continuous reproduction unit (N in step S100), it determines the color space for the code target clip. (Step S102).
  • the code key unit 103 codes the clip so as to satisfy the color space determined by the color space determining unit 101 (step S104).
  • the encoding unit 103 stores color space information Cs indicating the determined color space in the encoded clip.
  • the flag generation unit 102 generates a color space unified flag indicating 0 for the clip (step S106).
  • the sign key unit 103 determines whether or not the last clip has been signed (step S108), and when it is determined that the last clip has not been signed (N in step S108).
  • the multiplexing apparatus 100 repeatedly executes the operation from step S100 on the next clip to be encoded.
  • step S100 determines in step S100 that the clip to be encoded is to be part of the continuous playback unit (Y in step S100)
  • continuous playback is performed on the clip.
  • a common color space is determined for each unit (step S110). That is, the color space determination unit 101 determines the color space based on a user operation or predetermined conditions and settings if the clip to be encoded is the first clip in the continuous playback unit. If the clip to be encoded is a clip that is the head of the continuous playback unit, the color space determination unit 101 selects the same color space as that determined for the immediately preceding clip from the encoding target. Decide on the tip.
  • the sign key unit 103 codes the clip so as to satisfy the color space determined by the color space determining unit 101 (step S112). For example, when the color space power of the clip to be encoded indicated by the image data Vin is different from the color space determined in step S110, the code key unit 103 sets the color space of the clip to the determined color space. And the code is applied to the clip to be encoded expressed in the converted color space. This Thus, the color space within the continuous reproduction unit is unified. At this time, the code key unit 103 stores the color space information Cs indicating the determined color space in the code clip. Then, the flag generation unit 102 generates a color space unified flag indicating 1 for the clip (step S 114).
  • the sign key unit 103 determines whether or not the last clip has been signed (step S108), and when it is determined that the last clip has not been signed (N in step S108).
  • the multiplexing apparatus 100 repeatedly executes the operation from step S100 on the next clip to be encoded.
  • step S108 When it is determined in step S108 that the last clip has been encoded (Y in step S108), the system multiplexing unit 104 generates multiplexed data Md by performing system multiplexing. Auxiliary information SI is generated (step S118). Then, the management information creation unit 105 generates management information CI using the color space unified flag generated in steps S106 and S114 and the auxiliary information SI generated in step S118 (step S120).
  • the combining unit 106 generates recording data D by combining the multiplexed data Md generated in step S118 and the management information CI generated in step S120 (step S122).
  • the flag generation unit 102 may generate one color space unified flag for each force continuous reproduction unit in which the color space unified flag is generated for each clip.
  • the multiplexing apparatus 100 restricts the switching unit of the color space definition and restricts the switching unit by limiting the color space definition to one type in the continuous reproduction unit.
  • the color space unification flag indicating that the image is present is recorded on the recording medium.
  • the color space of each clip in the continuous reproduction unit is unified, and the above-described color space unified flag is recorded.
  • a playback device that plays back a moving image recorded on the recording medium can play back a moving image without switching the color conversion method within a continuous playback unit, thereby facilitating the playback process. it can.
  • the color space does not change within the continuous playback unit, it is possible to reduce discomfort in the image quality experienced by the viewer.
  • the encoded stream Cd Generation, system multiplexing, and creation of management information CI may be performed by separate devices.
  • each device performs the same operation as each component in the multiplexing device 100.
  • the multiplexing apparatus 100 of the present embodiment includes the apparatus that generates the encoded stream Cd, the apparatus that performs system multiplexing, and the apparatus that generates the management information CI.
  • the present invention has been described as a multiplexing device.
  • the present invention may be realized as a recording device.
  • the playback device in the present embodiment reads out and plays back the recording data D recorded on the recording medium by the multiplexing device 100 of the first embodiment.
  • FIG. 5 is a block diagram showing a configuration of a playback device that implements the playback method according to the present embodiment.
  • the playback device 200 in the present embodiment includes a decoding unit 201, a first color conversion unit 202, a second color conversion unit 203, a control unit 204, and switching units 205 and 206.
  • the decoding unit 201 obtains the multiplexed data Md from the recording data D from which the recording medium power is also read, and the data encoding method (for example, MPEG 2 or MPEG) is used for the multiplexed data Md. — Perform decryption processing according to 4 AVC method. As a result, the decoding unit 201 generates and outputs YUV decoded image data Vy expressed in the YUV format. Also, the decoding unit 201 extracts the color space information Cs included in each encoded stream (clip) of the multiplexed data Md and outputs it to the control unit 204.
  • the data encoding method for example, MPEG 2 or MPEG
  • the first color conversion unit 202 expresses the YUV decoded image data Vy expressed in the first color space in the RGB format in the first color space using the color conversion parameters corresponding to the first color space. Convert to RGB decoded image data Vr.
  • the second color conversion unit 203 expresses the YUV decoded image data Vy expressed in the second color space in the RGB format in the second color space using the color conversion parameters corresponding to the second color space. Convert to RGB decoded image data Vr.
  • the color conversion parameter corresponding to the first color space is different from the color conversion parameter corresponding to the second color space.
  • the color conversion parameters are, for example, YUV format Including the color conversion matrix used when converting to RGB format, the chromaticity point of RZGZBZWhite, transfer characteristics, and the definition area (color gamut) in YUV space and RGB space.
  • the first color conversion unit 202 or the second color conversion unit 203 handles a YUV signal (YUV decoded image data Vy) with a wide color gamut like the xvYCC standard, it is logically negative 1.
  • Output RGB decoded image data Vr of RGB signal with value extended to 0 or more. Therefore, means for handling the RGB decoded image data Vr output from the first color conversion unit 202 or the second color conversion unit 203 (for example, the switching unit 206 or an editing device or display device (see FIG. Etc.) must be able to handle negative values of 1.0 or more.
  • the first color conversion unit 202 or the second color conversion unit 203 performs logic processing when handling a narrow color gamut YUV signal (YUV decoded image data Vy) as in the BT.601 or BT.709 standard.
  • the RGB decoded image data Vr of RGB signal having a value up to 0.0 force 1.0 is output.
  • the switching unit 205 switches and connects the terminal c to the terminal a and the terminal c in accordance with the control from the control unit 204. That is, the switching unit 205 outputs the YUV decoded image data Vy generated by the decoding unit 201 to the first color conversion unit 202 by connecting the terminal c to the terminal a, and connects the terminal c to the terminal b. As a result, the YUV decoded image data Vy generated by the decoding unit 201 is output to the second color conversion unit 203.
  • Switching unit 206 switches terminal c to terminal a and terminal c in accordance with control from control unit 204 and connects them. That is, the switching unit 206 outputs the RGB decoded image data Vr generated by the first color conversion unit 202 to the outside of the playback device 200 by connecting the terminal c to the terminal a, and connects the terminal c to the terminal b. As a result, the RGB decoded image data V r generated by the second color conversion unit 203 is output to the outside of the playback device 200.
  • the control unit 204 acquires the color space information Cs from the decoding unit 201 and also acquires the management information CI from the recording medium.
  • this management information CI a color space unified flag is stored corresponding to each decoded clip.
  • the control unit 204 controls the switching units 205 and 206 according to the color space information Cs corresponding to the clip. That is, when the color space information Cs indicates the first color space, the control unit 204 controls the switching units 205 and 206 to control the switching units 205 and 206. Connect terminal c to terminal a.
  • the first color conversion unit 202 acquires the YUV decoded image data Vy expressed in the first color space from the decoding unit 201, converts it to RGB decoded image data Vr, and outputs the RGB decoded image data Vr.
  • the control unit 204 controls the switching units 205 and 206 to connect the terminal c of the switching units 205 and 206 to the terminal b.
  • the second color conversion unit 203 obtains YUV decoded image data Vy expressed in the second color space from the decoding unit 201, converts it to RGB decoded image data Vr, and outputs the RGB decoded image data Vr. To do.
  • the color space of the clip corresponding to the color space unification flag indicating 0 may be different from the color space of the immediately preceding or immediately following clip. Accordingly, when the control unit 204 acquires the color space unification flag indicating 0, for example, the control unit 204 generates and outputs a message M that informs the user that there may be a sense of incongruity in switching the moving image sequence. The The display that has acquired such a message M displays the above contents and informs the user.
  • the control unit 204 determines that the color space of all the clips in the continuous reproduction unit is 1. Recognize that they are unified.
  • control unit 204 when the control unit 204 indicates the color space unified flag power ⁇ corresponding to the clip that is first decoded as a part of the continuous reproduction unit, it is the same as when the above color space unified flag is 0.
  • the switching units 205 and 206 are controlled according to the color space information Cs corresponding to the clip.
  • the control unit 204 does not specify the color space information Cs corresponding to the clip that has been decoded as a part of the continuous playback unit after the first clip described above, without specifying the color space information Cs. , 206 stops switching control.
  • control unit 204 applies the color conversion unit (the first color conversion unit 202 or the second color conversion unit 203) applied to the first clip in the continuous playback unit to the subsequent clips in the continuous playback unit. Even apply. As a result, in the continuous reproduction unit, the first color conversion unit 202 and the second color conversion unit 203 are not switched, and only one of the color conversion units is used.
  • the first color conversion means and the second color conversion means are supplied from the first color conversion section 202, the second color conversion section 203, the switching sections 205 and 206, and the control section 204. And is configured ing.
  • the first color conversion means uses the color conversion parameter common to the continuous reproduction unit as the YUV decoded image. By applying to the data Vy, the color format of YUV decoded image data Vy is converted.
  • the second color conversion means uses the color space information Cs included in the discontinuous encoded stream to determine whether The color format of YUV decoded image data Vy is converted by specifying the color conversion parameters according to the continuous encoded stream and applying the color conversion parameters to YUV decoded image data Vy.
  • control unit 204 acquires the color space information Cs extracted from the multiplexed data Md from the decoding unit 201, but the color information Cs is included in the management information CI. Alternatively, the color space information Cs may be acquired from the management information CI.
  • a flag indicating whether there is only one type of color space definition of a moving image that is recorded on the recording medium is two types or more is stored in the management information of the recording medium. There may be.
  • it is permitted to record moving images in two color spaces, the conventional color band and the wide color band, on the recording medium, and only the moving image in the conventional color band is recorded. May be recorded in the management information of the recording medium.
  • the control unit 204 reads the flag and determines the value of the flag to determine whether there is only one type of color space definition on the recording medium, or the color space on the recording medium. It is possible to easily determine whether or not the color band is only the conventional color band, and the color conversion process can be further simplified.
  • the playback apparatus in the present embodiment includes the first color conversion unit 202 and the second color conversion unit 203, but instead of these two color conversion units, different color conversion parameters are used.
  • One color conversion unit that is used by switching may be provided.
  • FIG. 6 is a block diagram showing a configuration of a playback apparatus according to the present embodiment provided with only one color conversion unit.
  • the playback device 200a includes a decoding unit 301, a color conversion unit 310, and a parameter holding unit 311.
  • the decoding unit 301 has the same function as the decoding unit 201 described above.
  • the color conversion unit 310 acquires the YUV decoded image data Vy from the decoding unit 201, and From the parameter holding unit 311, the color conversion parameter corresponding to the first color space (hereinafter referred to as the first color conversion parameter) and the color conversion parameter corresponding to the second color space (hereinafter referred to as the second color conversion parameter). And get). Then, when the color converter 310 acquires the first color conversion meter, the YUV decoded image data Vy expressed in the first color space is converted into the first color space using the first color conversion parameter. Convert to RG B decoded image data Vr expressed in RGB format.
  • the color conversion unit 310 acquires the second color conversion parameter
  • the YUV decoded image data Vy expressed in the second color space is converted into RGB in the second color space using the second color conversion parameter. Convert to RGB decoded image data Vr expressed by the format.
  • the color conversion unit 310 handles a YUV signal (YUV decoded image data Vy) with a wide color gamut like the xvYCC standard, the value is logically extended from negative to 1.0 or more.
  • Output RGB decoded image data Vr of R GB signal with. Therefore, the means for handling the RGB decoded image data Vr output from the color conversion unit 310 (for example, an editing device or a display device (not shown)) can handle the negative value of 1.0 or more. It needs to be.
  • the color conversion unit 310 logically controls from 0.0 to 1 when handling a narrow color gamut YUV signal (YUV decoded image data Vy) such as the BT.601 standard or the BT.709 standard.
  • the parameter holding unit 311 holds the first color conversion parameter and the second color conversion parameter. Then, the parameter holding unit 311 acquires the color space information Cs from the decoding unit 301 and also acquires the management information CI and the recording medium power. When the color space unified flag corresponding to the decoded clip indicates 0, the parameter holding unit 311 determines the first color conversion parameter, the second color conversion parameter, and the like according to the color space information Cs corresponding to the clip. Either of these is selected and output to the color converter 310. That is, the parameter holding unit 311 selects the first color conversion parameter and outputs it to the color conversion unit 310 when the color space information Cs indicates the first color space.
  • the color conversion unit 310 acquires the YUV decoded image data Vy expressed in the first color space from the decoding unit 301, converts the YUV decoded image data Vr into RGB decoded image data Vr, and outputs the RGB decoded image data Vr.
  • the parameter holding unit 311 selects and outputs the second color conversion parameter to the color conversion unit 310 when the color space information Cs indicates the second color space.
  • the color conversion unit 310 acquires the YUV decoded image data Vy expressed in the second color space from the decoding unit 301, converts the YUV decoded image data Vr into RGB decoded image data Vr, and outputs the RGB decoded image data Vr.
  • the color space of the clip corresponding to the color space unification flag indicating 0 may be different from the color space of the immediately preceding or immediately following clip. Therefore, when the parameter holding unit 311 acquires the color space unified flag indicating 0, for example, the parameter holding unit 311 generates and outputs a message M that informs the user that there may be a sense of incongruity when switching between moving image sequences. To do.
  • the display that has acquired such a message M displays the above contents and informs the user.
  • the parameter holding unit 311 stores all the clips in the continuous reproduction unit. Recognize that the color space is unified.
  • the parameter holding unit 311 indicates that when the color space unified flag corresponding to the clip decoded first as a part of the continuous reproduction unit indicates 1, when the color space unified flag force So described above. Similarly, a color conversion parameter (first color conversion parameter or second color conversion parameter) is selected and output according to the color space information Cs corresponding to the clip. However, the parameter holding unit 311 does not specify the color space information Cs corresponding to the clip that has been decoded as part of the continuous playback unit after the first clip described above. Stops conversion parameter selection and output. That is, the parameter holding unit 311 applies the color conversion parameter applied to the first clip in the continuous playback unit to the subsequent clips in the continuous playback unit. As a result, in the continuous reproduction unit, switching between the first color conversion parameter and the second color conversion parameter is not performed, and only one of the color conversion parameters is used.
  • the color conversion unit 310 and the parameter holding unit 311 constitute the first color conversion unit and the second color conversion unit described above.
  • FIG. 7 is a flowchart showing the operation of the playback device 200a in the present embodiment.
  • the decoding unit 301 of the playback device 200a performs multiplexed data read from the recording medium. Md is acquired, and the encoded clip indicated by the multiplexed data Md is decoded (step S200).
  • the parameter holding unit 311 determines whether or not the color space unified flag corresponding to the decoded clip is 1 (step S202).
  • the meter holding unit 311 determines that the color space unified flag is 0 (N in step S202), the coded clip described above is a discontinuous coded stream, and the color of the clip Since the space may be different from the color space of the immediately preceding or immediately following clip, the above-described message M is generated (step S204). Then, the parameter holding unit 311 identifies what color space the color space information Cs corresponding to the clip extracted by the decoding unit 301 shows as V (step S206).
  • the meter holding unit 311 determines whether or not switching of the color conversion parameters used in the color conversion unit 310 is necessary based on the specified color space (step S208). If it is determined that the switching is necessary, the parameter holding unit 311 selects a color conversion parameter (first color conversion parameter or second color conversion parameter) to be used by the color conversion unit 310, and sends it to the color conversion unit 310. By outputting, the color conversion parameter is switched (step S210).
  • a color conversion parameter first color conversion parameter or second color conversion parameter
  • step S212 determines whether or not the clip decoded in step S200 is the first clip in the continuous playback unit. If the parameter holding unit 311 determines that the color space unification flag corresponding to the immediately preceding clip is 0 (N in step S212), that is, the clip decoded in step S200 is the first in the continuous playback unit. If it is determined to be a clip, the operation from step S206 is executed.
  • step S212 determines that the color space unified flag corresponding to the immediately preceding clip is 1 (Y in step S212), that is, at the beginning of the clip force continuous playback unit decoded in step S200. If not, the operation from step S 206 is not executed, and the color conversion parameter switching process is stopped.
  • the color conversion unit 310 acquires color conversion parameters from the parameter holding unit 311 in step S210. When it is obtained, YUV decoded image data Vy is converted to RGB decoded image data Vr using the color conversion parameter (step S214). Further, the color conversion unit 310 determines that the switching of the color conversion parameter is unnecessary in step S208 (N in step S208) or the clip decoded in step S200 is the head of the continuous playback unit. If it is determined that it is not present (Y in step S212), the YUV decoded image data Vy is converted into RGB decoded image data Vr using the color conversion parameter that has been used before! V (step S214). The RGB decoded image data Vr converted in this way is output to the display, and the video indicated by the RGB decoded image data Vr is displayed, so that the recorded data D recorded on the recording medium is reproduced. .
  • Decoding section 301 determines whether or not the last clip has been decoded (step S216). When it is determined that the last clip has been decoded (Y in step S216), it ends the decoding process and performs decoding. If it is determined that it has not been converted (N in step S216), the decoding process from step S200 is executed on the clip to be decoded next.
  • YUV decoded image data Vy is generated by decoding the encoded stream Cd.
  • the color space unified flag corresponding to the encoded stream Cd is 1, that is, when the YUV decoded image data Vy is decoded from the continuous playback unit encoding stream!
  • the common color conversion parameters are applied to YUV decoded image data Vy.
  • the YUV decoded image data Vy is converted to the color format 3 ⁇ 4 ⁇ format.
  • the color space unified flag corresponding to the encoded stream is 0, that is, when the YUV decoded image data Vy is subjected to discontinuous encoding stream power decoding, it is included in the discontinuous encoding stream.
  • the color conversion parameter corresponding to the discontinuous coded stream is specified. Then, by applying the color conversion parameters to the YUV decoded image data Vy, the color format of the YUV decoded image data Vy is converted to the RGB format.
  • the playback devices 200 and 200a play back a moving image without switching the color conversion method within the continuous playback unit in order to play back the continuous playback unit in which the color space is unified. Therefore, the reproduction process can be facilitated and the uncomfortable feeling in image quality can be reduced.
  • continuous playback by using the unified color space flag It is possible to save the trouble of specifying the color space indicated by the color space information Cs contained in each clip in the unit.
  • the parameter holding unit 311 acquires the color space information Cs extracted from the multiplexed data Md from the decoding unit 301.
  • the color space information Cs is included in the management information CI.
  • the color space information Cs may be acquired from the management information CI.
  • a flag indicating whether there are two types or more of force that is recorded on the recording medium and has only one type of color space definition of the moving image is stored in the management information of the recording medium. There may be.
  • it is permitted to record moving images in two color spaces, the conventional color band and the wide color band, on the recording medium, and only the moving image in the conventional color band is recorded. May be recorded in the management information of the recording medium.
  • the parameter holding unit 311 reads the flag and determines the value of the flag, thereby determining whether the color space definition on the recording medium is only one type, or on the recording medium. It is possible to easily determine whether the color space has only the conventional color band, and the color conversion process can be further simplified.
  • Embodiment 1 and Embodiment 2 have been described using two types of color spaces (first color space or second color space). However, the multiplexing apparatus and implementation of Embodiment 1 are described.
  • the playback device of Form 2 may be configured to handle three or more color spaces.
  • Embodiments 1 and 2 as an example of the moving image coding scheme, other coding schemes such as MPEG-2 and MPEG-4 AVC may be used. .
  • Embodiments 1 and 2 package media such as DVD-Video and BD-ROM are given as examples of the recording medium. However, other package media may be used.
  • continuous playback units are a plurality of encoded streams that are seamlessly connected or a plurality of encoded streams that are configured to be capable of multi-angle playback.
  • a plurality of encoded streams other than these may be used.
  • All encoded streams recorded on the recording medium are used as continuous playback units.
  • each functional block shown in FIG. 1, FIG. 5, and FIG. 6 may be realized as an LSI (Large Seal Integration) that is an integrated circuit.
  • This LSI may be made into one chip by the multiplexing device 100 or the playback device 200, 200a, or may be made into a plurality of chips (for example, functional blocks other than the memory may be made into one chip).
  • IC integrated circuit
  • system LSI super LSI
  • ultra LSI depending on the difference in power integration of LSI.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. It is also possible to use a field programmable gate array (FPGA) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • FPGA field programmable gate array
  • each functional block shown in Figs. 1, 5, and 6 and the processing operation shown in Figs. 4 and 7 may be realized by a processor and a program.
  • the multiplexing device, multiplexing method, recording medium, reproduction device, and reproduction method according to the present invention have only one type of color space of a moving image to be reproduced in a predetermined unit such as a continuous reproduction unit. (Fixed), so frequent switching of color conversion methods due to switching of color space definitions can be eliminated. As a result, it is possible to reduce the processing load of the playback device for packaged media in which moving image sequences having different color spaces are recorded on the same medium, and to feel uncomfortable with subjective image quality due to switching of color space definitions. It has the effect that it can be eliminated. Therefore, the present invention can be applied to, for example, a video camera, a video playback device, a mobile phone, a personal computer, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Color Television Systems (AREA)

Abstract

　再生処理を容易にするとともに、視聴者の受ける画質上の違和感を低減させる多重化方法を提供する。 　多重化方法は、符号化対象のクリップが、複数の符号化ストリームが連続的に再生可能なように構成された連続再生単位の一部として符号化されるべきか否かを判別するステップ（Ｓ１００）と、前記連続再生単位の一部として符号化されるべきと判別されたときには、前記符号化対象のクリップに対して、前記連続再生単位内で共通の色空間を決定するステップ（Ｓ１１０）と、決定された色空間にしたがって符号化対象のクリップを符号化することにより符号化ストリームを生成するステップ（Ｓ１１２）と、符号化ストリームをパケット多重化するステップ（Ｓ１１８）とを含む。

Description

明 細 書
多重化方法および記録媒体
技術分野
[0001] 本発明は、動画像を符号化して生成された、色空間に関する情報を含む符号化ス トリームを多重化する多重化方法、およびその多重化された符号化ストリームを記録 している記録媒体に関する。
背景技術
[0002] 動画像符号化の国際標準方式である MPEG— 2規格では、 sequence display exte ntion部に、動画像信号の色空間に関する情報 (以下、色空間情報という）を記述す ることができる（非特許文献 1)。また、 MPEG— 4 AVC規格では、 sequence parame ter set内の video usability information部に色空間情報を記述することができる（非特 許文献 2)。ここでは、色空間情報は、例えば、 colour_primaries (カラープライマリ）、 tr ansfer— characteristics (光電変換特'性）、および matrix— coefficients (RGBから YUVへ の変換行列）を示し、それぞれについて、予め定められた数種類 (6〜9種類程度)か ら 1種類を選択して記述される。
[0003] 一方、 DVD— Videoディスクでは、映像の符号化方法として MPEG— 2が採用さ れている。ここでは、上記の色空間情報について制限が設けられている (非特許文献 3)。 1列;^ば、色空 f¾†青報である colour— primaries、 transfer— characteristics、および mat rix_coefficientsのそれぞれに対して、 2種類の値がデフォルト値として設定されて!、る (フレームレートが 29. 97Hzである場合）。
[0004] さらに近年、表現できる色空間が従来よりも大幅に広がっているディスプレイ (広色 帯域ディスプレイ）の開発が盛んに行われている。それに対応して IEC TC100では 、 IEC61966— 2— 4として xvYCC色空間の標準化が進められている。 xvYCC色 空間を従来の色空間と比較した場合、 sRGB色空間と比較して約 100%、 sYCC色 空間と比較して約 5%、表現可能な色域が広くなつている。
[0005] 上記従来の DVD— Videoディスクでは、 DVD— Video規格上は異なる色空間を 有する動画像シーケンスを同一の媒体上に記録することが可能である。さらにそのよ うな異なる色空間を有する動画像シーケンスが混在する媒体を再生する際の制限は 規定されていない。ただし、デフォルト値として設定されている値は、定義されている 色空間の差が小さいため、これまで実用上の問題とはならな力つた。
特干文献 1 : ISO/IEC 1J818-2: Information technology Generic coding of moving pictures and associated audio information: Video, Second edition, 2000.12.
非特許文献 2 : ISO/IEC 14496-10: Information technology Coding of audio-visual ob jects Part 10: Advanced video coding, First edition, 2003.12.
非特許文献 3 : DVD Specifications for Read- Only Disc, Part 3. Video Specifications
Version 1.0, August 1996
発明の開示
発明が解決しょうとする課題
[0006] し力しながら、従来の多重化方法によって符号ィ匕および多重化された動画シーケン スを再生する場合には、その再生処理が複雑になったり、再生された動画像の主観 的な画質に対して違和感を視聴者に与えてしまうという問題がある。
[0007] すなわち、近年の広色帯域ディスプレイの研究開発状況を考慮すると、これまでに 定義されている色空間とは大きく異なる色空間（xvYCC色空間など）力 今後 DVD —Videoや BD— ROM等の媒体規格に新規で追加されることが想定される。この場 合、同一の媒体上に記録された複数の動画像シーケンス間で色空間が大きく異なる ことになり、これが実用上の問題になると想定される。その結果、例えば、 MPEG - 2 方式や MPEG— 4 AVC方式で符号化された動画像を復号して得られる YUV形式 の動画像信号を RGB形式の動画像信号に変換する場合、色空間定義が異なる動 画像シーケンスを連続して再生する際の切り替わり時に、上述の複雑な再生処理と、 主観画質に対する違和感という問題が生じる。つまり、動画像シーケンスの切り替わ り時に色変換処理 (YUV形式カゝら RGB形式への変換)の処理方法 (色変換方式)を 瞬間的に変更する必要があり、そのため再生処理が複雑になる。さらに、動画像シー ケンスの切り替わり時に、前後の動画像シーケンスの色空間の差によって、ユーザに 対して画質上の主観的な違和感を与える。
[0008] そこで、本発明は、力かる問題に鑑みてなされたものであって、再生処理を容易に するとともに、視聴者の受ける画質上の違和感を低減させる多重化方法を提供する ことを目的とする。
課題を解決するための手段
[0009] 上記目的を達成するために、本発明に係る多重化方法は、動画像を前記動画像の 構成単位ごとに符号ィ匕することによって複数の符号化ストリームを生成し、前記複数 の符号化ストリームをパケット多重化する多重化方法であって、符号化対象の前記構 成単位が、複数の符号化ストリームが連続的に再生可能なように構成された連続再 生単位の一部として符号化されるべきか否かを判別し、前記連続再生単位の一部と して符号化されるべきと判別したときには、前記符号ィ匕対象の構成単位に対して、前 記連続再生単位内で共通の色空間を決定し、決定された前記色空間にしたがって 前記符号化対象の構成単位を符号化することにより符号化ストリームを生成し、前記 符号化ストリームをパケット多重化することを特徴とする。例えば、連続再生単位の一 部として符号ィ匕されるべき力否かを判別するときには、シームレス接続された複数の 符号化ストリームを前記連続再生単位として扱う。または、連続再生単位の一部とし て符号ィ匕されるべき力否かを判別するときには、マルチアングル再生が可能なように 構成された複数の符号化ストリームを前記連続再生単位として扱う。
[0010] シームレス接続された複数の符号化ストリームを連続的に再生するときに、その符 号化ストリームの色空間が異なっていると、再生装置は、その色空間の異なる符号ィ匕 ストリームに対して色変換方式を変更しなければならない。つまり、再生装置は、動画 像をディスプレイに表示するために、符号化ストリームを復号ィ匕することによって生成 された YUV形式の復号動画像を、 RGB形式の復号動画像に変換すると ヽぅ色変換 処理を行う。ここで、符号化ストリームの色空間が異なっている場合には、再生装置 は、その色変換処理に用いられるパラメータを切り替えることによって、色変換処理の 方式を変更しなければならない。上述と同様に、マルチアングル再生が可能なように 構成された複数の符号化ストリームを、アングルを切り替えて連続的に再生するとき にも、その符号化ストリームの色空間が異なっていると、再生装置は、その色空間の 異なる符号化ストリームに対して色変換方式を変更しなければならない。
[0011] そこで本発明では、連続再生単位の一部として符号化されるクリップたる構成単位 は、その連続再生単位で共通の色空間にしたがって符号ィ匕されるため、シームレス 接続により構成された連続再生単位や、マルチアングル再生可能なように構成され た連続再生単位では、色空間が統一されている。言い換えれば、連続再生単位で色 空間が固定されている。したがって、再生装置は、色変換方式を変更するという処理 を省くことができ、再生処理を容易にすることができる。さらに、色空間が固定されて いるため、視聴者の受ける画質上の違和感を低減させることができる。
[0012] また、前記多重化方法は、さらに、連続再生単位内において色空間が統一されて V、る力否かを示すフラグを生成することを特徴としてもょ 、。
[0013] これにより、パケット多重化された複数の符号化ストリーム (連続再生単位)とともに そのフラグを記録媒体に記録しておけば、再生装置は、そのフラグに基づいて連続 再生単位内にぉ 、て色空間が統一されて!、るか否かを容易に判別することができ、 再生装置の処理負担をさらに軽減することができる。
[0014] また、前記多重化方法は、さらに、パケット多重化された複数の前記符号化ストリー ムを記録媒体に記録し、前記フラグを生成するときには、前記記録媒体に記録された 全ての前記符号化ストリームの色空間が 1種類だけである力否かを示す前記フラグを 生成することを特徴としてもよい。または、前記多重化方法は、さらに、パケット多重化 された複数の前記符号化ストリームを記録媒体に記録し、前記フラグを生成するとき には、前記記録媒体に記録された全ての前記符号化ストリームの色空間が狭色域空 間のみである力否かを示す前記フラグを生成することを特徴としてもよい。
[0015] これにより、再生装置は、記録媒体に記録された符号化ストリームの示す動画像を 再生するときには、そのフラグに基づいて、その記録媒体に対して色変換方式を変 更する必要があるか否かを容易に判別することができ、再生装置の処理負担をさら に軽減することができる。
[0016] なお、本発明は、このような多重化方法として実現することができるだけでなぐその 方法を用いて多重化を行う多重化装置や、集積回路、その多重化装置を動作させる プログラム、その多重化装置によりパケット多重化された符号化ストリームを記録媒体 に記録する記録装置としても実現することができる。さらに、本発明は、その記録装置 によって符号化ストリームが記録された記録媒体や、その記録媒体の符号化ストリー ムの示す動画像を再生する再生方法、その方法を用いて動画像を再生する再生装 置、集積回路、その再生装置を動作させるプログラムとしても実現することができる。 発明の効果
[0017] 本発明の多重化方法は、例えば連続再生単位などの所定単位において再生され る動画像の色空間を 1種類のみにする（色空間を固定する）ため、色空間定義の切り 替わりに起因する頻繁な色変換方式の切り替えをなくすことができる。その結果、異 なる色空間を有する動画像シーケンスが同一媒体上に記録されたパッケージメディ ァの再生装置の処理負荷を軽減することができるとともに、色空間定義の切り替わり に起因する主観上の画質に対する違和感をなくすことができ、その実用的価値は高 い。
図面の簡単な説明
[0018] [図 1]図 1は、本発明の実施の形態 1における多重化方法を実現する多重化装置の 構成を示すブロック図である。
[図 2A]図 2Aは、本発明の実施の形態 1における連続再生単位を示す図である。
[図 2B]図 2Bは、本発明の実施の形態 1における他の連続再生単位を示す図である
[図 2C]図 2Cは、本発明の実施の形態 1におけるさらに他の連続再生単位を示す図 である。
[図 3]図 3は、本発明の実施の形態 1の多重化装置によって記録媒体に記録された 情報の一例を示す図である。
[図 4]図 4は、本実施の形態における多重化装置 100の動作を示すフローチャートで ある。
[図 5]図 5は、本実施の形態における再生装置の構成を示すブロック図である。
[図 6]図 6は、色変換部を 1つだけ備えた本実施の形態における再生装置の構成を 示すブロック図である。
[図 7]図 7は、本実施の形態における再生装置の動作を示すフローチャートである。 符号の説明
[0019] 100 多重化装置 101 色空間決定部
102 フラグ生成部
103 符号化部
104 システム多重化部
105 管理情報作成部
106 結合部
200, 200a 再生装置
201 復号部
202 第 1色変換部
203 第 2色変換部
204 制御部
205, 206 切替部
301 復号部
310 色変換部
311 パラメータ保持部
発明を実施するための最良の形態
[0020] (実施の形態 1)
図 1は、本実施の形態における多重化方法を実現する多重化装置の構成を示すブ ロック図である。
[0021] 本実施の形態における多重化装置 100は、再生処理を容易にするとともに、再生 時に視聴者の受ける画質上の違和感を低減させるものであって、色空間決定部 101 、フラグ生成部 102、符号化部 103、システム多重化部 104、管理情報作成部 105、 および結合部 106を備える。
[0022] 色空間決定部 101は、例えば、画像データ Vinの示す動画像シーケンスたるクリツ プごとに色空間を決定し、決定した色空間を示す色空間情報 Csをフラグ生成部 102 および符号ィ匕部 103に出力する。ここで、色空間決定部 101は、連続再生単位内で 各クリップに対して共通の色空間を決定する。連続再生単位は、記録媒体に記録さ れた複数の符号化されたクリップ (符号化ストリーム)からなり、各符号化ストリームが 連続的に再生可能なように構成されたものである。例えば、連続再生単位は、シーム レス接続された複数の符号化ストリームや、マルチアングル再生が可能となるように 構成された複数の符号化ストリームである。
[0023] つまり、色空間決定部 101は、符号ィ匕対象のクリップが連続再生単位の一部として 符号化されるべきか否かを判別する判別手段と、その判別手段によって連続再生単 位の一部として符号ィ匕されるべきと判別されたときには、そのクリップに対して、連続 再生単位内で共通の色空間を決定する色空間決定手段とを備えている。
[0024] なお、色空間決定部 101は、ユーザによる操作に応じて、または予め定められた条 件や設定に基づ 、て特定の色空間を決定する。
[0025] 符号ィ匕部 103は、画像データ Vinを取得して、色空間情報 Csの示す色空間を満た すように各クリップのデータを符号ィ匕し、その符号ィ匕によって生成された符号化ストリ ーム Cdをシステム多重化部 104に出力する。
[0026] フラグ生成部 102は、例えば各クリップに対して、色空間統一フラグ Swlを生成し、 管理情報作成部 105に出力する。色空間統一フラグは、連続再生単位内において 色空間が統一されているか否かを示す。例えば、色空間統一フラグは、 1であるとき には、連続再生単位の各クリップに対して、色空間が統一されていることを示し、 0で あるときには、連続再生単位でない各クリップに対して、色空間が統一されていない ことを示す。つまり、色空間統一フラグが 1のときには、その色空間統一フラグは、連 続再生単位において色空間が 1種類だけ定義されている、言い換えれば、その連続 再生単位にぉ ヽて色空間が固定されて!ヽることを示す。
[0027] システム多重化部 104は、符号化ストリーム Cdをシステム多重化 (パケット多重化） するとともに、補助情報 SIを生成する。そしてシステム多重化部 104は、生成された 補助情報 SIを管理情報作成部 105に出力するとともに、システム多重化によって生 成された多重化データ Mdを結合部 106に出力する。 BD— ROMにおけるシステム 多重化では、符号化ストリーム Cdに対応する MPEG— 2のトランスポートストリームに 4バイトのヘッダを付加することによってソースパケットが生成される。また、補助情報 SIは、多重化データ Mdにつ 、ての管理情報 CIに含まれるタイムマップなどを生成 するための情報である。 [0028] 管理情報作成部 105は、補助情報 SIに基づ 、てタイムマップなどを生成し、そのタ ィムマップおよび色空間統一フラグ Swlなどを含む管理情報 CIを生成する。また、こ の管理情報 CIは、連続再生単位を構成して ヽる各クリップ (符号化ストリーム）を示し ている。そして、管理情報作成部 105は、その管理情報 CIを結合部 106に出力する
[0029] 結合部 106は、管理情報 CIと多重化データ Mdを結合することによって記録データ Dを生成して出力する。多重化装置 100は、その記録データ Dを記録媒体に記録す る。
[0030] 図 2Aは、本実施の形態における連続再生単位を示す図である。
[0031] 本実施の形態における連続再生単位は、複数の符号化されたクリップ (符号化スト リーム Cd)力も構成され、各クリップの色空間は例えば第 1色空間で統一されている。 なお、符号化された各クリップには、色空間が第 1色空間であることを示す色空間情 報 Csが含まれている。
[0032] つまり、図 2Aは、 MPEG— 2や MPEG— 4 AVCの動画像の符号化ストリームに おける、色空間定義の切替え単位の制約例を示している。なお、 DVD— Videoや B D— ROMなどのパッケージメディアにおいては、プレイリストなどによって動画像の 符号化ストリームを連続して再生する単位 (連続再生単位)が示される。
[0033] このように、本実施の形態では、連続再生単位内において色空間が統一されてい るため、連続して再生される区間において色空間変更のための画像処理方式の切 替えが発生しない。その結果、再生処理を容易にするとともに、視聴者の受ける画質 上の違和感を低減させることができる。
[0034] 図 2Bは、本実施の形態における他の連続再生単位を示す図である。
[0035] この図 2Bに示す連続再生単位内の各クリップの色空間は第 2色空間で統一されて いる。
[0036] なお、連続して再生されるクリップの接続条件には、シームレス接続と、非シームレ ス接続との 2種類がある。非シームレス接続においては、例えば、オープン GOP (Gro up Of Picture)への接続時のように復号動作にギャップが発生することがあるため、 色空間の切り替わりを許容してもよい。つまり、本実施の形態では、連続再生単位の うち、各クリップがシームレス接続される連続再生単位だけにおいて色空間を統一し ている。また、非シームレス接続されたクリップの主観上の違和感をなくすために、非 シームレス接続されたクリップを含む連続再生単位において色空間を統一してもよく 、記録媒体に記録されるすべての動画像に対して色空間を統一しても良い。
[0037] 図 2Cは、本実施の形態におけるさらに他の連続再生単位を示す図である。
[0038] DVD— Videoや BD— ROMのようにマルチアングル機能をサポートして!/、る場合 には、アングルの切り替えにより接続される動画像に対して色空間を統一しても良い 。例えば、図 2Cに示すように、連続再生単位は、マルチアングル再生が可能となるよ うに、 3つのアングル力も撮影されて符号ィ匕された動画像 (アングル 1、アングル 2、お よびアングル 3)力もなる。また、アングル 1、アングル 2、およびアングル 3のそれぞれ は、例えばシームレス接続された複数のクリップ力も構成されて、共通の時間軸に沿 つたタイムスタンプが付されている。マルチアングル再生が行われる場合、ユーザは、 クリップの途中でアングルを 3つの中力も任意に選択することができる。例えば、ユー ザは、アングル 1のクリップの再生途中でアングルを切り替え、アングル 2またはアング ル 3のクリップの途中から引き続き再生を継続させることができる。
[0039] 本実施の形態では、このようなマルチアングル再生が行われる場合にぉ 、ても、連 続再生単位を構成するアングル 1、アングル 2、およびアングル 3の動画像すベての 色空間が、例えば第 1色空間に統一されているため、アングル切替時に色空間が異 なることにより生じる主観画質上の違和感をなくすことができる。
[0040] 図 3は、本実施の形態の多重化装置 100によって記録媒体に記録された情報の一 例を示す図である。
[0041] 記録媒体には、複数の符号化されたクリップ (符号化ストリーム）力 図 2A〜図 2C に示すような連続再生単位として記録されており、その連続再生単位において各タリ ップの色空間は統一されている。なお、記録媒体には、連続再生単位に含まれない 符号化ストリームである不連続符号化ストリームも記録されている。
[0042] また、 DVD— Videoや BD— ROMなどのパッケージメディアたる記録媒体には、プ レイリストがあり、色空間統一フラグは、そのプレイリストに含まれる管理情報 CIの一部 として記録される。また、色空間統一フラグは、例えば管理情報 CIの StreamCodinglnf oと呼ばれる領域に格納される。このような色空間統一フラグは、 MPEG— 2 MPE G-4 AVCのストリームにおいて、色空間定義の切替え単位が制約されていること を示す。
[0043] なお、符号ィ匕方式の記述を上述の色空間統一フラグとして扱ってもよい。つまり、 B D— ROMにおいては、プレイリストから参照される各クリップの符号ィ匕方式は、管理 情報内の StreamCodinglnfoと呼ばれる領域に格納される。したがって、その領域で符 号化方式が MPEG— 2や MPEG— 4 AVCであることが示される際には、その符号 化方式は、 1である色空間統一フラグと同様、連続再生単位において色空間が固定 されていることを示す。
[0044] また、具体的にどのような色空間を用いるかを示す識別番号等を記録媒体に別途 記録してもよぐさらに、色空間定義の切替え単位を示す情報を格納してもよい。また 、記録媒体に記録されている動画像の色空間定義が 1種類のみであるか 2種類以上 であるかを示すフラグを上述の色空間統一フラグとして格納しても良い。また、記録 媒体が従来色帯域 (狭色域空間）と広色帯域 (高色域空間）の 2つの色空間の動画 像を記録することを許可して ヽる場合に、従来色帯域の動画像のみが記録されて 、 る力、広色帯域の動画像が記録されている可能性がある力、を示すフラグを上述の 色空間統一フラグとして格納しても良い。このようなフラグを用いることにより、再生装 置は、記録媒体を再生する際に、記録媒体上の色空間定義が 1種類のみであるか否 力 または記録媒体上の色空間が従来色帯域のみである力否かを容易に判別する ことができ、色変換処理を簡易化することができる。
[0045] 図 4は、本実施の形態における多重化装置 100の動作を示すフローチャートである
[0046] まず、多重化装置 100の色空間決定部 101は、符号化対象のクリップが連続再生 単位の一部とされるべきか否かを判別する (ステップ S 100)。例えば、色空間決定部 101は、符号化対象のクリップを、直前のクリップとシームレス接続するように符号ィ匕 すべき力否かを判別する。そして、シームレス接続するように符号ィ匕すべきでないと 判別したときには、色空間決定部 101は、さらに、その符号化対象のクリップを、直前 のクリップとマルチアングル再生可能なように符号ィ匕すべき力否かを判別する。その 結果、色空間決定部 101は、シームレス接続するように符号ィ匕すべきと判別し、且つ マルチアングル再生可能なように符号ィ匕すべきと判別した場合に、上述の連続再生 単位の一部とされるべきと判別し、上記以外の場合に、連続再生単位の一部とされる べきでないと判別する。
[0047] ここで、色空間決定部 101は、連続再生単位の一部とされるべきでないと判別する と (ステップ S 100の N)、その符号ィ匕対象のクリップに対して色空間を決定する (ステ ップ S102)。その結果、符号ィ匕部 103は、色空間決定部 101で決定された色空間を 満たすようにそのクリップを符号ィ匕する (ステップ S104)。このとき、符号ィ匕部 103は、 符号化されたクリップに、その決定された色空間を示す色空間情報 Csを格納する。さ らに、フラグ生成部 102は、そのクリップに対して 0を示す色空間統一フラグを生成す る（ステップ S 106)。
[0048] そして、符号ィ匕部 103は、最終のクリップが符号ィ匕された力否かを判別し (ステップ S 108)、符号ィ匕されていないと判別したときには (ステップ S 108の N)、多重化装置 100は、次の符号ィ匕対象のクリップに対してステップ S 100からの動作を繰り返し実行 する。
[0049] 一方、色空間決定部 101は、符号ィ匕対象のクリップが連続再生単位の一部とされる べきとステップ S100で判別すると (ステップ S100の Y)、そのクリップに対して、連続 再生単位で共通の色空間を決定する (ステップ S 110)。つまり、色空間決定部 101 は、符号ィ匕対象のクリップが連続再生単位の先頭のクリップであれば、ユーザによる 操作または予め定められた条件や設定に基づいて色空間を決定する。また、符号ィ匕 対象のクリップが連続再生単位の先頭にな 、クリップであれば、色空間決定部 101 は、直前のクリップに対して決定された色空間と同一の色空間を、符号化対象のタリ ップに対して決定する。
[0050] その結果、符号ィ匕部 103は、色空間決定部 101で決定された色空間を満たすよう にそのクリップを符号ィ匕する (ステップ S112)。例えば、符号ィ匕部 103は、画像データ Vinの示す符号化対象のクリップの色空間力 ステップ S 110で決定された色空間と 異なっているときには、そのクリップの色空間を、決定された色空間に変換し、その変 換された色空間で表現される符号ィ匕対象のクリップに対して符号ィ匕を行う。これによ り、連続再生単位内の色空間が統一される。また、このとき、符号ィ匕部 103は、符号 ィ匕されたクリップに、その決定された色空間を示す色空間情報 Csを格納する。そして 、フラグ生成部 102は、そのクリップに対して 1を示す色空間統一フラグを生成する（ ステップ S 114)。
[0051] そして、符号ィ匕部 103は、最終のクリップが符号ィ匕された力否かを判別し (ステップ S 108)、符号ィ匕されていないと判別したときには (ステップ S 108の N)、多重化装置 100は、次の符号ィ匕対象のクリップに対してステップ S 100からの動作を繰り返し実行 する。
[0052] システム多重化部 104は、ステップ S 108で最終のクリップが符号ィ匕されたと判別さ れると (ステップ S 108の Y)、システム多重化を行うことにより多重化データ Mdを生成 するとともに補助情報 SIを生成する (ステップ S118)。そして、管理情報作成部 105 は、ステップ S106, S114で生成された色空間統一フラグと、ステップ S118で生成さ れた補助情報 SIとを用 、て管理情報 CIを生成する (ステップ S 120)。
[0053] 結合部 106は、ステップ S118で生成された多重化データ Mdと、ステップ S120で 生成された管理情報 CIとを結合することにより記録データ Dを生成する (ステップ S1 22)。
[0054] なお、上述の例では、フラグ生成部 102は色空間統一フラグをクリップごとに生成し た力 連続再生単位で 1つの色空間統一フラグを生成してもよい。
[0055] このように本実施の形態の多重化装置 100は、連続再生単位において色空間定義 を 1種類だけにすることにより、色空間定義の切替単位を制約するとともに、切替単位 が制約されていることを示す色空間統一フラグを記録媒体に記録する。また、本実施 の形態における記録媒体では、連続再生単位内の各クリップの色空間は統一されて おり、上述の色空間統一フラグが記録されている。これにより、その記録媒体に記録 された動画像を再生する再生装置は、連続再生単位内では色変換方式の切り替え を行うことなく動画像を再生することができ、再生処理を容易にすることができる。さら に、連続再生単位内では色空間の変更が生じないため、視聴者の受ける画質上の 違和感を低減させることができる。
[0056] なお、ォーサリングツールなどでデータを作成する際には、符号化ストリーム Cdの 生成と、システム多重化と、管理情報 CIの作成とを別々の装置で行うことがある。この ような場合には、各装置は、多重化装置 100における各構成要素と同一の動作を行 う。つまり、符号化ストリーム Cdを生成する装置と、システム多重化を行う装置と、管 理情報 CIを生成する装置とを含めて本実施の形態の多重化装置 100が構成される
[0057] また、本実施の形態では多重化装置として本発明を説明したが、本発明を記録装 置として実現してちょい。
[0058] (実施の形態 2)
本実施の形態における再生装置は、実施の形態 1の多重化装置 100によって記録 媒体に記録された記録データ Dを読み出して再生する。
[0059] 図 5は、本実施の形態における再生方法を実現する再生装置の構成を示すブロッ ク図である。
[0060] 本実施の形態における再生装置 200は、復号部 201、第 1色変換部 202、第 2色 変換部 203、制御部 204、および切替部 205, 206を備えている。
[0061] 復号部 201は、記録媒体力も読み出された記録データ Dのうち多重化データ Mdを 取得し、その多重化データ Mdに対して、そのデータの符号ィ匕方式 (例えば MPEG 2や MPEG— 4 AVC方式）に応じた復号処理を施す。その結果、復号部 201は 、 YUV形式によって表現される YUV復号画像データ Vyを生成して出力する。また 、復号部 201は、多重化データ Mdの各符号化ストリーム (クリップ）に含まれる色空間 情報 Csを抽出して制御部 204に出力する。
[0062] 第 1色変換部 202は、第 1色空間で表現される YUV復号画像データ Vyを、第 1色 空間に対応する色変換パラメータを用いて、第 1色空間で RGB形式によって表現さ れる RGB復号画像データ Vrに変換する。
[0063] 第 2色変換部 203は、第 2色空間で表現される YUV復号画像データ Vyを、第 2色 空間に対応する色変換パラメータを用いて、第 2色空間で RGB形式によって表現さ れる RGB復号画像データ Vrに変換する。
[0064] なお、第 1色空間に対応する色変換パラメータと第 2色空間に対応する色変換パラ メータとは、それぞれ異なっている。また、色変換パラメータは、例えば、 YUV形式を RGB形式に変換する際に使用される色変換行列と、 RZGZBZWhiteの色度点と 、伝達特性と、 YUV空間および RGB空間での定義域 (色域)とを含む。
[0065] 例えば、第 1色変換部 202または第 2色変換部 203は、 xvYCC規格のような広色 域の YUV信号 (YUV復号画像データ Vy)を扱う場合は、論理的に負から 1. 0以上 にまで拡張された値を持つ RGB信号の RGB復号画像データ Vrを出力する。したが つて、第 1色変換部 202または第 2色変換部 203から出力された RGB復号画像デー タ Vrを扱う手段 (例えば切替部 206や更にその後段に配置された編集装置や表示 装置（図示せず)等）は、上記負から 1. 0以上の値を扱うことができるもので有る必要 がある。
[0066] また、第 1色変換部 202または第 2色変換部 203は、 BT. 601や BT. 709規格の ような狭色域の YUV信号 (YUV復号画像データ Vy)を扱う場合は、論理的に 0. 0 力 1. 0までの値を持つ RGB信号の RGB復号画像データ Vrを出力する。
[0067] 切替部 205は、制御部 204からの制御に応じて、端子 cを端子 aと端子 cに切り替え て接続する。つまり、切替部 205は、端子 cを端子 aに接続することにより、復号部 20 1で生成された YUV復号画像データ Vyを第 1色変換部 202に出力し、端子 cを端子 bに接続することにより、復号部 201で生成された YUV復号画像データ Vyを第 2色 変換部 203に出力する。
[0068] 切替部 206は、制御部 204からの制御に応じて、端子 cを端子 aと端子 cに切り替え て接続する。つまり、切替部 206は、端子 cを端子 aに接続することにより、第 1色変換 部 202で生成された RGB復号画像データ Vrを再生装置 200外に出力し、端子 cを 端子 bに接続することにより、第 2色変換部 203で生成された RGB復号画像データ V rを再生装置 200外に出力する。
[0069] 制御部 204は、色空間情報 Csを復号部 201から取得するとともに、管理情報 CIを 記録媒体から取得する。この管理情報 CIには、復号化された各クリップに対応して色 空間統一フラグが格納されている。制御部 204は、復号化されたクリップに対応する 色空間統一フラグが 0を示すときには、そのクリップに対応する色空間情報 Csに応じ て、切替部 205, 206を制御する。つまり、制御部 204は、色空間情報 Csが第 1色空 間を示すときには、切替部 205, 206を制御することにより、その切替部 205, 206の 端子 cを端子 aに接続させる。その結果、第 1色変換部 202は、復号部 201から第 1色 空間で表現される YUV復号画像データ Vyを取得して RGB復号画像データ Vrに変 換し、その RGB復号画像データ Vrを出力する。一方、制御部 204は、色空間情報 C sが第 2色空間を示すときには、切替部 205, 206を制御することにより、その切替部 205, 206の端子 cを端子 bに接続させる。その結果、第 2色変換部 203は、復号部 2 01から第 2色空間で表現される YUV復号画像データ Vyを取得して RGB復号画像 データ Vrに変換し、その RGB復号画像データ Vrを出力する。
[0070] また、 0を示す色空間統一フラグに対応するクリップの色空間は、直前または直後 のクリップの色空間と異なる可能性がある。したがって、制御部 204は、 0を示す色空 間統一フラグを取得したときには、例えば、動画像シーケンスの切り換わりに違和感 が生じる可能性があることをユーザに知らせる内容のメッセージ Mを生成して出力す る。このようなメッセージ Mを取得したディスプレイは、上述のような内容を表示してュ 一ザに知らせる。
[0071] ここで、制御部 204は、連続再生単位の一部として復号化されたクリップに対応す る色空間統一フラグが 1を示すときには、その連続再生単位内の全てのクリップの色 空間が統一されていることを認識する。
[0072] つまり、制御部 204は、連続再生単位の一部として最初に復号ィ匕されたクリップに 対応する色空間統一フラグ力 ^を示すときには、上述の色空間統一フラグが 0のときと 同様に、そのクリップに対応する色空間情報 Csに応じて切替部 205, 206を制御す る。しかし、制御部 204は、上述の最初のクリップ以後に連続再生単位の一部として 復号ィ匕されたクリップに対しては、そのクリップに対応する色空間情報 Csを特定する ことなく、切替部 205, 206に対する切替制御を停止する。すなわち、制御部 204は 、連続再生単位内の先頭のクリップに適用された色変換部 (第 1色変換部 202または 第 2色変換部 203)を、その連続再生単位内の後続のクリップに対しても適用させる。 その結果、連続再生単位内では、第 1色変換部 202と第 2色変換部 203との切り替 えは行われず、何れか一方の色変換部のみが使用される。
[0073] なお、この再生装置 200では、第 1色変換部 202、第 2色変換部 203、切替部 205 , 206、および制御部 204から、第 1の色変換手段と第 2の色変換手段とが構成され ている。ここで、第 1の色変換手段は、 YUV復号画像データ Vyが連続再生単位の 符号化ストリームから復号化されて ヽるときには、その連続再生単位に対して共通の 色変換パラメータを、 YUV復号画像データ Vyに適用することによって、 YUV復号 画像データ Vyの色形式を変換する。第 2の色変換手段は、 YUV復号画像データ V yが不連続符号化ストリームカゝら復号ィ匕されているときには、その不連続符号化ストリ ームに含まれる色空間情報 Csから、その不連続符号化ストリームに応じた色変換パ ラメータを特定し、その色変換パラメータを YUV復号画像データ Vyに適用すること によって、 YUV復号画像データ Vyの色形式を変換する。
[0074] また、上述の例では、制御部 204は、多重化データ Mdから抽出された色空間情報 Csを復号部 201から取得したが、色空間情報 Csが管理情報 CIに含まれている場合 には、その管理情報 CIから色空間情報 Csを取得してもよい。
[0075] ここで、例えば、記録媒体に記録されて!、る動画像の色空間定義が 1種類のみで ある力 2種類以上であるかを示すフラグが、記録媒体の管理情報に格納されている 場合がある。また、従来色帯域と広色帯域の 2つの色空間の動画像を記録媒体に記 録することが許可されており、従来色帯域の動画像のみが記録されている力 広色 帯域の動画像が記録されている可能性があるか、を示すフラグが、記録媒体の管理 情報に格納されている場合がある。このような場合には、制御部 204は、そのフラグを 読み出してフラグの値を判定することにより、記録媒体上の色空間定義が 1種類のみ であるか否か、または記録媒体上の色空間が従来色帯域のみであるか否かを容易 に判別することができ、色変換処理を更に簡易化することができる。
[0076] ところで、本実施の形態における再生装置は、第 1色変換部 202と第 2色変換部 20 3とを備えたが、これら 2つの色変換部の代わりに、互いに異なる色変換パラメータを 切り替えて使用する 1つの色変換部を備えても良い。
[0077] 図 6は、色変換部を 1つだけ備えた本実施の形態における再生装置の構成を示す ブロック図である。
[0078] 再生装置 200aは、復号部 301と、色変換部 310と、パラメータ保持部 311とを備え る。復号部 301は、上述の復号部 201と同一の機能を有する。
[0079] 色変換部 310は、復号部 201から YUV復号画像データ Vyを取得するとともに、パ ラメータ保持部 311から、上述の第 1色空間に対応する色変換パラメータ (以下、第 1 色変換パラメータという）と、上述の第 2色空間に対応する色変換パラメータ（以下、 第 2色変換パラメータという）とを取得する。そして、この色変換部 310は、第 1色変換 ノ メータを取得したときには、第 1色空間で表現される YUV復号画像データ Vyを、 その第 1色変換パラメータを用いて、第 1色空間で RGB形式によって表現される RG B復号画像データ Vrに変換する。また、この色変換部 310は、第 2色変換パラメータ を取得したときには、第 2色空間で表現される YUV復号画像データ Vyを、その第 2 色変換パラメータを用いて、第 2色空間で RGB形式によって表現される RGB復号画 像データ Vrに変換する。
[0080] 例えば、色変換部 310は、 xvYCC規格のような広色域の YUV信号 (YUV復号画 像データ Vy)を扱う場合は、論理的に負から 1. 0以上にまで拡張された値を持つ R GB信号の RGB復号画像データ Vrを出力する。したがって、色変換部 310から出力 された RGB復号画像データ Vrを扱う手段 (例えば編集装置や表示装置 (図示せず） 等）は、上記負から 1. 0以上の値を扱うことができるもので有る必要がある。
[0081] また、色変換部 310は、 BT. 601規格や BT. 709規格のような狭色域の YUV信 号 (YUV復号画像データ Vy)を扱う場合は、論理的に 0. 0から 1. 0までの値を持つ RGB信号の RGB復号画像データ Vrを出力する。
[0082] ノ ラメータ保持部 311は、第 1色変換パラメータおよび第 2色変換パラメータを保持 している。そして、パラメータ保持部 311は、色空間情報 Csを復号部 301から取得す るとともに、管理情報 CIを記録媒体力も取得する。パラメータ保持部 311は、復号ィ匕 されたクリップに対応する色空間統一フラグが 0を示すときには、そのクリップに対応 する色空間情報 Csに応じて、第 1色変換パラメータと第 2色変換パラメータとの何れ か一方を選択して色変換部 310に出力する。つまり、パラメータ保持部 311は、色空 間情報 Csが第 1色空間を示すときには、第 1色変換パラメータを選択して色変換部 3 10に出力する。その結果、色変換部 310は、第 1色空間で表現される YUV復号画 像データ Vyを復号部 301から取得して RGB復号画像データ Vrに変換し、その RGB 復号画像データ Vrを出力する。一方、パラメータ保持部 311は、色空間情報 Csが第 2色空間を示すときには、第 2色変換パラメータを選択して色変換部 310に出力する 。その結果、色変換部 310は、第 2色空間で表現される YUV復号画像データ Vyを 復号部 301から取得して RGB復号画像データ Vrに変換し、その RGB復号画像デー タ Vrを出力する。
[0083] また、 0を示す色空間統一フラグに対応するクリップの色空間は、直前または直後 のクリップの色空間と異なる可能性がある。したがって、パラメータ保持部 311は、 0を 示す色空間統一フラグを取得したときには、例えば、動画像シーケンスの切り換わり に違和感が生じる可能性があることをユーザに知らせる内容のメッセージ Mを生成し て出力する。このようなメッセージ Mを取得したディスプレイは、上述のような内容を表 示してユーザに知らせる。
[0084] ここで、パラメータ保持部 311は、連続再生単位の一部として復号ィ匕されたクリップ に対応する色空間統一フラグが 1を示すときには、その連続再生単位内の全てのタリ ップの色空間が統一されていることを認識する。
[0085] つまり、パラメータ保持部 311は、連続再生単位の一部として最初に復号ィ匕された クリップに対応する色空間統一フラグが 1を示すときには、上述の色空間統一フラグ 力 Soのときと同様に、そのクリップに対応する色空間情報 Csに応じて色変換パラメ一 タ (第 1色変換パラメータまたは第 2色変換パラメータ)を選択して出力する。しかし、 ノ ラメータ保持部 311は、上述の最初のクリップ以後に連続再生単位の一部として復 号ィ匕されたクリップに対しては、そのクリップに対応する色空間情報 Csを特定すること なぐ色変換パラメータの選択および出力を停止する。すなわち、パラメータ保持部 3 11は、連続再生単位内の先頭のクリップに適用された色変換パラメータを、その連 続再生単位内の後続のクリップに対しても適用させる。その結果、連続再生単位内 では、第 1色変換パラメータと第 2色変換パラメータとの切り替えは行われず、何れか 一方の色変換パラメータのみが使用される。
[0086] なお、この再生装置 200aでは、色変換部 310およびパラメータ保持部 311から、 上述の第 1の色変換手段と第 2の色変換手段とが構成されている。
[0087] 図 7は、本実施の形態における再生装置 200aの動作を示すフローチャートである
[0088] まず、再生装置 200aの復号部 301は、記録媒体から読み出された多重化データ Mdを取得して、その多重化データ Mdにより示される符号ィ匕されたクリップを復号ィ匕 する (ステップ S200)。パラメータ保持部 311は、その復号化されたクリップに対応す る色空間統一フラグが 1である力否かを判別する (ステップ S202)。
[0089] ノ メータ保持部 311は、色空間統一フラグが 0であると判別すると (ステップ S202 の N)、上述の符号ィ匕されたクリップは不連続符号化ストリームであって、そのクリップ の色空間が直前または直後のクリップの色空間と異なる可能性があるため、上述のメ ッセージ Mを生成する (ステップ S 204)。そして、パラメータ保持部 311は、復号部 3 01で抽出された、そのクリップに対応する色空間情報 Csがどのような色空間を示して V、るかを特定する（ステップ S206)。
[0090] ノ メータ保持部 311は、特定された色空間に基づいて、色変換部 310で使用さ れる色変換パラメータの切り替えが必要か否かを判別する (ステップ S 208)。ここで、 切り替えが必要と判別すると、パラメータ保持部 311は、色変換部 310で使用される べき色変換パラメータ (第 1色変換パラメータまたは第 2色変換パラメータ）を選択して 色変換部 310に出力することによって、色変換パラメータの切り替えを行う（ステップ S210)。
[0091] 一方、パラメータ保持部 311は、色空間統一フラグが 1であると判別すると (ステップ S202の Y)、さらに、ステップ S200で復号ィ匕されたクリップの直前に復号ィ匕されたク リップに対応する色空間統一フラグが 1である力否かを判別する (ステップ S212)。つ まり、パラメータ保持部 311は、ステップ S200で復号ィ匕されたクリップが連続再生単 位の先頭のクリップである力否かを判別する。ここで、パラメータ保持部 311は、直前 のクリップに対応する色空間統一フラグが 0であると判別すると (ステップ S212の N) 、つまりステップ S200で復号ィ匕されたクリップが連続再生単位の先頭のクリップであ ると判別すると、ステップ S206からの動作を実行する。一方、パラメータ保持部 311 は、直前のクリップに対応する色空間統一フラグが 1であると判別すると (ステップ S2 12の Y)、つまりステップ S200で復号ィ匕されたクリップ力 連続再生単位の先頭にな いと判別すると、ステップ S 206からの動作を実行せず、色変換パラメータの切替処 理を停止する。
[0092] 色変換部 310は、ステップ S210でパラメータ保持部 311から色変換パラメータを取 得したときには、その色変換パラメータを用いて YUV復号画像データ Vyを RGB復 号画像データ Vrに変換する（ステップ S214)。また、色変換部 310は、ステップ S20 8で色変換パラメータの切り替えが不必要と判別されたとき (ステップ S208の N)、ま たはステップ S200で復号ィ匕されたクリップが連続再生単位の先頭にないと判別され たときには (ステップ S212の Y)、以前から使用されて!、る色変換パラメータを用 V、て YUV復号画像データ Vyを RGB復号画像データ Vrに変換する（ステップ S214)。こ のように変換された RGB復号画像データ Vrがディスプレイに出力されて、その RGB 復号画像データ Vrにより示される映像が表示されることによって、記録媒体に記録さ れた記録データ Dが再生される。
[0093] 復号部 301は、最終のクリップが復号ィ匕されたか否かを判別し (ステップ S216)、復 号ィ匕されたと判別したときには (ステップ S216の Y)、復号処理を終了し、復号化され ていないと判別したときには (ステップ S216の N)、次に復号ィ匕されるべきクリップに 対してステップ S200からの復号処理を実行する。
[0094] このように本実施の形態では、符号化ストリーム Cdを復号ィ匕することにより YUV復 号画像データ Vyが生成される。そして、その符号化ストリーム Cdに対応する色空間 統一フラグが 1のとき、つまり、 YUV復号画像データ Vyが連続再生単位の符号化ス トリームから復号化されて!/ヽるときには、その連続再生単位に対して共通の色変換パ ラメータが、 YUV復号画像データ Vyに適用される。その結果、 YUV復号画像デー タ Vyの色形式カ¾^^形式に変換される。また、その符号化ストリームに対応する色 空間統一フラグが 0のとき、つまり、 YUV復号画像データ Vyが不連続符号化ストリー ム力 復号ィ匕されているときには、その不連続符号化ストリームに含まれる色空間情 報 Csから、その不連続符号化ストリームに応じた色変換パラメータが特定される。そ して、その色変換パラメータを YUV復号画像データ Vyに適用することによって、そ の YUV復号画像データ Vyの色形式が RGB形式に変換される。
[0095] したがって、本実施の形態の再生装置 200, 200aは、色空間が統一された連続再 生単位を再生するため、連続再生単位内で色変換方式を切り替えることなく動画像 を再生することができ、再生処理を容易にすることができるとともに画質上の違和感を 低減させることができる。さらに、色空間統一フラグを用いることによって、連続再生 単位内の各クリップに収められた色空間情報 Csの示す色空間をわざわざ特定すると いった手間を省くことができる。
[0096] なお、上述の例では、パラメータ保持部 311は、多重化データ Mdから抽出された 色空間情報 Csを復号部 301から取得したが、色空間情報 Csが管理情報 CIに含ま れている場合には、その管理情報 CIから色空間情報 Csを取得してもよい。
[0097] ここで、例えば、記録媒体に記録されて!、る動画像の色空間定義が 1種類のみで ある力 2種類以上であるかを示すフラグが、記録媒体の管理情報に格納されている 場合がある。また、従来色帯域と広色帯域の 2つの色空間の動画像を記録媒体に記 録することが許可されており、従来色帯域の動画像のみが記録されている力 広色 帯域の動画像が記録されている可能性があるか、を示すフラグが、記録媒体の管理 情報に格納されている場合がある。このような場合には、パラメータ保持部 311は、そ のフラグを読み出してフラグの値を判定することにより、記録媒体上の色空間定義が 1種類のみである力否力、または記録媒体上の色空間が従来色帯域のみである力否 かを容易に判別することができ、色変換処理を更に簡易化することができる。
[0098] 以上、本発明について実施の形態 1および実施の形態 2を用いて説明した力 本 発明はこれらに限定されるものではなぐ本発明の範囲を逸脱することなく種々の変 形または修正が可能である。
[0099] 例えば、実施の形態 1および実施の形態 2では、 2種類の色空間（第 1色空間また は第 2色空間）を用いて説明したが、実施の形態 1の多重化装置および実施の形態 2の再生装置を、 3種類以上の色空間を取り扱えるように構成してもよ 、。
[0100] また、実施の形態 1および実施の形態 2では、動画像の符号ィ匕方式の例として、 M PEG— 2や MPEG— 4 AVCを挙げた力 他の符号化方式であってもよい。
[0101] また、実施の形態 1および実施の形態 2では、記録媒体の例として、 DVD— Video や BD— ROMなどのパッケージメディアを挙げたが、他のパッケージメディアであつ てもよい。
[0102] また、実施の形態 1および実施の形態 2では、連続再生単位を、シームレス接続さ れた複数の符号化ストリームや、マルチアングル再生可能なように構成された複数の 符号化ストリームとした力 これら以外の複数の符号化ストリームとしてもよい。例えば 、記録媒体に記録された全ての符号化ストリームを連続再生単位としてもょ 、。
[0103] また、図 1、図 5および図 6に示す各機能ブロックを、集積回路である LSI (Large Sea le Integration)として実現してもよい。この LSIは、多重化装置 100または再生装置 2 00, 200aで 1チップィ匕されても良いし、複数チップ化されても良い（例えばメモリ以外 の機能ブロックが 1チップィ匕されていても良い)。ここでは、 LSIとした力 集積度の違 いにより、 IC、システム LSI、スーパー LSI、ウルトラ LSIと呼称されることもある。
[0104] また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセサで 実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programma ble Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギ ュラブノレ ·プロセッサーを利用しても良 、。
[0105] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行って もよい。バイオ技術の適応等が可能性としてありえる。
[0106] また、図 1、図 5および図 6に示す各機能ブロックと、図 4および図 7に示す処理動作 とにおける中心的部分を、プロセッサおよびプログラムによって実現してもよい。
産業上の利用可能性
[0107] 本発明にかかる多重化装置、多重化方法、記録媒体、再生装置、および再生方法 は、例えば連続再生単位などの所定単位において、再生される動画像の色空間を 1 種類のみとする（固定とする）ため、色空間定義の切り替わりに起因する頻繁な色変 換方式の切り替えをなくすことができる。その結果、異なる色空間を有する動画像シ 一ケンスが同一媒体上に記録されたパッケージメディアの再生装置の処理負荷を軽 減でき、また色空間定義の切り替わりに起因する主観上の画質に対する違和感をな くすことができるという効果を有する。したがって、本発明は、例えばビデオカメラや、 ビデオ再生装置、携帯電話、パーソナルコンピュータなどに適用することができる。

Claims

請求の範囲
[1] 動画像を前記動画像の構成単位ごとに符号化することによって複数の符号化ストリ ームを生成し、前記複数の符号化ストリームをパケット多重化する多重化方法であつ て、
符号ィ匕対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なよ うに構成された連続再生単位の一部として符号化されるべきカゝ否かを判別し、 前記連続再生単位の一部として符号化されるべきと判別したときには、前記符号化 対象の構成単位に対して、前記連続再生単位内で共通の色空間を決定し、 決定された前記色空間にしたがって前記符号ィヒ対象の構成単位を符号ィヒすること により符号化ストリームを生成し、
前記符号化ストリームをパケット多重化する
ことを特徴とする多重化方法。
[2] 連続再生単位の一部として符号化されるべきか否かを判別するときには、
シームレス接続された複数の符号化ストリームを前記連続再生単位として扱う ことを特徴とする請求項 1記載の多重化方法。
[3] 連続再生単位の一部として符号化されるべきか否かを判別するときには、
マルチアングル再生が可能なように構成された複数の符号化ストリームを前記連続 再生単位として扱う
ことを特徴とする請求項 1記載の多重化方法。
[4] 前記多重化方法は、さらに、
前記連続再生単位を構成している各符号化ストリームを示す管理情報を生成する ことを特徴とする請求項 1記載の多重化方法。
[5] 前記多重化方法は、さらに、
連続再生単位内において色空間が統一されている力否かを示すフラグを生成する ことを特徴とする請求項 1記載の多重化方法。
[6] 前記多重化方法は、さらに、
パケット多重化された複数の前記符号化ストリームを記録媒体に記録し、 前記フラグを生成するときには、 前記記録媒体に記録された全ての前記符号化ストリームの色空間が 1種類だけで あるか否かを示す前記フラグを生成する
ことを特徴とする請求項 5記載の多重化方法。
[7] 前記多重化方法は、さらに、
パケット多重化された複数の前記符号化ストリームを記録媒体に記録し、 前記フラグを生成するときには、
前記記録媒体に記録された全ての前記符号化ストリームの色空間が狭色域空間の みであるか否かを示す前記フラグを生成する
ことを特徴とする請求項 5記載の多重化方法。
[8] 前記符号化ストリームを生成するときには、
前記符号化対象の構成単位の色空間を、前記決定された色空間に変換し、 変換された色空間で表現される前記符号ィ匕対象の構成単位を符号ィ匕する ことを特徴とする請求項 1記載の多重化方法。
[9] 符号化された動画像を示す複数の符号化ストリームが記録された記録媒体であつ て、
連続的に再生可能なように構成された複数の符号化ストリームからなる連続再生単 位と、
前記連続再生単位に含まれない符号化ストリームである不連続符号化ストリームと が記録され、
前記連続再生単位内では色空間が統一されている
ことを特徴とする記録媒体。
[10] 前記連続再生単位は、シームレス接続された複数の符号化ストリームカゝらなる ことを特徴とする請求項 9記載の記録媒体。
[11] 前記連続再生単位は、マルチアングル再生が可能なように構成された複数の符号 ィ匕ストリーム力 なる
ことを特徴とする請求項 9記載の記録媒体。
[12] 前記記録媒体には、さらに、
前記連続再生単位を構成している各符号化ストリームを示す管理情報が記録され ている
ことを特徴とする請求項 9記載の記録媒体。
[13] 前記記録媒体には、さらに、
連続再生単位内にぉ 、て色空間が統一されて 、る力否かを示すフラグが記録され ている
ことを特徴とする請求項 9記載の記録媒体。
[14] 前記フラグは、前記記録媒体に記録された全ての前記符号化ストリームの色空間 が 1種類だけであるカゝ否かを示す
ことを特徴とする請求項 13記載の記録媒体。
[15] 前記フラグは、前記記録媒体に記録された全ての前記符号化ストリームの色空間 が狭色域空間のみである力否かを示す
ことを特徴とする請求項 13記載の記録媒体。
[16] 符号化された動画像を示す複数の符号化ストリームが記録された記録媒体から、前 記複数の符号化ストリームを読み出して動画像を再生する再生方法であって、 前記記録媒体には、
連続的に再生可能なように構成された複数の符号化ストリームからなる連続再生単 位と、前記連続再生単位に含まれな！/ヽ符号化ストリームである不連続符号化ストリー ムとが記録されており、
前記再生方法は、
前記符号化ストリームを復号ィ匕することにより復号動画像を生成し、
前記復号動画像が前記連続再生単位の符号化ストリームカゝら復号ィ匕されていると きには、前記連続再生単位に対して共通の色変換パラメータを、前記復号動画像に 適用することによって、前記復号動画像の色形式を変換し、
前記復号動画像が前記不連続符号化ストリーム力 復号ィ匕されているときには、前 記不連続符号化ストリームに含まれる情報から、当該不連続符号化ストリームに応じ た色変換パラメータを特定し、前記色変換パラメータを前記復号動画像に適用するこ とによって、前記復号動画像の色形式を変換する
ことを特徴とする再生方法。
[17] 動画像を前記動画像の構成単位ごとに符号化することによって複数の符号化ストリ ームを生成し、前記複数の符号化ストリームをパケット多重化する多重化装置であつ て、
符号ィ匕対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なよ うに構成された連続再生単位の一部として符号化されるべきカゝ否かを判別する判別 手段と、
前記判別手段によって連続再生単位の一部として符号化されるべきと判別されたと きには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空 間を決定する色空間決定手段と、
決定された前記色空間にしたがって前記符号ィヒ対象の構成単位を符号ィヒすること により符号化ストリームを生成する符号化手段と、
前記符号化ストリームをパケット多重化する多重化手段と
を備えることを特徴とする多重化装置。
[18] 動画像を前記動画像の構成単位ごとに符号化することによって複数の符号化ストリ ームを生成して記録媒体に記録する記録装置であって、
符号ィ匕対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なよ うに構成された連続再生単位の一部として符号化されるべきカゝ否かを判別する判別 手段と、
前記判別手段によって連続再生単位の一部として符号化されるべきと判別されたと きには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空 間を決定する色空間決定手段と、
決定された前記色空間にしたがって前記符号ィヒ対象の構成単位を符号ィヒすること により符号化ストリームを生成する符号化手段と、
前記符号化ストリームをパケット多重化する多重化手段と、
前記多重化手段によってパケット多重化された符号化ストリームを記録媒体に記録 する記録手段と
を備えることを特徴とする記録装置。
[19] 符号化された動画像を示す複数の符号化ストリームが記録された記録媒体から、前 記複数の符号化ストリームを読み出して動画像を再生する再生装置であって、 前記記録媒体には、
連続的に再生可能なように構成された複数の符号化ストリームからなる連続再生単 位と、前記連続再生単位に含まれな！/ヽ符号化ストリームである不連続符号化ストリー ムとが記録されており、
前記再生装置は、
前記符号化ストリームを復号ィ匕することにより復号動画像を生成する復号ィ匕手段と 前記復号動画像が前記連続再生単位の符号化ストリームカゝら復号ィ匕されていると きには、前記連続再生単位に対して共通の色変換パラメータを、前記復号動画像に 適用することによって、前記復号動画像の色形式を変換する第 1の色変換手段と、 前記復号動画像が前記不連続符号化ストリーム力 復号ィ匕されているときには、前 記不連続符号化ストリームに含まれる情報から、当該不連続符号化ストリームに応じ た色変換パラメータを特定し、前記色変換パラメータを前記復号動画像に適用するこ とによって、前記復号動画像の色形式を変換する第 2の色変換手段と
を備えることを特徴とする再生装置。
[20] 動画像を前記動画像の構成単位ごとに符号化することによって複数の符号化ストリ ームを生成し、前記複数の符号化ストリームをパケット多重化するためのプログラムで あって、
符号ィ匕対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なよ うに構成された連続再生単位の一部として符号化されるべきカゝ否かを判別し、 前記連続再生単位の一部として符号化されるべきと判別したときには、前記符号化 対象の構成単位に対して、前記連続再生単位内で共通の色空間を決定し、 決定された前記色空間にしたがって前記符号ィヒ対象の構成単位を符号ィヒすること により符号化ストリームを生成し、
前記符号化ストリームをパケット多重化する
ことをコンピュータに実行させることを特徴とするプログラム。
[21] 符号化された動画像を示す複数の符号化ストリームが記録された記録媒体から、前 記複数の符号化ストリームを読み出して動画像を再生するためのプログラムであって 前記記録媒体には、
連続的に再生可能なように構成された複数の符号化ストリームからなる連続再生単 位と、前記連続再生単位に含まれな！/ヽ符号化ストリームである不連続符号化ストリー ムとが記録されており、
前記プログラムは、
前記符号化ストリームを復号ィ匕することにより復号動画像を生成し、
前記復号動画像が前記連続再生単位の符号化ストリームカゝら復号ィ匕されていると きには、前記連続再生単位に対して共通の色変換パラメータを、前記復号動画像に 適用することによって、前記復号動画像の色形式を変換し、
前記復号動画像が前記不連続符号化ストリーム力 復号ィ匕されているときには、前 記不連続符号化ストリームに含まれる情報から、当該不連続符号化ストリームに応じ た色変換パラメータを特定し、前記色変換パラメータを前記復号動画像に適用するこ とによって、前記復号動画像の色形式を変換する
ことをコンピュータに実行させることを特徴とするプログラム。
動画像を前記動画像の構成単位ごとに符号化することによって複数の符号化ストリ ームを生成し、前記複数の符号化ストリームをパケット多重化する集積回路であって 符号ィ匕対象の前記構成単位が、複数の符号化ストリームが連続的に再生可能なよ うに構成された連続再生単位の一部として符号化されるべきカゝ否かを判別する判別 手段と、
前記判別手段によって連続再生単位の一部として符号化されるべきと判別されたと きには、前記符号化対象の構成単位に対して、前記連続再生単位内で共通の色空 間を決定する色空間決定手段と、
決定された前記色空間にしたがって前記符号ィヒ対象の構成単位を符号ィヒすること により符号化ストリームを生成する符号化手段と、
前記符号化ストリームをパケット多重化する多重化手段と を備えることを特徴とする集積回路。
符号化された動画像を示す複数の符号化ストリームが記録された記録媒体から、前 記複数の符号化ストリームを読み出して動画像を再生する集積回路であって、 前記記録媒体には、
連続的に再生可能なように構成された複数の符号化ストリームからなる連続再生単 位と、前記連続再生単位に含まれな！/ヽ符号化ストリームである不連続符号化ストリー ムとが記録されており、
前記集積回路は、
前記符号化ストリームを復号ィ匕することにより復号動画像を生成する復号ィ匕手段と 前記復号動画像が前記連続再生単位の符号化ストリームカゝら復号ィ匕されていると きには、前記連続再生単位に対して共通の色変換パラメータを、前記復号動画像に 適用することによって、前記復号動画像の色形式を変換する第 1の色変換手段と、 前記復号動画像が前記不連続符号化ストリーム力 復号ィ匕されているときには、前 記不連続符号化ストリームに含まれる情報から、当該不連続符号化ストリームに応じ た色変換パラメータを特定し、前記色変換パラメータを前記復号動画像に適用するこ とによって、前記復号動画像の色形式を変換する第 2の色変換手段と
を備えることを特徴とする集積回路。
PCT/JP2006/315946 2005-08-26 2006-08-11 多重化方法および記録媒体 WO2007023698A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007532065A JP5235411B2 (ja) 2005-08-26 2006-08-11 多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路
EP06796384.3A EP1933571B1 (en) 2005-08-26 2006-08-11 Multiplexing method and recording medium
KR1020087004430A KR101237608B1 (ko) 2005-08-26 2006-08-11 다중화 방법 및 기록 매체
US12/064,793 US8417099B2 (en) 2005-08-26 2006-08-11 Multiplexing method and recording medium
EP15157621.2A EP2911390B1 (en) 2005-08-26 2006-08-11 Multiplexing method and recording medium
CN2006800297454A CN101248678B (zh) 2005-08-26 2006-08-11 多路复用方法及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005245567 2005-08-26
JP2005-245567 2005-08-26

Publications (1)

Publication Number Publication Date
WO2007023698A1 true WO2007023698A1 (ja) 2007-03-01

Family

ID=37771449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/315946 WO2007023698A1 (ja) 2005-08-26 2006-08-11 多重化方法および記録媒体

Country Status (6)

Country Link
US (1) US8417099B2 (ja)
EP (2) EP1933571B1 (ja)
JP (1) JP5235411B2 (ja)
KR (1) KR101237608B1 (ja)
CN (1) CN101248678B (ja)
WO (1) WO2007023698A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008065864A1 (en) * 2006-11-29 2008-06-05 Sony Corporation Recording apparatus, recording method, image pickup apparatus, reproducing apparatus and video system
JP2009008835A (ja) * 2007-06-27 2009-01-15 Hitachi Ltd 画像表示装置
WO2009016914A1 (ja) * 2007-08-02 2009-02-05 Sony Corporation 画像処理装置
JP2009038685A (ja) * 2007-08-02 2009-02-19 Sony Corp 画像信号出力装置及び画像信号出力方法
JP2009038682A (ja) * 2007-08-02 2009-02-19 Sony Corp 画像処理装置及び画像処理方法
WO2015033809A1 (ja) * 2013-09-03 2015-03-12 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
JP2015126469A (ja) * 2013-12-27 2015-07-06 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
JP2015192419A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 再生装置、再生方法、およびプログラム
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
JP2019149753A (ja) * 2018-02-28 2019-09-05 株式会社Ｊｖｃケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2020524450A (ja) * 2017-06-29 2020-08-13 ４ディーリプレー コリア，インコーポレイテッド 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
JP2021129325A (ja) * 2015-03-05 2021-09-02 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX353125B (es) 2013-06-20 2017-12-20 Sony Corp Dispositivo de reproducción, método de reproducción, y medio de registro.
KR20200001597A (ko) * 2017-06-29 2020-01-06 포디리플레이코리아 주식회사 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186718A (ja) * 1999-12-27 2001-07-06 G & M:Kk 発電機
US20020044756A1 (en) 1996-12-27 2002-04-18 Yoshiki Ishii Image recording method and device in which color conversion information is recorded as sub-code information, and computer-readable recording medium therefor
WO2004036908A1 (ja) * 2002-10-17 2004-04-29 Matsushita Electric Industrial Co., Ltd. データ処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100238136B1 (ko) * 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
US6335761B1 (en) * 1998-12-15 2002-01-01 Ati International S.R.L. Method and apparatus for converting color base of an image layer
EP1081967B1 (en) * 1999-09-02 2011-01-19 Panasonic Corporation Recording apparatus and coding apparatus
JP3826741B2 (ja) * 2001-02-09 2006-09-27 セイコーエプソン株式会社 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、画像処理方法、コンピュータプログラム、および、記録媒体
US7142251B2 (en) * 2001-07-31 2006-11-28 Micronas Usa, Inc. Video input processor in multi-format video compression system
US20030040925A1 (en) * 2001-08-22 2003-02-27 Koninklijke Philips Electronics N.V. Vision-based method and apparatus for detecting fraudulent events in a retail environment
JP3793145B2 (ja) * 2002-11-29 2006-07-05 株式会社東芝 ビデオデータ変換装置及びビデオデータ変換方法
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
JP4022644B2 (ja) * 2003-06-06 2007-12-19 株式会社ニコン 画像ファイルの読み取り方法、画像ファイル読み取り装置
US7139002B2 (en) * 2003-08-01 2006-11-21 Microsoft Corporation Bandwidth-efficient processing of video images
US20050129130A1 (en) * 2003-12-10 2005-06-16 Microsoft Corporation Color space coding framework

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044756A1 (en) 1996-12-27 2002-04-18 Yoshiki Ishii Image recording method and device in which color conversion information is recorded as sub-code information, and computer-readable recording medium therefor
JP2001186718A (ja) * 1999-12-27 2001-07-06 G & M:Kk 発電機
WO2004036908A1 (ja) * 2002-10-17 2004-04-29 Matsushita Electric Industrial Co., Ltd. データ処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1933571A4

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008065864A1 (en) * 2006-11-29 2008-06-05 Sony Corporation Recording apparatus, recording method, image pickup apparatus, reproducing apparatus and video system
US8620141B2 (en) 2006-11-29 2013-12-31 Sony Corporation Recording apparatus, recording method, image pickup apparatus, reproducing apparatus and video system
US8837907B2 (en) 2006-11-29 2014-09-16 Sony Corporation Recording apparatus, recording method, image pickup apparatus, reproducing apparatus and video system
JP2009008835A (ja) * 2007-06-27 2009-01-15 Hitachi Ltd 画像表示装置
WO2009016914A1 (ja) * 2007-08-02 2009-02-05 Sony Corporation 画像処理装置
JP2009038685A (ja) * 2007-08-02 2009-02-19 Sony Corp 画像信号出力装置及び画像信号出力方法
JP2009038682A (ja) * 2007-08-02 2009-02-19 Sony Corp 画像処理装置及び画像処理方法
EP2175660A1 (en) * 2007-08-02 2010-04-14 Sony Corporation Image processor
EP2175660A4 (en) * 2007-08-02 2012-04-25 Sony Corp IMAGE PROCESSOR
CN101772961B (zh) * 2007-08-02 2012-07-11 索尼公司 图像处理装置
US8538197B2 (en) 2007-08-02 2013-09-17 Sony Corporation Image processing apparatus
TWI646828B (zh) * 2013-09-03 2019-01-01 日商新力股份有限公司 解碼裝置及解碼方法、以及編碼裝置及編碼方法
WO2015033809A1 (ja) * 2013-09-03 2015-03-12 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
US10798398B2 (en) 2013-09-03 2020-10-06 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US20160112714A1 (en) 2013-09-03 2016-04-21 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
JPWO2015033809A1 (ja) * 2013-09-03 2017-03-02 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
US10015505B2 (en) 2013-09-03 2018-07-03 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US10728567B2 (en) 2013-09-03 2020-07-28 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
JP2015126469A (ja) * 2013-12-27 2015-07-06 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
JP2015192419A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2021129325A (ja) * 2015-03-05 2021-09-02 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP7103475B2 (ja) 2015-03-05 2022-07-20 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP2020524450A (ja) * 2017-06-29 2020-08-13 ４ディーリプレー コリア，インコーポレイテッド 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
JP2019149753A (ja) * 2018-02-28 2019-09-05 株式会社Ｊｖｃケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム

Also Published As

Publication number Publication date
EP1933571A1 (en) 2008-06-18
US20090116819A1 (en) 2009-05-07
KR101237608B1 (ko) 2013-02-26
EP2911390A1 (en) 2015-08-26
CN101248678A (zh) 2008-08-20
JPWO2007023698A1 (ja) 2009-03-26
US8417099B2 (en) 2013-04-09
EP1933571B1 (en) 2015-09-30
KR20080047366A (ko) 2008-05-28
EP1933571A4 (en) 2011-06-22
CN101248678B (zh) 2010-08-11
JP5235411B2 (ja) 2013-07-10
EP2911390B1 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
JP5235411B2 (ja) 多重化方法、再生方法、多重化装置、記録装置、再生装置、プログラムおよび集積回路
JP5256025B2 (ja) 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路
US8620141B2 (en) Recording apparatus, recording method, image pickup apparatus, reproducing apparatus and video system
KR101024922B1 (ko) 서브타이틀 데이터의 재생을 관리하기 위한 데이터 구조를갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치
KR100633665B1 (ko) 그래픽 데이터의 재생을 관리하기 위한 데이터 구조를갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치
JP4446305B2 (ja) ハイブリッド型高精細度ｄｖｄのための２層符号化
KR20010106847A (ko) 디지털 텔레비전이 수용가능한 데이터 포맷의 고밀도 광 기록매체와, 그에 따른 재생장치
JP2003333529A (ja) データ送信装置、データ受信装置、記録媒体、データ送信方法、およびデータ受信方法
WO2012046437A1 (ja) 記録媒体、及びデータのコピー方法
US7450831B2 (en) Method for DVD-subpicture compositing in 420 chroma format
JP4441572B2 (ja) 記録装置
JP2003046936A (ja) ディスク録画再生装置
KR20060079971A (ko) 정지화상의 동영상 변환에 의한 기록 제어 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680029745.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007532065

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12064793

Country of ref document: US

Ref document number: 1020087004430

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006796384

Country of ref document: EP