WO2004032498A1 - 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造 - Google Patents

情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造 Download PDF

Info

Publication number
WO2004032498A1
WO2004032498A1 PCT/JP2003/012584 JP0312584W WO2004032498A1 WO 2004032498 A1 WO2004032498 A1 WO 2004032498A1 JP 0312584 W JP0312584 W JP 0312584W WO 2004032498 A1 WO2004032498 A1 WO 2004032498A1
Authority
WO
WIPO (PCT)
Prior art keywords
sub
information
picture
recording
video
Prior art date
Application number
PCT/JP2003/012584
Other languages
English (en)
French (fr)
Inventor
Takeshi Koda
Nobuyuki Takakuwa
Takao Sawabe
Masanori Nakahara
Tohru Kanegae
Yasuko Fukuda
Akira Imamura
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to US10/530,041 priority Critical patent/US20060072907A1/en
Priority to AU2003271075A priority patent/AU2003271075A1/en
Publication of WO2004032498A1 publication Critical patent/WO2004032498A1/ja

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Definitions

  • the present invention relates to an information recording medium such as a high-density optical disk capable of recording various types of information such as main video, audio, sub-video, and reproduction control information at a high density, an information recording device for recording information on the information recording medium, and A method, an information reproducing apparatus and a method for reproducing information from the information recording medium, an information recording / reproducing apparatus and method capable of performing both recording and reproducing, a computer program for recording or reproducing control, and
  • the present invention relates to the technical field of a data structure including a control signal for reproduction control. Background art
  • DVDs have become popular as optical discs on which various information such as main video, audio, sub-video, and playback control information are recorded.
  • the main video information (video data), audio information (audio data) and sub-video information (sub-picture data) are each packetized together with playback control information (navigation data) to achieve high efficiency.
  • It is multiplex-recorded on the disc in the program stream (Program Stream) format of the MPEG 2 (Moving Picture Eperts Grouhase 2) standard, which is an encoding technique.
  • the main video information exists in a data stream compressed according to the MPEG video format (ISO13818-2), and only one stream exists in one program stream.
  • audio information is recorded in multiple formats (ie, linear PCM, AC-3 and MPEG audio, etc.), and up to 8 streams can exist in one program stream.
  • Sub-picture information is defined by a bitmap and recorded in a compressed form in a run-length format, and up to 32 streams can exist in one program stream.
  • the Transport Stream format of the MPEG 2 standard has been standardized, which is suitable for data transmission. According to this transport stream format, a plurality of elementary streams are transmitted simultaneously. For example, a plurality of programs or programs, such as a large number of satellite digital broadcast television channels, are multiplexed in a time-division manner and transmitted simultaneously on one satellite wave.
  • sub-picture information may be recorded using subtitles or the like of a video as sub-video information in a form corresponding to video information as main video information.
  • sub-pictures can be displayed over the video or main picture.
  • English subtitles can be displayed as sub-pictures on the movie video screen.
  • Captions can be displayed as subpictures in a superimposed manner.
  • the information for controlling the display of such a sub-picture is information indicating a display area of a sub-picture / pixel data in the video display area, and information for specifying a position of the sub-picture / pixel data in the display area.
  • scroll information for scrolling the sub-picture up and down is recorded.
  • the present invention provides, for example, an information recording system capable of performing complicated and sophisticated reproduction of sub-picture information reproduced along with main picture information, such as reproduction of a sub-picture with a shading effect. It is an object to provide a medium, an information recording device and method, an information reproducing device and method, an information recording and reproducing device and method, a computer program for recording or reproduction control, and a data structure including a control signal for reproduction control. .
  • the information recording medium of the present invention includes: video information indicating a main video; sub-video information indicating a sub-video that can be displayed at least partially superimposed on the main video; and (i) the sub-video (Ii) selectively shading a sub-picture portion in the sub-frame in accordance with an alpha value indicating transparency in the sub-picture portion; And sub-picture control information including shade display control information for superimposing the sub-picture part on the main picture in a form in which the sub-picture part is added and the shade is added.
  • the sub-picture information including sub-picture information is directly or processed at least partially as a sub-frame. After or after processing, it can be superimposed on a main video such as a video display image or a main picture.
  • a main video such as a video display image or a main picture.
  • the entire sub-image information may be a sub-frame, or one or more portions thereof may be cut out to form a sub-frame. When multiple pieces are cut out, they may be cut out so as to overlap each other or may be cut out without overlapping.
  • the sub-picture is designated as a sub-frame by sub-frame range information such as coordinate information for specifying coordinates of two or four corners opposed to each other in a rectangular area of the sub-frame. Is done.
  • the sub-frame may be a rectangular area in the sub-picture, but its shape is arbitrary.
  • the sub-picture part in the sub-frame which is at least a part of the sub-picture information specified in this way, is selected according to the alpha value indicating the transparency in the sub-picture part by the shade display control information.
  • the sub-picture portion is superimposed on the main picture in the form in which the shading is added and the sub-picture portion is displayed.
  • a rectangular sub-frame contains opaque characters and figures in a transparent background, and such characters and figures are shaded so that characters or figures that appear three-dimensionally on the main image are displayed. Shapes and Will be displayed.
  • the entire rectangular sub-frame or the entire shape of the sub-frame may be opaque. In this case, the sub-image in which the entire sub-frame or the outer frame of the sub-frame is shaded is It will be displayed on the main video.
  • the “alpha value” indicating the transparency according to the present invention may be a binary value. That is, for example, either opaque or transparent may be indicated by 0 (transparent) and 1 (opaque). Alternatively, it may be represented by a multi-value (0: transparent to 255: opaque, or 0: opaque to 255: transparent).
  • the shadow display control information is provided for an opaque portion of the sub-picture portion in the sub-frame, wherein the alpha value is a predetermined value or a predetermined threshold or more. Contains information for displaying the shaded area on a transparent part with a value or a predetermined threshold value or less.
  • the alpha value of the binary value is a predetermined value such as “1” (or “0”) indicating that it is opaque, or, for example, a multivalued alpha value of 0 to 255
  • a predetermined value such as “1” (or “0”) indicating that it is opaque
  • a multivalued alpha value 0 to 255
  • the shade display control information includes information for giving a shade to a character or a figure having an outline in the subframe for display. According to this aspect, it is possible to display a character or a figure having an outline in a sub-frame, which is determined to be opaque by the alpha value, by adding a shadow using the shadow display control information. . This makes it possible to display three-dimensionally embossed characters and figures on the main video using subframes.
  • the shadow display control information includes information for giving a shadow to the outline of the subframe for display.
  • the shadow display control information includes information that virtually defines an arrangement of a light source corresponding to the shadow and an arrangement of a surface on which the shadow is projected.
  • the arrangement of the light source corresponding to the shadow and the arrangement of the surface on which the shadow is projected can be virtually defined by the shadow display control information, so that the creator of the content information can be varied. Shading can be provided. Then, in the information reproducing apparatus, according to such shadow display control information, it is possible to relatively easily display and control a variety of shadows in the subframe.
  • shadows can be added in any of the directions of up, down, left, and right on the plane of the main image, and by changing the arrangement of the surface on which the shadows are projected, It is also possible to change the length and the like.
  • the shadow display control information includes information defining a color of the shadow.
  • the shadow display control information that defines the color of the shadow, for a character or a figure having an outline in the subframe or for the outline of the subframe, for example, black, red, yellow, or the like is used.
  • the subframe can be displayed on the main video in a form in which a single color or a plurality of colors are shaded, or a shade having a color pattern is added.
  • the shadow display control information includes information that defines a degree of blurring of the shadow.
  • the shade display control information that defines the degree of blurring of the shade
  • the sub-frame can be displayed on the main video.
  • various blurring methods generally used in image processing such as filter processing for a two-dimensional image, can be searched for here.
  • the main video information, the sub video information, and the sub video control information are divided and multiplexed in predetermined packet units, and A video stream composed of main video information, a sub-picture stream composed of the divided sub-video information, and a control information stream composed of the divided sub-video control information. It has been reamed.
  • the sub-picture information that is the sub-picture information is a dedicated SPD.
  • the sub-picture control information that is recorded as a (sub-picture data) stream and performs display control on the sub-picture information is a dedicated SCP (sub-picture control packet) stream, that is, a stream different from the SPD stream. Recorded as a stream.
  • the main video is also recorded, for example, as a dedicated video stream. Therefore, for example, display control based on sub-video information recorded as one stream in PS is efficiently controlled by sub-video control information including shadow display control information recorded as a separate stream. it can.
  • An information recording apparatus comprises: first recording means for recording video information indicating a main video; and sub-video information indicating a sub-video which can be displayed at least partially on the main video.
  • sub-frame range information for designating at least a part of the sub-picture as a sub-frame, and (ii) a sub-picture for a sub-picture portion in the sub-frame.
  • a third method for recording sub-picture control information including shade display control information for selectively giving a shade in accordance with an alpha value indicating the transparency of the part and displaying the sub-picture part in the shaded form. Recording means.
  • the first recording means including, for example, a controller, an encoder, a TS object generator, an optical pickup, a cutting device, and the like, described below, mainly stores information on an information recording medium such as a DVD. Record video information showing the video.
  • the second recording means including a controller, an encoder, an optical pickup, a cutting device, and the like is provided on an information recording medium such as a DVD, for example, on a sub-video indicating at least a part thereof, which can be displayed so as to be superimposed on the main video. Record video information.
  • the third recording means including a controller, an encoder, an optical pickup, a cutting device, and the like includes: (i) a support for designating at least a part of a sub-picture as a subframe on an information recording medium such as a DVD.
  • the shade is selectively added to the frame range information and (ii) the sub-picture part in the sub-frame according to the alpha value indicating the transparency of the sub-picture part, and the sub-picture part is added in the form where the shade is added.
  • the sub-video control information including the shadow display control information for displaying is recorded.
  • the above-described information recording medium of the present invention (including its various aspects) can be recorded with relatively high efficiency.
  • the information recording apparatus of the present invention can also adopt various aspects in correspondence with the various aspects of the information recording medium of the present invention described above.
  • the information recording method includes a first recording step of recording video information indicating a main video, and a sub-video information indicating a sub-video that can be displayed at least partially superimposed on the main video.
  • Recording a sub-picture control information including shade display control information for selectively giving a shade in accordance with the alpha value indicating and displaying the sub-picture portion in a form in which the shade has been given; and Is provided.
  • the second recording step records sub-picture information indicating a sub-picture that can be displayed at least partially over the main picture
  • the third recording step records the ⁇ sub-picture.
  • subframe range information for specifying at least a part of a region in a video as a subframe
  • an alpha value indicating transparency in the subvideo portion with respect to the subvideo portion of subframe ⁇ .
  • the sub-picture control information including the shade display control information for giving the shade and displaying the sub-picture portion in the form in which the shade is given is recorded.
  • the above-described information recording medium of the present invention (including its various aspects) can be recorded with relatively high efficiency.
  • the information recording method of the present invention can also adopt various aspects.
  • An information reproducing apparatus of the present invention is an information reproducing apparatus for reproducing the above-described information recording medium of the present invention (including its various aspects), wherein the video information, the sub-picture information, and the sub-picture control Reproducing means for reproducing information; display output means capable of displaying and outputting the reproduced sub-video information superimposed on the reproduced video information; and displaying the shading control information in the reproduced sub-video control information. And controlling the display output means so as to apply a shadow to the sub-image portion in the sub-frame and to display the sub-image portion in a form in which the sub-image portion is superimposed on the main image. Control means.
  • the reproducing means including, for example, a controller, a decoder, a demultiplexer, and an optical pickup reproduces the video information, the sub-video information, and the sub-video control information.
  • a display output means such as a CRT (Cathode Ray Tube) device, a PDP (Plasma Display Panel) device, an LCD (Liquid Crystal Display) device, a projector device, etc.
  • the control means including, for example, a controller outputs the sub-frame on the main video based on the shading control information in the reproduced sub-video control information so that the sub-frame is displayed in a shaded format. Control means. Therefore, the above-described information recording medium of the present invention (including its various aspects) can be reproduced relatively efficiently.
  • the information reproducing apparatus of the present invention can also adopt various aspects.
  • An information reproducing method of the present invention is an information reproducing method for reproducing the information recording medium of the present invention (including its various aspects), wherein the video information, the sub-video information, and the sub-video control are reproduced.
  • a reproducing step of reproducing information and a display output unit capable of displaying and outputting the reproduced sub-video information superimposed on the reproduced video information. And controlling the sub-picture portion in the sub-frame so that the sub-picture portion is superimposed on the main video in a form in which the shade is added. .
  • the reproducing step reproduces the video information, the sub-video information, and the sub-video control information using, for example, a controller, a decoder, a demultiplexer, an optical pickup, or the like.
  • the control step includes displaying the sub-frame on the main video in a shaded format based on the shading control information in the reproduced sub-video control information.
  • display output means including a CRT device, a PDP device, an LCD device, a projector device, and the like. Therefore, the above-described information recording medium of the present invention (including its various aspects) can be reproduced relatively efficiently.
  • the information reproducing method of the present invention can also adopt various aspects.
  • An information recording / reproducing apparatus includes: a first recording unit that records video information indicating a main video; and sub-video information that indicates a sub-video that can be displayed at least partially superimposed on the main video.
  • Second recording means includes: (i) sub-frame range information for designating at least a part of the sub-picture as a sub-frame; and (ii) transparency in the sub-picture portion with respect to the sub-picture portion of the sub-frame ⁇ .
  • a third recording for recording a sub-picture control information including a shade display control information for selectively giving a shade in accordance with the alpha value indicating the sub-picture part and displaying the sub-picture portion in a form to which the shade is given Means for playing back the video information, the sub-picture information and the sub-picture control information;
  • Display output means capable of displaying and outputting the reproduced sub-video information overlaid on the generated video information, and based on the shading addition control information in the reproduced sub-video control information, Control means for applying a shadow to the sub-image portion and controlling the display output means so as to display the sub-image portion in a form in which the sub-image portion is superimposed on the main image.
  • the information recording medium of the present invention (including its various aspects) can be compared. It can record and play back efficiently and efficiently.
  • the information recording / reproducing apparatus of the present invention can also adopt various aspects in correspondence with the various aspects of the information recording medium of the present invention described above.
  • An information recording / reproducing method includes a first recording step of recording video information indicating a main video, and recording sub-video information indicating a sub-video that can be displayed at least partially superimposed on the main video.
  • a second recording step includes (i) sub-frame range information for designating at least a part of the sub-picture as a sub-frame; and (ii) transparency of the sub-picture relative to the sub-picture in the sub-frame.
  • a shadow is provided to the sub-picture part in the sub-frame, and the sub-picture part is formed in a form in which the shadow is provided.
  • the information recording medium of the present invention since it has both the information recording method and the information reproducing method of the present invention described above, the information recording medium of the present invention (including its various aspects) can be compared. It can record and play back efficiently and efficiently.
  • the information recording / reproducing method of the present invention can also search for various aspects.
  • the computer program for recording control according to the present invention includes the information recording method according to the present invention described above.
  • a computer program for recording control for controlling a computer provided in an apparatus (including its various aspects), wherein the computer is a computer program for the first recording unit, the second recording unit, and the third recording unit. Let it function at least as a part.
  • the recording control computer program of the present invention the computer program can be read from a recording medium such as a ROM, a CD-ROM, a DVD-ROM, or a hard disk that stores the computer program and executed by the computer.
  • the computer program is executed after being downloaded to the computer via the communication means, the above-described information recording apparatus according to the present invention can be realized relatively easily.
  • the computer program for recording control of the present invention can also adopt various aspects, corresponding to the various aspects of the information recording medium of the present invention described above.
  • a computer program for reproduction control according to the present invention is a computer program for reproduction control for controlling a computer provided in the above-described information reproducing apparatus of the present invention (including its various aspects).
  • the reproduction means, the display output means, and the control means function as at least a part of them.
  • the computer program for reproduction control of the present invention if the computer program is read and executed from a recording medium such as a ROM, a CD-ROM, a DVD-ROM, or a hard disk that stores the computer program, Alternatively, if the computer program is executed after being downloaded to the computer via the communication means, the above-described information reproducing apparatus according to the present invention can be realized relatively easily.
  • the computer program for playback control of the present invention can also adopt various aspects.
  • the computer program for recording / reproducing control of the present invention is a computer program for recording / reproducing control for controlling a computer provided in the information recording / reproducing apparatus of the present invention (including its various aspects),
  • the computer is caused to function as at least a part of the first recording unit, the second recording unit, the third recording unit, the reproducing unit, the display output unit, and the control unit.
  • the computer program for recording / reproduction control of the present invention Computer program from a storage medium such as a ROM, a CD-ROM, a DVD-ROM, or a hard disk for storing the computer program, and the computer program is executed. If the program is executed after being downloaded to a computer, the above-described information recording / reproducing apparatus according to the present invention can be realized relatively easily.
  • the data structure including the control signal of the present invention includes: video information indicating a main video; sub-video information indicating a sub-video that can be displayed at least partially on the main video; (Ii) selective selection according to sub-frame range information for designating at least a part of the sub-frame as a sub-frame, and (ii) an alpha value indicating transparency in the sub-image portion with respect to the sub-image portion in the sub-frame.
  • sub-picture control information including shade display control information for superimposing and displaying the sub-picture portion on the main picture in a form in which the shade is given.
  • the data structure including the control signal of the present invention for example, reproduction by adding a shadow effect to a sub-picture according to the shadow display control information included in the sub-picture control information For example, complicated and advanced reproduction of sub-video information reproduced along with main video information is enabled.
  • the data structure including the control signal of the present invention can also adopt various aspects.
  • a computer program product for recording control in a computer-readable medium can be executed by a computer provided in the above-described information recording device of the present invention (including its various aspects).
  • the program instructions are tangibly embodied to cause the computer to function as at least a part of the first recording unit, the second recording unit, and the third recording unit.
  • a computer program product for reproduction control in a computer-readable medium can be executed by a computer provided in the above-described information reproduction apparatus of the present invention (including its various aspects). Tangibly embodying the various program instructions, the computer, the reproduction means, the display output means and the control means It functions as at least part of the steps.
  • a computer program product for controlling recording / reproduction of a computer-readable medium (2) is provided by a computer provided in the above-described information recording / reproducing apparatus of the present invention (including its various aspects).
  • Executable program instructions are tangibly embodied, and the computer is implemented by at least a part of the first recording unit, the second recording unit, the third recording unit, the reproducing unit, the display output unit, and the control unit.
  • the computer program product for recording control, reproduction control, or recording / reproduction control of the present invention is stored in a storage medium such as a ROM, a CD_ROM, a DVD-ROM, or a hard disk for storing the computer program product. If the program product is read into a computer, or if the computer program product, which is, for example, a transmission wave, is downloaded to the computer via communication means, the first recording means, the second recording means, At least a part of the third recording means, the reproducing means, the display output means, and the control means can be implemented relatively easily.
  • the computer program product stores at least a part of the computer in the first recording unit, the second recording unit, the third recording unit, the reproducing unit, the display output unit, and the control unit. It may be composed of computer readable codes (or computer readable instructions) that function as a computer.
  • FIG. 1 shows a basic structure of an optical disc which is an embodiment of the information recording medium of the present invention.
  • An upper part is a schematic plan view of an optical disc having a plurality of areas, and a lower part corresponding thereto is:
  • FIG. 3 is a schematic conceptual diagram of an area structure in the radial direction.
  • Fig. 2 is a schematic conceptual diagram of the conventional program stream of MPEG2 (Fig. 2 (a)), and a schematic conceptual diagram of the transport stream of MPEG2 used in the present embodiment (Fig. 2 (b) )), And the program stream of MP EG 2 used in this embodiment.
  • Fig. 2 (c) the program stream of MP EG 2 used in this embodiment.
  • FIG. 3 is a diagram schematically illustrating a data structure recorded on the optical disc of the present embodiment.
  • FIG. 4 is a conceptual diagram hierarchically showing the details of the data structure in each title shown in FIG.
  • FIG. 5 is a conceptual diagram hierarchically showing details of a data structure in each playlist set shown in FIG.
  • FIG. 6 is a conceptual diagram schematically showing the details of the data structure in each playlist set shown in FIG.
  • FIG. 7 is a conceptual diagram schematically showing details of the data structure of each item shown in FIG.
  • FIG. 8 is a conceptual diagram schematically showing a logical configuration of data in each title element shown in FIG. '
  • FIG. 9 is a conceptual diagram schematically showing the logical configuration of data in each title element shown in FIG. 4 when each playlist set is composed of one playlist in this embodiment. is there.
  • FIG. 10 is a conceptual diagram schematically showing the details of the data structure in each object shown in FIG.
  • FIG. 11 shows that, in this embodiment, the elementary stream for the upper program # 1 and the elementary stream for the middle program # 2 are multiplexed to form a transport stream for these two programs.
  • FIG. 3 is a diagram conceptually showing the configuration, with the horizontal axis as a time axis.
  • FIG. 12 is a conceptual diagram conceptually showing an image of a TS bucket multiplexed in one transport stream in the present embodiment as a bucket array along time.
  • FIG. 13 is a diagram schematically showing a logical configuration of data on an optical disk in the embodiment, focusing on development from a logical hierarchy to an opto-electronic or physical hierarchy.
  • FIG. 14 is a block diagram of the information recording / reproducing apparatus according to the embodiment of the present invention.
  • FIG. 15 is a flowchart showing the recording operation (No. 1) of the information recording / reproducing apparatus in this embodiment. It is a mouth chart.
  • FIG. 16 is a flowchart showing a recording operation (No. 2) of the information recording / reproducing apparatus in the present embodiment.
  • FIG. 17 is a flowchart showing a recording operation (part 3) of the information recording / reproducing apparatus in the present embodiment.
  • FIG. 18 is a flowchart showing a recording operation (part 4) of the information recording / reproducing apparatus in the present embodiment.
  • FIG. 19 is a flowchart showing a reproducing operation of the information recording / reproducing apparatus in the present embodiment.
  • FIG. 20 shows the data configuration of the SP control information for controlling the sub-picture data (FIG. 20 (a)) and the SP data as the still image data which constitutes the main body of the sub-picture data in this embodiment.
  • FIG. 2 is a conceptual diagram showing an example of a specific SP data structure (FIG. 20 (b)).
  • FIG. 21 schematically shows three types of sub-picture structures composed of the SP control information and the SP data structure shown in FIG.
  • FIG. 22 schematically shows the relationship between the stream for SPD and a plurality of streams for SCP in the present embodiment with respect to the reproduction time axis.
  • FIG. 23 is a table showing a configuration of a sub-picture control bucket in the present embodiment.
  • FIG. 24 is a table showing the configuration of the subpicture control bucket in the present embodiment, which is subsequent to FIG. 23.
  • FIG. 25 is a table showing the structure of the sub-picture control packet in the present embodiment, which is subsequent to FIG. 24.
  • FIG. 26 is a table following FIG. 25 showing the structure of the sub-picture control bucket in the present embodiment.
  • FIG. 27 is another table subsequent to FIG. 25, illustrating the configuration of the sub-picture control packet in the present embodiment.
  • FIG. 28 is a conceptual diagram showing the relationship between sub-pictures and sub-frames in the present embodiment.
  • FIG. 29 is a conceptual diagram showing a designation mode of designating a sub-frame from a sub-picture in the present embodiment.
  • FIG. 30 is a conceptual diagram showing the display arrangement of subframes in the present embodiment.
  • FIG. 31 is a conceptual diagram showing the subframes in the subframe coordinate system and the arrangement of the main video composed of these subframes in the main video coordinate system according to the present embodiment.
  • FIG. 32 is a conceptual diagram showing a display mode involving parallel movement in the main video coordinate system of the sub-frame according to the present embodiment.
  • FIG. 33 is a conceptual diagram showing a display mode involving a change in image size and a parallel movement in the main video coordinate system of the sub-frame according to the present embodiment.
  • FIG. 34 is a conceptual diagram showing a display mode involving rotation of an image in the main video coordinate system of the sub-frame according to the present embodiment.
  • FIG. 35 is a conceptual diagram showing the arrangement of the subframes in the main video coordinate system and the display form of the display window according to the present embodiment.
  • FIG. 36 is a conceptual diagram showing a display form involving a change in image size and a rotation in the main video coordinate system of the sub-frame according to the present embodiment.
  • FIG. 37 is a conceptual diagram showing a display mode according to the movement of a subframe within a subpicture in the present embodiment.
  • FIG. 38 is a conceptual diagram showing a display form according to a moving route in the main video coordinate system of the sub-frame according to the present embodiment.
  • FIG. 39 is a flowchart showing the flow of obtaining the drawing control parameters in the present embodiment.
  • FIG. 40 is a flowchart showing a flow of checking the SFC CCI and obtaining the subframe control component in the present embodiment.
  • FIG. 41 is a flowchart showing the flow of a subframe drawing process in the present embodiment.
  • FIG. 42 is a flowchart following FIG. 41, showing the flow of subframe drawing processing in the present embodiment.
  • FIG. 43 is a flowchart following FIG. 42 showing the flow of subframe drawing processing in the present embodiment.
  • FIG. 44 is a flowchart following FIG. 43 showing the flow of subframe drawing processing in the present embodiment.
  • FIG. 45 is a conceptual diagram showing the shadow lobbing display in the present embodiment.
  • FIG. 46 is a conceptual diagram showing the button display in this embodiment.
  • FIG. 47 is a diagram illustrating a state transition of the button in the present embodiment.
  • FIG. 48 is a diagram conceptually showing the entire access flow at the time of reproduction in relation to the logical structure of the optical disc in the present embodiment.
  • FIG. 49 is a diagram schematically illustrating a specific example of the data configuration in the AU table constructed in the object information file and the ES map table associated therewith in one specific example according to the present embodiment.
  • the information recording medium of the present invention is applied to an optical disk of a type capable of recording (writing) and reproducing (reading).
  • FIG. 1 shows the structure of an optical disk having a plurality of areas on the upper side in a schematic plan view, and shows the area structure in the radial direction on the lower side in association with a conceptual diagram.
  • the optical disc 100 can be recorded by various recording methods such as a magneto-optical method and a phase change method, which can record (write) plural times or only once.
  • a magneto-optical method and a phase change method which can record (write) plural times or only once.
  • a lead area 104, a data area 106 and a lead-out area 108 are formed on the recording surface of the disc body with a diameter of about 12 cm, from the inner circumference to the outer circumference centering on the center hole 102.
  • a lead area 104, a data area 106 and a lead-out area 108 are formed. Is provided.
  • a spiral or concentric centering on the center hall 102 A group track and a land track are alternately provided in a circle, and the group track may be coupled, or one or both of these tracks may be provided with a pre-pit.
  • the present invention is not particularly limited to an optical disk having such three areas.
  • FIG. 2 For comparison, the configuration of the program stream of MP EG 2 in the conventional DVD is schematically shown, and FIG. 2 (b) shows the configuration of the transport stream (TS) of MP EG 2. Further, FIG. 2 (c) schematically shows the configuration of the program stream of the MPEG 2 according to the present invention.
  • one program stream recorded on the conventional DVD includes only one video stream for video data as main video information along a time axis t. It contains up to eight audio streams for audio data as information and up to 32 sub-streams for subpicture data as sub-picture information. That is, the video data multiplexed at an arbitrary time tX relates to only one video stream. For example, a plurality of video streams corresponding to a plurality of television programs or a plurality of movies are simultaneously transmitted. It cannot be included in the program stream. In order to multiplex and transmit or record television programs with video, at least one video stream is required for each television program, so only one video stream exists. With the non-DVD program stream format, it is not possible to multiplex and transmit or record multiple TV programs.
  • one transport stream (TS) recorded on the optical disc 100 of the present invention includes a plurality of video streams as elementary streams (ES) for video data as main video information.
  • ES elementary streams
  • ES audio data
  • ES subpicture streams
  • sub-picture data sub-picture information
  • the video data multiplexed at an arbitrary time tx relates to a plurality of video streams.
  • a plurality of video streams corresponding to a plurality of television programs or a plurality of movies are simultaneously converted to a transport stream. It can be included.
  • a plurality of television programs and the like can be multiplexed and transmitted or recorded.
  • digital broadcasts that use the current transport stream do not transmit sap picture streams.
  • one-third program stream (PS) recorded on the optical disc 100 of the present invention includes a plurality of video streams for video data as main video information, and further includes audio data. It includes a plurality of audio streams for audio data as information and a plurality of sub-picture streams for sub-picture data as sub-picture information. That is, the video data multiplexed at an arbitrary time tX relates to a plurality of video streams. For example, a plurality of video streams corresponding to a plurality of television programs or a plurality of movies are simultaneously programmed. It can be included in the trim.
  • the video stream, the audio stream, and the sub-picture stream are arranged from the top in this order for the sake of convenience of description, but the order is packet unit as described later. It does not correspond to the order when multiplexing is performed.
  • transport stream conceptually, for example, one program corresponds to a group consisting of one video stream, two audio streams, and two sub-picture streams. .
  • the optical disc 100 of the present embodiment described above is capable of multiplex-recording a transport stream (TS) as shown in FIG. 2 (b) within the limit of the recording rate, that is, simultaneously recording a plurality of programs or programs. It is configured to be possible. Further, in addition to or instead of such a transport stream, a program stream (PS) as shown in FIG. 2 (c) can be multiplex-recorded on the same optical disc 100.
  • TS transport stream
  • PS program stream
  • FIG. 3 shows the data recorded on the optical disc 100.
  • 1 schematically shows the structure.
  • FIG. 4 schematically shows details of the data structure in each title shown in FIG.
  • FIGS. 5 and 6 schematically show details of the data structure in each play (P) list set shown in FIG. 3, respectively.
  • FIG. 7 schematically shows details of the data structure of each item shown in FIG.
  • FIG. 8 schematically shows a logical configuration of data in each title element shown in FIG. 4
  • FIG. 9 shows a diagram in a case where each playlist set is composed of playlists.
  • 4 schematically shows a logical configuration of data in each title element shown in FIG.
  • FIG. 10 schematically shows details of the data structure in each object shown in FIG.
  • a “title” is a playback unit that continuously executes a plurality of “playlists”, and has a logically large unit, such as one movie or one TV program. Units.
  • “Playlist Set” means a bunch of “Playlists”. For example, a bunch of playlists for reproducing a plurality of pieces of content information having a specific relationship that can be switched to each other in angle reproduction and parental reproduction, and content related to a plurality of programs broadcast and recorded together in the same time zone It is a bunch of playlists for reproducing information.
  • the video playback function (video performance) required for the information playback system, such as high-vision support, display resolution, surround speaker support, speaker arrangement, and audio playback function (audio performance)
  • This is a bunch of playlists for playing back various types of content information prepared for each required function, such as different functions.
  • the “play list” is information storing information necessary for reproducing the “object”, and includes a plurality of “items” each storing information regarding a reproduction range of the object for accessing the object. It is composed of
  • the “object” is the entity information of the content that constitutes the transport stream of MPEG2 described above.
  • the optical disk 100 has a logical structure of a disk information file 110, a play (P) list information file 120, an object information file 130, and an object data file 14. 0 files are provided, and a file system 105 for managing these files is further provided.
  • FIG. 3 does not directly show the physical data arrangement on the optical disc 100, it is necessary to record the arrangement order shown in FIG. 3 so as to correspond to the arrangement order shown in FIG. That is, it is also possible to record the file system 105 etc. in the data recording area 106 following the lead-in area 104, and further record the object data file 140 etc. in the data recording area 106. is there.
  • the file structure shown in FIG. 3 can be constructed without the lead-in area 104 and the lead-out area 108 shown in FIG.
  • the disc information file 110 is a file for storing comprehensive information on the entire optical disc 100, and includes a disc total information 112, a title information table 114, and other information 118.
  • the disc total information 112 stores, for example, the total number of titles in the optical disc 100 and the like.
  • the title information table 114 includes a title bottle pointer 1141, and a plurality of titles 200 (titles # 1 to #m) indicating identification numbers or recorded addresses. .
  • Each title 200 includes, as logical information, the type of each title (for example, sequential playback type, branch type, etc.) and the play (P) list number that constitutes each title, for each title. To be stored.
  • each title 200 is composed of, for example, title comprehensive information 200-1, a plurality of title elements 200-2, and other information 200-5. It is comprised including. Furthermore, each title element 2000-2 includes a pre-command 200 PR, a pointer 200 PT to a playlist set, a post command 200 PS, and other information 200-6. It is composed of Here, the pointer 200 PT, which is an example of the first pointer information according to the present invention, corresponds to content information to be reproduced based on the title element 200-2 including the pointer 200 PT. Indicates the identification number of the playlist set set 126S stored in the playlist information file 120.
  • the pointer 200 PT may be information indicating the recording position of the playlist set 126S corresponding to the content information to be reproduced based on the title element 200-2.
  • the pre-command 200 PR which is an example of the first pre-command maintained in the present invention, is a playback sequence set by one playlist set 1 26 S designated by the pointer 200 PT. Indicates the command to be executed before playing back the content information for which the content is specified.
  • the boost command 200 PS which is an example of the first boost command according to the present invention, indicates a command to be executed after the reproduction of the content information whose reproduction sequence is defined by the one play list set.
  • the other information 200-5 contained in the title element 200-2 includes, for example, next information specifying a title element related to the next playback after the playback related to the title element.
  • the playlist set 126 S is accessed according to the pointer 200 PT, and the desired one of the plurality of playlists 126 included in the playlist set 126 S is accessed. If the control is executed so as to select a program corresponding to the program or the like, the desired content information can be reproduced as the title element 200-2. Further, by reproducing one or more of such title elements 200-2 one by one or sequentially, one title 200 can be reproduced. Further, in accordance with the pre-command 200 PR, a command to be executed before the reproduction of the content information for which the reproduction sequence is specified by one play list set 126 S specified by the pointer 200 PT. I can do it.
  • the post command 200 PS a command to be executed after the reproduction of the content information for which the reproduction sequence is defined by one playlist set 126 S specified by the pointer 200 PT can be executed.
  • the post command 200PS is, for example, a command for instructing branching of content information, a command for selecting the next title, and the like.
  • the title element 200-2 next to the title element 200-2 being reproduced can be reproduced.
  • the play list information file 120 stores a play (P) list information table 121 indicating the logical structure of each play list, which is a play (P) list.
  • the playlist information table 122 stores the logic information of each playlist set 126S in the order of the playlist set number. In other words, the order of storing each playlist set 126S is the playlist set number.
  • the same play It is also possible to refer to the list set 126 S from a plurality of titles 200. That is, even when the title #q and the title #r use the same playlist set #p, the playlist set table #p in the playlist information table 122 is used as the title information table 114. It may be configured to point.
  • the playlist set 1 26 S includes playlist set comprehensive information 1 26 6-1, a plurality of playlists 1 2 6 (play lists # 1 to # x ), and items. It consists of a definition table 1 2 6—3 and other information 1 2 6—4.
  • Each playlist 1226 includes a plurality of playlist elements 1226-2 (playlist elements #l to #y) and other information 1226-5. I have.
  • each playlist element 1 2 6—2 is composed of a pre command 1 2 6 PR, a pointer 1 2 6 PT to the item, a post command 1 2 6 PS, and other information 1 2 6—6. It is configured.
  • the pointer 126PT as an example of the second pointer information according to the present invention corresponds to the content information to be reproduced based on the playlist element 1266-1 including the pointer 126PT.
  • the pointer 126PT may be a recording position of the item defined by the item definition table 126-6-3.
  • the playlist set 126S a plurality of items 204 are defined in the item definition table 126-3. These are shared by multiple playlists 126.
  • the UI user interface
  • the UI user interface
  • Ace information address information for each item definition table 126-6-3, etc. are described.
  • the pre-command 1 26 PR which is an example of the second pre-command according to the present invention, indicates a command to be executed before the reproduction of one item 204 designated by the pointer 1 26 PT. .
  • Which is an example post-command 1 2 6 PS of the second boss preparative command according to the present invention indicates a command to be executed after the reproduction of the one Item 20 4.
  • the other information included in the playlist element 1 26 6-2 is, for example, the next playback after the playback related to the playlist element 1 26 6-2.
  • Next information that specifies the playlist element 1 2 6 ⁇ 2 according to the above is included.
  • the item 204 is the minimum unit of display.
  • Item 204 describes “IN point information” indicating the start address of the object and “OUT point information” indicating the end address. Note that these “IN point information” and “OUT point information” may each indicate an address directly, or may indicate an address indirectly, such as time or time on a reproduction time axis.
  • the specification of item 204 is ES combination or specific ES will be specified.
  • the title element 200-2 is logically composed of a pre-command 200 PR or 126 PR and a playlist set 1 26 selected by the pointer 200 PT.
  • the process of selecting the playlist 126 from the playlist.set S 26 is executed according to some conditions that can be played back by the system, such as the video resolution.
  • the playlist set designated by the pointer 20 OPT is composed of a single playlist, that is, the playlist set 1 26 S shown in FIG.
  • the title element 200-2 logically includes the pre-command 200 PR or 126 PR and the playlist 1 26 reproduced at the time of reproduction. It may be composed of a post command 200 PS or a post command 126 PS and next information 200-6N. In this case, regardless of conditions that can be played back by the system, if a playlist set is designated for playback, playback processing of a single playlist 126 is executed.
  • the object information file 130 stores the storage position in the object data file 140 for each item included in each playlist 126 (that is, the logical address to be reproduced). ) And various attribute information related to the reproduction of the item are stored.
  • the object information file 130 stores a plurality of AU (associate unit) information 13 2 I (AU # 1 to A U # q), an ES (Elementary Stream) map table 134, and other information 1338 are stored.
  • the object data file 140 stores the transport stream (TS) separate TS objects 14 2 (TS # 1 object to TS #s object), that is, the entity data of the content to be actually reproduced. , Store multiple.
  • TS transport stream
  • the four types of files described with reference to FIG. 3 can be further divided into a plurality of files and stored, and all of them may be managed by the file system 105.
  • the TS object 14 2 shown in FIG. 3, which is a logically reproducible unit, is composed of a plurality of align duties 14 each having a data amount of 6 kB, for example. It is divided into three.
  • the beginning of the aligned unit 144 matches the beginning of the TS object 14.2 (aligned).
  • Each aligned unit 144 is further subdivided into a plurality of source packets 144 each having a data amount of 192B.
  • the source packet 144 is a physically reproducible unit.
  • this unit that is, a packet unit, at least video data, audio data and sub-picture data of data on the optical disc 100 are multiplexed. And other information may be similarly multiplexed.
  • Each source packet 144 is used to control the playback of a bucket rival time stamp or the like having a data amount of 4 B and indicating a playback processing start time of a TS (Transport Stream) packet on the playback time axis. And a TS bucket 146 having a data amount of 188 B.
  • the TS bucket 146 (also referred to as a “TS bucket payload”) has a packet header 146a at its head, and is used to determine whether video data is packetized into a “video packet”, The power of audio data being packetized into “one-time packets”, the power of sub-picture data being packetized into “sub-picture packets”, or other data being packetized Is performed.
  • FIGS. 11 and 12 transport transports as shown in FIGS. 2 and (b) will be described.
  • a description will be given of the point that video data, audio data, sub-picture data, and the like in a stream format are multiplex-recorded on the optical disc 100 by the TS packet 146 shown in FIG.
  • Fig. 11 shows that the elementary stream (ES) for the upper program # 1 (PG1) and the elementary stream (ES) for the middle program # 2 (PG2) are multiplexed.
  • the transport stream (TS) for these two programs (PG 1 & 2) is conceptually shown with the horizontal axis as the time axis.
  • Figure 12 shows one transport stream (TS). It conceptually shows the image of TS packets multiplexed in a stream (TS) as a packet arrangement along time.
  • the elementary stream for program # 1 (upper) is, for example, a TS bucket 146 in which video data for program # 1 is packetized is a time axis (horizontal axis). Are arranged discretely.
  • the elementary lease stream (middle) for program # 2 is, for example, a TS packet 146, in which video data for program # 2 is packetized, discretely with respect to the time axis (horizontal axis). It is arranged. Then, these TS packets 146 are multiplexed to construct a transport stream (lower) for these two programs.
  • FIG. 11 the audio data is actually packetized as an elementary stream for program # 1.
  • An elementary lease stream consisting of TS packets and a sub-picture stream consisting of TS packets in which sub-picture data is packetized may be multiplexed in the same manner, and in addition to these, an elementary stream for program # 2 As a stream, an elementary stream composed of a TS bucket in which audio data is packetized and a sub-picture stream composed of a TS packet in which sub-picture data is bucketed may be similarly multiplexed.
  • one TS stream is constructed from a large number of TS packets 146 multiplexed in this way.
  • a large number of TS packets 146 are multiplexed and recorded on the optical disc 100 in such a multiplexed form, with the information of the packet arriving timestamps 144 added thereto.
  • This (i 0 j) is a packet ID which is an identification number of the TS packet 146 for each elementary stream.
  • This bucket ID is unique among a plurality of TS packets 146 multiplexed at the same time so that even if a plurality of TS buckets 146 are multiplexed at the same time, they can be distinguished from each other. Is given.
  • PAT Program Association Table
  • PMT Program Map Table
  • the PAT stores a table indicating packet IDs of a plurality of PMTs.
  • the MPEG2 standard specifies that the PAT is given (00 0) as a predetermined bucket ID as shown in FIG. That is, among a number of packets multiplexed at the same time, a TS bucket with a packet ID of (000) is taken as a TS bucket with a packet ID of (000). It is configured to be.
  • the PMT stores, for one or more programs, a table indicating a packet ID for each elementary stream constituting each program.
  • An arbitrary packet ID can be assigned to the PMT, and those bucket IDs are indicated by the PAT which can be detected as the bucket ID force S (0000) as described above. Therefore, of the many packets multiplexed at the same time, the TS packet 146 whose PMT is packetized (ie, the packet ID (100), (200) in FIG. 12) , (300) is configured to be detected by the TS bucket 146) Force S, PAT.
  • the tuner refers to the PAT and PMT configured as described above to select a desired packet from among the multiplexed buckets. It is possible to extract the element corresponding to the elementary stream and demodulate it.
  • such a PAT or PMT packet is included as the TS packet 146 stored in the TS object 142 shown in FIG.
  • the PAT or PMT recorded in this manner is not referred to when the optical disc 100 is reproduced, and instead, the AU table 13 1 shown in FIG.
  • Table 134 By referring to Table 134, more efficient playback is enabled, and complicated multi-vision playback can be handled.
  • the correspondence between the elementary stream and the packet obtained by referring to the PAT and PMT at the time of demodulation and recording is described by the AU tape 131 and the ES map table 134. It is stored in the object information file 130 in the form of and without bucketing or multiplexing.
  • FIG. 13 schematically shows the logical configuration of data on the optical disk 100, focusing on the development from the logical layer to the object layer or the entity layer.
  • one or more titles 200 which are logically large units such as one movie and one television program, are recorded on the optical disc 100, for example.
  • Each title 200 includes one or more title elements 200-2.
  • Each of the title elements 200-2 is logically composed of a plurality of playlist sets 126S.
  • the plurality of play list sets 126S may have a sequential structure or a branch structure.
  • one title element 200 is composed of one playlist set 126 S, and one playlist set 126 S is composed of one playlist set. It consists of a playlist 1 26. It is also possible to refer to one playlist set 126S from a plurality of title elements 200-2 or a plurality of titles 200.
  • Each playlist 1 26 is logically composed of a plurality of items (play items) 204.
  • the plurality of items 204 may have a sequential structure or a branch structure. It is also possible to refer to one item 204 from a plurality of playlists 126.
  • the reproduction range of the TS object 142 is logically specified by the above-mentioned IN point information and OUT point information described in the item 204. And logically finger By referring to the object information 130d for the specified playback range, finally, the playback range of the TS object 142 is physically specified via the file system.
  • the object information 130 d is attribute information of the TS object 142, and TS object information such as ES address information 134 d required for data search in the TS object 142. 2 includes various information for reproducing (the ES map table 134 shown in FIG. 3 includes a plurality of such ES address information 134d).
  • the physical address to be reproduced in the TS object 142 is determined from the item 204 and the object information 130.
  • the acquired and reproduced elementary stream is executed.
  • the EP (entry point) map including a plurality of ES address information 134 d shown in the object information 130 d of FIG. 13 is an AU table 13 1 and an ES map table 1. It refers to an object information table that summarizes both 3 and 4.
  • the ES map described in the ES map table 13 4 (see FIG. 3) of the IN point information and the OUT point information described in the item 204 and the object information 130 d is described.
  • the association of the logical hierarchy to the object hierarchy in the playback sequence is executed by the dress information 1334d, and the elementary stream can be played back.
  • multiplex recording is performed on the optical disc 100 in units of TS buckets 146, whereby a large number of elementary streams as shown in FIG.
  • the transport stream including the stream can be multiplex-recorded on the optical disc 100.
  • a digital broadcast is recorded on the optical disc 100
  • a plurality of programs or a plurality of programs can be recorded simultaneously within the limit of the recording rate. 2
  • Multiple programs or multiple programs are multiplexed and recorded.
  • FIG. 14 is a block diagram of the information recording / reproducing apparatus
  • FIGS. 15 to 19 are flowcharts showing the operation.
  • the information recording / reproducing device 500 is roughly divided into a reproducing system and a recording system, and is capable of recording information on the optical disk 100 described above and reproducing the information recorded thereon. Is configured.
  • the information recording / reproducing apparatus the information recording / reproducing apparatus
  • Reference numeral 500 is for recording / reproducing, but it is possible to basically constitute an embodiment of the recording apparatus of the present invention from its recording system part, and to reproduce information of the present invention basically from its reproducing system part. Embodiments of the device can be configured.
  • the information recording / reproducing device 500 includes an optical pickup 502, a servo unit 503, a spindle motor 504, a demodulator 506, a demultiplexer 508, a video decoder 511, and an audio decoder 511. 2, Sub picture decoder 5 13 3, Adder 5 14 4, Still picture decoder 5 15 5, System controller 5 20, Memory 5 3 0, Memory 5 4 0, Memory 5 5 0, Modulator 6 6 6, Formatter 608, a TS object generator 610, a video encoder 611, an audio encoder 612, and a sub-picture encoder 613.
  • the system controller 520 includes a file (Fi1e) system / logical structure data generator 521 and a file (Fi1e) system logical structure data reader 522. Further, a memory 530 and a user interface 720 for performing user input such as title information are connected to the system controller 520.
  • modulator 606, formatter 608, TS object generator 610, video encoder 611, audio encoder 612, and sub-picture encoder 613 Thus, the recording system is generally constructed. Then, the optical pickup 502, the servo unit 503, the spindle motor 504, the system controller 520 and the memory 530, and the title
  • a user interface 720 for inputting user information such as file information is generally shared by both the reproduction system and the recording system.
  • a TS object data source 700 (or a PS object data source 700 or a still image data source 700 such as bitmap data or JPEG data) and a video data source 71 1.
  • An audio data source 7 12 and a sub-picture data source 7 13 are provided.
  • the file system logical structure data generator 521 provided in the system controller 520 is mainly used in a recording system, and the file system / logical structure reader 522 is mainly used for reproduction. Used in systems.
  • the optical pickup 502 irradiates the optical disk 100 with an optical beam LB such as a laser beam at a first power as a reading light at the time of reproduction and at a second power as a writing light at the time of recording. Irradiation is performed with modulation.
  • the servo unit 503 performs focus servo, tracking servo, and the like in the optical pickup 502 under the control of the control signal Sc1 output from the system controller 520 during playback and recording.
  • the spindle servo in the spindle motor 504 is performed.
  • the spindle motor 504 is configured to rotate the optical disc 100 at a predetermined speed while receiving spindle servo from the servo unit 503.
  • the TS object data source 700 is composed of recording storage such as a video tape and a memory, and stores the TS object data D1.
  • information of each title logically configured on the optical disk 100 using the TS object data D1 is represented by a user interface 720.
  • the system controller 5 2 0 Captures user input I2 such as title information from the user interface 720 (step S21: Yes and step S22).
  • the user interface 720 receives control based on the control signal Sc 4 from the system controller 520 and responds to the content to be recorded, for example, selection via the title menu screen.
  • Input processing is enabled. If the user input has already been executed (step S21: No), these processes are omitted.
  • the TS object data source 700 receives the control by the control signal Sc 8 instructing data read from the system controller 520, and outputs the TS object data D1. Then, the system controller 520 fetches the TS object data D1 from the TS object source 700 (step S23), for example, by the TS analysis function in the file system / logical structure data generator 521 as described above. Based on the PAT, PMT, etc. bucketed together with the video data, etc., the data array (for example, recording data length, etc.) in the TS object data D1 and the analysis of the configuration of each elementary stream (for example, the following ES__P ID (elementary stream 'packet identification number) is understood) (step S24).
  • the data array for example, recording data length, etc.
  • the analysis of the configuration of each elementary stream For example, the following ES__P ID (elementary stream 'packet identification number) is understood
  • the system controller 520 generates the file system logical structure data generator from the user input I2 such as the acquired title information and the data array of the TS object data D1 and the analysis result of each elementary stream.
  • a disk information file 110, a playlist information file 120, an object information file 130, and a file system 105 are created as logical information file data D 4.
  • the memory 530 is used when creating such logical information file data D4.
  • the formatter 608 is a device that performs a data array format for storing both the TS object data D 1 and the logical information file data D 4 on the optical disc 100. More specifically, the formatter 6 08 It is provided with a switch Swl and a switch Sw2, and is controlled by a switch control signal Sc5 from the system controller 520 so that when the TS object data D1 is formatted, the switch Sw1 is shifted to the 1 side. Connect the switch Sw 2 to the 1 side, and output the TS object data D 1 from the TS object data source 700. The transmission control of the TS object data D1 is performed by a control signal Sc8 from the system controller 520. On the other hand, when formatting the logical information file data D 4, the formatter 608 is controlled by the switch control signal Sc 5 from the system controller 520 to switch the switch Sw 2 to the 2 side. To output the logical information file data D4.
  • step S26 of FIG. 15 the switching control by the formatter 608 configured as described above provides (i) the logical information from the file system / logical structure data generator 521 in step S25.
  • the file data D4 or (ii) the TS object data D1 from the TS object data source 700 is output via the formatter 608 (step S26).
  • the selected output from the formatter 608 is sent to the modulator 606 as disc image data D5, modulated by the modulator 606, and then transmitted to the optical disc 100 via the optical pickup 502. (Step S27).
  • the disk recording control at this time is also executed by the system controller 520.
  • Step S28 No.
  • the recording order of the logical information file data D4 and the corresponding TS object data D1 may be either earlier or later.
  • step S29 determines whether or not to end the recording on the optical disc 100 based on the presence or absence of the end command.
  • Step S29: No The recording process is continued from step S21.
  • Step S29: Yes a series of recording processing is terminated.
  • the information recording / reproducing device 500 performs the recording process in the case where the created TS object is used.
  • step S25 after the logical information file data D4 is created in step S25, the logical information file data D4 and the corresponding TS object data D1 are created in step S26.
  • the data output is executed, the output of the TS object data D1 and the recording on the optical disc 100 are executed before step S25, and after this recording or in parallel with this recording, It is also possible to generate and record the logical information file data D4.
  • a PS object data source or a still image data source may be used instead of the TS object data source 700.
  • the above-described recording processing for the TS object data D1 is performed on the PS object data or the still image data such as bitmap data and JPEG data.
  • PS object data or still image object data is stored in the object data file 140 in addition to or instead of the TS object 142 (see FIG. 3).
  • various kinds of logical information relating to PS object data or still image object data are generated under the control of the system controller 520, and the disc information file 110, the playlist information file 120, It is stored in the object information file 130 etc.
  • the TS object data source 700 When receiving and recording the transport stream being broadcast, the TS object data source 700 is composed of, for example, a receiver (set top box) that receives the digital broadcast being broadcast, and the TS object data D 1 is transmitted to the formatter 608 in real time (step S41).
  • the reception information D 3 including the program configuration information decrypted at the time of reception and the ES-PID information described later. (That is, information corresponding to data sent via the receiver and the interface of the system controller 520) is taken into the system controller 520 and stored in the memory 530 (step S44). '
  • the TS object data D1 output to the formatter 608 is output to the modulator 606 by the switching control of the formatter 608 (step S42), and is recorded on the optical disk 100. (Step S43).
  • the file system / logical structure generator 5 2 1 is used by using the program configuration information and ES-PID information contained in the reception information D 3 fetched at the time of reception and stored in the memory 5300.
  • Step S24 and Step S25 the logical information file data D4 is additionally recorded on the optical disc 100 (steps S46 and S47). The processing in steps S24 and S25 may also be performed after step S43.
  • the user input 12 such as the title information from the user interface 720 is stored in the program stored in the memory 530.
  • the logical information file data D4 may be created by the system controller 520 by adding it to the configuration information and ES-PID information, and this may be additionally recorded on the optical disc 100.
  • the information recording / reproducing device 500 performs the recording process when the transport stream being broadcast is received and recorded in real time. If all the received data at the time of broadcasting are stored in the archive device and then used as the TS object source 700, the same processing as in the above-mentioned "when using the created TS object" is performed. Is enough.
  • the video data source 711 When recording separately prepared video data, audio data, and sub-picture data, the video data source 711, the audio data source 71 2, and the Each of the sub-picture data sources 713 includes a recording storage such as a video tape or a memory, and stores video data DV, audio data DA, and sub-picture data DS, respectively.
  • These data sources receive the video data DV, the audio data DA, and the sub-picture data DS, respectively, under the control of a control signal Sc8 for instructing data reading from the system controller 520. 11.
  • a predetermined type of encoding process is executed by the video encoder 611, the audio encoder 612, and the sub-picture encoder 613 (step S62).
  • the TS object generator 610 under the control of the control signal Sc6 from the system controller 520, converts the data encoded in this way into TS object data forming a transport stream. Conversion (step S63). At this time, the data arrangement information of each TS object data (for example, recording data length, etc.) ⁇ The configuration information of each elementary stream (for example, ES-PID, etc., described later) is transmitted from the TS object generator 610 The information is sent to the system controller 520 as information I 6 and stored in the memory 530 (step S 666).
  • the TS object data generated by the TS object generator 610 is sent to the side of the switch Sw1 of the formatter 608. That is, when the TS object data from the TS object generator 610 is formatted, the formatter 608 is subjected to switching control by the switch control signal Sc 5 from the system controller 520, and the switch Sw 1 Is set to the 2 side and the switch Sw 2 is connected to the TS side, thereby outputting the TS object data (step S64). Subsequently, the TS object data is recorded on the optical disc 100 via the modulator 606 (step S65).
  • the file system / logical structure generator 52 is used by using the data arrangement information of each TS object data and the configuration information of each elementary stream, which are taken into the memory 530 as the information I 6.
  • the logical information file data D4 is created according to 1 (step S24 and step S25).
  • a series of TS objects After the recording of the tact data D2, this is additionally recorded on the optical disc 100 (steps S67 and S68). Note that the processing in steps S24 and S25 may be performed after the end of step S65.
  • the user input I2 such as title information from the user interface 720 is stored in these memories 530.
  • the logical information file data D4 may be created by the logical structure generator 521 of the file system, and this may be additionally recorded on the optical disc 100.
  • the information recording / reproducing device 500 performs the recording process when recording separately prepared video data, audio data, and sub-picture data.
  • This recording process can also be applied to recording any content owned by the user.
  • the authoring system by combining the recording processes in the above three cases, the authoring system generates a TS object, generates logical information file data, and the like in advance (step S81), and then performs formatter 6 processing.
  • the processing up to the switching control performed in step 08 is completed (step S82).
  • the information obtained by this operation is sent as disc image data D 5 to the modulator 606 provided before and after the disc mastering machine (step S83), and the master machine uses the master. Creation is performed (step S84).
  • the title to be played back from the optical disc 100 and the playback conditions are determined by the user interface 720 in accordance with the user input I 2 such as the title information. Input to the system controller.
  • the user interface 720 is controlled by the control signal Sc 4 from the system controller 520, and performs input processing according to the content to be reproduced, such as selection via a title menu screen. Is possible.
  • the system controller 520 controls the disk reproduction for the optical disk 100, and the optical pickup 502 sends the read signal S7 to the demodulator 506.
  • the demodulator 506 demodulates the recording signal recorded on the optical disc 100 from the read signal S7, and outputs it as demodulated data D8.
  • Logical information file data as an unmultiplexed information part included in the demodulated data D8 (that is, the file system 105, disk information file 110, and P list information file 1 shown in FIG. 3). 20 and the object information file 130) are supplied to the system controller 520. Based on the logical information file data, the system controller 520 executes various reproduction controls such as a reproduction address determination process and a control of the optical pickup 502.
  • the switching switch is used depending on whether the demodulated data D8 contains TS object data as a multiplexed information part, still image data, or a person.
  • SW 3 is controlled by a control signal Sc 10 from the system controller 520 to be switched to the demultiplexer 508 as the (1) side or to the still image decoder 515 as the (2) side. .
  • This selectively supplies the TS object data to the demultiplexer 508 and the still image data to the still image decoder 515.
  • the demultiplexer 508 is controlled by the control signal Sc2 from the system controller 520.
  • Demultiplex when the access to the playback position address is completed by the playback control of the system controller 520, the control signal Sc2 is transmitted so as to start the demultiplexing.
  • the demultiplexer 508 From the demultiplexer 508, video packets, audio packets and The pre-picture packet is transmitted and supplied to the video decoder 511, the audio decoder 511, and the sub-picture decoder 513. Then, the video data DV, the audio data DA, and the sub-picture data DS are respectively decoded. At this time, the sub-picture data DS is supplied to the adder 514 via the memory 540. Under the control of the control signal Sc5 from the system controller 520, the sub-picture data DS is output from the memory 540 at a predetermined timing or selectively, and superimposed with the video data DV. Pause is performed as appropriate.
  • the superimposition timing / superimposition necessity as compared with the case where the subpicture data output from the subpicture decoder 5 13 is superimposed as it is.
  • the subtitles using the sub-pictures may not be displayed as appropriate on the main video, or the menu screen using the sub-pictures may be displayed appropriately. It becomes possible to do nothing.
  • the PAT or PMT packet included in the transport stream shown in FIG. 6 is included as a part of the demodulated data D8, but is discarded by the demultiplexer 508. Is done.
  • the adder 5 14 is controlled by the control signal S c 3 instructing the mixing from the system controller 5 20, and is decoded by the video decoder 5 11 and the sub-picture decoder 5 13 respectively.
  • the video data DV and the sub-picture data DS are mixed or superimposed at a predetermined timing.
  • the result is output as a video output from the information recording / reproducing device 500 to, for example, a television monitor.
  • the audio data DA decoded by the audio decoder 512 is output as an audio output from the information recording / reproducing device 500 to, for example, an external speaker.
  • the still image data is transmitted from the system controller Is supplied to the still picture decoder 5 15 via the switching switch SW 3 which is controlled by the control signal Sc 10.
  • de The coded still image data such as bitmap data and JPEG data is controlled by a control signal Sc11 from the system controller 520, and is added via the switch SW4 to the adder 514. Is added as is.
  • the data is temporarily stored in the memory 550 via the switching switch SW4.
  • the still image data is output from the memory 550 at a predetermined timing or selectively under the control of the control signal Sc12 from the system controller 520, and is added via the switching switch SW5. Is supplied to the vessel 5 14.
  • superimposition of the still image data with the video data DV and the sub-picture data DS is performed as appropriate. That is, it is possible to control the timing of superimposition and the necessity of superimposition as compared with the case where the still image data output from the still image decoder 515 is superimposed as it is.
  • a still image such as a menu screen or a window screen or a still image as a background image using still image data is displayed on the main video or the sub-video. It can be displayed or not displayed as appropriate.
  • still image data is separately output on a path (not shown) via the switch SW5 switched to the 2 side. You may. Alternatively, by switching to the (2) side, no still image data may be output from the switching switch SW5.
  • the title 200 is selected by the user interface 720 (step S211).
  • the Acquisition of information is performed.
  • a plurality of title elements 200-0-2 (see FIG. 4) constituting the title 200 are selected by a user's external input operation using a remote controller or the like. Of these, a desired one may be selected, or one title element 200-2 may be automatically selected according to a system parameter or the like set in the information recording / reproducing device 500.
  • Step S2 1 the contents of a plurality of playlists 126 constituting a playlist set 126S corresponding to the selected title 200 (title element 200-2) are acquired.
  • the structure of each playlist 126 and the information (see FIGS. 5, 6, and 13) of each item 204 constituting the playlist are obtained (see FIG. 5, FIG. 6, and FIG. 13).
  • the contents of the playlists 126 to be reproduced are acquired.
  • the reproduction is started from the playlist # 1, and the contents of the playlist 1226 corresponding to this are acquired (step S213).
  • the content of the playlist 1 26 includes one or more playlist elements 1 26-2 (see FIG. 5) and the like, and in the acquisition process of the step S 2 13, the playlist element is referred to. Acquisition of 1 2 6—2 is performed.
  • the pre-command 1 26 PR included in the playlist 12 26 is executed (step S2 14). Note that it is also possible to select one of a plurality of playlists 126 having a certain relationship that constitute the playlist set 126 S by the pre-command 126 PR. In addition, if the playlist element 125-2 constituting the playlist 1226 has the pre-command 12PR, the process is omitted.
  • step S2 15 the TS object 144 to be played (see FIGS. Is determined (see FIG. 10) (step S2 15). More specifically, based on the item 204, the object information file 130 (see FIG. 3) related to the TS object 142 to be reproduced is obtained, and the TS to be reproduced is executed. Identify the stream number, address, etc. of object 144.
  • AU (association unit) information 1321 and PU (presentation unit) information 3021 which will be described later, are also assumed to be the information stored in the object information file 130. Is obtained. Based on the obtained information, the above-mentioned association from the logical hierarchy to the object hierarchy is performed (see Fig. 13).
  • step S215 the reproduction of the TS object 142 determined in step S215 is actually started. That is, based on the processing in the logical hierarchy, the processing in the smart object hierarchy is started (step S216).
  • step S2 17 it is determined whether or not there is a next item 204 constituting the playlist 126 to be reproduced. Then, as long as the next item 204 exists (step S217: Yes), the process returns to step S215, and the above-described determination and reproduction processing of the TS object 144 are repeated. returned.
  • step S217 determines whether the next item 204 exists in the determination of step S217 (step S217: No). If the boss command 1 2 6 PS corresponding to the playlist 1 26 being executed is performed. (See FIG. 5) is executed (step S2 18). Note that this processing is omitted if the playlist element 1 26-2 constituting the playlist 1 2 6 does not have the post command 1 2 6 PS.
  • step S219 it is determined whether or not there is a next playlist 126 constituting the selected title 200 (step S219). If it exists here (step S219: Yes), the process returns to step S213 to repeatedly execute the processing after acquisition of the playlist 1226 to be reproduced.
  • step S 2 19 No
  • the title 200 in step S 2 11 is selected. If the reproduction of all the playlists 1 26 to be reproduced according to is completed, the series of reproduction processing ends.
  • the reproduction processing of the optical disc 100 by the information recording / reproducing device 500 of the present embodiment is performed.
  • the sub-picture stream or control information stream which is an elementary stream related to the sub-picture, includes SP data (still image data) and SP control information for performing various display controls of the sub-picture.
  • the object data file 140 is recorded.
  • the sub-picture stream or the control information stream is used.
  • the SP data and SP control information recorded in the trim are reproduced, and various display controls such as sub-picture motion control, shadow dropping control, and highlight button control using the sub-frame can be executed.
  • various display controls such as sub-picture motion control, shadow dropping control, and highlight button control using the sub-frame can be executed.
  • a playlist 1226 corresponding to desired content information is appropriately selected from the playlist set 1226S included in the reproduced playlist information file 120.
  • the selection conditions are described separately for each of the pre-commands 200 PR (see FIG. 4) included in the title element 200-2 and the playlist S 126.
  • a playlist selection command group list is provided, and the selection may be performed according to the selection conditions.
  • Attribute information added to each playlist 1 26 stored in playlist set 126 S for example, video resolution, progressive / interlace, video codec, number of audio channels, audio codec for video function Etc., which indicates the attribute of the content information related to the playlist).
  • the selection may be performed according to playlist set control information included in the title element 200-2 and storing the selection conditions for each playlist.
  • a program corresponding to desired content information such as a desired program, a desired parental block, a desired angle block, and the like.
  • desired content information such as a desired program, a desired parental block, a desired angle block, and the like.
  • a playlist that can be reproduced by the information reproducing system, and preferably makes full or maximum use of the video reproducing function and the audio reproducing function of the information reproducing system.
  • FIG. 20 shows the data structure of SP control information for controlling sub-picture data (Fig. 20 (a)) and SP data that includes SP data that is still image data that constitutes the main body of sub-picture data.
  • FIG. 21 schematically shows three types of sub-picture structures composed of the SP control information and the SP data structure.
  • FIG. 22 schematically shows the relationship between the stream for SPD and a plurality of streams for SCP with respect to the reproduction time axis.
  • the sub-picture data decoded by the sub-picture decoder 513 is temporarily stored in the memory 540 functioning as a buffer. Thereafter, at least one of the SP data (still image data) and the SP control information (still image control data) included in the temporarily stored subpicture data is controlled by a control signal S from the system controller 520. Read under control by c5. By applying the SP control information to the SP data, a still image is displayed as part or all of the video output.
  • the SP control information 721 has an SCP header and SF control parameters.
  • the “SCP header” includes an SP data identifier for specifying SP data to be controlled by the SP control information 721, information indicating a recording position of the SP data, and the like.
  • the “SF control parameter” is composed of various parameters for controlling the SP data in units of subframes (SFs), which are at least part of the image specified by the SP data. More specifically, it has a parameter indicating the display start time and display end time of SF data by PTS (Presentation Time Stamp), etc. For example, it has various parameters indicating conditions such as display time, cropping range of subpictures, arrangement at the time of display, enlargement / reduction, rotation and the like.
  • the SP data structure 722 has structure information and SP data (substance of still image data).
  • structure information includes information such as an identifier for identifying the SP data, the length of the SP data, and the like.
  • the “SP data” has, for example, run-length encoded bitmap data format or JPEG image data.
  • the sub-frame is obtained based on the SF control parameters shown in FIG. 20 (a) in units of sub-frames in which at least a part of the SP data shown in FIG. 20 (b) is cut out.
  • Various playback controls using frames are executed.
  • the SP control information 721 and the SP data structure 722 are packetized and multiplexed into a plurality of TS packets 146 (see FIG. 10).
  • the TS packet 146 in which the head of the SP control information 721 in the sub-picture structure is stored is called “SCP”, and the head of the SP data structure 722 in the sub-picture structure is The TS packet 146 to be stored is called "SPD”.
  • the SP control information 72 1 including the SCP and the SP data structure 72 2 are made into one sub-picture structure, even if it is divided into a plurality of TS buckets 1 46. Good.
  • the SP control information 721 including the SCP may have a single sub-picture structure and may be divided into a plurality of TS buckets 146.
  • the SP data information structure 722 including the SPD may be divided into a plurality of TS packets 146 as one sub-picture structure.
  • the SP data structure recorded on the SPD stream is compared with the SP data recorded on the SCP stream different from the SP data in the SP data stream.
  • the playback of still images is controlled by applying the information 7 2 1.
  • only one stream for SCP acting on one stream for SPD may exist, or a plurality of streams for SCP may exist.
  • the SCP stream (SCP 3) of "ES—PI D-204" includes SCP # 3a, SCP # 3b, and SCP # at times t41, t42, t43, and t44, respectively. 3c and SCP # 3d are deployed.
  • the SP data in the sub-picture data structure recorded on the sub-picture stream may be replaced by the SP data in the sub-picture structure recorded on the same stream.
  • Still image playback control may be performed by applying SP control information. That is, both the sp control information 721 and the SP data structure 722 are recorded in only one sub-picture stream, and the SP control information 721 is applied to the SP data structure 722. Is also good.
  • bitmap data which has a large amount of data
  • SP data consisting of JPEG data
  • display processing is also possible.
  • such a sub-picture is superimposed on a moving image or a main image based on video data recorded in another video stream. It is also possible.
  • FIGS. 23 to 27 are a series of examples of the structure of the sub-picture control bucket in which the SP control information is stored in the present embodiment.
  • the data structure is shown in the form of a plurality of layers, and the data structure is particularly focused on those relating to the embodiment of the present invention. Therefore, items that are not directly related to the embodiment of the present invention are displayed as “others”, and new items may be added as necessary.
  • the sub-picture control packet (table) 810 includes an SCP header 811 and a sub-frame control parameter 812 as an example of SP control information.
  • the sub-picture control packet 8100 is composed of a plurality of TS buckets in which the SCP is placed at the top on the control information stream or the sub-picture stream as described above.
  • the SCP header (table) 811 has information on the sub-picture control packet 8110. Specifically, the sub-picture sequence identification number, SPD (SP data) Entry section Contains PTS, etc.
  • the sub-picture identification number determines the continuity of the sub-picture, and refers to a certain SPD and the SCP group acting on it as sub-picture palm-Kens (sub-picture).
  • the SPD entry section PTS defines the start PTS (presentation time stamp) of the entry section in which the first packet (SPD) of the subpicture data to be controlled exists.
  • the subframe control parameters (table) 8 12 are various parameters for defining the form in which the subframe is displayed on the main video.
  • the subframe includes the total number of subframes, the total number of subframe buttons, the subframe information 813 (subframe information # 1 to #n ), the view rectangle 814, the subframe highlight scheme, and the like.
  • the total number of subframes determines the total number of subframes cut out from the subpicture image.
  • Sub-frame The total number of buttons determines the total number of buttons of the subframe formed by the subpicture image.
  • the subframe information 813 (subframe information # 1 to #n) includes information on each of the subframes # 1 to #n.
  • the pure rectangle 8 14 consists of information on a rectangular window (display window) for viewing the subframes arranged on the virtual rectangular coordinate system.
  • the subframe highlight scheme includes, as an example of highlight information related to the “SCP button” according to the present invention, a highlight value of a subframe, for example, a button image, and control information relating to the highlight value.
  • the subframe information 8 13 includes subframe start PTS, subframe end PTS, subframe rectangle, Equipped with SFCCI, sub-frame control components, etc.
  • the subframe start PTS defines the PTS at which display of image information specified by the subframe starts.
  • the subframe end PTS defines the PTS at which the display of the image information specified by the subframe ends.
  • the subframe rectangle defines the cutout rectangular area of the subframe, and specifies, for example, the coordinates of the upper left corner and the lower right corner.
  • F C and I is an example of “type indication information” according to the present invention. For example, setting “1” for each item indicates that subframe display is possible according to the control mode indicated by that item, or that control information corresponding to the item exists. On the other hand, when “0” is set to each item, it indicates that the subframe display according to the control mode indicated by the item is not possible, or that there is no control information corresponding to the item.
  • the sub-frame control component indicates a specific type of control mode of sub-frame display as each item indicating presence or absence or validity in the SFCCI. This indicates a control mode such as a 2D display, a button display, a moving display, an alpha blending display, a mixed display of images using an alpha value, and a shadow display.
  • the rectangle 814 are information indicating V x, V y, width and height, and the inclination of the rectangle (view-up vectors U x, U x y)).
  • This is for controlling the position of the display window when the subframe (single or plural) arranged in the virtual orthogonal coordinate system is viewed through the display window, and Specifies the coordinates of the reference point of the display window (for example, the lower left corner in this case) (see Figure 35), width specifies the width of the display window, and height specifies the height of the display window I do.
  • the 'view-up vector' specifies vector information indicating the inclination of the display window.
  • the subframe information (table) 813 that is, the subframe information # 1 to #n is configured to include a plurality of tables.
  • the subframe rectangle (table) 815 includes information for specifying the range of the subframe xl, the subframe yl, the subframe X2, and the subframe y2. These are, for example, the coordinates when cutting out a sub-frame from the sub-picture, the sub-frame X1 and the sub-frame y1 are the coordinates of the upper left corner, and the sub-frame X2 and the sub-frame y2 are the coordinates of the lower right corner. is there.
  • the SFCC I bit allocation table 816 is composed of 32 bits. Each bit indicates, by its value “0” or “1”, the presence or absence or valid / invalid of control information relating to various display forms when a subframe is displayed on the main video. For example, "bit 0” indicates the presence or absence of sub-picture control information for performing 2D conversion, or the valid / invalid of 2D conversion. For example, "bit 1" indicates the presence or absence of sub-picture control information for performing a button display (that is, the display of a SCP button) or the validity / invalidity of the button display.
  • bit 3 indicates the presence or absence of sub-picture control information for performing alpha blending, or the validity / invalidity of alpha blending.
  • bit 4 indicates the presence or absence of sub-picture control information for performing shadow driving, or the validity / invalidity of shadow driving.
  • the subframe control component (table) 817 has various sub-frames whose existence or validity is indicated by the SFCCI bit allocation table 816. Specific contents of picture control information are described. Have been. For example, specific sub-picture control information such as 2D display and button display is described.
  • the subframe control component (tape) 817 is configured with a plurality of tables.
  • the 2D conversion control component (telephone) 818 is the subframe control component identification information, TM11, TM12, TM21, TM22, TM31, and TM31. TM3 2 etc. are provided.
  • the subframe control component identification information is information for identifying a component related to the 2D conversion (for example, an identification number assigned to the 2D conversion control).
  • TM1 1 ⁇ is information that specifies the vertical and horizontal elements of the conversion matrix used in the 2D conversion control. According to the 2D conversion control component 818 configured as described above, 2D conversion display using the sub-picture according to the present embodiment is enabled.
  • the subframe button control component (table) 8 19 has subframe control component identification information, subframe initial button status, subframe button command, and the like.
  • the subframe control component identification information is information for identifying that the component is related to the subframe button (for example, an identification number assigned to the button control).
  • the sub-frame initial button state indicates a button operating condition in the initial state, and the sub-frame button command indicates a command to be executed in response to a button operation of the sub-frame.
  • the subframe button control component 8 19 configured in this way, the display of the SCP button using the subpicture according to the present embodiment is enabled.
  • the shadow dropping control component (table) 820 has the subframe control component identification information, shadow offset x, shadow offset y, shadow R, Equipped with Shadow G, Shadow B, etc. Instead of shadow R, shadow G, and shadow B, luminance and color difference information may be used.
  • the subframe control component identification information indicates that the component is related to the shadow dropping. Information for identification (for example, an identification number assigned to the shadow dropping control).
  • the shadow offset X specifies the horizontal offset of the shadow based on the original
  • the shadow offset y specifies the vertical offset of the shadow based on the original. Each offset is set, for example, in pixel units. Shadow R, shadow G and shadow B specify the color of the shadow.
  • the subframe rectangle motion control component (table) 8 21 contains the subframe control component identification information, predelay, postdelay, frame step, and total number of threads. , Spline control, and redder information # 1 to #n.
  • the subframe control component identification information is information for identifying a component related to the subframe rectangular motion control (for example, an identification number assigned to the rectangle motion control).
  • the total number of redders specifies the number of passing points on the path traced by the sub-frame, and the spline control curves smoothly through the passing point between the point where the sub-frame starts and ends. Information.
  • the trace of this mode may be configured to trace each passing point linearly.
  • Redder information #l to #n is information on each passing point.
  • the sub-frame rectangle motion control component 821 thus configured, the rectangle motion of the sub-picture according to the present embodiment is enabled.
  • the 2D conversion motion control component (table) 8 22 contains the subframe control component identification information, predelay, postdelay, frame step, total number of reggs, and splutter. Includes in-control and leg information # 1 to #n.
  • the subframe control component identification information is information for identifying a component related to the 2D conversion motion control (for example, an identification number assigned to the 2D conversion motion control).
  • Pre-delay is a sub-frame display The control to start the movement with a predetermined time delay from the start time is instructed. The post delay also instructs control to start moving with a predetermined time delay from the subframe display end time.
  • the frame step specifies the cycle of the operation.
  • the total number of legs indicates the number of passing points on the path traced by the subframe.
  • the spline control specifies whether or not the subframe should smoothly trace the curve between the points where the tracing starts and ends. In spline control, it does not always pass through the passing point, but may pass near it. If such a spline-shaped trace is not designated, control is performed to trace each passing point linearly. In the redder information #l to #n, information on each passing point is described. According to the 2D conversion motion control component 82 2 configured as described above, the 2D conversion motion of the sub-picture according to the present embodiment is enabled.
  • the sub-frame rectangle motion control component (table) 8 21 includes a plurality of tables.
  • the redder information (table) 8 23 that is, the leg information #l to #n includes relative location x, relative location y , relative scaling, and the like.
  • Relative location X indicates the positional relationship of the passing point in the horizontal direction from the current position
  • relative location y indicates the positional relationship of the passing point in the vertical direction from the current position.
  • the relative scaling includes information for converting a current size into a predetermined size. According to the leg information 8 23 configured in this way, the display position and the display size of the sub-picture according to the present embodiment can be changed.
  • the 2D conversion motion control component (tape) 822 is configured with a plurality of staples.
  • the redder information (table) 8 24 that is, the redder information #l to #n, includes a pivot point x, a pivot point y, a relative location x, a relative location y, Relative scaling, relative angles, etc. are provided.
  • the pivot point specifies the center of rotation or scaling during subframe movement.
  • the pivot point X specifies the X coordinate value of its center.
  • the pivot point y specifies the Y coordinate value of the center. Re
  • the relative location X indicates the horizontal positional relationship from the current position, and the relative location y indicates the vertical positional relationship from the current position.
  • relative scaling includes information for converting the current size to a predetermined size
  • relative angle includes information for converting the current angle to a predetermined angle.
  • FIG. 28 to 47 various display control of specific subframes executed based on the hierarchical data structure configured as described above will be described with reference to FIGS. 28 to 47.
  • FIG. 28 to 47 various display control of specific subframes executed based on the hierarchical data structure configured as described above will be described with reference to FIGS. 28 to 47.
  • FIG. 28 is a conceptual diagram showing how a subframe is cut out from a subpicture.
  • the sub-picture 831 is recorded in advance as a sub-picture stream as SP data (still image data), and after being reproduced by the information recording / reproducing device 500, the It is stored as 540.
  • the sub-frame 832 includes, from the sub-picture 831, SP control information (see FIGS. 23 to 27) reproduced from an elementary stream different from or the same as this sub-picture stream. This is an image portion extracted based on the image.
  • the coordinates of the upper left corner are (X1, y1) and the coordinates of the lower right corner are (X2, y2), which are set as diagonal rectangles.
  • the setting of the range of these subframes 832 is performed by reading the subpicture control packet 810, referring to the subframe control parameter 812 in the subframe control packet 810, and setting the subframe in that subframe.
  • Information 8 13 (sub-frame information # 1 to #n) is referenced, and sub-frame rectangles / les 8 15 are referenced therein, and sub-frame X1, sub-frame y 1, and sub-frames therein are referenced. It is set by referring to X2 and subframe y2 (see Figs. 23 and 24).
  • FIG. 29 is a conceptual diagram showing three specific examples of cutting out one or a plurality of subframes from the same sub-picture.
  • the sub-picture 831 and the sub-frame 832 may be cut out so as to be the same.
  • At least a part of the sub-picture 831 may be clipped so as to be a sub-frame 832a (see the upper part).
  • a plurality of separate subframes 832b, 832c and 832d may be cut out (see lower part).
  • multiple subframes may be clipped so as to overlap (see upper part).
  • it may be cut out so that one subframe includes another subframe (for example, subframe 8332f and subframe 8332g) (see the lower part).
  • the various sub-frames described above are included in the hierarchical structure of the sub-picture control packet 81 0, the sub-frame X 1, the sub-frame yl, and the sub-frame ⁇ ⁇ 2
  • the subframe y2 is set by referring to it (see FIGS. 23 and 24). In this way, various subframes can be cut out from the same sub-picture.
  • FIG. 30 is a conceptual diagram showing the display arrangement of subframes.
  • FIG. 31 is a conceptual diagram showing subframes in the subframe coordinate system and the arrangement of the main video composed of these subframes in the main video virtual coordinate system.
  • each sub-frame coordinate system (in the figure, see the left half) a plurality of sub-frames stored is converted to (X have y L) is the main-video virtual coordinate system (X w , Y w ) are combined into one image (see the right half in the figure).
  • the subframe images of the respective tires and bodies are converted into the main video virtual coordinate system ( xw , yw ) and displayed so as to form an image of an automobile.
  • SP control information for performing these display controls is described in the sub-picture control packet 810 (see FIGS. 23 to 27).
  • the sub-frame control parameters 8 1 2 is referred to, the sub-frame information 8 13 therein is referred to, and the sub-frame control component 8 17 therein is referred to (see FIG. 23).
  • the arrangement on the main image thus formed can also be set arbitrarily in the main image virtual coordinate system ( xw , yw ).
  • FIG. 32 is a conceptual diagram showing a display form accompanied by parallel movement in the main video coordinate system of the sub-frame.
  • any sub-frame 8 3 7 main-video virtual coordinate system (x w, y w) translating the up or subframe 8 3 7 images Is done.
  • the sub-frame 837 is cut out from a predetermined sub-picture.
  • the display of such a sub-frame 837 is performed, for example, after the sub-picture controller 810 is read out and then the sub-frame controller in it is read.
  • the subframe information component 813 therein is referred to
  • the subframe control component 817 therein is referred to
  • the 2D conversion motion component 822 therein is referred to. This is done by reference (see Figure 23 to Figure 25).
  • FIG. 33 is a conceptual diagram showing a display mode involving a change in image size and a parallel movement in the sub-frame main video coordinate system.
  • any sub-frame 8 3 7 main image coordinate system (x w, y w) in its service I's is reduced (The same applies to the enlargement.)
  • the first sub-frame 837 is cut out from a predetermined sub-picture.
  • the display of such an image 837 to an image 838 can be performed, for example, by reading the sub-picture control bucket 810 and then referring to the sub-frame control parameter 812 therein.
  • the sub-frame information 8 1 3 is referred to, the 2D conversion motion component 8 2 2 therein is referred to, the sub-frame rectangle motion component 8 2 1 therein is referred to, and the redder information 8 therein is referred to.
  • the image 838 is displayed from the subframe 837 by displaying based on the relative scaling or the like included in the redder information 824.
  • the redder information 8 24 (that is, the leg information #l to #n ) indicates only the start point and the end point, and the display control is performed so that the subframe moves linearly between them. .
  • FIG. 34 is a conceptual diagram showing a display form involving rotation of an image in the main video virtual coordinate system of the sub-frame.
  • the first subframe 837 is cut out from a predetermined subframe.
  • Rotation display of such subframe 8 3 7 For example, after the sub-picture control packet 810 is read out, the sub-frame controller 812 therein is referred to, and the sub-frame information 8 13 therein is referred to, The subframe control component 8 17 therein is referred to, the 2D conversion motion control component 8 22 therein is referred to, and the leg information 8 2 4 therein (leg information #l to #n) ) Is referred to, and the pivot point X, the pivot point y, the relative angle, and the like are referred to (see FIGS. 23 to 27).
  • FIG. 35 is a conceptual diagram showing the arrangement of the subframes in the main video virtual coordinate system and the display form of the display window.
  • the sub-frame 8 3 7 (good be plural in singular Les) is cut out from a given Sabupikuchiya, the main-video virtual coordinate system (x w, y w) Jo Tokoro of It is arranged at the position.
  • the processing up to this arrangement is performed according to the information of the 2D conversion control component 8 18, and may be performed by the method described with reference to FIGS. 32, 33, 34, etc. .
  • the main-video virtual coordinate system (x w, y w) in the view rectangle i.e.
  • the puree click Tangle By moving the main-video virtual coordinate system (x w, y w) sub-disposed Processing for displaying an image of the area covered by the view rectangle of frame 837 is performed.
  • the sub-frame control parameter 812 in the sub-picture control packet 810 is referred to, and the view director in the This is done by referring to the ⁇ ndal 814, and by referring to V x, V y, width, height, etc. (see Fig. 23).
  • FIG. 36 is a conceptual diagram showing a display mode involving a change in image size and a rotation in the main video virtual coordinate system of the sub-frame.
  • an arbitrary sub-frame 837 corresponds to the main image virtual coordinate system (X w , y w ), the size is sequentially reduced (similarly in the case of sequential enlargement), rotated and moved, and becomes image 841 through image 839 and image 840.
  • the first sub-frame 837 is cut out from a predetermined sub-picture.
  • the display of such a sub-frame is performed, for example, by reading the sub-picture control bucket 8 10, referring to the sub-frame control parameter 8 12 in the sub-picture control bucket 8 1 Is referred to, the sub-frame control component 8 17 therein is referred to, the 2D conversion motion control component 8 22 therein is referred to, and further, the redder information 8 2 4 (redder information # l ⁇ # n) are referenced, and the pivot point X, pivot point y, relative location x, relative location y, relative scaling, relative angle, etc. are referenced therein (Figs. 23 to 2). 7)).
  • the images 839, 840, and 841 are arranged based on a predetermined angle set by the relative angle, and are sequentially displayed based on the scale set by the relative scaling.
  • FIG. 37 is a conceptual diagram showing a display form accompanying movement of a subframe in a subpicture.
  • subframes 837, 842, and 843 are sequentially cut out from subpicture 831 in accordance with a predetermined rule. These are sequentially displayed in the main video virtual coordinate system (x w , y w ).
  • the subframe control unit 812 therein is referred to, and the subframe information in the subframe control packet 810 is referred to.
  • 8 13 is referred to, the subframe control component 817 therein is referred to, the subframe rectangle motion control component 821 therein is referred to, and the leg information 823 therein is referred to.
  • FIG. 38 is a conceptual diagram showing a display form according to a moving path in the main video virtual coordinate system of the sub-frame.
  • the subframe is moved on the set route.
  • the sub-frame can be moved on a path that linearly connects pass points 1 and 2 provided between the start point and the end point.
  • the subframe is moved on a path interpolated with respect to pass points 1 and 2 provided between the start point and the end point. Display information such as such a passing point, a linear movement, and a spline-interpolated movement is described in a sub-picture controller— bucket 210.
  • the number of passing points is not limited to the above two points, and it is obvious that more passing points may be set.
  • the subframe control parameter 812 in the subframe control bucket 810 is referred to, and the subframe information 813 in the subframe control bucket 810 is read.
  • the subframe control component 817 is referenced, and the subframe rectangle motion control component 821 or the 2D conversion motion component 822 is referenced. This is performed by referring to the spline control and the like (see FIGS. 23 to 25).
  • the SP data and SP control information related to the various display modes described in detail with reference to FIGS. 23 to 38 are described as an elementary stream recorded on the disc 100 as an information recording / reproducing apparatus. It is played back and read by 500. The reading process is performed, for example, as a part of the reproduction process of the object described with reference to the flowchart shown in FIG. At this time, the SP data is cut out according to the SP control information in the sub-picture control bucket 210, subjected to various processes, and displayed on the main video as described above.
  • buttons based on the SP control information described with reference to FIGS. 23 to 38 that is, the “SCP button J” controlled based on the subframe button control component 8 19 in FIG. 25
  • the “SPD button” that can be displayed and controlled by the SP data structure 722 in FIG. 20 (b)
  • either one of the “SCP button” and the “SPD button” may be adopted, or both may be adopted and used appropriately.
  • the button control information in the header information (structural information) of the SP data required for the “SPD button” will be appropriately referred to as “SPD button information” to distinguish between them.
  • FIG. 39 is a flowchart showing the flow of obtaining the drawing control parameters.
  • the sub-picture control packet 810 (see FIG. 23) is abbreviated as “SCP”.
  • the “drawing control parameters” according to the present embodiment are, among the various sub-frame control parameters stored in the SP control packet, which constitute the SP control information shown in FIG. Refers to such parameters.
  • all of the subframe control parameters 81 2 shown in FIG. 23 and the like may be drawing control parameters, and the former may include other parameters of the latter.
  • step S101 the number (N) of SPD (SP data) buttons is obtained from the SCP header (step S101), and the number (N) of SPD buttons (N) is greater than S "0". Is determined (step S102).
  • step S102 the number (N) of the SPD buttons is not larger than the force S "0" (step S102: No), that is, since there is no SPD button information, the flow proceeds to step S105.
  • Step S102 if it is large (Step S102; Yes), all the SPD button information (N pieces) is obtained (Step S103), and further, the highlight information of the SPD button is obtained (Step S102). 1 04).
  • the highlight information may be obtained from the header information of the SP data in which it is described in advance or from the structure information thereof. Alternatively, this may be obtained from the SP control information described in advance (for example, in this case, the subframe highlight scheme in the subframe control parameter 8 12 shown in Fig. 23 is obtained. ).
  • the number of subframes (M) is obtained from the SP control information (step S105).
  • Obtain the display start PTS and display end PTS of the subframe step S106
  • obtain the position information of the subframe on the SP data step S107
  • Acquire the control component Step S108).
  • step S109 it is determined whether or not information (M) of all subframes has been obtained (step S109), and if information of all subframes has not yet been obtained (step S109) : No), from step S106, the acquisition of various information related to the subframe is repeated.
  • step S109 If information of all subframes has been acquired (step S109: Yes), it is determined whether or not a subframe button exists (step S110), and a subframe button exists. If not (step S110: No), go to step S112. On the other hand, if a subframe button exists (step S110: Yes;), the highlight information of the subframe button is acquired (step S111). Next, the display target area is acquired (step S112), and the acquisition of the drawing control parameters is completed.
  • the above is the flow of the operation relating to the acquisition of the parameters related to the SPD button and the acquisition of the drawing control parameters. Other parameters are acquired according to the acquisition procedure suitable for the parameters.
  • bit configuration of the SFCC I here is, for example, as shown in the SFCCI bit allocation table 816 shown in the upper right part of FIG. 24, from bit 0 (LSB) to bit 3 1 (MS B).
  • step S201 it is determined whether or not the SFCCI bit 0 is "1" (step S201). If bit 0 is not "U” (step S201: No), go to step S203 and if bit 0 is S "1" (step S201: Yes :), Since the conversion control component exists or is valid, it is obtained (step S202).
  • step S203 it is determined whether or not the SFCCI bit 1 is "1" (step S203). If bit 1 power S is not “1" (step S203: No), proceed to step S205 and if bit 1 power S S1J (step S203; Yes) , Sub-frame button Since the control component exists or is valid, it is obtained (step S204).
  • step S205 it is determined whether or not the SFCCI bit 4 is “1 J” (step S205) . If the bit 4 is not “1” (step S205: No), the step S2 is performed. Go to 07 and if bit 4 is "1" (step S205: Yes), then the shadow tracking control component is present or valid, so get this ( Step S206).
  • step S207 it is determined whether or not the SFCCI bit 8 is “1 j” (step S207). If the bit 8 is not “1” (step S207: No), the step S2 is performed. Go to 09, and if bit 8 force S is “1” (step S 201: Yes), it means that the subframe rectangle motion control component is present or valid, so get it (Step S208).
  • step S209 it is determined whether or not the SFCCI bit 9 is "1" (step S209). If bit 9 is not “1” (step S209: No), a series of processing ends. On the other hand, if bit 9 force S is “1” (step S209: Yes), the converted motion control component is present or valid, and is obtained (step S210). ), End a series of processing.
  • the subframe control component whose existence or validity is recognized by the SFCCI is obtained.
  • bit 0, bit 1, bit 4, bit 8, and bit 9 were checked. If necessary, they were placed in the SFCCI bit allocation table 8 16 (see Figure 24). It goes without saying that the other bits are checked in the same manner.
  • FIGS. These flowcharts are a series of flowcharts, and the connection relation of the flows between them is indicated by circled numbers such as 1, 2,....
  • step S301 it is determined whether or not a valid conversion control component has been obtained. If the acquisition is successful (step S301: Yes), the parameters acquired from the conversion control component are used as subframes. It is set in the coordinate transformation matrix of the system (step S302). If it cannot be obtained (Step S301: No), the unit matrix is set as the coordinate transformation matrix of the subframe (Step S303). Next, it is determined whether or not a valid subframe button control component has been obtained (step S304).
  • step S304 If the acquisition is possible in step S304 (step S304: Yes), the parameter necessary for highlighting corresponding to the initial state of the subframe button is acquired (step S305).
  • the subframe highlighting scheme (table) in the subframe control parameter 812 illustrated in FIG. 23 is acquired, and the identification number information of the initially activated button specified by this is acquired. .
  • step S306 a command to be executed when the sub-frame button is pressed is acquired (step S306), and the flow advances to step S501 in FIG.
  • step S304 determines whether the data could not be obtained in step S304 (step S304: No). If the data could not be obtained in step S304 (step S304: No), the process proceeds to step S401 in FIG.
  • step S401 it is determined whether or not valid SPD button information has been obtained (step S401). If it can be acquired (step S401: Yes;), the parameter necessary for highlighting corresponding to the initial state of the SPD button is acquired (step S402). Next, a command to be executed when the SPD button is pressed is acquired (step S403), and the flow advances to step S501 of FIG. On the other hand, if the data could not be obtained in step S401 (step S401: No), the process proceeds to step S501 in FIG.
  • step S501 it is determined whether or not an effective shadowing component has been obtained in step S501 of FIG. 43 (step S501). If the shadow is obtained (Step S501: Yes), the information of the shadow target is obtained (Step S502), and the offset information of the shadow in the horizontal and vertical directions is obtained (Step S501). 503), the color information of the shadow is obtained (step S504), and other information is obtained (step S505). Thereafter, a shadow is drawn on the knock ground buffer (step S506), and the process proceeds to step S601 in FIG. On the other hand, if the data could not be obtained in step S501 (step S501: No), the process similarly proceeds to step S601 in FIG.
  • step S601 of FIG. 44 it is determined whether or not an effective conversion motion control component has been obtained in step S601 of FIG. 44 (step S601). If it is obtained (Step 6301: Yes), the increment value of each element of the transformation matrix is calculated using the parameters of the transformation motion control component and the subframe display time information (Step S620). ), And proceed to step S603. On the other hand, if the data could not be obtained in step S601 (step S601: No), the process similarly proceeds to step S603.
  • step S603 it is determined whether or not an effective subframe rectangle control component has been obtained in step S603 (step S603). If acquisition is possible (step S603: Yes), the subframe coordinates to be moved are calculated using the subframe rectangular motion control component parameters and the subframe display time information. (Step S604), the process proceeds to Step S605. On the other hand, if the data could not be obtained in step S603 (step S603: No), the process similarly proceeds to step S605.
  • step S605 the sub-frame image is drawn in the background buffer (step S605), and the display start time of the subframe is waited for PTS (step S660), and the drawing image of the knock-ground buffer is output to the foreground. (Step S607). Next, it is determined whether or not it is the display end PTS of the subframe (step S608), and if there is the display end PTS, a series of drawing is ended.
  • step S608 determines whether the display end PTS is the PTS in step S608 (step S608: No)
  • step S609 if there is a partial value of the parameter obtained from the subframe rectangle control component component force, It is added (step S609), and if there is an increment value of the parameter obtained from the conversion motion control component, it is added (step S610), and then the drawing parameter is changed. If so, draw the sub-frame image in the background buffer using the new parameters (step S611), return to step S607, and repeat the subsequent steps.
  • FIG. 45 is a conceptual diagram showing the shadow driving display.
  • Fig. 45 the two examples on the left show shadow-robbing for a subframe with opaque characters in a transparent background, and the two examples on the right show the example for a completely opaque subframe. Indicates shadow dropping. Also, the two examples on the upper side of the figure show shadow dropping in which the blur processing is not performed on the shadow, and the two examples on the lower side of the figure show shadow dropping that is performed on the shadow.
  • an offset value is applied to the opaque part, the direction and amount of shading are added, and the effective shadow is controlled by controlling the angle of the projected background.
  • the shading is not limited to black, but by mixing the RGB signals at an arbitrary ratio, rich shades can be obtained.
  • effective shading can be obtained by adding transparency to the transparency of the entire subframe and correspondingly.
  • the display control of the shadow dropping described above is described in the shadow dropping control component 820 in the sub-frame control component 817 shown in FIG.
  • the information such as the offset amount, the position, the color of the shadow, etc., which are specifically required when performing shadow rocking, can be obtained, and the shadow is added based on these.
  • Figure 24 By referring to the shadow dropping of bit 4 on the SFCCI bit allocation table 816, the existence or validity of the shadow dropping control component 820 is identified.
  • Step S206 of the flow of SFCCI check and subframe control component acquisition shown in Fig. 40 describes the acquisition of control information related to shadow driving, and Fig. 43 shows the acquisition of drawing control parameters.
  • Steps S501 to S506 of this step describe a process of adding a shade as exemplified in FIG.
  • FIG. 46 (a) shows the image range of the subframe and the button
  • Fig. 46 (b) shows the image based on the alpha value of the button
  • Fig. 46 (c) shows the image of the button and the button.
  • FIG. 6 is a diagram showing an area that functions as
  • a part of the SP data including the pattern of the button is cut out as a subframe, and the button information for making this subframe function as a button (that is, the range of the button is specified)
  • the button information for making this subframe function as a button that is, the range of the button is specified
  • the position information is included in the header information added to the SP data.
  • SCP button j it is included in the SP control information.
  • button functions include push buttons, toggle buttons, exclusive buttons, and the like. These button operations are performed on the displayed button image by remote control operation, voice input operation, touch operation on the screen, keyboard operation, and the like.
  • Fig. 46 (a) instead of using the entire subframe as a button, only the area of the subframe that is made opaque by the alpha value as shown in Fig. 46 (b), as shown in Fig. 46 (c). It is also possible to cut it out and make it function as a button image part (that is, an area that can be operated as a button). That is, in this case, control is performed to refer to the alpha value and to function as a button based on the above-described button information only for the coordinate area indicating the opacity. ⁇ However, for simplicity, the entire subframe shown in Fig. 46 (a) can be made to function as a button.
  • Highlight control can be performed for such buttons.
  • the highlighted display makes it possible to clearly display the currently pressed button, currently selected button, currently selectable but not selected button, currently unselectable button, etc. It becomes possible.
  • the buttons that can be selected during the current operation of the device may be displayed with a predetermined highlight, and the highlight is displayed according to various states of the button By doing so, it is possible to inform the user of the state.
  • the highlight display control method specified by the sub-frame highlight scheme, etc. should be highlighted, such as changing the brightness, changing the contrast, or adding a reverse shadow, depending on the state of the button. This is done by displaying the button more prominently than other buttons or other parts.
  • the display control of the buttons described above is, for example, the total number of subframe buttons in the subframe control parameter 8 12 shown in Fig. 23, the subframe button control shown in Fig. 25 It is described in the subframe initial button status and subframe button command and other button information in the component 819. Then, by referring to the subframe button information of bit 1 on the SFCCI bit allocation table 816 shown in FIG. 24, the existence or validity of the subframe button control component 819 is identified. You.
  • the above-described button display control is described, for example, in the button information added to the SP data shown in FIG. Specifically, for example, it is described in the structure information or in the “other information” in the SP data in the SP data structure 722 shown in FIG.
  • the highlight information may be described in the SP control information in a form associated with each button information, regardless of the distinction between the SCP button and the SPD button.
  • it may be described in the header information ⁇ of each SP data (or in its structure information or other information) in a form associated with each button information.
  • the highlight display on the button can be performed.
  • Step S101 to S104 steps S110 to S111, and SFCCI in FIG. Step S203 to step S204 in the flow of checking and subframe control component acquisition, and step S304 to step S306 in the subframe drawing processing flow in Fig. 41
  • Steps S401 to S403 of FIG. 42 describe the steps of performing the button control exemplified in FIG.
  • the operation command is set corresponding to each button, and the information recording / reproducing device 500 is caused to perform the operation by operating a button that matches a desired operation. For example, selecting an audio button from the displayed buttons and inputting it will immediately execute the audio operation.
  • a button that matches a desired operation For example, selecting an audio button from the displayed buttons and inputting it will immediately execute the audio operation.
  • the transition of the button operation state is determined by each current operation state.
  • There are four state transitions of the button for example, “operable”, “operable and non-selected”, “operable and selected”, and “executing”.
  • the “operation not possible” state is a state in which the button is displayed but no operation is possible, and the “operable and non-selected” state is operable but not selected and directly executed. Cannot be operated, the state of “operable and selected” is operable, and the button is only selected and can be directly executed. Is a state in which the operation of the button is being executed in this state.
  • the control related to the button shown in FIG. 47 is, for example, the total number of subframe buttons in the subframe control parameter 8 12 shown in FIG. 23, the subframe button control component 8 shown in FIG. This is executed in accordance with the button information such as the sub-frame initial button state and the sub-frame button command in 19.
  • various display controls such as sub-picture motion control, shadow driving control, and highlight button control can be performed.
  • control information such as SFCCI, various kinds of display control of the sub-picture can be efficiently performed.
  • FIG. 48 an information recording / reproducing apparatus 50 using AU (association unit) information 132 and PU (presentation unit) information 302, which is one of the features of this embodiment.
  • AU association unit
  • PU presentation unit
  • FIG. 48 conceptually shows the entire access flow during reproduction in relation to the logical structure of the optical disc 100.
  • the logical structure of the optical disk 100 is composed of a logical hierarchy 401, an object hierarchy 4003, and a logical-object association hierarchy 402 that associates these two hierarchies with each other. It is roughly divided into two levels.
  • the logical layer 401 is a layer that logically specifies various kinds of logical information for reproducing a desired title at the time of reproduction, a playlist (P list) to be reproduced, and its configuration contents. is there.
  • disk information 110d indicating all titles 2000 on the optical disk 100 is described in a disk information file 110 (see FIG. 3).
  • the playback sequence of all contents on the optical disc 100 The case information 120d is described in the playlist information file 120 (see FIG. 3). More specifically, as the playback sequence information 120 d, each title
  • each playlist set 1 26 S includes one or more playlists 126
  • each playlist 126 includes one or more items 204 (FIG. 13). Configuration) is described. Then, at the time of access at the time of reproduction, the title 200 to be reproduced is specified by such a logical hierarchy 401, and the play list 126 corresponding to the title is specified. Identify the corresponding item 204.
  • the logical-object-association layer 402 determines the combination of the TS object data 144d as the entity data and the identification of the composition. At the same time, the TS object data 1 to be reproduced is converted so that the address conversion from the logical hierarchy 401 to the object hierarchy 403 is performed.
  • each item 204 is classified into units of AU 132, and each A U 132 is defined as P U
  • Object information data 130d which is subdivided into units of 302, is described in the object information file 130 (see FIG. 3).
  • PU (presentation unit) 302 is a unit in which a plurality of elementary streams are associated with each other in units of playback switching. If there are three audio streams in this PU302, the user can freely switch between the three audio streams (for example, language-specific audio) while playing this vision. Become.
  • AU (associate unit) 1 32 is a unit in which a plurality of elementary lease streams such as video streams in a TS object used in one title are collected. It consists of a set of PUs 302. More specifically, the elementary stream bucket I D (E
  • PID is a unit that summarizes each TS object.
  • This AU 1 32 is, for example, a plurality of mutually switchable programs or a plurality of producers in multi-channel broadcasting. It corresponds to a set of multiple programs or multiple programs that have a specific relationship with each other in view of the content, such as programs.
  • the PU 302 belonging to the same AU 132 forms a set of one or a plurality of elementary streams that respectively constitute a plurality of programs or a plurality of programs that can be switched mutually by a user operation during reproduction. Yes, it is.
  • the elementary stream to be reproduced is specified. That is, a desired elementary stream can be reproduced from the multiplexed data recorded on the optical disc 100 without using the PAT or PMT shown in FIG.
  • the elementary stream that is actually reproduced is specified or specified by the ES information PID, which is the packet ID (see FIG. 12) of the elementary stream, from the PU information 302.
  • the information indicating the start time and end time of the playback is converted into the address information of the elementary stream, thereby reproducing the content in the specific area (or the specific time range) of the specific elementary stream. become.
  • the address conversion from the logical address related to each item 204 to the physical address related to each PU 302 is executed.
  • the object layer 4003 is a physical layer for reproducing the actual TS object data 140d.
  • TS object data 140d is described in an object data file 140 (see FIG. 3). More specifically, TS packets 146 constituting a plurality of elementary lease streams (ES) are multiplexed for each time, and these are arranged along the time axis, so that a plurality of elementary lease streams (ES) are arranged. One stream is configured (see Fig. 11). Then, the plurality of ⁇ s packets multiplexed at each time are associated with the PU 302 specified by the logical-object association layer 402 for each elementary stream.
  • ES elementary lease streams
  • a plurality of PU 302 and one elementer Associating a lease stream for example, a common use of an elementary stream related to the same audio data between a plurality of switchable programs or programs with a rag number, or the same sub-picture data
  • a common use of an elementary stream related to the same audio data between a plurality of switchable programs or programs with a rag number, or the same sub-picture data It is also possible to use the elementary stream related to the above in common).
  • the actual object data is reproduced using the physical address obtained by the conversion in the logical-object association hierarchy 402.
  • the access to the optical disc 100 at the time of reproduction is executed by the three layers shown in FIG.
  • FIG. 49 shows the various logical information in the disc information file 110 and the playlist information file 120 and the object data in the object data file 140 .
  • FIG. 49 shows the AU (associate unit) table 13 1 (see FIG. 3) constructed in the object information file 130 and the ES (elementary lease) associated therewith.
  • Stream This diagram schematically shows one specific example of the data configuration in the map table 13 4 (see FIG. 3).
  • an object information table (object information table) is stored in the object information file 130.
  • the object information table is composed of an AU table 1331 shown in the upper part of the figure and an ES map table 134 shown in the lower part.
  • the AU table 13 1 may have a structure in which each field (Fie 1 d) can add the required number of templates. For example, if there are four AUs, the structure may be such that the corresponding field is increased to four.
  • the AU table 13 1 stores “AU table general information” in which the number of AUs, a pointer to each AU, and the like are described, and “other information” in another field (Field). I have.
  • AU means a unit corresponding to a “program” as described above (for example, in the case of “multi-vision” broadcasting, a plurality of switchable “visions”). It is a unit of one), and contains one or more PUs as playback units.
  • PU is a set of mutually switchable elementary stream included in each AU as described above, and the ES information index # corresponding to each PU is specified by PU information 302 I Have been.
  • a multi-view content is configured by an AU
  • a plurality of PUs are stored in the AU, and a plurality of elementary streams indicating packets constituting the content of each view are stored in each PU.
  • a pointer to one packet ID is stored. This indicates an index number in the ES map table 134 described later.
  • the “ES map table comprehensive information” describes the size of the ES map table, the total number of indexes, and the like.
  • the “index #m” respectively contains the elementary stream packet ID (ES-PID) of all elementary streams used for playback, and the corresponding index number and address information of the elementary stream. It is comprised including.
  • this address information that is, ES address information 134d
  • the elementary stream is the video stream of MPEG2 as described above
  • the first TS of the I picture Only the bucket number and the corresponding display time are described in the ES map table 134 to reduce the amount of data.
  • the EST dress information 13 4 d of the sap picture stream the elementary stream of the SP data on which the SP control information operates is used. W 200
  • the data amount is further reduced.
  • the elementary stream packet ID (ES—PID) of the actual elementary stream can be obtained from the index number of the ES map 134 specified in the AU table 133. It becomes. Also, since address information of the elementary stream stream corresponding to the elementary stream bucket ID can be obtained at the same time, object data can be reproduced based on the information.
  • the optical disc 100 as an example of the information recording medium and the recorder or player according to the optical disc 100 as an example of the information reproducing / recording apparatus have been described.
  • the present invention is not limited to a recorder or a player, but can be applied to other various information recording media supporting high-density recording or a high transfer rate, and the recorder or player thereof.
  • the information recording medium, the information recording apparatus and method, the information reproducing apparatus and method, the information recording / reproducing apparatus and method, the recording or reproducing control computer program, and the data structure including the control signal according to the present invention include, for example, Alternatively, it can be used for high-density optical discs such as DVDs, which can record various types of information such as main video, audio, and sub-video for business use at high density, and can also be used for DVD players, DVD recorders, etc. . Further, for example, the present invention can be used for an information recording medium, an information recording / reproducing device, and the like, which are mounted on various consumer or business computer devices or connectable to various computer devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

 情報記録媒体は、主映像を示す映像情報と、少なくとも一部が主映像に重ねて表示可能とされる副映像を示す副映像情報と、副映像制御情報とが記録されている。副映像制御情報は、(i)副映像における少なくとも一部の領域をサブフレームとして指定するサブフレーム範囲情報及び(ii)サブフレーム内の副映像部分に対して該副映像部分における透明度を示すアルファ値に応じて選択的に陰影を付与し且つ該陰影が付与された形式で副映像部分を主映像に重ねて表示させるための陰影表示制御情報を含む。

Description

明 細 書 情報記録媒体、 情報記録装置及び方法、 情報再生装置及び方法、 情報記録再生装 置及ぴ方法、 記録又は再生制御用のコンピュータプログラム、 並びに制御信号を 含むデータ構造 技術分野
本発明は、 主映像、 音声、 副映像、 再生制御情報等の各種情報を高密度に記録 可能な高密度光ディスク等の情報記録媒体、 当該情報記録媒体に情報を記録する ための情報記録装置及び方法、 当該情報記録媒体から情報を再生するための情報 再生装置及ぴ方法、 このような記録及び再生の両方が可能である情報記録再生装 置及び方法、 記録又は再生制御用のコンピュータプログラム、 並びに再生制御用 の制御信号を含むデータ構造の技術分野に関する。 背景技術
主映像、 音声、 副映像、 再生制御情報等の各種情報が記録された光ディスクと して、 DVDが一般化している。 DVD規格によれば、 主映像情報 (ビデオデ一 タ)、 音声情報 (オーディオデータ) 及び副映像情報 (サブピクチャーデータ) が 再生制御情報 (ナビゲーシヨンデータ) と共に、 各々パケッ ト化されて、 高能率 符号化技術である MP E G 2 (M o v i n g P i c t u r e E p e r t s G r o u h a s e 2 )規格のプログラムス トリーム( P r o g r a m S t r e a m) 形式でディスク上に多重記録されている。 これらのうち主映像情報 は、 MP E Gビデオフォーマツ ト ( I S O 1 3 8 1 8— 2) に従って圧縮された データカ 、一つのプログラムストリーム中に 1ス トリーム分だけ存在する。一方、 音声情報は、 複数の方式 (即ち、 リニア P CM、 AC— 3及ぴ MP E Gオーディ ォ等) で記録され、 合計 8ス ト リームまで、 一つのプログラムス トリーム中に存 在可能である。 副映像情報は、 ビッ トマップで定義され且つランレングス方式で 圧縮記録され、 3 2ス トリームまで、 一つのプログラムス トリ一ム中に存在可能 である。 他方、 M P E G 2規格のトランスポートス トリーム (T r a n s p o r t S t r e a m ) 形式が規格化されており、 これは、 データ伝送に適している。 この トランスポートス トリーム形式によれば、 複数のエレメンタリース トリームが同 時伝送される。 例えば、 一つの衛星電波に多数の衛星デジタル放送のテレビチヤ ネルなど、 複数の番組或いはプログラムが、 時分割で多重化されて同時伝送され る。
この種の D V Dによれば、 主映像情報としてのビデオ情報に対応する形で、 映 画の字幕等を副映像情報としてサブピクチャ情報が記録されている場合がある。 その再生時には、 ビデオ或いはメインピクチャに重ねてサブピクチャを表示する ことができ、 例えば映画のビデオの画面上に、 英語の字幕をサブピクチャとして 重ねて表示したり、 これに代えて、 日本語の字幕をサプピクチャとして重ねて表 示したりが可能とされている。
例えば、 このようなサブピクチヤの表示を制御する情報と しては、 ビデオ表示 エリア内におけるサブピクチャ · ピクセルデータの表示エリアを示す情報、 係る 表示エリア内におけるサブピクチャ · ピクセルデータの位置を指定する情報、 係 る表示エリァに対して、 サブピクチャを上下にスクロールさせるためのスク口一 ル情報などが記録されている。 これらの制御情報によって、 サプピクチャを使つ て、 文字をスクロールするなど、 上述した字幕表示と比べて複雑な表示制御が行 われている。 発明の開示
この種の情報記録媒体においても、 その高密度化が進むに連れて、 例えばイン タラクティブな再生など、より複雑高度なコンテンツ再生が可能となる。そして、 サブピクチヤについても、 より複雑高度化した再生制御が要望されている。 しかしながら、 上述した D V Dビデオ規格に基づく再生制御によっては、 例え ば、 サブピクチヤとして表示される文字や図形に所望により陰影を付けたり、 背 景となる主映像から浮き出したような立体的な表示或いは立体化した文字の表示 など、 サブピクチャを用いての複雑高度な再生を行うことは技術的に困難である という問題点がある。 本発明は、 例えば上記問題点を解決するために、 例えばサブピクチヤに陰影効 果を付けての再生など、 主映像情報に伴って再生される副映像情報の複雑高度な 再生を可能ならしめる情報記録媒体、 情報記録装置及び方法、 情報再生装置及び 方法、 情報記録再生装置及び方法、 記録又は再生制御用のコンピュータプログラ ム、並びに再生制御用の制御信号を含むデータ構造を提供することを課題とする。 本発明の情報記録媒体は、 主映像を示す映像情報と、 少なく とも一部が前記主 映像に重ねて表示可能とされる副映像を示す副映像情報と、(i)前記副映像におけ る少なく とも一部の領域をサブフレームとして指定するサブフレーム範囲情報及 ぴ(i i)前記サブフレーム内の副映像部分に対して該副映像部分における透明度を 示すアルファ値に応じて選択的に陰影を付与し且つ該陰影が付与された形式で前 記副映像部分を前記主映像に重ねて表示させるための陰影表示制御情報を含む副 映像制御情報とが記録されている。
本発明の情報記録媒体によれば、 例えば D V D等からなる当該情報記録媒体を 再生する際には、 例えばサプピクチャ情報からなる副映像情報は、 その少なく と も一部がサブフレームとして、 直接若しくは処理後又は加工後に、 ビデオ表示画 像或いはメインピクチャの等の主映像に重ねて表示可能とされている。 尚、 副映 像情報の全体がサブフレームとされてもよいし、 その一部分が一又は複数個切り 出されてサブフレームとされてもよい。 複数個切り出される場合には、 相互に重 なって切り出されてもよいし、 重ならずに切り出されてもよい。 ここで特に、 例 えばサブフレームの矩形領域における相対向する二隅或いは四隅の座標を指定す る座標情報等のサブフレーム範囲情報によって、 副映像における少なく とも一部 の領域は、 サブフレームとして指定される。 尚、 サブフレームは、 副映像内の矩 形領域でもよいが、 その形状は任意である。
そして、 このよ うに指定された副映像情報の少なく とも一部であるサプフレ一 ム内の副映像部分に対して、 陰影表示制御情報によって、 該副映像部分における 透明度を示すアルファ値に応じて選択的に陰影を付与して、 該陰影が付与された 形式で副映像部分を主映像に重ねて表示させることになる。 例えば、 矩形のサブ フレームは、 透明な背景中に不透明な文字や図形を含んでおり、 そのような文字 や図形に対して、 陰影が付与されて、 主映像上で立体的に浮き出た文字や図形と して表示されることになる。 或いは、 矩形のサブフレーム全体や任意の形状のサ プフレーム全体が不透明であってもよく、 その場合には、 サブフレーム全体或い はサブフレームの外枠に陰影が付与された副映像が、 主映像上に表示されること になる。
この結果、 例えばサブピクチヤに陰影効果を付けての再生など、 主映像情報に 伴って再生される副映像情報の複雑高度な再生が可能とされる。
尚、 本発明に係る透明度を示す 「アルファ値」 は、 バイナリ値でもよい。 即ち、 例えば、 不透明又は透明のいずれかを 0 (透明) 及び 1 (不透明) で示すもので もよい。 或いは、 多値 ( 0 : 透明〜 2 5 5 : 不透明、 又は 0 : 不透明〜 2 5 5 : 透明) で示すものでもよレ、。
また、 陰影付与の方式の一例としては、 不透明な部分を、 オフセッ ト値をかけ ることによって、 陰影を付与したい方向にずらし、 これを黒等の陰影の色で描画 し、 更にその上に、 当該陰影の元とされた不透明な部分を重ねれば、 比較的簡単 に、 所望の方向や所望の色で陰影を付与できる。 但し、 陰影付与の方式について は、 画像処理一般で採用されている各種方式を、 ここでも採用可能である。 本発明の情報記録媒体の一態様では、 前記陰影表示制御情報は、 前記サブフレ ーム内の副映像部分のうち、 前記アルファ値が所定値又は所定閾値以上である不 透明部分に対して若しくは所定値又は所定闘値以下である透明部分に対して、 前 記陰影を付与して表示させるための情報を含む。
この態様によれば、 例えばバイナリ値のアルファ値が不透明であることを示す " 1 " (又は " 0 ") といった所定値である場合、 若しくは、 例えば 0〜 2 5 5 レ ベルの多値のアルファ値が所定閾値以上である場合、 これらにより示される不透 明部分に対して、 陰影表示制御情報によって、 陰影を付与して表示させることが 可能となる。 尚、 変則的ではあるものの不透明分に代えて、 アルファ値により示 される透明部分に対して陰影を付与することも、 このような陰影制御情報を用い れば、 可能である。
本発明の情報記録媒体の他の態様では、 前記陰影表示制御情報は、 前記サプフ レーム内に輸郭を有する文字又は図形に対して陰影を付与して表示させるための 情報を含む。 この態様によれば、 アルファ値によって不透明であることが特定される、 サブ フレーム内に輪郭を有する文字又は図形に対して、 陰影表示制御情報によって、 陰影を付与して表示させることが可能となる。 これにより、 主映像上に、 3次元 的に浮き出した文字や図形を、 サブフレームを利用して表示できる。
本発明の情報記録媒体の他の態様では、 前記陰影表示制御情報は、 前記サプフ レームの輪郭に対して陰影を付与して表示させるための情報を含む。
この態様によれば、 例えば矩形であるサブフレームの輪郭に対して、 陰影表示 制御情報によって、 陰影を付与して表示させることが可能となる。 これにより、 主映像上に 3次元的に浮き出した、 例えば矩形のサブフレームを表示でき、 その ように浮き出たサブフレーム内に文字や図形を表示することも可能となる。 尚、 陰影表示制御情報に従って、 このように陰影が付与されたサブフレームの輪郭内 に表示される文字や図形の輪郭に対して更に陰影を付与することも可能である。 本発明の情報記録媒体の他の態様では、 前記陰影表示制御情報は、 仮想的に前 記陰影に対応する光源の配置及び前記陰影が投影される面の配置を規定する情報 を含む。
この態様によれば、 陰影表示制御情報によって、 仮想的に陰影に対応する光源 の配置及ぴ陰影が投影される面の配置を規定可能であるので、 コンテンッ情報の 作成者は、 変化に富んだ陰影を付与することが可能となる。 そして、 情報再生装 置においては、 このような陰影表示制御情報に従って、 サブフレームについての 変化に富んだ陰影を比較的容易に表示制御できる。
尚、 光源の配置を変えることで、 陰影を主映像の平面上で上下左右斜めのいず れの方向に付与することもでき、更に陰影が投影される面の配置を変えることで、 陰影の長さ等を変更することも可能となる。
本発明の情報記録媒体の他の態様では、 前記陰影表示制御情報は、 前記陰影の 色を規定する情報を含む。
この態様によれば、 陰影の色を規定する陰影表示制御情報に従って、 サブフレ ーム内に輪郭を有する文字又は図形に対して或いはサブフレームの輪郭に対して、 例えば、 黒色、 赤色、 黄色等の単色や複数色の陰影を付与したり、 色模様を有す る陰影を付与した形式で、 当該サブフレームを主映像上に表示可能となる。 本発明の情報記録媒体の他の態様では、 前記陰影表示制御情報は、 前記陰影の ぼかし度合いを規定する情報を含む。
この態様によれば、陰影のぼかし度合いを規定する陰影表示制御情報に従って、 サブフレーム内に輪郭を有する文字又は図形に対して或いはサプフレームの輪郭 に対して、 ぼかしの入った陰影を付与した形式で、 当該サブフレームを主映像上 に表示可能となる。 尚、 陰影をぼかす方式としては、 2次元画像に対するフィル タ処理等の、 画像処理一般で採用されている各種ぼかし方式を、 ここでも探用可 能である。
本発明の情報記録媒体の他の態様では、 前記主映像情報、 前記副映像情報及ぴ 前記副映像制御情報は、 所定のパケッ ト単位に分断され且つ多重化されており、 更に、 前記分断された主映像情報から構成されるビデオス トリームと、 前記分断 された副映像情報から構成されるサプピクチヤス トリームと、 前記分断された副 映像制御情報から構成される制御情報ス トリームとに分けられてス ト リーム化さ れている。
この態様によれば、例えば M P E G 2の P S (プログラムストリーム)の如く、 各情報がパケッ ト化され且つス トリーム化されて記録される場合、 例えばサブピ クチャ情報である副映像情報は、 専用の S P D (サブピクチャデータ) ス トリー ムとして記録され、 その副映像情報に対する表示制御を行う副映像制御情報は、 専用の S C P (サブピクチャコントロールパケッ ト) ス トリームとして、 即ち、 S P Dス トリームとは別のス トリームとして記録される。 また、 主映像について も、 例えば専用のビデオス トリームとして記録される。 よって、 例えば P Sにお ける一つのス トリームとして記録された副映像情報に基づく表示を、 別ス ト リー ムとして記録された、 陰影表示制御情報を含む副映像制御情報により効率的に表 示制御できる。 加えて、 同一の副映像情報のス トリームに対して、 複数の副映像 制御情報のス トリ一ムを用いることで、各種の表示制御を行うことも可能となる。 例えば、 同一の副映像情報を用いて、 サブフレーム内の同一の物体像に対して陰 影付与の形式を変えることも可能となる。
本発明の情報記録装置は、 主映像を示す映像情報を記録する第 1記録手段と、 少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情報 を記録する第 2記録手段と、(i)前記副映像における少なく とも一部の領域をサブ フレームとして指定するサブフレーム範囲情報及び(i i)前記サブフレーム内の副 映像部分に対して該副映像部分における透明度を示すアルファ値に応じて選択的 に陰影を付与して該陰影が付与された形式で前記副映像部分を表示させるための 陰影表示制御情報を含む副映像制御情報を記録する第 3記録手段とを備える。 本発明の情報記録装置によれば、 例えばコントローラ、 エンコーダ、 後述の T Sオブジェク ト生成器、 光ピックアップ又はカツティングデバイス等からなる第 1記録手段は、 例えば D V D等からなる情報記録媒体上に、 主映像を示す映像情 報を記録する。 例えばコントローラ、 エンコーダ、 光ピックアップ又はカツティ ングデパイス等からなる第 2記録手段は、 例えば D V D等からなる情報記録媒体 上に、 少なく とも一部が主映像に重ねて表示可能とされる副映像を示す副映像情 報を記録する。 例えばコントローラ、 エンコーダ、 光ピックアップ又はカツティ ングデパイス等からなる第 3記録手段は、 例えば D V D等からなる情報記録媒体 上に、 (i)副映像における少なく とも一部の領域をサブフレームとして指定するサ プフレーム範囲情報及び(i i)サブフレーム内の副映像部分に対して該副映像部分 における透明度を示すアルファ値に応じて選択的に陰影を付与して該陰影が付与 された形式で副映像部分を表示させるための陰影表示制御情報を含む副映像制御 情報を記録する。
従って、 上述した本発明の情報記録媒体 (但し、 その各種態様を含む) を、 比 較的効率良く記録できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の情 報記録装置も各種態様を採ることが可能である。
本発明の情報記録方法は、 主映像を示す映像情報を記録する第 1記録工程と、 少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情報 を記録する第 2記録工程と、(i)前記副映像における少なく とも一部の領域をサブ フレームとして指定するサプフレーム範囲情報及ぴ(i i)前記サプフレーム内の副 映像部分に対して該副映像部分における透明度を示すアルファ値に応じて選択的 に陰影を付与して該陰影が付与された形式で前記副映像部分を表示させるための 陰影表示制御情報を含む副映像制御情報を記録する第 3記録工程とを備える。 本発明の情報記録方法によれば、 例えばコントローラ、 エンコーダ、 後述ので Sオブジェク ト生成器、 光ピックアップ又はカッティングデバイス等を用いて、 例えば D V D等からなる情報記録媒体上に、 第 1記録工程は、 主映像を示す映像 情報を記録し、 第 2記録工程は、 少なく とも一部が主映像に重ねて表示可能とさ れる副映像を示す副映像情報を記録し、 第 3記録工程は、 ω副映像における少な く とも一部の領域をサブフレームとして指定するサブフレーム範囲情報及び(i i) サブフレーム內の副映像部分に対して該副映像部分における透明度を示すアルフ ァ値に応じて選択的に陰影を付与して該陰影が付与された形式で副映像部分を表 示させるための陰影表示制御情報を含む副映像制御情報を記録する。
従って、 上述した本発明の情報記録媒体 (但し、 その各種態様を含む) を、 比 較的効率良く記録できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の情 報記録方法も各種態様を採ることが可能である。
本発明の情報再生装置は、 上述した本発明の情報記録媒体 (但し、 その各種態 様を含む) を再生する情報再生装置であって、 前記映像情報、 前記副映像情報及 び前記副映像制御情報を再生する再生手段と、 前記再生された映像情報に重ねて 前記再生された副映像情報を表示出力可能な表示出力手段と、 前記再生された副 映像制御情報中の前記陰影付与制御情報に基づいて、 前記サブフレーム内の前記 副映像部分に対して陰影を付与し且つ該陰影が付与された形式で前記副映像部分 を前記主映像に重ねて表示するように前記表示出力手段を制御する制御手段とを 備える。
本発明の情報再生装置によれば、 例えばコントローラ、 デコーダ、 デマルチプ レクサ、 光ピックアップ等からなる再生手段は、 映像情報、 副映像情報及び副映 像制御情報を再生する。 例えば C R T (Cathode Ray Tube) 装置、 P D P (Plasma Di splay Panel) 装置、 L C D (Liquid Crystal Di splay) 装置、 プロジェクタ装 置等からなる表示出力手段は、 再生された映像情報に重ねて、 副映像情報を表示 出力可能である。 そして、 例えばコントローラ等からなる制御手段は、 再生され た副映像制御情報中の陰影付与制御情報に基づいて、 主映像上でサブフレームに 対して、 陰影を付与した形式で表示するように表示出力手段を制御する。 従って、 上述した本発明の情報記録媒体 (但し、 その各種態様を含む) を、 比 較的効率良く再生できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の情 報再生装置も各種態様を採ることが可能である。
本発明の情報再生方法は、 上述した本発明の情報記録媒体 (但し、 その各種態 様を含む) を再生する情報再生方法であって、 前記映像情報、 前記副映像情報及 び前記副映像制御情報を再生する再生工程と、 前記再生された映像情報に重ねて 前記再生された副映像情報を表示出力可能な表示出力手段を、 前記再生された副 映像制御情報中の前記陰影付与制御情報に基づいて、 前記サブフレーム内の前記 副映像部分に対して陰影を付与し且つ該陰影が付与された形式で前記副映像部分 を前記主映像に重ねて表示するように制御する制御工程とを備える。
本発明の情報再生方法によれば、 例えばコントローラ、 デコーダ、 デマルチプ レクサ、 光ピックアップ等を用いて、 再生工程は、 映像情報、 副映像情報及び副 映像制御情報を再生する。そして、例えばコントローラ等を用いて、制御工程は、 再生された副映像制御情報中の陰影付与制御情報に基づいて、 主映像上でサブフ レームに対して、 陰影を付与した形式で表示するように、 例えば C R T装置、 P D P装置、 L C D装置、 プロジェクタ装置等からなる表示出力手段を制御する。 従って、 上述した本発明の情報記録媒体 (但し、 その各種態様を含む) を、 比 較的効率良く再生できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の情 報再生方法も各種態様を採ることが可能である。
本発明の情報記録再生装置は、 主映像を示す映像情報を記録する第 1記録手段 と、 少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像 情報を記録する第 2記録手段と、(i)前記副映像における少なく とも一部の領域を サブフレームとして指定するサブフレーム範囲情報及び(i i)前記サブフレーム內 の副映像部分に対して該副映像部分における透明度を示すアルファ値に応じて選 択的に陰影を付与して該陰影が付与された形式で前記副映像部分を表示させるた めの陰影表示制御情報を含む副映像制御情報を記録する第 3記録手段と、 前記映 像情報、 前記副映像情報及び前記副映像制御情報を再生する再生手段と、 前記再 生された映像情報に重ねて前記再生された副映像情報を表示出力可能な表示出力 手段と、 前記再生された副映像制御情報中の前記陰影付与制御情報に基づいて、 前記サブフレーム内の前記副映像部分に対して陰影を付与し且つ該陰影が付与さ れた形式で前記副映像部分を前記主映像に重ねて表示するように前記表示出力^ 段を制御する制御手段とを備える。
本発明の情報記録再生装置によれば、 上述した本発明の情報記録装置及び情報 再生装置の両方を併せ持つので、 上述した本発明の情報記録媒体 (但し、 その各 種態様を含む) を、 比較的効率良く記録でき、 再生できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の情 報記録再生装置も各種態様を採ることが可能である。
本発明の情報記録再生方法は、 主映像を示す映像情報を記録する第 1記録工程 と、 少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像 情報を記録する第 2記録工程と、(i)前記副映像における少なく とも一部の領域を サブフレームとして指定するサプフレーム範囲情報及び(i i)前記サプフレーム内 の副映像部分に対して該副映像部分における透明度を示すアルファ値に応じて選 択的に陰影を付与して該陰影が付与された形式で前記副映像部分を表示させるた めの陰影表示制御情報を含む副映像制御情報を記録する第 3記録工程と、 前記映 像情報、 前記副映像情報及び前記副映像制御情報を再生する再生工程と、 前記再 生された映像情報に重ねて前記再生された副映像情報を表示出力可能な表示出力 手段を、 前記再生された副映像制御情報中の前記陰影付与制御情報に基づいて、 前記サプフレーム内の前記副映像部分に対して陰影を付与し且つ該陰影が付与さ れた形式で前記副映像部分を前記主映像に重ねて表示するように制御する制御ェ 程とを備える。
本発明の情報記録再生方法によれば、 上述した本発明の情報記録方法及び情報 再生方法の両方を併せ持つので、 上述した本発明の情報記録媒体 (但し、 その各 種態様を含む) を、 比較的効率良く記録でき、 再生できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の情 報記録再生方法も各種態様を探ることが可能である。
本発明の記録制御用のコンピュータプログラムは、 上述した本発明の情報記録 装置 (但し、 その各種態様を含む) に備えられたコンピュータを制御する記録制 御用のコンピュータプログラムであって、該コンピュータを、前記第 1記録手段、 前記第 2記録手段及び前記第 3記録手段の少なく とも一部として機能させる。 本発明の記録制御用のコンピュータプログラムによれば、当該コンピュータプ ログラムを格納する R OM、 CD-ROM, DVD-ROM, ハードディスク等 の記録媒体から、 当該コンピュータプログラムをコンピュータに読み込んで実行 させれば、或いは、当該コンピュータプログラムを、 通信手段を介してコンビユー タにダウンロードさせた後に実行させれば、上述した本発明に係る情報記録装置 を比較的簡単に実現できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の記 録制御用のコンピュータプログラムも各種態様を採ることが可能である。
本発明の再生制御用のコンピュータプログラムは、 上述した本発明の情報再生 装置 (但し、 その各種態様を含む) に備えられたコンピュータを制御する再生制 御用のコンピュータプログラムであって、 該コンピュータを、 前記再生手段、 前 記表示出力手段及び前記制御手段の少なく とも一部として機能させる。
本発明の再生制御用のコンピュータプログラムによれば、当該コンピュータプ ログラムを格納する R OM、 CD-ROM, DVD-ROM, ハードディスク等 の記録媒体から、 当該コンピュータプログラムをコンピュータに読み込んで実行 させれば、或いは、当該コンピュータプログラムを、 通信手段を介してコンビユー タにダウンロードさせた後に実行させれば、上述した本発明に係る情報再生装置 を比較的簡単に実現できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の再 生制御用のコンピュータプログラムも各種態様を採ることが可能である。
本発明の記録再生制御用のコンピュータプログラムは、 上述した本発明の情報 記録再生装置 (但し、 その各種態様を含む) に備えられたコンピュータを制御す る記録再生制御用のコンピュータプログラムであって、 該コンピュータを、 前記 第 1記録手段、 前記第 2記録手段、 前記第 3記録手段、 前記再生手段、 前記表示 出力手段及び前記制御手段の少なく とも一部として機能させる。
本発明の記録再生制御用のコンピュータプログラムによれば、当該コンビユー タプログラムを格納する R O M、 C D - R O M, D V D - R O M , ハードデイス ク等の記録媒体から、 当該コンピュータプログラムをコンピュータに読み込んで 実行させれば、或いは、当該コンピュ一タプログラムを、 通信手段を介してコンピ ユータにダウンロードさせた後に実行させれば、上述した本発明に係る情報記録 再生装置を比較的簡単に実現できる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の記 録再生制御用のコンピュータプログラムも各種態様を採ることが可能である。 本発明の制御信号を含むデータ構造は、 主映像を示す映像情報と、 少なく とも 一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情報と、(i)前記 副映像における少なく とも一部の領域をサブフレームとして指定するサブフレー ム範囲情報及ぴ(i i)前記サプフレーム内の副映像部分に対して該副映像部分にお ける透明度を示すアルファ値に応じて選択的に陰影を付与し且つ該陰影が付与さ れた形式で前記副映像部分を前記主映像に重ねて表示させるための陰影表示制御 情報を含む副映像制御情報とを有する。
本発明の制御信号を含むデータ構造によれば、 上述した本発明の情報記録媒体 の場合と同様に、 副映像制御情報に含まれる陰影表示制御情報に従って、 例えば サブピクチヤに陰影効果を付けての再生など、 主映像情報に伴って再生される副 映像情報の複雑高度な再生が可能とされる。
尚、 上述した本発明の情報記録媒体における各種態様に対応して、 本発明の制 御信号を含むデータ構造も各種態様を採ることが可能である。
コンピュータ読取可能な媒体内の記録制御用のコンピュータプログラム製品は 上記課題を解決するために、 上述した本発明の情報記録装置 (但し、 その各種態 様も含む) に備えられたコンピュータにより実行可能なプログラム命令を明白に 具現化し、 該コンピュータを、 前記第 1記録手段、 前記第 2記録手段及び前記第 3記録手段の少なく とも一部と して機能させる。
コンピュータ読取可能な媒体内の再生制御用のコンピュータプログラム製品は 上記課題を解決するために、 上述した本発明の情報再生装置 (但し、 その各種態 様も含む) に備えられたコンビュ タにより実行可能なプログラム命令を明白に 具現化し、 該コンピュータを、 前記再生手段、 前記表示出力手段及び前記制御手 段の少なく とも一部として機能させる。
コンピュータ読取可能な媒体內の記録再生制御用のコンピュータプログラム製 品は上記課題を解決するために、 上述した本発明の情報記録再生装置 (但し、 そ の各種態様も含む) に備えられたコンピュータにより実行可能なプログラム命令 を明白に具現化し、 該コンピュータを、 前記第 1記録手段、 前記第 2記録手段、 前記第 3記録手段、 前記再生手段、 前記表示出力手段及び前記制御手段の少なく とも一部として機能させる。
本発明の記録制御用、 再生制御用又は記録再生制御用のコンピュータプログラ ム製品によれば、当該コンピュータプログラム製品を格納する ROM、CD_RO M、 DVD-ROM, ハードディスク等の記録媒体から、 当該コンピュータプロ グラム製品をコンピュータに読み込めば、或いは、例えば伝送波である当該コンビ ユータプログラム製品を、通信手段を介してコンピュータにダウンロードすれば、 上述した本発明の前記第 1記録手段、 前記第 2記録手段、 前記第 3記録手段、 前 記再生手段、 前記表示出力手段及び前記制御手段の少なく とも一部を比較的容易 に実施可能となる。 更に具体的には、 当該コンピュータプログラム製品は、 コン ピュータを前記第 1記録手段、 前記第 2記録手段、 前記第 3記録手段、 前記再生 手段、 前記表示出力手段及び前記制御手段の少なく とも一部として機能させるコ ンピュータ読取可能なコード (或いはコンピュータ読取可能な命令) から構成さ れてよい。
本発明におけるこのような作用、 及び他の利得は次に説明する実施例から更に 明らかにされる。 図面の簡単な説明
図 1は、本発明の情報記録媒体の一実施例である光ディスクの基本構造を示し、 上側部分は複数のエリアを有する光ディスクの概略平面図であり、 これに対応付 けられる下側部分は、 その径方向におけるエリァ構造の図式的概念図である。 図 2は、従来の MP E G 2のプログラムス トリームの図式的概念図(図 2 ( a ))、 本実施例で利用される MP E G 2の トランスポートス トリームの図式的概念図 (図 2 ( b )) であり、 本実施例で利用される MP E G 2のプログラムス ト リーム の図式的概念図 (図 2 ( c ) ) である。
図 3は、 本実施例の光ディスク上に記録されるデータ構造の模式的に示す図で ある。
図 4は、 図 3に示した各タイ トル内におけるデ タ構造の詳細を階層的に示す 概念図である。
図 5は、 図 3に示した各プレイリス トセッ ト内におけるデータ構造の詳細を階 層的に示す概念図である。
図 6は、 図 3に示した各プレイリス トセッ ト内におけるデータ構造の詳細を模 式的に示す概念図である。
図 7は、 図 6に示した各アイテムにおけるデータ構造の詳細を模式的に示す概 念図である。
図 8は、 図 4に示した各タイ トルエレメント内におけるデータの論理構成を模 式的に示す概念図である。 '
図 9は、 本実施例において、 各プレイ リス トセッ トをプレイリス ト一つから構 成する場合における、 図 4に示した各タイ トルエレメント内におけるデータの論 理構成を模式的に示す概念図である。
図 1 0は、 図 3に示した各ォブジェク ト内におけるデータ構造の詳細を模式的 に示す概念図である。
図 1 1は、 本実施例における、 上段のプログラム # 1用のエレメンタリース ト リームと中段のプログラム # 2用のエレメンタリース トリームとが多重化されて これら 2つのプログラム用のトランスポートス トリームが構成される様子を、 横 軸を時間軸として概念的に示す図である。
図 1 2は、 本実施例における、 一つの トランスポートス トリーム内に多重化さ れた T Sバケツ トのイメージを、 時間の沿ったバケツ ト配列として概念的に示す 概念図である。
図 1 3は、 実施例における光ディスク上のデータの論理構成を、 論理階層から ォプジヱ ト階層或いは実体階層への展開を中心に摸式的に示した図である。 図 1 4は、 本発明の実施例に係る情報記録再生装置のプロック図である。 図 1 5は、 本実施例における情報記録再生装置の記録動作 (その 1 ) を示すフ 口一チャートである。
図 1 6は、 本実施例における情報記録再生装置の記録動作 (その 2 ) を示すフ ローチャートである。
図 1 7は、 本実施例における情報記録再生装置の記録動作 (その 3 ) を示すフ ローチャートである。
図 1 8は、 本実施例における情報記録再生装置の記録動作 (その 4 ) を示すフ ローチャートである。
図 1 9は、 本実施例における情報記録再生装置の再生動作を示すフローチヤ一 トである。
図 2 0は、 本実施例における、 サプピクチャデータを制御するための S Pコン トロール情報のデータ構成 (図 2 0 ( a ) ) 及びサブピクチャデータの本体をなす 静止画データたる S Pデータを含んでなる S Pデータ構造 (図 2 0 ( b ) ) の一具 体例を示す概念図である。
図 2 1は、 図 2 0に示した S Pコントロール情報及び S Pデータ構造から構成 される三種類のサプピクチャ構造を図式的に示したものである。
図 2 2は、 本実施例における、 S P D用ス トリームと複数の S C P用ス トリ一 ムとの関係を、 再生時間軸に対して図式的に示したものである。
図 2 3は、 本実施例におけるサブピクチャコントロールバケツ トの構成を示す テープルである。
図 2 4は、本実施例におけるサプピクチャコントロールバケツ トの構成を示す、 図 2 3に続くテーブルである。
図 2 5は、本実施例におけるサブピクチャコントロールパケッ トの構成を示す、 図 2 4に続くテーブルである。
図 2 6は、本実施例におけるサブピクチャコントロールバケツ トの構成を示す、 図 2 5に続く一のテーブルである。
図 2 7は、本実施例におけるサブピクチャコントロールパケッ トの構成を示す、 図 2 5に続く他のテーブルである。
図 2 8は、 本実施例における、 サプピクチャとサブフレームとの関係を示す概 念図である。 図 2 9は、 本実施例における、 サブピクチャからサブフレームを指定する指定 形態を示す概念図である。
図 3 0は、 本実施例における、 サブフレームの表示配置について示す概念図で
¾) O
図 3 1は、 本実施例に係る、 サブフレーム座標系におけるサブフレームとこれ らのサブフレームで構成された主映像の主映像座標系における配置とを示す概念 図である。
図 3 2は、 本実施例に係る、 サブフレームの主映像座標系における、 平行移動 を伴う表示形態について示す概念図である。
図 3 3は、 本実施例に係る、 サブフレームの主映像座標系における、 画像サイ ズの変更、 及び平行移動を伴う表示形態について示す概念図である。
図 3 4は、 本実施例に係る、 サブフレームの主映像座標系における、 画像の回 転を伴う表示形態について示す概念図である。
図 3 5は、 本実施例に係る、 サブフレームの主映像座標系における配置と、 表 示窓による表示形態について示す概念図である。
図 3 6は、 本実施例に係る、 サブフレームの主映像座標系における、 画像サイ ズの変更、 及び回転を伴う表示形態について示す概念図である。
図 3 7は、 本実施例における、 サプピクチャ内におけるサブフレームの移動に 伴う表示形態について示す概念図である。
図 3 8は、 本実施例に係る、 サブフレームの主映像座標系における、 移動経路 に伴う表示形態について示す概念図である。
図 3 9は、 本実施例における、 描画コントロールパラメータの取得の流れを示 すフローチヤ一トである。
図 4 0は、 本実施例における、 S F C C I のチェックとサブフレームコント口 ールコンポーネントの取得の流れを示すフローチヤ一トである。
図 4 1は、 本実施例における、 サブフレームの描画処理の流れを示すフローチ ヤートである。
図 4 2は、 本実施例における、 サブフレームの描画処理の流れを示す、 図 4 1 に続くフローチヤ一トである。 図 4 3は、 本実施例における、 サブフレームの描画処理の流れを示す、 図 4 2 に続くフローチヤ一トである。
図 4 4は、 本実施例における、 サブフレームの描画処理の流れを示す、 図 4 3 に続くフローチヤ一トである。
図 4 5は、 本実施例における、 シャ ドウドロッビング表示について示す概念図 である。
図 4 6は、 本実施例における、 ポタン表示について示す概念図である。
図 4 7は、 本実施例における、 ボタンの状態遷移を示す図である。
図 4 8は、 本実施例における、 光ディスクの論理構造との関係で、 再生時にお けるアクセスの流れ全体を概念的に示す図である。
図 4 9は、 本実施例による一具体例における、 オブジェク ト情報ファイル内に 構築される A Uテーブル及びこれに関連付けられる E Sマップテーブルにおける データ構成の一具体例を図式的に示す図である。 発明を実施するための最良の形態
(情報記録媒体)
図 1から図 1 3を参照して、本発明の情報記録媒体の実施例について説明する。 本実施例は、 本発明の情報記録媒体を、 記録 (書き込み) 及ぴ再生 (読み出し) が可能な型の光デイスクに適用したものである。
先ず図 1を参照して、 本実施例の光ディスクの基本構造について説明する。 こ こに図 1は、 上側に複数のエリアを有する光ディスクの構造を概略平面図で示す と共に、 下側にその径方向におけるエリア構造を概念図で対応付けて示すもので ある。
図 1に示すように、 光ディスク 1 0 0は、 例えば、 記録 (書き込み) が複数回 又は 1回のみ可能な、 光磁気方式、 相変化方式等の各種記録方式で記録可能とさ れており、 D V Dと同じく直径 1 2 c m程度のディスク本体上の記録面に、 セン ターホール 1 0 2を中心として内周から外周に向けて、リードィンェリア 1 0 4、 データェリア 1 0 6及ぴリードアウ トエリア 1 0 8が設けられている。 そして、 各エリアには、 例えば、 センターホール 1 0 2を中心にスパイラル状或いは同心 円状に、 グループトラック及びランドトラックが交互に設けられており、 このグ ループトラックはゥォプリングされてもよいし、 これらのうち一方又は両方のト ラックにプレピッ トが形成されていてもよい。 尚、 本発明は、 このような三つの エリァを有する光ディスクには特に限定されない。
次に図 2を参照して、 本実施例の光ディスクに記録される トランスポ^"トス ト リーム (T S) 及びプログラムス トリーム (P S) の構成について説明する。 こ こに、 図 2 (a) は、 比較のため、 従来の D VDにおける MP E G 2のプログラ ムス ト リームの構成を図式的に示すものであり、 図 2 ( b ) は、 MP EG 2の ト ランスポートス ト リーム (T S) の構成を図式的に示すものである。 更に、 図 2 ( c ) は、 本発明における MP E G 2のプログラムス ト リームの構成を図式的に 示すものである。
図 2 (a ) において、 従来の D VDに記録される一つのプログラムス ト リーム は、 時間軸 tに沿って、 主映像情報たるビデオデータ用のビデオス ト リームを 1 本だけ含み、 更に、 音声情報たるオーディオデータ用のオーディオス トリームを 最大で 8本含み且つ副映像情報たるサプピクチャデータ用のサプピクチヤス トリ ームを最大で 3 2本含んでなる。 即ち、 任意の時刻 t Xにおいて多重化されるビ デォデータは、 1本のビデオス ト リームのみに係るものであり、 例えば複数のテ レビ番組或いは複数の映画などに対応する複数本のビデオス トリームを同時にプ 口グラムス トリームに含ませることはできない。 映像を伴うテレビ番組等を多重 化して伝送或いは記録するためには、 各々のテレビ番組等のために、 少なく とも 1本のビデオス トリ—ムが必要となるので、 1本しかビデオス トリームが存在し ない D VDのプログラムス トリーム形式では、 複数のテレビ番組等を多重化して 伝送或いは記録することはできないのである。
図 2 (b ) において、 本発明の光ディスク 1 00に記録される一つのトランス ポートス ト リーム (T S) は、 主映像情報たるビデオデータ用のエレメンタ リー ス トリーム (E S) としてビデオス トリームを複数本含んでなり、 更に音声情報 たるオーディオデータ用のエレメンタリース トリーム (E S) としてオーディオ ス トリームを複数本含み且つ副映像情報たるサブピクチャデータ用のエレメンタ リース トリーム (E S) としてサプピクチャス トリームを複数本含んでなる。 即 ち、 任意の時刻 t xにおいて多重化されるビデオデータは、 複数本のビデオス ト リームに係るものであり、 例えば複数のテレビ番組或いは複数の映画などに対応 する複数のビデオストリームを同時にトランスポートス トリームに含ませること が可能である。 このように複数本のビデオス トリームが存在する トランスポート ス ト リーム形式では、 複数のテレビ番組等を多重化して伝送或いは記録すること が可能である。 但し、 現況のトランスポートス トリームを採用するデジタル放送 では、 サプピクチヤス トリームについては伝送していない。
図 2 ( c ) において、 本発明の光ディスク 1 0 0に記録される一^ 3のプロダラ ムス トリーム (P S ) は、 主映像情報たるビデオデータ用のビデオス ト リームを 複数本含んでなり、 更に音声情報たるオーディオデータ用のオーディオス ト リー ムを複数本含み且つ副映像情報たるサブピクチャデータ用のサブピクチヤス トリ ームを複数本含んでなる。 即ち、 任意の時刻 t Xにおいて多重化されるビデオデ ータは、 複数本のビデオス ト リームに係るものであり、 例えば複数のテレビ番組 或いは複数の映画などに対応する複数のビデオス トリームを同時にプログラムス トリームに含ませることが可能である。
尚、 図 2 ( a ) から図 2 ( c ) では説明の便宜上、 ビデオス ト リーム、 オーデ ィォス トリーム及びサブピクチヤス トリームを、この順に上から配列しているが、 この順番は、 後述の如くパケッ ト単位で多重化される際の順番等に対応するもの ではない。 トランスポートス トリームでは、 概念的には、 例えば一つの番組に対 して、 1本のビデオス トリーム、 2本の音声ス トリーム及ぴ 2本のサブピクチャ ス ト リームからなる一まとまりが対応している。
上述した本実施例の光ディスク 1 0 0は、 記録レートの制限内で、 図 2 ( b ) に示した如き トランスポートス ト リーム (T S ) を多重記録可能に、 即ち複数の 番組或いはプログラムを同時に記録可能に構成されている。 更に、 このようなト ランスポートス トリームに加えて又は代えて、 同一光ディスク 1 0 0上に、 図 2 ( c ) に示した如きプログラムス トリーム (P S ) を多重記録可能に構成されて いる。
次に図 3から図 1 0を参照して、 光ディスク 1 0 0上に記録されるデータの構 造について説明する。 ここに、 図 3は、 光ディスク 1 0 0上に記録されるデータ 構造を模式的に示すものである。 図 4は、 図 3に示した各タイ トル内におけるデ ータ構造の詳細を模式的に示すものである。 図 5及び図 6は夫々、 図 3に示した 各プレイ (P ) リス トセッ ト内におけるデータ構造の詳細を模式的に示すもので ある。 図 7は、 図 6に示した各アイテムにおけるデータ構造の詳細を模式的に示 すものである。 図 8は、 図 4に示した各タイ トルエレメント内におけるデータの 論理構成を模式的に示すものであり、 図 9は、 各プレイ リス トセッ トをプレイ リ ス トーつから構成する場合における、 図 4に示した各タイ トルエレメント内にお けるデータの論理構成を模式的に示すものである。 図 1 0は、 図 3に示した各ォ ブジェク ト内におけるデータ構造の詳細を模式的に示すものである。
以下の説明において、 「タイ トル」 とは、 複数の 「プレイリス ト」 を連続して実 行する再生単位であり、 例えば、 映画 1本、 テレビ番組 1本などの論理的に大き なまとまりを持った単位である。 「プレイリス トセッ ト」 とは、 「プレイリス ト」 の束をいう。 例えば、 アングル再生ゃパレンタル再生における相互に切替可能な 特定関係を有する複数のコンテンツ情報を再生するためのプレイリス トの束や、 同時間帯に放送され且つまとめて記録された複数番組に係るコンテンツ情報を再 生するためのプレイリス トの束である。 或いは、 同一タイ トルについて、 ハイビ ジョン対応、 ディスプレイの解像度、 サラウンドスピーカ対応、 スピーカ配列な ど、 情報再生システムにおいて要求される映像再生機能 (ビデオパーフォーマン ス) 別や音声再生機能 (オーディオパーフォーマンス) 別など、 要求機能別に用 意された各種コンテンツ情報を再生するためのプレイリス トの束である。「プレイ リス ト」 とは、 「オブジェク ト」 の再生に必要な情報を格納した情報であり、 ォプ ジェク トへアクセスするためのオブジェク トの再生範囲に関する情報が各々格納 された複数の 「アイテム」 で構成されている。 そして、 「オブジェク ト」 とは、 上 述した M P E G 2の トランスポートス トリームを構成するコンテンツの実体情報 である。
図 3において、 光ディスク 1 0 0は、 論理的構造として、 ディスク情報フアイ ル 1 1 0、 プレイ (P ) リス ト情報ファイル 1 2 0、 オブジェク ト情報ファイル 1 3 0及ぴォブジェク トデータファイル 1 4 0の 4種類のファイルを備えており、 これらのファイルを管理するためのファイルシステム 1 0 5を更に備えている。 尚、 図 3は、 光ディスク 1 0 0上における物理的なデータ配置を直接示している ものではないが、 図 3に示す配列順序を、 図 1に示す配列順序に対応するように 記録すること、 即ち、 ファイルシステム 1 0 5等をリードインエリア 1 04に続 いてデータ記録ェリア 1 0 6に記録し、 更にオブジェク トデータファイル 1 4 0 等をデータ記録エリア 1 0 6に記録することも可能である。 図 1に示したリード インエリア 1 04やリードアウトエリア 1 0 8が存在せずとも、 図 3に示したフ アイル構造は構築可能である。
ディスク情報ファイル 1 1 0は、 光ディスク 1 0 0全体に関する総合的な情報 を格納するファイルであり、 ディスク総合情報 1 1 2と、 タイ トル情報テーブル 1 1 4と、 その他の情報 1 1 8とを格納する。 ディスク総合情報 1 1 2は、 例え ば光ディスク 1 0 0内の総タイ トル数等を格納する。 タイ トル情報テーブル 1 1 4は、 タイ トルボインタ 1 1 4一 1 と、 これにより識別番号又は記録ァドレスが 示される複数のタイ トル 20 0 (タイ トル # 1〜# m)を含んで構成されている。 各タイ トル 2 0 0には、 論理情報として、 各タイ トルのタイプ (例えば、 シーケ ンシャル再生型、 分岐型など) や、 各タイ トルを構成するプレイ (P) リス ト番 号をタイ トル毎に格納する。
図 4に示すように各タイ トル 200は、 より具体的には例えば、 タイ トル総合 情報 20 0— 1 と、 複数のタイ トルエレメント 20 0— 2と、 その他の情報 2 0 0— 5とを含んで構成されている。 更に、 各タイ トルエレメント 2 00— 2は、 プリコマンド 2 0 0 PRと、 プレイリス トセッ トへのポインタ 20 0 P Tと、 ポ ス トコマンド 2 0 0 P Sと、 その他の情報 2 0 0 - 6 とから構成されている。 ここに、 本発明に係る第 1ポインタ情報の一例たるポインタ 20 0 P Tは、 当 該ポインタ 2 0 0 P Tを含むタイ トルエレメント 2 0 0— 2に基づいて再生され るべきコンテンッ情報に対応する、 プレイ リス ト情報ファイル 1 2 0内に格納さ れたプレイ リス トセッ ト 1 2 6 Sの識別番号を示す。 なお、 ポインタ 20 0 P T は、 タイ トルエレメント 200— 2に基づいて再生されるべきコンテンツ情報に 対応するプレイ リス トセッ ト 1 2 6 Sの記録位置を示す情報であっても良い。 本 発明に保る第 1プリコマンドの一例たるプリコマンド 2 00 P Rは、 ポインタ 2 00 P Tにより指定される一のプレイリス トセッ ト 1 2 6 Sにより再生シーケン スが規定され.るコンテンッ情報の再生前に実行されるべきコマンドを示す。 本発 明に係る第 1ボス トコマンドの一例たるボス トコマンド 20 0 P Sは、 該一のプ レイ リス トセッ トにより再生シーケンスが規定されるコンテンッ情報の再生後に 実行されるべきコマンドを示す。 タイ トルエレメント 2 0 0— 2に含まれるその 他の情報 2 0 0— 5は、 例えば、 タイ トルエレメントに係る再生の次の再生に係 るタイ トルエレメントを指定するネクス ト情報を含む。
従って、 後述する情報再生装置による当該情報記録媒体の再生時には、 ポイン タ 20 0 PTに従ってプレイリス トセッ ト 1 2 6 Sにアクセスして、 それに含ま れる複数のプレイ リ ス ト 1 2 6のうち、 所望の番組等に対応するものを選択する ように制御を実行すれば、 タイ トルエレメント 2 0 0— 2として当該所望のコン テンッ情報を再生できる。 更に、 このようなタイ トルエレメント 2 00— 2を一 つ又は順次再生することで、 一つのタイ トル 2 0 0を再生可能となる。 更に、 プ リコマンド 2 0 0 P Rに従って、 ポインタ 20 0 P Tで指定される一のプレイ リ ス トセッ ト 1 2 6 Sにより再生シーケンスが規定されるコンテンッ情報の、 再生 前に実行されるべきコマンドを実行できる。 更に、 ポス トコマンド 200 P Sに 従って、 ポインタ 20 0 P Tで指定される一のプレイリス トセッ ト 1 26 Sによ り再生シーケンスが規定されるコンテンッ情報の、 再生後に実行されるべきコマ ンドを実行できる。 ポス トコマンド 20 0 P Sは、 例えばコンテンツ情報の分岐 を命令するコマンド、 次のタイ トルを選ぶコマンド等である。 加えて、 その他の 情報 2 00— 5に含まれるネクス ト情報に従って、 当該再生中のタイ トルエレメ ント 2 00— 2の次のタイ トルエレメント 2 0 0— 2を再生できる。
再び図 3において、 プレイ リス ト情報ファイル 1 2 0は、 各プレイリス トの論 理的構成を示すプレイ (P) リス ト情報テーブル 1 2 1を格納し、 これは、 プレ ィ (P) リス ト管理情報 1 2 2と、 プレイ (P) リス トセッ トポインタ 1 24と、 複数のプレイ (P) リス トセッ ト 1 2 6 S (Pリス トセッ ト # l〜# n) と、 そ の他の情報 1 2 8 とに分かれている。このプレイ リス ト情報テーブル 1 2 1には、 プレイ リス トセッ ト番号順に各プレイ リス トセッ ト 1 2 6 Sの論理情報を格納す る。 言い換えれば、 各プレイ リス トセッ ト 1 2 6 Sの格納順番がプレイ リス トセ ッ ト番号である。 また、 上述したタイ トル情報テーブル 1 1 4で、 同一のプレイ リ ス トセッ ト 1 2 6 Sを、複数のタイ トル 200から参照することも可能である。 即ち、 タイ トル # qとタイ トル # r とが同じプレイリス トセッ ト # pを使用する 場合にも、 プレイリス ト情報テーブル 1 2 1中のプレイリス トセッ ト # pを、 タ ィ トル情報テーブル 1 1 4でボイントするように構成してもよい。
図 5に示すように、 プレイ リス トセッ ト 1 2 6 Sは、 プレイリス トセッ ト総合 情報 1 2 6— 1 と、 複数のプレイ リス ト 1 2 6 (プレイ リス ト # l〜# x) と、 アイテム定義テーブル 1 2 6— 3 と、 その他の情報 1 2 6— 4とを含んで構成さ れている。 そして、 各プレイ リス ト 1 2 6は、 複数のプレイ リス トエレメント 1 2 6 - 2 (プレイ リス トエレメント # l〜# y) と、 その他の情報 1 2 6— 5と を含んで構成されている。 更に、 各プレイリス トエレメント 1 2 6— 2は、 プリ コマンド 1 2 6 PRと、 アイテムへのポインタ 1 2 6 P Tと、 ポス トコマンド 1 2 6 P Sと、 その他の情報 1 2 6— 6とから構成されている。
ここに、 本発明に係る第 2ポインタ情報の一例たるポインタ 1 2 6 P Tは、 当 該ポィンタ 1 2 6 P Tを含むプレイリス トエレメント 1 2 6— 2に基づいて再生 されるべきコンテンツ情報に対応する、 アイテム定義テープル 1 2 6— 3により 定義されるアイテムの識別番号を示す。 なお、 ポインタ 1 2 6 PTは、 アイテム 定義テーブル 1 2 6— 3により定義されるアイテムの記録位置であっても良い。 図 6に例示したように、 プレイリス トセッ ト 1 2 6 Sにおいて、 アイテム定義 テープル 1 2 6— 3内には、複数のアイテム 2 04が定義されている。これらは、 複数のプレイリス ト 1 2 6によって共有されている。 また、 プレイ リス トセッ ト 総合情報 1 2 6— 1 として、 当該プレイ リス トセッ ト 1 2 6 S内に含まれる各プ レイ リ ス ト 1 2 6の名称、 再生時間などの U I (ユーザィンタフエース情報)、 各 アイテム定義テーブル 1 2 6— 3へのァドレス情報等が記述されている。
再び図 5において、 本発明に係る第 2プリ コマン ドの一例たるプリコマンド 1 2 6 P Rは、 ポインタ 1 2 6 P Tにより指定される一のアイテム 2 04の再生前 に実行されるべきコマンドを示す。 本発明に係る第2ボス トコマンドの一例たる ポス トコマンド 1 2 6 P Sは、 該一のアイテム 20 4の再生後に実行されるべき コマンドを示す。 プレイリス トエレメント 1 2 6— 2に含まれるその他の情報 1 2 6— 6は、 例えば、 プレイ リス トエレメン ト 1 2 6— 2に係る再生の次の再生 に係るプレイ リス トエレメント 1 2 6— 2を指定する第ネクス ト情報を含む。 図 7に例示したように、 アイテム 204は、 表示の最小単位である。 アイテム 2 04には、 オブジェク 卜の開始ァ ドレスを示す 「 I Nボイント情報」 及ぴ終了 ア ドレスを示す 「OUTポイント情報」 が記述されている。 尚、 これらの 「 I N ポイント情報」 及び 「OUTポイント情報」 は夫々、 直接ア ドレスを示してもよ いし、 再生時間軸上における時間或いは時刻など間接的にァドレスを示してもよ レ、。 図中、 "ス トリームォブジェク ト # 1X1"で示されたオブジェク トに対して複数 の E S (エレメンタ リース ト リーム) が多重化されている場合には、 アイテム 2 0 4の指定は、 特定の E Sの組合せ或いは特定の E Sを指定することになる。 図 8に例示したように、 タイ トルエレメント 200— 2は、 論理的に、 プリ コ マンド 2 0 0 P R或いは 1 2 6 PRと、 ポインタ 20 0 PTにより選択されるプ レイ リス トセッ ト 1 2 6 Sと、 ボス トコマンド 200 P S或いはポス トコマン ド 1 2 6 P Sと、 ネクス ト情報 2 0 0— 6 Nとから構成されている。 従って、 例え ばビデオ解像度など、 システムで再生可能な何らかの条件等に従って、 プレイ リ ス.トセッ ト 1 2 6 S中からプレイ リス ト 1 2 6を選択する処理が実行される。 但し図 9に例示したように、 ポインタ 20 O PTにより指定されるプレイリ ス トセッ トが単一のプレイリス トからなる場合には、 即ち図 3に示したプレイ リス トセッ ト 1 2 6 Sを単一のプレイ リス ト 1 2 6に置き換えた場合には、 タイ トル エレメント 200— 2は、 論理的に、 プリコマンド 2 00 PR或いは 1 2 6 P R と、 再生時に再生されるプレイリス ト 1 2 6 と、 ポス トコマン ド 2 0 0 P S或い はポス トコマン ド 1 2 6 P Sと、 ネクス ト情報 20 0— 6 Nとから構成されても よい。 この場合には、 システムで再生可能な条件等に拘わらず、 プレイ リス トセ ッ トが再生用に指定されれば、 単一のプレイ リス ト 1 2 6の再生処理が実行され ることになる。
再ぴ図 3において、 オブジェク ト情報ファイル 1 3 0は、 各プレイ リス ト 1 2 6內に構成される各アイテムに対するオブジェク トデータファイル 1 40中の格 納位置 (即ち、 再生対象の論理ア ドレス) や、 そのアイテムの再生に関する各種 属性情報が格納される。本実施例では特に、ォブジェク ト情報ファイル 1 3 0は、 後に詳述する複数の AU (ァソシエートュニッ ト) 情報 1 3 2 I (AU# 1 ~A U#q ) を含んでなる AUテーブル 1 3 1 と、 E S (エレメンタリース トリーム) マップテーブル 1 34と、 その他の情報 1 3 8 とを格納する。
オブジェク トデータファイル 1 4 0は、 トランスポ一トス トリ—ム (T S ) 別 の T Sオブジェク ト 14 2 (T S # 1オブジェク ト〜 T S # s ブジェク ト)、即 ち実際に再生するコンテンツの実体データを、 複数格納する。
尚、 図 3を参照して説明した 4種類のファイルは、 更に夫々複数のファイルに 分けて格納することも可能であり、 これらを全てファイルシステム 1 05により 管理してもよい。 例えば、 オブジェク トデータファイル 1 40を、 オブジェク ト データファイル # 1、 ォブジェク トデータファイル # 2、 …というように複数に 分けることも可能である。
図 1 0に示すように、 論理的に再生可能な単位である図 3に示した T Sォブジ ェク ト 1 4 2は、 例えば 6 k Bのデータ量を夫々有する複数のァラインドュ-ッ ト 1 4 3に分割されてなる。 ァラインドユニッ ト 1 4 3の先頭は、 T Sオブジェ ク ト 1 4.2の先頭に一致 (ァラインド) されている。 各ァラインドユニッ ト 1 4 3は更に、 1 9 2 Bのデータ量を夫々有する複数のソースパケッ ト 1 44に細分 ィヒされている。 ソースパケッ ト 1 44は、 物理的に再生可能な単位であり、 この 単位即ちパケッ ト単位で、 光ディスク 1 0 0上のデータのうち少なく ともビデオ データ、 オーディオデ一タ及ぴサプピクチャデータは多重化されており、 その他 の情報についても同様に多重化されてよい。 各ソースパケッ ト 1 44は、 4 Bの データ量を有する、 再生時間軸上における T S (トランスポートス ト リーム) パ ケッ トの再生処理開始時刻を示すバケツ トァライバルタイムスタンプ等の再生を 制御するための制御情報 1 4 5 と、 1 8 8 Bのデータ量を有する T Sバケツ ト 1 4 6 とを含んでなる。 T Sバケツ ト 1 4 6 ("T Sバケツ トペイロード"ともいう) は、 パケッ トヘッダ 1 46 aをその先頭部に有し、 ビデオデータがパケッ ト化さ れて 「ビデオパケッ ト」 とされるか、 オーディオデータがパケッ ト化されて 「ォ 一ディォバケツ ト」 とされる力 、又はサブピクチャデータがバケツ ト化されて「サ ブピクチャパケッ ト」 とされる力 、 若しくは、 その他のデータがバケツ ト化され る。
次に図 1 1及び図 1 2を参照して、 図 2, ( b ) に示した如き トランスポートス トリーム形式のビデオデータ、 オーディオデータ、 サプピクチャデータ等が、 図 4に示した T Sパケッ ト 1 4 6により、 光ディスク 1 0 0上に多重記録される点 について説明する。 ここに、 図 1 1は、 上段のプログラム # 1 (P G 1 ) 用のェ レメンタリース トリーム (E S) と中段のプログラム # 2 (P G 2 ) 用のエレメ ンタリース ト リーム (E S) とが多重化されて、 これら 2つのプログラム (P G 1 & 2) 用のトランスポートス トリーム (T S) が構成される様子を、 横軸を時 間軸として概念的に示すものであり、 図 1 2は、 一つの トランスポートス トリー ム (T S) 内に多重化された T Sパケッ トのイメージを、 時間の沿ったパケッ ト 配列として概念的に示すものである。
図 1 1に示すように、 プログラム # 1用のエレメンタリース トリーム (上段) は、 例えば、 プログラム # 1用のビデオデータがパケッ ト化された T Sバケツ ト 1 4 6が時間軸 (横軸) に対して離散的に配列されてなる。 プログラム # 2用の エレメ ンタ リース ト リーム (中段) は、 例えば、 プログラム # 2用のビデオデー タがパケッ ト化された T Sパケッ ト 1 4 6が時間軸 (横軸) に対して離散的に配 列されてなる。 そして、 これらの T Sパケッ ト 1 4 6が多重化されて、 これら二 つのプログラム用の トランスポー トス ト リーム (下段) が構築されている。 尚、 図 1 1では説明の便宜上省略しているが、 図 2 (b ) に示したように、実際には、 プログラム # 1用のエレメンタリース トリームとして、 オーディオデータがパケ ッ ト化された T Sパケッ トからなるエレメンタ リース トリームゃサブピクチャデ —タがパケッ ト化された T Sバケツ トからなるサブピクチヤス ト リームが同様に 多重化されてもよく、 更にこれらに加えて、 プログラム # 2用のエレメンタ リー ス ト リームとして、 オーディオデータがパケッ ト化された T Sバケツ トからなる エレメンタリース トリームゃサブピクチャデータがバケツ ト化された T Sパケッ トからなるサブピクチャス トリームが同様に多重化されてもよい。
図 1 2に示すように、 本実施例では、 このように多重化された多数の T Sパケ ッ ト 1 4 6から、 一つの T Sス トリームが構築される。 そして、 多数の T Sパケ ッ ト 1 4 6は、 このように多重化された形で、 パケッ トァライバル イムスタン プ等 1 4 5の情報を付加し、 光ディスク 1 00上に多重記録される。 尚、 図 1 2 では、 プログラム # i ( i = l, 2 , 3 ) を構成するデータからなる T Sバケツ ト 1 4 6に対して、 j ( j = 1 , 2, ·■·) をプログラムを構成するス トリーム別 の順序を示す番号として、 "E l e me n t ( i 0 j )" で示しており、 この ( i 0 j ) は、 エレメンタリース トリーム別の T Sパケッ ト 1 4 6の識別番号たるパ ケッ ト I Dとされている。 このバケツ ト I Dは、 複数の T Sバケツ ト 1 4 6が同 一時刻に多重化されても相互に区別可能なように、 同一時刻に多重化される複数 の T Sパケッ ト 1 4 6間では固有の値が付与されている。
また図 1 2では、 PAT (プログラムアソシエーションテープル) 及び PMT (プログラムマップテーブル) も、 T Sパケッ ト 1 4 6単位でパケッ ト化され且 つ多重化されている。 これらのうち PATは、 複数の PMTのパケッ ト I Dを示 すテーブルを格納している。 特に PATは、 所定のバケツ ト I Dとして、 図 1 2 のように( 00 0 )が付与されることが MP E G 2規格で規定されている。即ち、 同一時刻に多重化された多数のパケッ トのうち、 パケッ ト I Dが (000 ) であ る T Sバケツ ト 1 4 6 として、 PATがパケッ ト化された T Sバケツ ト 1 4 6力 S 検出されるように構成されている。 そして、 PMTは、 一又は複数のプログラム について各プログラムを構成するエレメンタリース トリーム別のパケッ ト I Dを 示すテープルを格納している。 PMTには、 任意のパケッ ト I Dを付与可能であ るが、 それらのバケツ ト I Dは、 上述の如くバケツ ト I D力 S (0 0 0) として検 出可能な PATにより示されている。 従って、 同一時刻に多重化された多数のパ ケッ トのうち、 PMTがパケッ ト化された T Sパケッ ト 1 4 6 (即ち、 図 1 2で パケッ ト I D ( 1 0 0)、 (20 0)、 (3 00) が付与された T Sバケツ ト 1 4 6 ) 力 S、 PATにより検出されるように構成されている。
図 1 2に示した如き トランスポートス トリ—ムがデジタル伝送されて来た場合、 チューナは、 このように構成された PAT及び PMTを参照することにより、 多 重化されたバケツ トの中から所望のエレメンタリース トリームに対応するものを 抜き出して、 その復調が可能となるのである。
そして、 本実施例では、 図 1 0に示した T Sオブジェク ト 1 4 2内に格納され る T Sパケッ ト 1 4 6 として、 このような PATや PMTのパケッ トを含む。 即 ち、 図 1 2に示した如き トランスポー トス ト リームが伝送されてきた際に、 その まま光ディスク 1 00上に記録できるという大きな利点が得られる。 更に、 本実施例では、 このよ うに記録された PATや PMTについては光ディ スク 1 00の再生時には參照することなく、 代わりに図 3に示した後に詳述する AUテーブル 1 3 1及び E Sマップテーブル 1 34を参照することによって、 よ り効率的な再生を可能とし、 複雑なマルチビジョン再生等にも対処可能とする。 このために本実施例では、 例えば復調時や記録時に PAT及び PMTを参照する ことで得られるエレメンタリース トリームとパケッ トとの対応関係を、 AUテー プル 1 3 1及ぴ E Sマツプテーブル 1 34の形で且つバケツ ト化或いは多重化し ないで、 ォブジェク ト情報ファイル 1 3 0内に格納するのである。
次に図 1 3を参照して、 光ディスク 1 00上のデータの論理構成について説明 する。 ここに、 図 1 3は、 光ディスク 1 00上のデータの論理構成を、 論理階層 からオブジェ ト階層或いは実体階層への展開を中心に模式的に示したものである。 図 1 3において、 光ディスク 1 00には、 例えば映画 1本、 テレビ番組 1本な どの論理的に大きなまとまりであるタイ トル 20 0が、 一又は複数記録されてい る。 各タイ トル 2 0 0は、 一又は複数のタイ トルエレメント 2 0 0— 2を含む。 各タイ トノレエレメント 200— 2は、 複数のプレイリス トセッ ト 1 2 6 S力 ら論 理的に構成されている。 各タイ トルエレメント 20 0— 2内で、 複数のプレイ リ ス トセッ ト 1 2 6 Sはシーケンシャル構造を有してもよいし、 分岐構造を有して もよい。
尚、 単純な論理構成の場合、 一つのタイ トルエレメント 2 0 0は、 一つのプレ イ リス トセッ ト 1 2 6 S力 ら構成され、 更に一つのプレイ リス トセッ ト 1 2 6 S は、 一つのプレイ リス ト 1 2 6から構成される。 また、 一つのプレイリス トセッ ト 1 2 6 Sを複数のタイ トルエレメント 20 0— 2或いは、 複数のタイ トル 2 0 0から参照することも可能である。
各プレイ リス ト 1 2 6は、 複数のアイテム (プレイアイテム) 2 04から論理 的に構成されている。 各プレイリス ト 1 2 6內で、 複数のアイテム 204は、 シ ーケンシャル構造を有してもよいし、 分岐構造を有してもよい。 また、 一つのァ ィテム 2 04を複数のプレイリス ト 1 2 6から参照することも可能である。 アイ テム 2 04に記述された前述の I Nボイント情報及び OUTボイント情報により、 T Sオブジェク ト 1 4 2の再生範囲が論理的に指定される。 そして、 論理的に指 定された再生範囲についてオブジェク ト情報 1 3 0 dを参照することにより、 最 終的にはファイルシステムを介して、 T Sォブジェク ト 1 4 2の再生範囲が物理 的に指定される。 ここに、 オブジェク ト情報 1 3 0 dは、 T Sオブジェク ト 1 4 2の属性情報、 T Sオブジェク ト 1 4 2内におけるデータサーチに必要な E Sァ ドレス情報 1 3 4 d等の T Sオブジェク ト 1 4 2を再生するための各種情報を含 む (尚、 図 3に示した E Sマップテーブル 1 3 4は、 このような E Sア ドレス情 報 1 3 4 dを複数含んでなる)。
そして、後述の情報記録再生装置による T Sォブジェク ト 1 4 2の再生時には、 アイテム 2 0 4及ぴォブジェク ト情報 1 3 0 から、 当該 T Sオブジェク ト 1 4 2における再生すべき物理的なア ドレスが取得され、 所望のエレメンタリース ト リームの再生が実行される。
尚、 図 1 3のォブジェク ト情報 1 3 0 d内に示した、 E Sァ ドレス情報 1 3 4 dを複数含む E P (エントリーポイント) マップは、 ここでは、 A Uテーブル 1 3 1 と E Sマップテーブル 1 3 4 との両者をまとめたオブジェク ト情報テーブル のことを指している。
このように本実施例では、 アイテム 2 0 4に記述された I Nポイント情報及び O U Tポイント情報並びにォブジェク ト情報 1 3 0 dの E Sマップテーブル 1 3 4 (図 3参照) 内に記述された E Sア ドレス情報 1 3 4 dにより、 再生シーケン スにおける論理階層からォブジェク ト階層への関連付けが実行され、 エレメンタ リース ト リームの再生が可能とされる。
以上詳述したように本実施例では、 光ディスク 1 0 0上において T Sバケツ ト 1 4 6の単位で多重記録されており、 これにより、 図 2 ( b ) に示したような多 数のェレメンタリ一ス トリームを含んでなる、 トランスポートス トリ—ムを光デ イスク 1 0 0上に多重記録可能とされている。 本実施例によれば、 デジタル放送 を光ディスク 1 0 0に記録する場合、 記録レートの制限内で複数の番組或いは複 数のプログラムを同時に記録可能であるが、 ここでは一つの T Sオブジェク ト 1 4 2 複数の番組或いは複数のプログラムを多重化して記録する方法を採用して いる。 以下、 このよ うな記録処理を実行可能な情報記録再生装置の実施例につい て説明する。 (情報記録再生装置)
次に図 1 4から図 1 9を参照して、 本発明の情報記録再生装置の実施例につい て説明する。 ここに、 図 1 4は、 情報記録再生装置のプロック図であり、 図 1 5 から図 1 9は、 その動作を示すフローチャートである。
図 1 4において、 情報記録再生装置 5 0 0は、 再生系と記録系とに大別されて おり、 上述した光ディスク 1 0 0に情報を記録可能であり且つこれに記録された 情報を再生可能に構成されている。 本実施例では、 このように情報記録再生装置
5 0 0は、 記録再生用であるが、 基本的にその記録系部分から本発明の記録装置 の実施例を構成可能であり、 他方、 基本的にその再生系部分から本発明の情報再 生装置の実施例を構成可能である。
情報記録再生装置 5 0 0は、 光ピックアップ 5 0 2、 サーボュニッ ト 5 0 3、 スピンドルモータ 5 0 4、 復調器 5 0 6、 デマルチプレクサ 5 0 8、 ビデオデコ ーダ 5 1 1、 オーディオデコーダ 5 1 2、 サブピクチャデコーダ 5 1 3、 加算器 5 1 4、 静止画デコーダ 5 1 5、 システムコントローラ 5 2 0、 メモリ 5 3 0、 メモリ 5 4 0、 メモリ 5 5 0、 変調器 6 0 6、 フォーマッタ 6 0 8、 T Sォブジ エタ ト生成器 6 1 0、 ビデオエンコーダ 6 1 1、 オーディオエンコーダ 6 1 2及 ぴサプピクチャエンコーダ 6 1 3を含んで構成されている。 システムコントロー ラ 5 2 0は、 ファイル (F i 1 e ) システム/論理構造データ生成器 5 2 1及び ファイル (F i 1 e ) システム 論理構造デ一タ判読器 5 2 2を備えている。 更 にシステムコントローラ 5 2 0には、 メモリ 5 3 0及び、 タイ トル情報等のユー ザ入力を行うためのユーザィンタフエース 7 2 0が接続されている。
これらの構成要素のうち、 復調器 5 0 6、 デマルチプレクサ 5 0 8、 ビデオデ コーダ 5 1 1、 オーディオデコーダ 5 1 2、 サブピクチャデコーダ 5 1 3、 加算 器 5 1 4、 静止画デコーダ 5 1 5、 メモリ 5 4 0及びメモリ 5 5 0から概ね再生 系が構成されている。 他方、 これらの構成要素のうち、 変調器 6 0 6、 フォーマ ッタ 6 0 8、 T Sオブジェク ト生成器 6 1 0、 ビデオエンコーダ 6 1 1、 オーデ ィォエンコーダ 6 1 2及ぴサプピクチャエンコーダ 6 1 3から概ね記録系が構成 されている。 そして、 光ピックアップ 5 0 2、 サーボユニッ ト 5 0 3、 スピンド ルモータ 5 0 4、 システムコントローラ 5 2 0及ぴメモリ 5 3 0、 並びにタイ ト ル情報等のユーザ入力を行うためのユーザィンタフェース 7 2 0は、 概ね再生系 及ぴ記録系の両方に共用される。 更に記録系については、 T Sオブジェク トデー タ源 7 0 0 (若しくは、 P Sオブジェク トデータ源 7 0 0、 又はビッ トマップデ ータ、 J P E Gデータ等の静止画データ源 7 0 0 ) と、 ビデオデータ源 7 1 1、 オーディオデータ源 7 1 2及ぴサブピクチャデータ源 7 1 3とが用意される。 ま た、 システムコントローラ 5 2 0内に設けられるファイルシステムノ論理構造デ ータ生成器 5 2 1は、 主に記録系で用いられ、 ファイルシステム/論理構造判読 器 5 2 2は、 主に再生系で用いられる。
光ピックアップ 5 0 2は、 光ディスク 1 0 0に対してレーザービーム等の光ビ ーム L Bを、 再生時には読み取り光として第 1のパワーで照射し、 記録時には書 き込み光として第 2のパワーで且つ変調させながら照射する。 サーポュニッ ト 5 0 3は、 再生時及ぴ記録時に、 システムコントローラ 5 2 0から出力される制御 信号 S c 1による制御を受けて、 光ピックアップ 5 0 2におけるフォーカスサー ポ、 トラッキングサーポ等を行う と共にスピンドルモータ 5 0 4におけるスピン ドルサーボを行う。 スピンドルモータ 5 0 4は、 サ一ボユニッ ト 5 0 3によりス ピンドルサーボを受けつつ所定速度で光ディスク 1 0 0を回転させるように構成 されている。
( i ) 記録系の構成及び動作 :
次に図 1 4から図 1 8を参照して、 情報記録再生装置 5 0 0のうち記録系を構 成する各構成要素における具体的な構成及びそれらの動作を、 場合分けして説明 する。
( i - 1 ) 作成済みの T Sオブジェク トを使用する場合:
この場合について図 1 4及ぴ図 1 5を参照して説明する。
図 1 4において、 T Sオブジェク トデータ源 7 0 0は、 例えばビデオテープ、 メモリ等の記録ス トレージからなり、 T Sオブジェク トデータ D 1を格鈉する。 図 1 5では先ず、 T Sオブジェク トデータ D 1を使用して光デイスク 1 0 0上 に論理的に構成する各タイ トルの情報(例えば、プレイリス トの構成内容等)は、 ユーザィンタフェース 7 2 0から、 タイ トル情報等のユーザ入力 I 2として、 シ ステムコン トローラ 5 2 0に入力される。 そして、 システムコントローラ 5 2 0 は、 ユーザィンタフェース 7 20からのタイ トル情報等のユーザ入力 I 2を取り 込む (ステップ S 2 1 : Y e s及ぴステップ S 2 2)。 この際、 ュ一ザインタフエ ース 7 20では、 システムコントローラ 5 2 0からの制御信号 S c 4による制御 を受けて、 例えばタイ トルメニュー画面を介しての選択など、 記録しょう とする 内容に応じた入力処理が可能とされている。 尚、 ユーザ入力が既に実行済み等の 場合には (ステップ S 2 1 : N o)、 これらの処理は省略される。
次に、 T Sオブジェク トデータ源 7 0 0は、 システムコントローラ 5 2 0から のデータ読み出しを指示する制御信号 S c 8による制御を受けて、 T Sオブジェ タ トデータ D 1を出力する。 そして、 システムコン トローラ 5 2 0は、 T Sォプ ジェク ト源 700から T Sオブジェク トデータ D 1を取り込み(ステップ S 2 3) そのファイルシステム/論理構造データ生成器 52 1内の T S解析機能によって 例えば前述の如く ビデオデータ等と共にバケツ ト化された PAT、 PMT等に基 づいて、 T Sオブジェク トデータ D 1におけるデータ配列 (例えば、 記録データ 長等)、 各エレメンタリース ト リ一ムの構成の解析 (例えば、 後述の E S__P I D (エレメンタリース トリーム 'パケッ ト識別番号) の理解) などを行う (ステツ プ S 24)。
続いて、 システムコントローラ 5 20は、 取り込んだタイ トル情報等のユーザ 入力 I 2並びに、 T Sオブジェク トデータ D 1のデータ配列及び各エレメンタリ ース トリームの解析結果から、 そのファイルシステムノ論理構造データ生成器 5 2 1によって、 論理情報ファイルデータ D 4として、 ディスク情報ファイル 1 1 0、 プレイ リス ト情報ファイル 1 20、 オブジェク ト情報ファイル 1 3 0及びフ アイルシステム 1 0 5 (図 3参照) を作成する (ステップ S 2 5)。 メモリ 5 3 0 は、 このような論理情報ファイルデータ D 4を作成する際に用いられる。
尚、 T Sオブジェク トデータ D 1のデータ配列及ぴ各ェレメンタリース トリー ムの構成情報等についてのデータを予め用意しておく等のバリエーションは当然 に種々考えられるが、 それらも本実施例の範囲内である。
図 1 4において、 フォーマッタ 6 0 8は、 T Sオブジェク トデータ D 1 と論理 情報ファイルデータ D 4とを共に、 光ディスク 1 0 0上に格納するためのデータ 配列フォーマッ トを行う装置である。 より具体的には、 フォーマッタ 6 0 8は、 スィッチ S w l及びスィッチ Sw 2を備えてなり、 システムコントローラ 5 2 0 からのスイツチ制御信号 S c 5によりスイ ッチング制御されて、 T Sオブジェク トデータ D 1のフォーマツ ト時には、 スィッチ S w 1を①側に接続して且つスィ ツチ S w 2を①側に接続して、 T Sォブジェク トデータ源 7 0 0からの T Sォプ ジヱク トデータ D 1を出力する。 尚、 T Sオブジェク トデータ D 1の送出制御に ついては、 システムコントローラ 5 20からの制御信号 S c 8により行われる。 他方、 フォーマッタ 6 0 8は、 論理情報ファイルデータ D 4のフォーマッ ト時に は、 システムコントローラ 5 20からのスイツチ制御信号 S c 5によりスィ ッチ ング制御されて、 スィ ッチ S w 2を②側に接続して、 論理情報ファイルデータ D 4を出力するように構成されている。
図 1 5のステップ S 2 6では、 このように構成されたフォーマッタ 6 0 8によ るスィツチング制御によって、(i)ステップ S 2 5でファイルシステム/論理構造 データ生成器 5 2 1からの論理情報ファイルデータ D 4又は(ii)T Sオブジェク トデータ源 7 0 0からの T Sオブジェク トデータ D 1カ 、 フォーマッタ 6 0 8を 介して出力される (ステップ S 2 6)。
フォーマッタ 6 0 8からの選択出力は、 ディスクイメージデータ D 5と して変 調器 6 0 6に送出され、 変調器 6 0 6により変調されて、 光ピックアップ 5 0 2 を介して光ディスク 1 00上に記録される (ステップ S 2 7)。 この際のディスク 記録制御についても、 システムコントローラ 5 2 0により実行される。
そして、 ステップ S 2 5で生成された論理情報ファイルデータ D 4と、 これに 対応する T Sオブジェク トデータ D 1 とが共に記録済みでなければ、 ステップ S 2 6に戻って、 その記録を引き続いて行う (ステップ S 2 8 : N o )。 尚、 論理情 報ファイルデータ D 4とこれに対応する T Sオブジェク トデータ D 1 との記録順 についてはどちらが先でも後でもよい。
他方、 これら両方共に記録済みであれば、 光ディスク 1 0 0に対する記録を終 了すべきか否かを終了コマンドの有無等に基づき判定し (ステップ S 2 9)、 終了 すべきでない場合には (ステップ S 2 9 : N o) ステップ S 2 1に戾つて記録処 理を続ける。 他方、 終了すべき場合には (ステップ S 2 9 : Y e s 一連の記録 処理を終了する„ 以上のように、 情報記録再生装置 5 0 0により、 作成済みの T Sオブジェク ト を使用する場合における記録処理が行われる。
尚、 図 1 5に示した例では、 ステップ S 2 5で論理情報ファイルデータ D 4を 作成した後に、 ステップ S 2 6で論理情報ファイルデータ D 4とこれに対応する T Sオブジェク トデータ D 1 とのデータ出力を実行しているが、 ステップ S 2 5 以前に、 T Sオブジェク トデータ D 1の出力や光ディスク 1 0 0上への記録を実 行しておき、 この記録後に或いはこの記録と並行して、 論理情報ファイルデータ D 4を生成や記録することも可能である。
加えて、 T Sオブジェク トデ一タ源 7 0 0に代えて、 P Sオブジェク トデータ 源又は静止画データ源が用いられてもよい。 この場合には、 T Sオブジェク トデ ータ D 1に代えて、 P Sオブジェク トデータ又は、 ビッ トマップデータ、 J P E Gデータ等の静止画データに対して、 以上に説明した T Sォブジェク トデータ D 1に対する記録処理が同様に行われ、 オブジェク トデータファイル 1 4 0内に、 T Sォプジヱク ト 1 4 2に加えて又は代えて (図 3参照)、 P Sオブジェク トデー タ又は静止画オブジェク トデータが格納される。 そして、 P Sオブジェク トデー タ又は静止画オブジェク トデータに関する各種論理情報が、 システムコント口一 ラ 5 2 0の制御下で生成されて、 ディスク情報ファイル 1 1 0、 プレイ リス ト情 報ファイル 1 2 0、 オブジェク ト情報ファイル 1 3 0等内に格納される。
( i - 2 ) 放送中のトランスポートス トリ一ムを受信して記録する場合: この場合について図 1 4及び図 1 6を参照して説明する。尚、図 1 6において、 図 1 5 と同様のステップには同様のステップ番号を付し、 それらの説明は適宜省 略する。
この場合も、 上述の 「作成済みの T Sオブジェク トを使用する場合」 とほぼ同 様な処理が行われる。 従って、 これと異なる点を中心に以下説明する。
放送中の トランスポートス トリームを受信して記録する場合には、 T Sォブジ エタ トデータ源 7 0 0は、 例えば放送中のデジタル放送を受信する受信器 (セッ ト トップボックス) からなり、 T Sオブジェク トデータ D 1を受信して、 リアル タイムでフォーマッタ 6 0 8に送出する (ステップ S 4 1 )。 これと同時に、 受信 時に解読された番組構成情報及ぴ後述の E S— P I D情報を含む受信情報 D 3 (即ち、 受信器とシステムコントローラ 5 2 0のインタフェースとを介して送り 込まれるデータに相当する情報) がシステムコントローラ 5 20に取り込まれ、 メモリ 5 3 0に格納される (ステップ S 44)。 '
—方で、 フォーマッタ 6 0 8に出力された T Sオブジェク トデータ D 1は、 フ ォーマッタ 6 0 8のスィツチング制御により変調器 6 0 6に出力され (ステップ S 4 2)、 光ディスク 1 0 0に記録される (ステップ S 4 3)。
これらと並行して、 受信時に取り込まれてメモリ 5 3 0に格納されている受信 情報 D 3に含まれる番組構成情報及び E S— P I D情報を用いて、 ファイルシス テム/論理構造生成器 5 2 1により論理情報ファイルデータ D 4を作成する (ス テツプ S 24及びステップ S 2 5)。そして一連の T Sオブジェク トデータ D 1の 記録終了後に、 この論理情報ファイルデータ D 4を光ディスク 1 0 0に追加記録 する (ステップ S 4 6及び S 47)。 尚、 これらステップ S 24及び S 2 5の処理 についても、 ステップ S 4 3の終了後に行ってもよい。
更に、 必要に応じて (例えばタイ トルの一部を編集する場合など)、 ユーザイン タフエース 7 2 0からのタイ トル情報等のユーザ入力 1 2を、 メモリ 5 3 0に格 納されていた番組構成情報及ぴ E S— P I D情報に加えることで、 システムコン トローラ 5 2 0により論理情報ファイルデータ D 4を作成し、 これを光ディスク 1 0 0に追加記録してもよい。
以上のように、 情報記録再生装置 5 0 0により、 放送中のトランスポー トス ト リームを受信してリアルタイムに記録する場合における記録処理が行われる。 尚、 放送時の全受信データをアーカイブ装置にー且格納した後に、 これを T S オブジェク ト源 7 0 0 として用いれば、 上述した 「作成済みの T Sオブジェク ト を使用する場合」 と同様な処理で足りる。
( i 一 3) ビデオ、 オーディオ及びサブピクチャデータを記録する場合 : この場合について図 1 4及び図 1 7を参照して説明する。尚、図 1 7において、 図 1 5 と同様のステップには同様のステップ番号を付し、 それらの説明は適宜省 略する。
予め別々に用意したビデオデータ、 オーディオデータ及びサプピクチャデータ を記録する場合には、 ビデオデ一タ源 7 1 1、 オーディオデータ源 7 1 2及びサ ブピクチャデータ源 7 1 3は夫々、 例えばビデオテープ、 メモリ等の記録ス トレ ージからなり、 ビデオデータ D V、 オーディオデータ D A及びサプピクチャデー タ D Sを夫々格納する。
これらのデータ源は、 システムコントローラ 5 2 0からの、 データ読み出しを 指示する制御信号 S c 8による制御を受けて、 ビデオデータ D V、 オーディオデ ータ D A及びサブピクチャデータ D Sを夫々、 ビデオエンコーダ 6 1 1、 オーデ ィォエンコーダ 6 1 2及ぴサブピクチャエンコーダ 6 1 3に送出する (ステップ S 6 1 )。 そして、 これらのビデオェンコーダ 6 1 1、 オーディオエンコーダ 6 1 2及びサブピクチャエンコーダ 6 1 3により、 所定種類のェンコ一ド処理を実行 する (ステップ S 6 2 )。
T Sオブジェク ト生成器 6 1 0は、 システムコントローラ 5 2 0からの制御信 号 S c 6による制御を受けて、 このようにエンコー ドされたデータを、 トランス ポートス トリ一ムをなす T Sォブジェク トデータに変換する (ステップ S 6 3 )。 この際、 各 T Sオブジェク トデータのデータ配列情報 (例えば記録データ長等) ゃ各ェレメンタ リ一ス ト リームの構成情報(例えば、後述の E S— P I D等) は、 T Sオブジェク ト生成器 6 1 0から情報 I 6 と してシステムコントローラ 5 2 0 に送出され、 メモリ 5 3 0に格納される (ステップ S 6 6 )。
他方、 T Sオブジェク ト生成器 6 1 0により生成された T Sオブジェク トデー タは、 フォーマッタ 6 0 8のスィ ッチ S w 1の②側に送出される。 即ち、 フォー マッタ 6 0 8は、 T Sオブジェク ト生成器 6 1 0からの T Sオブジェク トデータ のフォーマッ ト時には、 システムコントローラ 5 2 0からのスィッチ制御信号 S c 5によりスィツチング制御されて、 スィッチ S w 1を②側にし且つスィツチ S w 2を①側に接続することで、 当該 T Sオブジェク トデータを出力する (ステツ プ S 6 4 )。 続いて、 この T Sオブジェク トデータは、 変調器 6 0 6を介して、 光 ディスク 1 0 0に記録される (ステップ S 6 5 )。
これらと並行して、 情報 I 6 としてメモリ 5 3 0に取り込まれた各 T Sォプジ ェク トデータのデータ配列情報や各エレメンタリース トリームの構成情報を用い て、 ファイルシステム/論理構造生成器 5 2 1によ り論理情報ファイルデータ D 4を作成する (ステップ S 2 4及びステップ S 2 5 )。 そして一連の T Sオブジェ タ トデータ D 2の記録終了後に、 これを光ディスク 1 0 0に追加記録する (ステ ップ S 6 7及び S 6 8 )。 尚、 ステップ S 2 4及ぴ S 2 5の処理についても、 ステ ップ S 6 5の終了後に行うようにしてもよい。
更に、 必要に応じて (例えばタイ トルの一部を編集する場合など)、 ユーザイン タフエース 7 2 0からのタイ トル情報等のユーザ入力 I 2を、 これらのメモリ 5 3 0に格納されていた情報に加えることで、 ファイルシステムノ論理構造生成器 5 2 1により論理情報ファイルデータ D 4を作成し、 これを光ディスク 1 0 0に 追加記録してもよい。
以上のように、 情報記録再生装置 5 0 0により、 予め別々に用意したビデオデ ー 、 オーディオデータ及びサブピクチャデータを記録する場合における記録処 理が行われる。
尚、 この記録処理は、 ユーザの所有する任意のコンテンツを記録する際にも応 用可能である。
( i - 4 ) ォーサリングによりデータを記録する場合:
この場合について図 1 4及ぴ図 1 8を参照して説明する。尚、図 1 8において、 図 1 5 と同様のステップには同様のステップ番号を付し、 それらの説明は適宜省 略する。
この場合は、上述した三つの場合における記録処理を組み合わせることにより、 予めォーサリ ングシステムが、 T Sオブジェク トの生成、 論理情報ファイルデー タの生成等を行った後 (ステップ S 8 1 )、 フォーマッタ 6 0 8で行うスィッチン グ制御の処理までを終了させる (ステップ S 8 2 )。 その後、 この作業により得ら れた情報を、ディスク原盤力ッティングマシン前後に装備された変調器 6 0 6に、 ディスクィメージデータ D 5 として送出し (ステップ S 8 3 )、 このカッティング マシンにより原盤作成を行う (ステップ S 8 4 )。
( i i ) 再生系の構成及び動作:
次に図 1 4及び図 1 9を参照して、 情報記録再生装置 5 0 0のうち再生系を構 成する各構成要素における具体的な構成及びそれらの動作を説明する。
図 1 4において、 ュ ザインタフエース 7 2 0によって、 光ディスク 1 0 0か ら再生すべきタイ トルやその再生条件等が、 タイ トル情報等のユーザ入力 I 2 と してシステムコン トローラに入力される。 この際、 ユーザインタフェース 7 2 0 では、 システムコントローラ 5 2 0からの制御信号 S c 4による制御を受けて、 例えばタイ トルメニュー画面を介しての選択など、 再生しよう とする内容に応じ た入力処理が可能とされている。
これを受けて、 システムコントローラ 5 2 0は、 光ディスク 1 0 0に対するデ イスク再生制御を行い、 光ピックアップ 5 0 2は、 読み取り信号 S 7を復調器 5 0 6に送出する。
復調器 5 0 6は、 この読み取り信号 S 7から光ディスク 1 0 0に記録された記 録信号を復調し、 復調データ D 8 として出力する。 この復調データ D 8に含まれ る、 多重化されていない情報部分としての論理情報ファイルデータ (即ち、 図 3 に示したファイルシステム 1 0 5、 ディスク情報ファイル 1 1 0、 P リス ト情報 ファイル 1 2 0及ぴオブジェク ト情報ファイル 1 3 0 ) は、 システムコン トロー ラ 5 2 0に供給される。 この論理情報ファイルデータに基づいて、 システムコン トローラ 5 2 0は、 再生ア ドレスの決定処理、 光ピックアップ 5 0 2の制御等の 各種再生制御を実行する。
他方、 復調データ D 8に、 多重化された情報部分としての T Sオブジェク トデ ータが含まれているか又は静止画データが含まれているか、 若しくは两者が含ま れているかに応じて、 切替スィッチ S W 3は、 システムコントローラ 5 2 0から の制御信号 S c 1 0による制御を受けて、 ①側たるデマルチプレクサ 5 0 8側に 切り替えられるカ 又は②側たる静止画デコーダ 5 1 5側に切り替えられる。 こ れにより選択的に、 T Sオブジェク トデータをデマルチプレクサ 5 0 8に供給し、 静止画データを静止画デコーダ 5 1 5に供給する。
そして、 復調データ D 8に含まれる、 多重化された情報部分としての T Sォブ ジェク トデータについては、 デマルチプレクサ 5 0 8が、 システムコントローラ 5 2 0からの制御信号 S c 2による制御を受けてデマルチプレクスする。 ここで は、 システムコントローラ 5 2 0の再生制御によって再生位置ァドレスへのァク セスが終了した際に、 デマルチプレクスを開始させるように制御信号 S c 2を送 信する。
デマルチプレクサ 5 0 8からは、 ビデオパケッ ト、 オーディオパケッ ト及ぴサ プピクチャパケッ トが夫々送出されて、 ビデオデコーダ 5 1 1、 オーディオデコ ーダ 5 1 2及びサブピクチャデコーダ 5 1 3に供給される。 そして、 ビデオデー タ D V、オーディオデータ D A及ぴサブピクチャデータ D Sが夫々復号化される。 この際、 サブピクチャデータ D Sについては、 メモリ 5 4 0を介して加算器 5 1 4に供給される。 メモリ 5 4 0からは、 システムコントローラ 5 2 0からの制御 信号 S c 5による制御を受けて、 所定のタイミングで或いは選択的に、 サブピク チヤデータ D Sが出力され、 ビデオデータ D Vとのスーパ ^ ~ ^ Γンポーズが適宜行 われる。 即ち、 サブピクチャデコーダ 5 1 3から出力されたサブピクチャデータ をそのままスーパーィンポーズする場合に比べて、 スーパ■ ~ ^ f ンポーズのタイミ ングゃスーパーインポーズの要否を制御できる。 例えば、 制御信号 S c 5を用い た出力制御によって、 主映像上に、 サブピクチャを用いた字幕を適宜表示させた り させなかったり、 或いはサブピクチャを用いたメニュー画面を適宜表示させた りさせなかったりすることも可能となる。
尚、 図 6に示したトランスポートス トリームに含まれる、 P A T或いは P M T がパケッ ト化されたパケッ トについては夫々、 復調データ D 8の一部として含ま れているが、 デマルチプレクサ 5 0 8で破棄される。
加算器 5 1 4は、 システムコントローラ 5 2 0からのミキシングを指示する制 御信号 S c 3による制御を受けて、 ビデオデコーダ 5 1 1及びサブピクチャデコ ーダ 5 1 3で夫々復号化されたビデオデータ D V及びサブピクチャデータ D Sを、 所定タイミングでミキシング或いはスーパーインポーズする。 その結果は、 ビデ ォ出力として、 当該情報記録再生装置 5 0 0から例えばテレビモニタへ出力され る。 ·
他方、 オーディオデコーダ 5 1 2で復号化されたオーディオデータ D Aは、 ォ 一ディォ出力として、 当該情報記録再生装置 5 0 0から、 例えば外部スピーカへ 出力される。
このようなビデオデータ D Vやサブピクチャデータ D Sの再生処理に代えて又 は加えて、 復調データ D 8に静止画データが含まれる場合には、 当該静止画デー タは、 システムコントローラ 5 2 0からの制御信号 S c 1 0による制御を受ける 切替スィツチ S W 3を介して、 静止画デコーダ 5 1 5に供給される。 そして、 デ コードされたビッ トマップデータ、 J P E Gデータ等の静止画データは、 システ ムコントローラ 5 2 0からの制御信号 S c 1 1による制御を受けて、 切替スィッ チ S W 4を介して加算器 5 1 4にそのまま加算される。 或いは、 切替スィツチ S W 4を介してメモリ 5 5 0に一旦蓄積される。 メモリ 5 5 0からは、 システムコ ントローラ 5 2 0からの制御信号 S c 1 2による制御を受けて所定のタイミング で或いは選択的に静止画データが出力されて、 切替スィツチ S W 5を介して加算 器 5 1 4に供給される。 これにより、 静止画データと、 ビデオデータ D Vやサブ ピクチャデータ D Sとのスーパーインポーズが適宜行われる。 即ち、 静止画デコ ーダ 5 1 5から出力された静止画データをそのままスーパーィンポーズする場合 に比べて、 スーパーインポーズのタイミングやスーパ一インポ一ズの要否を制御 できる。 例えば、 制御信号 S c 1 2を用いた出力制御によって、 主映像上や副映 像上に、 静止画データを用いた、 例えばメニュー画面又はウィンドウ画面などの 静止画若しくは背景画としての静止画を適宜表示させたり、 させなかったりする ことも可能となる。
加えて、 システムコントローラ 5 2 0からの制御信号 S c 1 3による制御を受 けて、②側に切り替えられた切替スィツチ S W 5を介して、不図示の経路で別途、 静止画データが出力されてもよい。 或いは、 ②側に切り替えられることで、 切替 スィツチ S W 5から何らの静止画データが出力されなくてもよい。
ここで、 図 1 9のフローチャートを更に参照して、 システムコントローラ 5 2 0による再生処理ルーチンの具体例について説明する。
図 1 9において、 初期状態として、 再生系による光ディスク 1 0 0の認識及び ファイルシステム 1 0 5 (図 3参照) によるボリューム構造やファイル構造の認 識は、 既にシステムコントローラ 5 2 0及びその内のファイルシステム/論理構 造判読器 5 2 2にて終了しているものとする。 ここでは、 ディスク情報ファイル 1 1 0の中のディスク総合情報 1 1 2から、 総タイ トル数を取得し、 その中の一 つのタイ トル 2 0 0を選択する以降の処理フローについて説明する。
先ず、 ユーザィンタフェース 7 2 0によって、 タイ トル 2 0 0の選択が行われ る (ステップ S 2 1 1 )。 これに応じて、 ファイルシステム/論理構造判読器 5 2 2の判読結果から、 システムコントローラ 5 2 0による再生シーケンスに関する 情報の取得が行われる。 尚、 当該タイ トル 2 00の選択においては、 ユーザによ るリモコン等を用いた外部入力操作によって、 タイ トル 2 0 0を構成する複数の タイ トルエレメント 2 0 0— 2 (図 4参照) のうち所望のものが選択されてもよ いし、 情報記録再生装置 5 0 0に設定されるシステムパラメータ等に応じて、 一 つのタイ トルエレメント 2 0 0— 2が自動的に選択されてもよい。
次に、 この選択されたタイ トル 20 0 (タイ トルエレメン ト 2 0 0 - 2 ) に対 応するプレイリス トセッ ト 1 2 6 Sを構成する複数のプレイリス ト 1 26の内容 、 取得される。 ここでは、 論理階層の処理として、 各プレイ リス ト 1 2 6の構 造とそれを構成する各アイテム 2 04の情報 (図 5、 図 6及び図 1 3参照) の取 得等が行われる (ステップ S 2 1 2)。
次に、 ステップ S 2 1 2で取得された複数のプレイリス ト 1 2 6の中から、 再 生すべきプレイ リス ト 1 2 6の内容が取得される。 ここでは例えば、 先ずプレイ リス ト # 1から再生が開始されるものとし、 これに対応するプレイ リ ス ト 1 2 6 の内容が取得される (ステップ S 2 1 3)。 プレイ リス ト 1 2 6の内容とは、 一又 は複数のプレイ リス トエレメント 1 2 6— 2 (図 5参照) 等であり、 当該ステツ プ S 2 1 3の取得処理では、 係るプレイリス トエレメン ト 1 2 6— 2等の取得が 行われる。
続いて、 このプレイ リス ト 1 2 6に含まれるプリ コマンド 1 2 6 P R (図 5参 照) が実行される (ステップ S 2 1 4)。 尚、 プリ コマンド 1 2 6 PRによって、 プレイ リス トセッ ト 1 2 6 Sを構成する一定関係を有する複数のプレイ リス ト 1 2 6のうちの一つを選択することも可能である。 また、 プレイ リス ト 1 2 6を構 成するプレイ リス トエレメント 1 26— 2がプリ コマン ド 1 2 6 P Rを有してレ、 なければ、 この処理は省略される。
次に、 ステップ S 2 1 3で取得されたプレイリス ト 1 2 6により特定されるァ ィテム 2 04 (図 5〜図 7参照) に基づいて、 再生すべき T Sオブジェク ト 1 4 2 (図 3及び図 1 0参照) を決定する (ステップ S 2 1 5)。 より具体的には、 ァ ィテム 2 04に基づいて、 再生対象である T Sオブジェク ト 1 4 2に係るォブジ ェク ト情報ファイル 1 3 0 (図 3参照) の取得を実行し、 再生すべき T Sォプジ ェク ト 1 4 2のス ト リーム番号、 ア ドレス等を特定する。 尚、 本実施例では、 後述する AU (ァソシェ一トユニッ ト) 情報 1 3 2 1及び PU (プレゼンテーションユニッ ト) 情報 3 0 2 1 も、 オブジェク ト情報フアイ ル 1 3 0に格納された情報と して取得される。 これらの取得された情報により、 前述した論理階層からオブジェク ト階層への関連付け (図 1 3参照) が行われる のである。
次に、 ステップ S 2 1 5で決定された T Sォブジェク ト 1 4 2の再生が実際に 開始される。 即ち、 論理階層での処理に基づいて、 才ブジェク ト階層の処理が開 始される (ステップ S 2 1 6 )。
T Sォプジ; ク ト 1 4 2の再生処理中、 再生すべきプレイ リス ト 1 26を構成 する次のアイテム 204が存在するか否かが判定される (ステップ S 2 1 7)。 そ して、 次のアイテム 2 04が存在する限り (ステップ S 2 1 7 : Y e s )、 ステツ プ S 2 1 5に戻って、 上述した T Sオブジェク ト 1 4 2の決定及び再生処理が繰 り返される。
他方、 ステップ S 2 1 7の判定において、 次のアイテム 2 04が存在しなけれ ば (ステップ S 2 1 7 : N o)、 実行中のプレイリス ト 1 2 6に対応するボス トコ マンド 1 2 6 P S (図 5参照) が実行される (ステップ S 2 1 8)。 尚、 プレイリ ス ト 1 2 6を構成するプレイ リス トエレメント 1 2 6— 2がポス トコマンド 1 2 6 P Sを有していなければ、 この処理は省略される。
その後、 選択中のタイ トル 2 0 0を構成する次のプレイ リス ト 1 2 6が存在す るか否かが判定される (ステップ S 2 1 9)。 ここで存在すれば (ステップ S 2 1 9 : Y e s )、 ステップ S 2 1 3に戻って、 再生すべきプレイ リス ト 1 2 6の取得 以降の処理が繰り返して実行される。
他方、 ステップ S 2 1 9の判定において、 次のプレイ リス ト 1 2 6が存在しな ければ (ステップ S 2 1 9 : N o)、 即ちステップ S 2 1 1におけるタイ トル 2 0 0の選択に応じて再生すべき全プレイリス ト 1 2 6の再生が完了していれば、 一 連の再生処理を終了する。
以上説明したように、 本実施例の情報記録再生装置 5 00による光ディスク 1 0 0の再生処理が行われる。
本実施例では特に、 以上説明した ( i ) 記録系の構成及ぴ動作においては、 サ W
43
ブピクチャに係るエレメンタリース トリームである、 サブピクチヤストリーム或 いは制御情報ス トリームが、 サブピクチャの各種表示制御を行うための S Pデー タ (静止画データ〉 及び S Pコントロール情報を含むように、 オブジェク トデー タファイル 1 4 0は、 記録される。
本実施例では特に、 以上説明した ( i i ) 再生系の構成及び動作においては、 ステップ S 2 1 5及ぴ S 2 1 6におけるォブジェク トの決定及び再生の際には、 サブピクチヤス トリーム或いは制御情報ス トリームに記録された S Pデータ及ぴ S Pコントロール情報が再生されて、 サブフレームを用いての、 サブピクチヤの モーション制御、 シャ ドウ ドロッビング制御、 ハイライ トポタン制御等の各種表 示制御を実行可能となる。このようなサブピクチャの各種表示制御等については、 後に詳述する。
(プレイ リス トセッ ト中のプレイ リス トの選択方式)
本実施例では、 再生されたプレイ リス ト情報ファイル 1 2 0に含まれるプレイ リス トセッ ト 1 2 6 Sから所望のコンテンツ情報に対応するプレイリスト 1 2 6 が適宜選択される。
このよ うなプレイ リス トの選択は、 例えば、 タイ トルエレメン ト 2 0 0— 2に 含まれるプリコマンド 2 0 0 P R (図 4参照) 力 S、 プレイ リス ト 1 2 6別に、 選 択条件が記述されたプレイ リス ト選択命令群リス トを備えており、 この選択条件 に従って行われてもよい。 プレイ リストセッ ト 1 2 6 Sに格納された各プレイ リ ス ト 1 2 6に付加された属性情報 (例えば、 映像機能についてのビデオ解像度、 プログレッシブ/インターレースの別、 ビデオコーデック、 オーディオチャネル 数、 オーディオコーデック等の、 プレイ リス トに係るコンテンツ情報の属性を示 す情報) に従って行われてもよい。 或いは、 タイ トルエレメント 2 0 0— 2に含 まれる、 選択条件をプレイリス ト毎に格納するプレイ リス トセッ ト制御情報に従 つて行われてもよい。 このような選択によって、 例えば、 所望の番組、 所望のパ レンタルブロック、 所望のアングルブロックなど、 所望のコンテンツ情報に対応 するものの選択が可能となる。 或いは、 例えば、 情報再生システムで再生可能で あり好ましくは情報再生システムの有する映像再生機能や音声再生機能を十分に 或いは最大限に生かすようなプレイリス トの選択が可能となる。 (サブピクチャの各種表示制御)
次に図 2 0から図 4 7を参照して、 S Pデータ及び S Pコントロール情報を用 いてのサプピクチャの各種表示制御について説明する。
先ず図 2 0から図 2 2を参照して、 このようなサブピクチャの各種表示制御を 行うために用いられる、 サブピクチャデータの構造及ぴ制御の概要について説明 する。 そして、 このうち S Pコントロール情報については、 図 2 3以降を参照し て、 後に詳述する。 ここに、 図 2 0は、 サブピクチャデータを制御するための S Pコントロール情報のデータ構成 (図 2 0 ( a ) ) 及びサプピクチャデータの本体 をなす静止画データたる S Pデータを含んでなる S Pデータ構造 (図 2 0 ( b ) ) の一具体例を示す概念図である。 また、 図 2 1は、 これらの S Pコントロール情 報及び S Pデータ構造から構成される三種類のサブピクチヤ構造を図式的に示し たものである。 図 2 2は、 S P D用ス ト リームと複数の S C P用ス ト リームとの 関係を、 再生時間軸に対して図式的に示したものである。
本実施例では、 図 1 4において、 サブピクチャデコーダ 5 1 3によりデコード されたサブピクチャデータは、 バッファとして機能するメモリ 5 4 0に一時的に 記憶される。 その後、 この一時的に記憶されたサプピクチャデータに含まれる S Pデータ (静止画データ) 及び S Pコントロール情報 (静止画コントロールデ一 タ) の少なく とも一方は、 システムコントローラ 5 2 0からの制御信号 S c 5に よる制御を受けて読み出される。 そして、 係る S Pデータに対して、 S Pコント ロール情報を作用させることで、 ビデオ出力の一部或いは全部として静止画表示 が行われる。
図 2 0 ( a ) に示すように、 S Pコントロール情報 7 2 1は、 S C Pヘッダと、 S Fコントロールパラメータとを有する。 「 S C Pヘッダ」 は、 当該 S Pコント口 ール情報 7 2 1が制御対象とする S Pデータを特定する S Pデータ識別子、 係る S Pデータの記録位置を示す情報等からなる。「S Fコントロールパラメータ」は、 S Pデータにより規定される画像のうち少なく とも一部として切り取られる画像 部分であるサブフレーム (S F ) の単位で、 S Pデータを制御するための各種パ ラメータからなる。 より具体的には、 S Fデータの表示開始時刻や表示終了時刻 を P T S (プレゼンテーショ ンタイムスタンプ) 等で示すパラメータを有し、 更 に例えば、 表示時間、 サプピクチャの切り出し範囲や表示する際の配置、 拡大縮 小、 回転等の条件等を示す各種パラメータを有する。
図 20 (b) に示すように、 S Pデータ構造 7 2 2は、 構造情報と S Pデータ (静止画データの実体) とを有する。 「構造情報」 は、 当該 S Pデータを識別する ための識別子、 当該 S Pデ一タの長さ等の情報からなる。 「S Pデータ」 は、 例え ばランレングスェンコ一ディングされたビッ トマップデータ形式或いは J P EG 形式の画像データ等を有する。
よって、 サブピクチャデータの再生時には、 図 20 ( b ) に示した S Pデータ の少なく とも一部が切り出されたサブフレームの単位で、 図 20 ( a ) に示した S Fコントロールパラメータに基づいて、 サブフレームを用いた各種再生制御が 実行される。
図 2 1に示すように、 S Pコントロール情報 7 2 1及ぴ S Pデータ構造 7 2 2 は、 複数の T Sパケッ ト 1 4 6 (図 1 0参照) にパケッ ト化されて多重化されて いる。 そして、 サブピクチャ構造における S Pコントロール情報 7 2 1の先頭部 分が格納される T Sパケッ ト 1 4 6を、 "S C P" と呼び、サブピクチャ構造にお ける S Pデータ構造 7 2 2の先頭部分が格納される T Sパケッ ト 1 4 6を、 "S PD" と呼ぶ。
図 2 1 ( a ) に示すように、 S C Pを含む S Pコントロール情報 7 2 1及び S Pデータ構造 7 2 2は、 一つのサプピクチャ構造とされて、 複数の T Sバケツ ト 1 4 6に分断されてもよい。 図 2 1 ( b ) に示すように、 S C Pを含む S Pコン トロール情報 7 2 1は、 一つのサプピクチャ構造とされて、 複数の T Sバケツ ト 1 4 6に分断されてもよい。 図 2 1 ( c ) に示すように、 S PDを含む S Pデー タ情報構造 7 2 2は、 一つのサプピクチャ構造とされて、 複数の T Sパケッ ト 1 46に分断されてもよい。
本実施例では、 例えば、 S PD用ス ト リーム上に記録された S Pデータ構造 7 2 2内の S Pデータに対して、 このス トリームとは別の S C P用ス トリーム上に 記録された S Pコントロール情報 7 2 1を作用させることで、 静止画の再生制御 を行う。 この場合、 一つの S PD用ス トリームに対して作用する S C P用ス トリ ームは、 ひとつだけ存在してもよいし、 複数存在してもよい。 これらの二種類の ス トリームを、 相互に異なるエレメンタ リース トリーム上に記録することで、 効 率的な再生制御が可能となる。 更に、 一つの S P D用ス ト リーム上の S Pデータ に対して、 複数の S C P用ス トリーム上の複数の S Pコントロール情報を作用さ せることで、 一層効率的な再生制御が可能となる。
より具体的には図 2 2に示すように、 "E S— P I D = 20 0 "のビデオス トリ ーム (V i d e o 1 ) が再生されている途中における時刻 t 11 で、 "E S__P I D = 2 0 1 " の S PD用ス トリーム上の S Pデータ (S P D 1 ) の読み込みが開 始されて、情報記録再生装置 5 0 0 (図 1 4参照)のメモリ 54 0に格納される。 そして、 格納された S Pデータは、 例えば、 設定された終了時間まで格納され続 けるカ 或いは次のサブピクチャの読み込みが開始されるまで格納され続ける。 図 2 2では、 "E S— P I D= 2 0 2 "の S C P用ス トリーム(S C P 1 )には、 時刻 t 21、 時刻 t 22、 時刻 t 23及ぴ時刻 t 24のタイミングで夫々、 S C P # la、 S C P #lb、 S C P #lc及ぴ S C P #ldが配置されている。 "E S— P I D= 2 0 3" の S C P用ス トリーム (S C P 2) には、 時刻 t 31、 時刻 t 32及び時刻 t 33 のタイミングで夫々 S C P #2a、 S C P # 2b及び S C P # 2c が配置されてい る。 "E S— P I D- 204 "の S C P用ス トリーム(S C P 3)には、時刻 t 41、 時刻 t 42、 時刻 t 43及び時刻 t 44のタイ ミングで夫々 S C P #3a、 S C P #3b、 S C P #3c及ぴ S C P #3dが配置されている。
但し、 このような静止画の再生制御に加えて、 サブピクチャス トリーム上に記 録されたサプピクチャデ一タ構造内の S Pデータに対して、 同じス ト リーム上に 記録されたサブピクチャ構造内の S Pコントロール情報を作用させて、 静止画の 再生制御を行っても構わない。 即ち、 一つのサブピクチャス トリームのみに、 s pコン トロール情報 7 2 1及び S Pデータ構造 7 2 2の両者を記録して、 S Pコ ントロール情報 7 2 1を S Pデータ構造 7 2 2に作用させてもよい。
いずれの場合にも、 データ量の多いビッ トマップテータや J P EGデータから なる S Pデータの使い回しによって、 ディスク上における限られた記録容量の節 約を図ることが可能となり、 更に効率的な再生及び表示処理も可能となる。 加え て、 いずれの場合にも、 他のビデオス ト リームに記録されたビデオデータに基づ く動画或いは主映像上に、 このようなサブピクチャをスーパ■ ~^ f ンポーズさせる ことも可能である。
次に、 図 2 3〜図 2 7を参照して、 S Pコントロール情報のデータ構成につい て説明する。 ここに、 図 2 3〜図 2 7は、 本実施例における S Pコントロール情 報が格納されてなるサブピクチャコントロールバケツ トの構成を示す、 一連のテ 一プルである。 尚、 図 2 3〜図 2 7のテーブルにおいて、 データ構成は複数の階 層の形態で示されていて、 特に本発明の実施例に係わるものに着目 して表示して いる。従って本発明の実施例に直接的に係わらない項目は「その他」で表示され、 また、 必要に応じて新規の項目が付加されてもよい。
先ず図 2 3に示すように、 サブピクチャコントロールパケッ ト (テーブル) 8 1 0は、 S Pコントロール情報の一例として、 S C Pヘッダ 8 1 1、 及びサブフ レームコントロールパラメータ 8 1 2を備える。 尚、 サプピクチャコントロール パケッ ト 8 1 0は、 前述の如く制御情報ス トリーム上或いはサプピクチヤス トリ ーム上において、 S C Pが先頭に配置される複数の T Sバケツ トから構成される。 図 2 3中、 中央上段部に示すように、 S C Pヘッダ (テーブル) 8 1 1は、 サ ブピクチャコントロールパケッ ト 8 1 0に関する情報を有し、 具体的には、 サブ ピクチャー連識別番号、 S P D ( S Pデータ) エントリーセクショ ン P T S等を 有する。
S C Pヘッダ 8 1 1において、 サブピクチャー違識別番号は、 サブピクチヤの 連続性を定めるもので、 ある S P Dとそれに作用する S C P群をサブピクチヤシ —ケンス (サブピクチ'ャ連) とレ、う。 また、 S P Dエントリーセクション P T S は、 制御対象となるサプピクチャデータの先頭パケッ ト (S P D ) が存在するェ ントリー区間の開始 P T S (プレゼンテーションタイムスタンプ) を定める。 図 2 3のテーブル中、 中央下段部に示すように、 サブフレームコントロールパ ラメータ (テーブル) 8 1 2は、 サブフレームを主映像上に表示する形態を規定 するための各種パラメータであり、 具体的には、 サブフレーム総数、 サブフレ一 ムボタン総数、 サブフレーム情報 8 1 3 (サブフレーム情報 # 1〜# n )、 ビュー レクタングル 8 1 4、 サブフレームハイライ トスキーム等を備える。
サプフレームコントロールパラメータ 8 1 2において、 サプフレーム総数は、 サプピクチャ画像から切り出されるサブフレームの総数を定める。 サブフレーム ポタン総数は、 サプピクチャ画像によって形成されるサプフレームのボタンの総 数を定める。 サブフ レーム情報 8 1 3 (サブフレーム情報 # 1〜# n) は、 サブ フレーム # 1〜 # n夫々に関する情報からなる。 ピューレクタングル 8 1 4は、 仮想直交座標系上に配置されたサブフレームを見る矩形の窓 (表示窓) に関する 情報からなる。 また、 サブフレームハイライ トスキームは、 本発明に係る 「S C Pボタン」 に係るハイライ ト情報の一例として、 サブフレームの例えばポタン画 像のハイライ ト値とそれに関する制御情報等からなる。
図 2 3のテーブル中、 右側上段部に示すように、 サブフレーム情報 8 1 3 (サ プフレーム情報 # 1〜# n) は、 サブフレームスター ト P T S、 サブフレームェ ンド P T S、 サブフレームレクタングル、 S F C C I、 サブフレームコントロー ルコンポ一ネンッ等を備える。
サブフ レーム情報 8 1 3 (サブフ レーム情報 # 1〜# n) において、 サブフ レ 一ムスタート P T Sは、 該サブフレームにより指定される画像情報の表示開始の P T Sを定める。 サブフレームエン ド P T Sは、 該サプフレームにより指定され る画像情報の表示終了の P T Sを定める。 サブフレーム レクタングルは、 サブフ レームの切り出し矩形領域を定め、 例えば、 左上の角と右下の角の座標を指定す る。
F Cし I (S u b— F r a m e C o n n t r o 1 C o m p o n e n t I n f o r m a t i o n) は、 本発明に係る 「種類指示情報」 の一例である。 例 えば、 各項目に 「 1」 が設定されることで、 その項目が指示する制御態様による サブフ レーム表示が可能であること、 或いは、 当該項目に対応する制御情報が存 在することを示す。 他方、 各項目に 「0」 が設定されることで、 その項目が指示 する制御態様によるサブフレーム表示が可能でないこと、 或いは、 当該項目に対 応する制御情報が存在しないことを示す。
また、 サブフレームコン トロールコンポ一ネンッは、 S F C C Iで存在の有無 或いは有効性の有無が示される各項目として、 具体的なサブフレーム表示の制御 態様の種類を指示す。 これは例えば、 2 D表示、 ポタン表示、 移動表示、 アルフ アブレンディング表示又はアルファ値による画像の混合表示、 陰影表示等の制御 態様を示す。 ' 図 2 3中、 右側下段部に示すように、 ΐί、ユーレクタングル 8 1 4は、 V x、 V y、 幅及び高さ、 及びその矩形の傾きを示す情報 (ビューアップベク トル U x 、 U y ) を示す情報を有する。 これは、 仮想直行座標系に配置されたサブフレーム (単数でも複数個であってもよい) を、 表示窓を透して見る際の表示窓の位置を 制御するためのものであって、 及び は、 表示窓の表示窓の参照点 (例え ばここでは左下隅) の座標を指定し (図 3 5参照)、 幅は表示窓の幅を指定し、 高 さは表示窓の高さを指定する。 また、 'ビューアップベク トルは、 表示窓の傾きを 示すべク トル情報を指定する。
次に図 2 4に示すように、 サブフレーム情報 (テーブル) 8 1 3、 即ちサブフ レーム情報 # l〜# nは、 複数のテーブルを備えて構成されている。
図 2 4中、 中央上段部に示すように、 サブフレームレクタングル (テーブル) 8 1 5は、 サプフレーム x l、 サブフレーム y l、 サブフレーム X 2及びサブフ レーム y 2の範囲を指定する情報を備える。 これらは、 例えばサブピクチヤから サブフレームを切り出すときの座標であって、 サブフレーム X 1及びサプフレー ム y 1は左上角の座標であり、 サブフレーム X 2及ぴサブフレーム y 2は右下角 の座標である。
図 2 4中、右側上段部に示すように、 S F C C I ビッ ト割当テーブル 8 1 6は、 3 2ビッ トから構成される。 各ビッ トは夫々、 その値 「0」 又は 「 1」 によって、 サプフレームを主映像上に表示するときの各種表示形態に係る制御情報の存否又 は有効無効を示す。 例えば "ビッ ト 0 " は、 2 D変換を行うためのサブピクチャ 制御情報の存否又は 2 D変換の有効無効を示す。 例えば "ビッ ト 1 " は、 ボタン 表示 (即ち、 S C Pボタンの表示) を行うためのサブピクチャ制御情報の存否又 はボタン表示の有効無効を示す。 例えば "ビッ ト 3 " は、 アルファプレンディン グを行うためのサブピクチャ制御情報の存否又はアルファプレンデイングの有効 無効を示す。 例えば、 "ビッ ト 4 " は、 シャ ドウ ドロッビングを行うためのサブピ クチャ制御情報の存否又はシャドウ ドロッビングの有効無効を示す。
図 2 4中、 右側下段部に示すように、 サブフレームコントロールコンポーネン ッ (テーブル) 8 1 7は、 S F C C I ビッ ト割当テーブル 8 1 6により存在或い は有効性が示されている、 各種のサブピクチャ制御情報の具体的な内容が記述さ れている。 例えば、 2 D表示、 ボタン表示等の具体的なサブピクチャ制御情報が 記述されている。
次に図 2 5に示すように、 サブフレームコン トロールコンポ一ネンッ (テープ ル) 8 1 7は、 複数のテーブルを備えて構成されている。
図 2 5中、中央上段部に示すように、 2 D変換コントロールコンポーネント (テ 一プル) 8 1 8は、 サプフレームコントロールコンポーネント識別情報、 TM1 1、 TM1 2、 TM2 1、 TM2 2、 TM3 1、 TM3 2等を備える。 サブフレ 一ムコントロールコンポーネン ト識別情報は、 当該 2 D変換に係るコンポ一ネン トであることを識別するための情報 (例えば、 当該 2D変換制御に割り当てられ た識別番号) である。 TM1 1〜は、 2 D変換コントロールで使用される、 変換 マトリ ックスの縦、 横の要素を指定する情報である。 このように構成された 2 D 変換コントロールコンポーネント 8 1 8に従って、 本実施例に係るサブピクチャ を用いた 2 D変換の表示が可能とされる。
図 2 5中、 右側上段部に示すように、 サブフレームポタンコントロールコンポ 一ネント (テーブル) 8 1 9は、 サブフレームコン トロールコンポーネント識別 情報、 サブフレームイニシャルボタン状態、 サブフレームボタンコマンド等を備 える。 サブフレームコントロールコンポーネント識別情報は、 当該サブフレーム ボタンに係るコンポーネントであることを識別するための情報 (例えば、 当該ボ タン制御に割り当てられた識別番号) である。 サブフレームイニシャルボタン状 態は、 初期状態におけるボタンの作動条件を示し、 サブフレームボタンコマンド は、 サブフレームのボタン操作に応じて実行されるべきコマンドを示す。 このよ うに構成されたサブフレームボタンコントロールコンポーネント 8 1 9に従って 本実施例に係るサプピクチャを用いた S C Pボタンの表示が可能とされる。 図 2 5中、 右側上寄中段部に示すように、 シャ ドウ ドロッビングコントロール コンポーネント (テーブル) 8 20は、 サブフレームコントロールコンポーネン ト識別情報、 シャ ドウオフセッ ト x、 シャ ドウオフセッ ト y、 シャ ドウ R、 シャ ドウ G、 シャ ドウ B等を備える。 なお、 シャ ドウ R、 シャ ドウ G、 シャ ドウ Bに 代わって、 輝度と色差情報と しても良い。 サブフレームコントロールコンポ一ネ ント識別情報は、 当該シャ ドウ ドロッビングに係るコンポーネントであることを 識別するための情報 (例えば、 当該シャ ドウ ドロッピング制御に割り当てられた 識別番号) である。 シャ ドウオフセッ ト Xは、 原画に基づく影の水平方向のオフ セッ トを指定し、 シャ ドウオフセッ ト yは、 原画に基づく影の垂直方向のオフセ ッ トを指定する。 夫々のオフセッ トは、 例えば、 ピクセル単位で設定される。 ま た、 シャドウ R、 シャ ドウ G及ぴシャ ドウ Bは、 陰影の色彩を指定する。 このよ うに構成されたシャ ドウ ドロッピングコントロールコンポーネント 8 2 0に従つ て、本実施例に係るサプピクチャのシャ ドウドロッビングの表示が可能とされる。 図 2 5中、 右側下寄中段部に示すように、 サブフレームレクタングルモーショ ンコントロールコンポーネント (テーブル) 8 2 1は、 サブフレームコントロー ルコンポーネント識別情報、プリディ レイ、ポス トディ レイ、 フレームステップ、 レッダ総数、 スプラインコントロール、 レッダ情報 # 1〜# n等を備える。 サブ フレームコントロールコンポーネント識別情報は、 当該サブフレームレクタンダ ルモーションコントロールに係るコンポーネントであることを識別するための情 報 (例えば、 当該レクタングルモーショ ン制御に割り当てられた識別番号) であ る。 レッダ総数は、 サブフレームがトレ スする経路の通過点の数を指定し、 ス プラインコントロールは、 サブフレームがトレースを開始する点と終了する点の 間の通過点をカーブして滑らかにトレースするための情報である。 この形態のト レースが指示されていなければ各通過点を直線的にトレ一スするように構成して もよい。 レッダ情報 # l〜# nは、 夫々の通過点に関する情報である。 このよう に構成されたサブフレームレクタングルモーションコントロールコンポーネント 8 2 1に従って、 本実施例に係るサブピクチャのレクタングルモーションが可能 とされる。
図 2 5中、 右側下段部に示すように、 2 D変換モーションコントロールコンポ 一ネント (テーブル) 8 2 2は、 サプフレームコントロールコンポーネント識別 情報、 プリディ レイ、 ポス トディ レイ、 フレームステップ、 レツグ総数、 スプラ インコントロール、 レツグ情報 # 1〜# n等を備える。 サブフレームコントロー ルコンポーネント識別情報は、 当該 2 D変換モーションコントロールに係るコン ポーネントであることを識別するための情報 (例えば、 当該 2 D変換モーショ ン 制御に割り当てられた識別番号) である。 プリディレイは、 サブフレームの表示 開始時刻から所定時間遅れて移動を開始する制御を指示する。 また、 ポス トディ レイは、 サブフレームの表示終了時刻から所定時間遅れて移動を開始する制御を 指示する。 フレームステップは、 動作の周期を指定する。 レツグ総数は、 サブフ レームがトレースする経路の通過点の数を表す。 スプラインコントロールは、 サ プフレームがトレースを開始する点と終了する点の間の通過点をカーブして滑ら かにトレースするか否かを指定する。 スプラインコントロールでは、 必ずしも通 過点を通るとは限らず、 その近傍を通ることもある。 このようなスプライン形態 のトレースが指示されていなければ、 各通過点を直線的にトレースする制御が行 われる。 レッダ情報 # l〜# nは、 夫々の通過点に関する情報が記述される。 こ のように構成された 2 D変換モーションコントロールコンポーネント 8 2 2に従 つて、 本実施例に係るサブピクチャの 2 D変換モーションが可能とされる。 次に図 2 6に示すように、 サブフレームレクタングルモーションコントロール コンポーネント (テーブル) 8 2 1は、複数のテーブルを備えて構成されている。 図 2 6中、 右側部に示すように、 レッダ情報 (テーブル) 8 2 3、 即ち、 レツ グ情報 # l ~ # nは、 リラティブロケーション x、 リラティブロケーション y、 リラティブスケーリング等を備える。 リラティブロケーション Xは、 現在の位置 から水平方向の通過点の位置関係を指示し、 リラティブロケーショ ン yは、 現在 の位置から垂直方向の通過点の位置関係を指示する。 また、 リラティブスケ一リ ングは、 現在のサイズから所定のサイズに変換する情報を備える。 このように構 成されたレツグ情報 8 2 3に従って、 本実施例に係るサブピクチャの表示位置や 表示サイズの変更が可能とされる。
次に図 2 7に示すように、 2 D変換モーションコントロールコンポーネント(テ 一プル) 8 2 2は、 複数のテープルを備えて構成されている。
図 2 7中、 右側部に示すように、 レッダ情報 (テーブル) 8 2 4、 即ちレッダ 情報 # l〜# nは、 ピボッ トポイント x、 ピボッ トポイント y、 リラティブロケ ーシヨン x、 リラティブロケーション y、 リラティブスケーリング、 リラティブ アングル等を備える。 ピボッ トポイントは、 サブフレームの移動動作中の拡大縮 小、 または回転における中心を指定する。 ピボッ トポイント Xは、 その中心の X 座標値を指定する。 ピボッ トポイント yは、 その中心の Y座標値を指定する。 リ ラティブロケーション Xは、 現在の位置からの水平方向の位置関係を指示し、 リ ラティブロケーション yは、 現在の位置からの垂直方向の位置関係を指示する。 また、 リラティブスケーリングは、 現在のサイズから所定のサイズに変換するた めの情報を備え、 また、 リラティブアングルは、 現在の角度から所定の角度に変 換するための情報を備える。 このように構成されたレッダ情報 8 2 4に従って、 本実施例に係るサプピクチャの表示位置や表示サイズの変更が可能とされる。 以上図 2 3〜図 2 7に説明したように、 本発明に係わるサブピクチャコントロ ールバケツ ト 8 1 0に格納される S Pコントロ一ル情報は、 階層的なデータ構成 を有する。
次に以上のように構成された階層的なデータ構成に基づいて、 実行される、 具 体的なサブフレームの各種表示制御について図 2 8から図 4 7を参照して説明す る。
先ず図 2 8を参照して、 サブピクチャからサブフレームを切り出す制御につい て説明する。 ここに図 2 8は、 サプピクチャからサブフレームを切り出す様子を 示す概念図である。
図 2 8において、 サブピクチャ 8 3 1は、 予め S Pデータ (静止画データ) と してサブピクチヤス ト リ一ムと して記録されており、 情報記録再生装置 5 0 0で 再生された後、 メモリ 5 4 0等に記憶される。 サブフレーム 8 3 2は、 係るサブ ピクチャ 8 3 1から、 このサプピクチヤス トリ一ムと異なる又は同一のエレメン タリース トリ一ム中から再生される S Pコン トロール情報(図 2 3〜図 2 7参照) に基づいて取り出された画像部分である。
例えば図 2 8では、 左上角の座檫を (X 1、 y 1 ) とし、 右下角の座標を (X 2、 y 2 ) として、 これを対角線とした矩形で設定している。 これらのサブフレ ーム 8 3 2の範囲の設定は、 サブピクチャコン トロールパケッ ト 8 1 0が読み出 された後、 その中のサプフレームコントロールパラメータ 8 1 2が参照され、 そ の中のサブフレーム情報 8 1 3 (サブフレーム情報 # 1〜# n ) が参照され、 そ の中のサブフレームレクタング /レ 8 1 5が参照され、その中のサブフレーム X 1、 サブフレーム y 1、サプフレーム X 2、サブフレーム y 2が参照されることで(図 2 3及ぴ図 2 4参照)、 設定される。 次に図 2 9を参照して、 同一のサプピクチャ (S Pデータ) から複数の相異な るサブフレームを切り出す制御について説明する。 ここに図 2 9は、 同一のサブ ピクチャから一又は複数のサプフレームを切り出す様子の三つの具体例を示す概 念図である。
図 2 9において、 "例 1 "のように、 サブピクチャ 8 3 1 とサブフレーム 8 3 2 とが同一となるように切り出されてもよい。
"例 2 " のように、 サブピクチャ 8 3 1の少なく とも一部がサブフレーム 8 3 2 a とされるように切り出されてもよい (上部分参照)。 或いは、 夫々分離した複 数のサブフレーム 8 3 2 b、 8 3 2 c及び 8 3 2 dが切り出されてもよい (下部 分参照)。
"例 3 " のように、 複数のサプフレーム (例えば、 サブフレーム 8 3 2 a とサ プフレーム 8 3 2 e ) が重なり合うように切り出されてもよい (上部分参照)。 或 いは、 一方のサブフレームの中に他のサブフレーム (例えばサブフレーム 8 3 2 f とサブフレーム 8 3 2 g ) が存在するように、 切り出されてもよい (下部分参 照)。
以上のような各種のサブフレームは、 図 2 8の場合と同様に、 サブピクチャコ ントロールパケッ ト 8 1 0の階層構造内に含まれている、 サブフレーム X 1、 サ プフレーム y l、 サプフレー λ χ 2、 サブフレーム y 2が参照されることで (図 2 3及び図 2 4参照)、設定される。 このように同一のサブピクチヤから各種のサ ブフレームを切り出すことが可能である。
次に図 3 0を参照して、 切り出されたサプフレームの記録形式について説明す る。 ここに図 3 0は、 サブフレームの表示配置について示す概念図である。
図 3 0に示すように、 上述の如くサブフレームの切り出し処理では、 切り出さ れたサプフレーム 8 3 2 a〜サブフレーム 8 3 2 gをサブフレームとしての座標 ( x L ) 及び座標 (y L ) に移植して記憶する処理が行われる。 即ち、 情報記録再 生装置 5 0 0では、 全てのサプフレーム 8 3 2は、 サブピクチャ 8 3 1の何れの 範囲で矩形に切り出してきたとしても、 図 3 0に示す座標に変換されて記憶され るのである。 ここでは、 サブフレーム 8 3 2の左下角が座標 (X L:)、 座標 (y L ) の原点とされた形式で記憶される。 次に図 3 1を参照して、 サブフレーム座標系から主映像仮想座標系への変換処 理について説明する。 ここに図 3 1は、 サブフレーム座標系におけるサブフレー ムとこれらのサプフレームで構成された主映像の主映像仮想座標系における配置 とを示す概念図である。
図 3 1に例示するように、 各々がサブフレーム座標系 (Xい y L ) に変換され て記憶された複数のサブフレーム (図中、 左半面参照) が、 主映像仮想座標系 (X w、 y w) に変換されることで、 一つの画像 (図中、 右半面参照) が合成される。 ここでは、 夫々のタイヤやボディのサブフレーム画像は、 自動車の画像が形成さ れるように、 主映像仮想座標系 (x w、 y w ) に変換されて表示されている。 これ らの表示制御を行うための S Pコントロール情報は、 サブピクチャコントロール パケッ ト 8 1 0内に記述されている (図 2 3〜図 2 7参照)。 サブピクチャコント ロールパケッ ト 2 1 0内の各種制御情報の記述によっては、 例えば後輪は横に置 かれている状態に表示することも容易であり、 各タイヤの画像を回転させること も可能である。
図 3 1に例示した表示は、 既に設定されているタイヤやボディのサブフレーム を用いて、 例えばサプピクチヤコントロールパケッ ト 8 1 0が読み出された後、 その中のサブフレームコントロールパラメータ 8 1 2が参照され、 その中のサブ フレーム情報 8 1 3が参照され、 その中のサブフレームコントロールコンポーネ ンッ 8 1 7が参照されることで (図 2 3参照)、 行われる。 このよ うに形成された 主映像上での配置も、 主映像仮想座標系 (x w、 y w ) において任意に設定するこ とができる。
次に図 3 2を参照して、 2 D変換モーショ ン制御について説明する。 ここに、 図 3 2は、 サブフレームの主映像座標系における、 平行移動を伴う表示形態につ いて示す概念図である。
図 3 2に例示するように、 2 D変換モーショ ン制御では、 任意のサブフレーム 8 3 7が主映像仮想座標系 (x w、 y w) においてサブフレーム 8 3 7の画像のま まで平行移動される。 サブフレーム 8 3 7は、 所定のサプピクチャから切り出さ れたものである。 このようなサブフレ ム 8 3 7の表示は、 例えばサブピクチャ コント口 ^ルバケツ ト 8 1 0が読み出された後、 その中のサブフレームコント口 ールパラメータ 8 1 2が参照され、その中のサブフレーム情報 8 1 3が参照され、 その中のサブフレームコントロールコンポ一ネンッ 8 1 7が参照され、 その中の 2 D変換モーシヨンコンポーネント 8 2 2が参照されることで (図 2 3〜図 2 5 参照)、 行われる。
次に図 3 3を参照して、 サブフレームの画像サイズの変更制御及ぴレクタング ルモーション制御について説明する。 ここに、 図 3 3は、 サブフレームの主映像 座標系における、 画像サイズの変更、 及び平行移動を伴う表示形態について示す 概念図である。
図 3 3に例示するように、 画像サイズの変更制御及び 2 D変換モーショ ン制御 では、 任意のサブフレーム 8 3 7が主映像座標系 (x w、 y w) において、 そのサ ィズが縮小 (拡大でも同様) され且つ平行移動されて、 画像 8 3 8 とされる。 初 めのサブフレーム 8 3 7は、 所定のサブピクチャから切り出されたものである。 このような画像 8 3 7から画像 8 3 8の表示は、 例えばサブピクチャコントロー ルバケツ ト 8 1 0が読み出された後、 その中のサブフレームコントロールパラメ ータ 8 1 2が参照され、 その中のサブフレーム情報 8 1 3が参照され、 その中の 2 D変換モーションコンポーネント 8 2 2が参照され、 その中のサブフレームレ クタングルモーショ ンコンポーネント 8 2 1が参照され、 その中のレッダ情報 8 2 4が参照されることで (図 2 3〜図 2 6参照)、 行われる。 即ち、 レッダ情報 8 2 4に含まれるリラティブスケーリング等に基づいて表示することでサプフレ一 ム 8 3 7から画像 8 3 8が表示される。 このときレッダ情報 8 2 4 (即ち、 レツ グ情報 # l〜# n ) は、 始点と終点のみを指示しており、 それらの間は、 サブフ レームが直線的に移動するように表示制御される。
次に図 3 4を参照して、 サブフレームの回転を伴う 2 D変換モーション制御に ついて説明する。 ここに、図 3 4は、サブフレームの主映像仮想座標系における、 画像の回転を伴う表示形態について示す概念図である。
図 3 4に例示するように、 回転を伴う 2 D変換モーショ ン制御では、 任意のサ プフレーム 8 3 7が、 主映像仮想座標系 (x w、 y w) においてサブフレーム 8 3 7の画像のままで回転移動される。 初めのサブフレーム 8 3 7は、 所定のサプピ クチャから切り出されたものである。 このようなサブフレーム 8 3 7の回転表示 は、 例えばサプピクチャコントロールパケッ ト 8 1 0が読み出された後、 その中 のサプフレームコント口一 <;レパラメータ 8 1 2が参照され、 その中のサブフレー ム情報 8 1 3が参照され、 その中のサブフレームコントロールコンポ一ネンッ 8 1 7が参照され、 その中の 2 D変換モーショ ンコントロールコンポーネント 8 2 2が参照され、 更にその中のレツグ情報 8 2 4 (レツグ情報 # l〜# n ) が参照 され、 その中のピボッ トポイント X、 ピボッ トポイント y、 リラティブアングル 等が参照されることで (図 2 3〜図 2 7参照)、 行われる。
次に図 3 5を参照して、 サブフレームの表示窓 (ビューレクタンダル) 制御に ついて説明する。 ここに、 図 3 5は、 サブフレームの主映像仮想座標系における 配置と、 表示窓による表示形態について示す概念図である。
図 3 5に例示するように、 サブフレーム 8 3 7 (単数でも複数個であっても良 レ、) が所定のサブピクチヤから切り出され、 主映像仮想座標系 (x w、 y w) の所 定の位置に配置される。 この配置までの処理は、 2 D変換コントロールコンポ一 ネント 8 1 8の情報に従って行われ、 さらには図 3 2、 図 3 3、 図 3 4等を参照 して説明した方法により行われる場合もある。更にこの主映像仮想座標系(x w、 y w) にビューレクタングル、 即ち表示窓をかけ、 そのピューレクタングルを移 動することで主映像仮想座標系 (x w、 y w) に配置されたサブフレーム 8 3 7の ビューレクタングルがカバーする領域の画像を表示する処理が行われる。 また、 このようなビューレクタンダルを用いる表示は、 例えばサブピクチャコントロー ルパケッ ト 8 1 0が読み出された後、 その中のサブフレームコントロールパラメ ータ 8 1 2が参照され、 その中のビューレクタンダル 8 1 4が参照され、 その中 の V x、 V y、 幅、 高さ等が参照されることで (図 2 3参照)、 行われる。
この例では更に、 V x、 V y、 幅、 高さ等を時間と共に変化させることによつ て、 ビューレクタンダルがカバーする領域を変化させるように制御してもよレ、。 次に図 3 6を参照して、 サブフレームの画像サイズの変更、 及び回転を伴う表 示制御について説明する。 ここに、 図 3 6は、 サブフレームの主映像仮想座標系 における、 画像サイズの変更、 及ぴ回転を伴う表示形態について示す概念図であ る。
図 3 6に例示するように、 任意のサブフレーム 8 3 7が主映像仮想座標系 (X w、 y w) において、 そのサイズが順次縮小 (順次拡大でも同様) され且つ回転移 動されて、 画像 8 3 9及ぴ画像 8 4 0を経て、 画像 8 4 1 とされる。 初めのサブ フレーム 8 3 7は、 所定のサブピクチヤから切り出されたものである。 このよう なサブフレームの表示は、 例えばサブピクチャコントロ一ルバケツ ト 8 1 0が読 み出された後、その中のサブフレームコントロールパラメータ 8 1 2が参照され、 その中のサブフレーム情報 8 1 3が参照され、 その中のサブフレームコントロー ルコンポ一ネンッ 8 1 7が参照され、 その中の 2 D変換モーシヨンコントロール コンポーネント 8 2 2が参照され、 更にその中のレッダ情報 8 2 4 (レッダ情報 # l〜# n ) が参照され、 その中のピボッ トポイント X、 ピボッ トポイント y、 リラティブロケーション x、 リラティブロケーション y、 リラティブスケーリン グ、リラティブアングル等が参照されることで(図 2 3〜図 2 7参照)、行われる。 ここでは、 画像 8 3 9、 8 4 0及び 8 4 1は、 リ ラティブアングルで設定される 所定の角度に基づいて配置され、 リラティブスケーリングで設定される縮尺に基 づいて順次表示される。
次に図 3 7を参照して、 サブピクチャ内でのサブフレームの移動による表示制 御、即ちサブフレームレクタングルモ一ションによる表示制御について説明する。 ここに、 図 3 7は、 サブピクチャ内におけるサブフレームの移動に伴う表示形態 について示す概念図である。
図 3 7に例示するように、 サブピクチャ 8 3 1から所定の規則に従ってサブフ レーム 8 3 7、 8 4 2、 8 4 3が順次切り出される。 そして、 これらが主映像仮 想座標系 (x w、 y w) に順次表示される。 このようなサブフレームの表示は、 例 えばサブピクチャコントロールパケッ ト 8 1 0が読み出された後、 その中のサブ フレームコント口一 ^^パラメータ 8 1 2が参照され、 その中のサブフレーム情報 8 1 3が参照され、 その中のサブフレームコントロールコンポーネント 8 1 7が 参照され、 その中のサブフレ一ムレクタングルモーショ ンコントロールコンポ一 ネント 8 2 1が参照され、 その中のレツグ情報 8 2 3が参照され、 サブフレーム レクタングル 8 1 5で指定されたサブフレームの初期位置からのリラティプロケ ーシヨン X、 リラティブロケーション y、 リラティブスケーリ ング等が参照され ることによって (図 2 4〜図 2 6参照)、 行われる。 次に図 3 8を参照して、 サブフレームの主映像仮想座標系における、 移動経路 に伴う表示制御について説明する。 ここに、 図 3 8は、 サブフレームの主映像仮 想座標系における、 移動経路に伴う表示形態について示す概念図である。
図 3 8に例示するように、 サブフレームは、 設定された経路上を移動させられ る。 特に、 同図 ( a ) では、 サブフレームは、 開始点から終了点の間に設けられ た通過点 1及び通過点 2を直線的に結んだ経路上を移動させられる。 同図 (b ) では、 サブフレームは、 開始点から終了点の間に設けられた通過点 1及び通過点 2に対してスプライン補間された経路上を移動させられる。 このよ うな通過点や 直線的移動、 スプライン補間された移動等の表示情報は、 サブピクチャコント口 —ルバケツ ト 2 1 0内に記述される。また、通過点は上記 2点に限ることはなく、 更に多くの通過点を設定しても良いことは当然である。 このようなサブフレーム の表示は、 例えばサブピクチャコントロールバケツ ト 8 1 0が読み出された後、 その中のサブフレームコント口ールパラメータ 8 1 2が参照され、 その中のサブ フレーム情報 8 1 3が参照され、 その中のサプフレームコントロールコンポーネ ンッ 8 1 7が参照され、 その中のサブフレームレクタングルモーショ ンコント口 ールコンポーネン ト 8 2 1、 あるいは、 2 D変換モ一シヨ ンコンポーネン ト 8 2 2が参照され、 その中のスプラインコントロール等が参照されることで (図 2 3 から図 2 5参照)、 行われる。
以上図 2 3から図 3 8を参照して詳細に説明した各種表示形態に係わる S Pデ ータと S Pコントロール情報とは、 ディスク 1 0 0に記録されているエレメンタ リース トリームとして、 情報記録再生装置 5 0 0によって再生されて読み込まれ る。 読み込み処理は、 例えば図 1 9に示すフローチャートを参照して説明したォ プジヱク トの再生処理の一環として行われる。 この際、 S Pデータは、 サブピク チヤコントロールバケツ ト 2 1 0内の S Pコントロール情報に従って切り出され、 各種の加工が施されて上述したように主映像上に表示される。
本実施例では、 図 2 3から図 3 8を参照して説明した S Pコントロール情報に よるボタン (即ち、 図 2 5のサブフレームボタンコントロールコンポーネント 8 1 9に基づき制御される 「S C Pボタン J ) の表示と、 図 2 0〜図 2 2を参照して 説明した S Pデータのへッダ情報として機能する構造情報内に設けられた情報に よるポタン (即ち、 図 20 (b) の S Pデータ構造 7 2 2により表示及ぴ制御可 能な 「S PDボタン」) の表示とが可能である。 本実施例では、 このような 「S C Pポタン」 と 「S PDボタン」 とは、 いずれか一方のみを採用してもよいし、 両 方を採用して適宜使い分けるようにしてもよい。 以下の説明では、 「 S PDボタ ン」 に必要な S Pデータのヘッダ情報 (構造情報) 内のボタン制御情報を適宜、 「S PDボタン情報」 と称し、 両者を区別する。
次に、 描画コントロールパラメータの取得の一例について、 図 3 9のフローチ ヤートを参照して説明する。 ここに、 図 3 9は描画コントロールパラメータの取 得の流れを示すフローチャートである。 また、 図 3 9中では、 サブピクチャコン トロールパケッ ト 8 1 0 (図 2 3参照) を、 " S C P" で代用して略記する。 尚、 本実施例に係る 「描画コントロールパラメータ」 とは、 図 2 3に示した S Pコン トロール情報を構成する、 S Pコントロールパケッ ト内に格納された各種 のサブフレームコントロールパラメータのうち、 特に描画に係るパラメータのこ とを指す。 例えば、 図 2 3等に示したサブフレームコントロールパラメ一タ 8 1 2の全てが、 描画コントロールパラメータであってもよいし、 前者は、 後者の他 のパラメータを含んでいてもよい。
図 3 9において先ず、 S C Pヘッダから S PD ( S Pデータ) ボタンの数 (N) を取得し (ステップ S 1 0 1 )、 S PDポタンの数 (N) 力 S "0" より大きいか否 かを判別する (ステップ S 1 0 2)。 ステップ S 1 0 2で S PDボタンの数 (N) 力 S " 0 " より大きくなければ (ステップ S 1 0 2 : N o )、 即ち S P Dボタン情報 はないのでステップ S 1 0 5に進む。 一方、 大きければ (ステップ S 1 0 2 ; Y e s )、 全ての S PDボタン情報 (N個) を取得し (ステップ S 1 0 3)、 更に S PDポタンのハイライ ト情報を取得する (ステップ S 1 04)。 このハイライ ト情 報は、 これが予め記述された S Pデータのヘッダ情報或いはその構造情報内から 取得してもよい。 又はこれが予め記述された S Pコントロール情報内から取得し てもよレヽ (例えば、 この場合には、 図.2 3に示したサブフレームコント口一ルパ ラメータ 8 1 2内のサプフレ ムハイライ トスキームを取得する)。 その後、 S P コントロール情報からサブフレームの数 (M) を取得する (ステップ S 1 0 5)。 次に、 サプピクチャコントロールパラメータ 8 1 2 (図 2 3参照) 内から、 サ ブフレームの表示開始 P T Sと表示終了 P T Sを取得し (ステップ S 1 0 6)、 ま たサブフレームの S Pデータ上での位置情報を取得し (ステップ S 1 0 7)、 S F C C I のチェックとサブフレームコントロールコンポーネントの取得をする (ス テツプ S 1 0 8)。 その後、 全てのサブフレームの情報 (M個) を取得したか否か を判別し (ステップ S 1 0 9)、 未だ、 全てのサブフレームの情報を取得していな ければ (ステップ S 1 0 9 : N o)、 ステップ S 1 0 6からサブフレームに関する 各種情報の取得を繰り返す。
全てのサプフレームの情報を取得していれば (ステップ S 1 0 9 : Y e s )、 サ プフレームボタンが存在するか否かを判別し (ステップ S 1 1 0)、 サブフレーム ポタンが存在しなければ (ステップ S 1 1 0 : N o)、 ステップ S 1 1 2に進む。 一方、 サプフレームボタンが存在すれば (ステップ S 1 1 0 : Y e s;)、 サブフレ ームポタンのハイライ ト情報を取得する (ステップ S 1 1 1 )。 次に表示対象領域 を取得し (ステップ S 1 1 2)、 描画コントロールパラメータの取得を終了する。 以上、 S P Dボタンに関連するパラメ一タの取得、 及び描画コントロールパラ メータの取得に関する動作の流れであるが、 他のパラメータの取得についてもそ のパラメータに適した取得の手順で取得される。
次に、図 3 9のステップ S 1 0 8における S F CC Iのチェックと S F CC (サ ブフレームコントロールコンポーネント) の取得の動作の一例について、 図 4 0 のフローチヤ一トを参照して説明する。尚、ここでの S F CC Iのビッ ト構成は、 例えば、 図 24の右側上段部に示した S F C C I ビッ ト割当テーブル 8 1 6に示 された通りの、 ビッ ト 0 (L S B) 〜ビッ ト 3 1 (MS B) であるとする。
まず、 S F C C I ビッ ト 0が 「 1」 であるか否かを判別する (ステップ S 2 0 1 )。 ビッ ト 0が 「 U でなければ (ステップ S 2 0 1 : N o)、 ステップ S 2 0 3に進み、 ビッ ト 0力 S 「 1」 であれば (ステップ S 20 1 : Y e s:)、 変換コント ロールコンポーネントが存在する又は有効であることになるので、 これを取得す る (ステップ S 20 2 )。
次に S F CC I ビッ ト 1が「1」であるか否かを判別する(ステップ S 2 0 3 )。 ビッ ト 1力 S 「 1」 でなければ (ステップ S 2 0 3 : N o)、 ステップ S 20 5に進 み、 ビッ ト 1力 S Γ 1 J であれば (ステップ S 20 3 ; Y e s )、 サブフレームボタ ンコントロールコンポーネントが存在する又は有効であることになるので、 これ を取得する (ステップ S 2 0 4 )。
次に S F C C I ビッ ト 4が「 1 Jであるか否かを判別する(ステップ S 2 0 5 )。 ビッ ト 4カ 「 1」 でなければ (ステップ S 2 0 5 : N o )、 ステップ S 2 0 7に進 み、 ビッ ト 4が 「 1」 であれば (ステップ S 2 0 5 : Y e s )、 シャ ドウドロツビ ングコントロールコンポーネントが存在する又は有効であることになるので、 こ れを敢得する (ステップ S 2 0 6 )。
次に S F C C I ビッ ト 8が「 1 jであるか否かを判別する(ステップ S 2 0 7 )。 ビッ ト 8カミ 「 1」 でなければ (ステップ S 2 0 7 : N o )、 ステップ S 2 0 9に進 み、 ビッ ト 8力 S 「 1」 であれば (ステップ S 2 0 1 : Y e s ) サプフレームレク タングルモーションコントロールコンポーネントが存在する又は有効であること になるので、 これを取得する (ステップ S 2 0 8 )。
次に S F C C I ビッ ト 9が「 1」であるか否かを判別する(ステップ S 2 0 9 )。 ビッ ト 9が「 1」でなければ(ステップ S 2 0 9 : N o )、一連の処理を終了する。 他方、 ビッ ト 9力 S 「 1」 であれば (ステップ S 2 0 9 : Y e s )、 変換モーション コントロールコンポーネントが存在する又は有効であることになるので、 これを 取得し (ステップ S 2 1 0 )、 一連の処理を終了する。
以上説明したようにして、 S F C C I によってその存在又は有効性が認められ るサブフレームコントロールコンポーネントの取得が行われる。 この例では、 ビ ッ ト 0、 ビッ ト 1、 ビッ ト 4、 ビッ ト 8、 ビッ ト 9についてチェックしたが、 必 要があれば S F C C I ビッ ト割当テーブル 8 1 6 (図 2 4参照) に載せられた他 のビッ トについても同様の手順によってチェックが行われることは当然である。 次にサブフレーム描画処理について図 4 1〜図 4 4のフローチャー トを参照し て説明する。 尚、 これらのフローチャートは、 一連のフローチャートであり、 そ れらの間におけるフローの接続関係は、 ①、 ②、 …のように丸付き数字で示され ている。
図 4 1において先ず、 有効な変換コントロールコンポーネントの取得ができた か否かを判別する (ステップ S 3 0 1 )。 取得ができた場合 (ステップ S 3 0 1 : Y e s )、変換コントロールコンポーネン卜から取得したパラメータをサブフレー ムの座標変換行列にセッ トする (ステップ S 3 0 2)。 取得できなかった場合 (ス テツプ S 3 0 1 : N o)、単位行列をサブフレームの座標変換行列としてセッ トす る (ステップ S 3 0 3)。次に有効なサブフレームポタンコントロールコンポーネ ントの取得ができたか否かを判別する (ステップ S 3 04)。
ステップ S 3 04で取得ができた場合 (ステップ S 3 04 : Y e s )、 サプフレ ームボタンの初期状態に対応するハイライ トに必要なパラメータを取得する (ス テツプ S 3 0 5)。 ここでは例えば、図 2 3に例示したサプフレームコントロール パラメータ 8 1 2内のサブフレームハイライ トスキーム (テーブル) を取得し、 これにより指定された初期にアクティブとされるボタンの識別番号情報等を取得 する。
次にサブフレームボタンが押されたときに実行されるコマンドを取得し (ステ ップ S 3 0 6 )、 図 4 3のステップ S 5 0 1に進む。
一方、 ステップ S 3 04で取得できなかった場合 (ステップ S 3 04 : N o)、 図 4 2のステップ S 4 0 1に進む。
図 4 2において、有効な S PDボタン情報の取得ができたか否かを判別する(ス テツプ S 40 1 )。 取得できた場合 (ステップ S 4 0 1 : Y e s;)、 S P Dボタン の初期状態に対応するハイライ トに必要なパラメータを取得する (ステップ S 4 0 2)。次に S P Dポタンが押されたときに実行されるコマンドを取得し (ステツ プ S 4 0 3)、 図 4 3のステップ S 5 0 1に進む。 一方、 ステップ S 4 0 1で取得 できなかった場合も (ステップ S 40 1 : N o)、 図 4 3のステップ S 5 0 1に進 む。
次に図 4 3のステップ S 5 0 1において有効なシャ ドウドロッビングコンポ一 ネントの取得ができたか否かを判別する (ステップ S 5 0 1 )。 取得ができた場合 (ステップ S 5 0 1 : Y e s )、 影を付ける対象の情報を取得し (ステップ S 5 0 2 )、 影の水平、 垂直方向へのオフセッ ト情報を取得し (ステップ S 5 0 3)、 影 の色情報を取得し (ステップ S 5 04)、 その他の情報を取得する (ステップ S 5 0 5)。その後、ノ ックグラウンドパッファに影を描写して(ステップ S 5 0 6 )、 図 44のステップ S 6 0 1に進む。 一方、 ステップ S 5 0 1で取得できなかった 場合も (ステップ S 5 0 1 : N o)、 同様に図 44のステップ S 6 0 1に進む。 次に図 44のステップ S 6 0 1において有効な変換モーションコントロールコ ンポーネントの取得ができたか否かを判別する (ステップ S 6 0 1 )。取得ができ た場合 (ステップ 6 3 0 1 : Y e s )、 変換モーションコントロールコンポーネン トのパラメータとサブフレーム表示時間情報を使用して変換行列の各要素の増分 値を計算し (ステップ S 6 0 2)、 ステップ S 6 0 3に進む。 一方、 ステップ S 6 0 1で取得できなかった場合も (ステップ S 6 0 1 : N o)、 同様にステップ S 6 0 3に進む。
次にステップ S 6 0 3において有効なサブフレームレクタングルモ一シヨ ンコ ントロールコンポーネントの取得ができたか否かを判別する(ステップ S 6 0 3 )。 取得ができた場合 (ステップ S 6 0 3 : Y e s )、 サブフレームレクタンダルモー シヨンコントロールコンポーネントのパラメータとサブフレーム表示時間情報を 使用して移動すべきサブフレーム座檫の增分値を計算し (ステップ S 604)、 ス テツプ S 6 0 5に進む。 一方、 ステップ S 6 0 3で取得できなかった場合も (ス テツプ S 6 0 3 : N o)、 同様にステップ S 6 0 5に進む。
次にバックグラウンドバッファにサブフレームのイメージを描画し (ステップ S 6 0 5 )、 サプフレームの表示開始 P T Sを待って (ステップ S 6 0 6 )、 ノ ッ クグラウンドバッファの描画イメージをフォアグラウンドに出力する (ステップ S 6 0 7)。次にサブフレームの表示終了 P T Sであるか否かを判別し (ステップ S 6 0 8 )、 表示終了 P T Sがあれば一連の描画を終了する。
—方、 ステップ S 6 0 8において表示終了 P T Sでなければ (ステップ S 6 0 8 : N o )、サブフレームレクタングノレモーシヨ ンコント口ールコンポーネン ト力 ら求めたパラメータの增分値があれば、 それを加算し (ステップ S 6 0 9 )、 次に 変換モーショ ンコン トロールコンポーネントから求めたパラメータの増分値があ れば、それを加算し(ステップ S 6 1 0)、次に描画パラメータに変更がある場合、 新しいパラメータを使用してバックグラウンドバッファにサブフレームのィメ一 ジを描写し (ステップ S 6 1 1)、 ステップ S 6 0 7に戻って以降の処理を繰り返 す。
以上、 図 4 1〜図 44のフローチャートを参照して説明したように、 一連のサ プフレームの描画処理が行われる。 尚、 描画処理の流れは上述したことに限るこ とは無く、 同様の処理が可能であれば、 処理の項目、 処理の順序等、 任意の方法 を取ることが可能である。
(シャ ドウ ドロッビングの表示例)
図 4 5を参照して、 表示される文字等に陰影をつけ、 或いはサブフレームに陰 影をつける 「シャ ドウ ドロッビング」 の表示制御について説明する。 ここに、 図 4 5は、 シャ ドウ ドロッビング表示について示す概念図である。
図 4 5において、 左側の 2つの表示例は、 透明な背景中にある不透明な文字を 有するサブフレームに対するシャ ドウドロッビングを示し、 同図右側の 2つの例 は、 全体が不透明なサブフレームに対するシャ ドウ ドロッビングを示す。 また、 同図上側の 2つの例はぼかし処理が影に対してなされていないシャ ドウドロツビ ングを示し、 同図下側の 2つの例は影に対してぼかし処理されたシャ ドウ ドロッ ビングを示す。
サブフレームの透明な背景中にある不透明な文字に対して陰影をつける場合、 主映像上で立体的に浮き出た文字や図形として表示され、 或いはサブフレーム全 体が不透明な場合はサプフレーム全体或いはサブフレームの外枠に陰影が付与さ れた映像が主映像上に表示される。 尚、 透明度を表すものと して 「アルファ値」 があり、 2値でも多値 (例えば 2 5 5段階) でも良い。 2値の場合、 例えば 「O J を透明、 「 1」 を不透明に対応させる。 多値の場合、例えば「0」 を透明、最大値、 例えば 「 2 5 5」 を不透明とし、 中間値は夫々の値に対応した透明度を与える。 また、 陰影を加える形態として、 不透明な部分にオフセッ ト値をかけて、 陰影 を付けたい方向と量を加え、 また、 投影される背景の角度を制御することによつ て効果的な陰影が得られる。 また、 陰影は黒色に限らず、 R G Bの信号を任意の 割合で混合することで、 色彩に富んだ陰影が得られる。 更にサブフレーム全体の 透明度とそれに対応して陰影を付加することで効果的な陰影が得られる。
上述したシャドウドロッビングの表示制御は、 図 2 5に示したサブフレームコ ントロールコンポーネンッ 8 1 7内のシャ ドウ ドロッビングコン ト口ールコンポ ーネント 8 2 0に記述されている。 即ち、 このコンポーネントカ: >ら、 シャ ドウ ド ロッビングを行う際に具体的に必要な、 オフセッ ト量や位置、 陰影の色等の情報 が取得でき、 これらに基づいて陰影の付加が行われる。 そして、 図 2 4に示した S F C C I ビッ ト割当テーブル 8 1 6上において、 ビッ ト 4のシャ ドウドロッピ ングを参照することによって、 当該シャ ドウ ドロッピングコントロールコンポ一 ネント 8 2 0の存在又は有効性が識別される。
また、 図 4 0に示す S F C C I のチェックとサブフレームコントロールコンポ ーネントの取得の流れのステップ S 2 0 6にシャ ドウ ドロッビングに関する制御 情報の取得についての記述があり、 描画コントロールパラメータの取得に関する 図 4 3のステップ S 5 0 1〜ステップ S 5 0 6に図 4 5に例示した如き陰影を付 ける工程が記述されている。
(ボタンの表示例)
図 4 6を参照して「ボタン」 の表示制御について説明する。 ここに、図 4 6 ( a ) は、 サブフレームとボタンの映像範囲を示し、 図 4 6 ( b ) は、 ボタンのアルフ ァ値に基づく画像を示し、 図 4 6 ( c ) は、 ボタンと して機能する領域を示す図 である。
例えば図 4 6 ( a ) に示すように、 ボタンの図柄を含む S Pデータの一部分を サブフレームとして切り出して、 このサプフレームをボタンとして機能させるた めのボタン情報 (即ち、 ボタンの範囲を規定するポタン位置情報など) は、 例え ば 「S P Dポタン」 の場合には、 S Pデータに付加されたヘッダ情報に含まれ、 例えば 「S C Pポタン j の場合には、 S Pコントロール情報に含まれる。
このようなボタン情報によって、 図 4 6に示したポタンの機能が規定される。 例えば、 ボタンの機能の種類として、 プッシュボタン、 トグルボタン、 排他的ボ タン等がある。 これらのボタンの操作は表示されているボタン画像に対して、 リ モコン操作、 音声入力操作、 画面に対するタツチ操作、 キーボード操作等によつ て行われる。
この際、 サプフレーム全体をポタンとして機能させるのではなく、 図 4 6 ( b ) に示すように、 サブフレームのうちアルファ値によって不透明とされる領域のみ を、 図 4 6 ( c ) に示すように切り出して、 ボタン映像部分 (即ち、 ポタンとし て操作可能な領域) として機能させることも可能である。 即ち、 この場合には、 アルファ値を参照して、 これが不透明を示している座標領域についてのみ、 上述 したボタン情報によってボタンとして機能させる制御を実行することになる。 伹 し、 簡単のため、 図 4 6 ( a ) に示したサブフレーム全体をボタンとして機能さ せることも可能である。
このようなボタンについては、 ハイライ ト制御を行うことも可能である。 例え ば、 図 2 3に示したサブフレームコント口一ルパラメータ 8 1 2内のサブフレー ムハイライ トスキーム、 若しくはこれに加えて又は代えて、 図 2 5に示したサブ フレームポタンコントローノレコンポーネント 8 1 9中のサブフレームボタンコマ ンドやその他の情報等に従って、 このようなボタンに対するハイライ トが行われ る。 ハイライ ト表示がなされることで、 現在押下されているボタン、 現在選択さ れているポタン、 現在選択可能であるが選択されていないボタン、 現在選択不可 能なボタンなどを明瞭に表示することが可能となる。押されていることに限らず、 機器の現在の作動中で選択可能なボタン群を所定のハイライ トで表示するように しても良く、 ポタンの種々な状態に対応してハイライ ト表示をすることで、 その 状態をユーザに知らせることが可能である。
サブフレームハイライ トスキーム等により規定されるハイライ ト表示制御の仕 方としては、 ポタンの状態に応じて、 輝度を変化させる、 コントラス トを変化さ せる、 逆陰影を付与するなど、 ハイライ ト表示すべきボタンを他のボタン或いは 他の部位と比べて目立つように表示することで行われる。
上述したボタンの表示制御は、 S C Pボタンの場合には、 例えば、 図 2 3に示 したサブフレームコントロールパラメータ 8 1 2内のサブフレームボタン総数、 図 2 5に示したサプフレームボタンコント口ールコンポーネント 8 1 9内のサブ フレームイニシャルポタン状態、 サプフレームボタンコマンド等のポタン情報に 記述されている。 そして、 図 2 4に示した S F C C I ビッ ト割当テーブル 8 1 6 上において、 ビッ ト 1のサブフレームボタン情報を参照することによって、 当該 サブフレームポタンコントロールコンポーネント 8 1 9の存在又は有効性が識別 される。
他方、 上述したボタンの表示制御は、 S P Dボタンの場合には、 例えば図 2 0 ( b ) に示した S Pデータに付加されたボタン情報に記述されている。 具体的に は、 例えば、 図 2 0 ( b ) に示した S Pデータ構造 7 2 2内における、 構造情報 又は S Pデータ内の "その他の情報" 内に記述される。 また、 ハイライ ト情報についても、 S C Pボタン及び S P Dポタンの区別を問 わずに、 S Pコントロール情報内に、 各ポタン情報と対応付けられる形で記述さ れてもよい。 或いは、 各 S Pデータのヘッダ情報內 (或いはその構造情報又はそ の他の情報内など) に、 各ポタン情報と対応付けられる形で記述されてもよい。 いずれの場合に合っても、 ポタン情報による制御とハイライ ト情報によるハイラ ィ ト制御とを連動して実行することで、 ボタンに対するハイライ ト表示が可能と なる。
また、 図 3 9の描画コントロールパラメータの取得の流れの中で、 ステップ S 1 0 1力 らステップ S 1 0 4、 ステップ S 1 1 0からステップ S 1 1 1、 及び、 図 4 0の S F C C I のチェックとサブフレームコン トロールコンポーネントの取 得の流れのステップ S 2 0 3〜ステップ S 2 0 4、 更に図 4 1のサプフレーム描 画処理の流れのステップ S 3 0 4〜ステップ S 3 0 6、 図 4 2のステップ S 4 0 1〜ステップ S 4 0 3に、 図 4 6に例示したボタン制御を行う工程が記載されて いる。
次に図 4 7を参照して、 ボタンの状態遷移について説明する。 操作命令は夫々 のボタンに対応して設定されていて、 所望の操作に合致したボタンを操作するこ とで、 情報記録再生装置 5 0 0に対してその動作を行わせる。 例えば表示されて いるボタンの中でオーディオに関するボタンを選択し、 入力することでオーディ ォに関する操作が直ちに実行される。 操作ボタンの種類として、 前述したように プッシュポタン、 トグルボタン、 排他的ボタン等がある。
ボタンの操作状態の移行は、 夫々の現在の操作状態によって定まる。 ボタンの 状態遷移として、 例えば 「操作不可」、 「操作可能及び非選択中」、 「操作可能及び 選択中」、 「実行中」 の 4つの状態がある。 「操作不可」 の状態は、 ボタンは表示さ れているが操作ができない状態であり、 「操作可能及び非選択中」 の状態は操作可 能であるが、 選択はされておらず、 直接実行することが不可能な状態であり、 「操 作可能及び選択中」 の状態は操作可能であり、 かつそのボタンは唯一選択されて おり、直接実行することが可能な状態であり、 「実行中」 の状態はこの状態におい てそのボタンの操作が実行されている状態である。 ユーザ操作により 「操作可能 及び選択中」 の状態から 「実行中」、 及び 「操作可能及び非選択中」 の状態に遷移 し、 「操作可能及び選択中」 の状態からシステムコマンドによって 「操作不可」 の 状態に遷移する。 「操作不可」 の状態からはシステムコマンドによって 「操作可能 及び非選択中」 の状態及び 「操作可能及び選択中」 の状態に遷移する。 「実行中」 の状態からはユーザ操作により、 またはコマンドの動作が終了した後、 自動的に 「操作可能及び選択中」 の状態に遷移する。
図 4 7に示したポタンに関する制御は、 上述の如く、 例えば、 図 2 3に示した サブフレームコントロールパラメータ 8 1 2内のサブフレームボタン総数、 図 2 5に示したサブフレームボタンコン トロールコンポーネント 8 1 9内のサプフレ ームイニシャルボタン状態、 サブフレームボタンコマンド等のボタン情報に従つ て実行されるものである。
以上図 2 0から図 4 7を参照して詳細に説明したように、 本実施例によれば、 例えばサブピクチヤのモーション制御、 シャ ドウ ドロッビング制御、 ハイライ ト ボタン制御等の各種表示制御を行える。 しかも、 S F C C I等の制御情報を用い ることで、 このようなサブピクチヤの各種表示制御を効率的に行える。
(再生時のアクセスの流れ)
次に図 4 8を参照して、 本実施例における特徴の一つである A U (ァソシエー トュニッ ト) 情報 1 3 2及び P U (プレゼンテーショ ンュニッ ト) 情報 3 0 2を 用いた情報記録再生装置 5 0 0における再生時のアクセスの流れについて、 光デ イスク 1 0 0の論理構造と共に説明する。 ここに図 4 8は、 光ディスク 1 0 0の 論理構造との関係で、 再生時におけるアクセスの流れ全体を概念的に示すもので め 。
図 4 8において、 光デイスク 1 0 0の論理構造は、 論理階層 4 0 1、 オブジェ ク ト階層 4 0 3及ぴこれら両階層を相互に関連付ける論理一オブジェク ト関連付 け階層 4 0 2という三つの階層に大別される。
これらのうち論理階層 4 0 1は、 再生時に所望のタイ トルを再生するための各 種論理情報と再生すべきプレイ リス ト (Pリス ト) 及びその構成内容とを論理的 に特定する階層である。 論理階層 4 0 1には、 光ディスク 1 0 0上の全タイ トル 2 0 0等を示すディスク情報 1 1 0 dが、 ディスク情報ファイル 1 1 0 (図 3参 照) 内に記述されており、 更に、 光ディスク 1 0 0上の全コンテンツの再生シー ケンス情報 1 2 0 dが、 プレイ リス ト情報ファイル 1 2 0 (図 3参照) 内に記述 されている。 より具体的には、 再生シーケンス情報 1 2 0 dとして、 各タイ トル
2 0 0に含まれる一又は複数のタイ トルエレメント 2 0 0— 2に対して夫々、 ― 又は複数のプレイ リス トセッ ト 1 2 6 Sの構成が記述されている。 更に、 各プレ イ リス トセッ ト 1 2 6 Sは、 一又は複数のプレイリスト 1 2 6を含んでおり、 各 プレイ リス ト 1 2 6には、 一又は複数のアイテム 2 0 4 (図 1 3参照) の構成が 記述されている。 そして、 再生時におけるアクセスの際に、 このような論理階層 4 0 1によって、 再生すべきタイ トル 2 0 0を特定し、 これに対応するプレイ リ ス ト 1 2 6を特定し、 更にこれに対応するアイテム 2 0 4を特定する。
続いて、 論理一オブジェク ト関連付け階層 4 0 2は、 このよ うに論理階層 4 0 1で特定された情報に基づいて、 実体データである T Sォブジェク トデータ 1 4 0 dの組み合わせゃ搆成の特定を行う と共に論理階層 4 0 1からオブジェク ト階 層 4 0 3へのァドレス変換を行うように、 再生すべき T Sオブジェク トデータ 1
4 0 dの属性とその物理的な格納ァドレスとを特定する階層である。 より具体的 には、 論理一オブジェク ト関連付け階層 4 0 2には、 各アイテム 2 0 4を構成す るコンテンツの固まりを A U 1 3 2という単位に分類し且つ各 A U 1 3 2を P U
3 0 2という単位に細分類するォブジェク ト情報データ 1 3 0 dが、 オブジェク ト情報ファイル 1 3 0 (図 3参照) に記述されている。
ここで、 「P U (プレゼンテーションュニッ ト) 3 0 2」 とは、 複数のェレメン タリ一ス ト リームを、 再生切り替え単位ごとに関連付けてまとめた単位である。 仮に、 この P U 3 0 2中にオーディオス トリームが 3本存在すれば、 このビジョ ンを再生中には、 ユーザが自由に 3本のオーディオ (例えば、 言語別オーディオ など) を切り替えることが可能となる。
他方、 「A U (ァソシエートユニッ ト) 1 3 2」 とは、 一つのタイ トルで使用す る T Sオブジェク ト中の、 ビデオス トリームなどのエレメンタ リース ト リームを 複数まとめた単位であり、 一又は複数の P U 3 0 2の集合からなる。 より具体的 には、 P U 3 0 2を介して間接的に、エレメンタリース トリームバケツ ト I D ( E
5— P I D )を各 T Sオブジェク ト毎にまとめた単位である。この A U 1 3 2は、 例えば多元放送における相互に切り替え可能な複数の番組或いは複数のプロダラ ムなど、 コンテンッから考えて相互に特定関係を有する複数の番組或いは複数の プログラムなどの集合に対応している。 そして、 同一の A U 1 3 2に属した P U 3 0 2は、 再生時にユーザ操作により相互に切り替え可能な複数の番組或いは複 数のプログラムを夫々構成する一又は複数のエレメンタリース トリームの集合に 対応している。
従って、 再生すべき A U 1 3 2が特定され、 更にそれに属する P U 3 0 2が特 定されれば、 再生すべきエレメンタリース トリームが特定される。 即ち、 図 1 2 に示した P A Tや P M Tを用いないでも、 光ディスク 1 0 0から多重記録された 中から所望のエレメンタリース トリームを再生可能となる。
尚、 このよ うな A U 1 3 2及び P U 3 0 2を夫々定義する、 A U情報 1 3 2 1 及び P U情報 3 0 2 Iのより具体的なデータ構成については、 後に詳述する。 ここで実際に再生されるエレメンタ リース ト リームは、 P U情報 3 0 2から、 エレメンタリース トリームのパケッ ト I D (図 1 2参照) である E S一 P I Dに よって特定或いは指定される。 同時に、 再生の開始時間及ぴ終了時間を示す情報 が、 エレメ ンタリース トリームのア ドレス情報に変換されることにより、 特定ェ レメンタリース ト リームの特定領域 (或いは特定時間範囲) におけるコンテンツ が再生されることになる。
このようにして論理一オブジェク ト関連付け階層 4 0 2では、 各アイテム 2 0 4に係る論理ァドレスから各 P U 3 0 2に係る物理ァ ドレスへのァ ドレス変換が 実行される。
続いて、 オブジェク ト階層 4 0 3は、 実際の T Sオブジェク トデータ 1 4 0 d を再生するための物理的な階層である。 オブジェク ト階層 4 0 3には、 T Sォプ ジヱク トデータ 1 4 0 dが、 ォブジェク トデータファイル 1 4 0 (図 3参照) 内 に記述されている。 より具体的には、 複数のエレメンタ リース ト リーム (E S ) を構成する T Sパケッ ト 1 4 6が時刻毎に多重化されており、 これらが時間軸に 沿って配列されることにより、 複数のエレメンタリ一ス トリームが構成されてい る (図 1 1参照)。 そして、 各時刻で多重化された複数の τ sパケッ トは、 エレメ ンタリース トリーム毎に、 論理一オブジェク ト関連付け階層 4 0 2で特定される P U 3 0 2に対応付けられている。 尚、 複数の P U 3 0 2と、 一つのエレメンタ リース トリームとを関連付けること (例えば、 切り替え可能な複数の番組間或い は褸数のプログラム間で、 同一のオーディオデータに係るエレメンタリース トリ ームを共通で利用したり、 同一のサプピクチャデータに係るエレメンタリ一ス ト リームを共通で利用すること) も可能である。
このようにオブジェク ト階層 40 3では、 論理一オブジェク ト関連付け階層 4 0 2における変換により得られた物理ァドレスを用いての、 実際のオブジェク ト データの再生が実行される。
以上のように図 48に示した三つの階層により、 光ディスク 1 0 0に対する再 生時におけるアクセスが実行される。
(オブジェク ト情報ファイルの構造)
次に図 4 9を参照して、 図 4 8で説明した如くディスク情報ファイル 1 1 0及 ぴプレイリス ト情報ファイル 1 2 0内の各種論理情報とオブジェク トデータファ ィル 1 40内のォブジェク トデータとを関連付ける、 オブジェク ト情報ファイル 1 3 0内におけるデータ構成の一具体例について説明する。 ここに図 4 9は、 ォ ブジェク ト情報ファイル 1 3 0内に構築される AU (ァソシエートユニッ ト) テ 一ブル 1 3 1 (図 3参照) 及ぴこれに関連付けられる E S (エレメンタリース ト リーム) マップテーブル 1 3 4 (図 3参照) におけるデータ構成の一具体例を図 式的に示すものである。
図 4 9に示すように本具体例では、 オブジェク ト情報ファイル 1 3 0内には、 オブジェク ト情報テーブル (オブジェク ト情報 t a b l e ) が格納されている。 そして、 このオブジェク ト情報テーブルは、 図中上段に示す AUテーブル 1 3 1 及び下段に示す E Sマップテーブル 1 3 4から構成されている。
図 4 9の上段において、 AUテーブル 1 3 1は、 各フィールド (F i e 1 d ) が必要な個数分のテ一プルを追加可能な構造を有してもよい。 例えば、 AUが 4 つ存在すれば、 該当フィールドが 4つに増える構造を有してもよい。
AUテープル 1 3 1には、 別ブイ一ルド (F i e l d) に、 AUの数、 各 AU へのポインタなどが記述される 「AUテーブル総合情報」 と、 「その他の情報」 と が格納されている。
そして、 AUテーブル 1 3 1内には、 各 AU # nに対応する各 P U # mにおけ る E Sテープルインデックス # m (E S— t a b l e I n d e # m) を示 す AU情報 1 3 2 I として、 対応する E Sマップテーブル 1 3 4のィンデックス 番号 ( I n d e x番号 =〜) が記述されている。 ここで 「AU」 とは、 前述の如 <例えばテレビ放送でいう ところの "番組" に相当する単位 (特に、 "マルチビジ ヨン型" の放送の場合には、 切り替え可能な複数の "ビジョン" を一まとめとし た単位) であり、 この中に再生単位である P Uがーつ以上含まれている。 また、 「P U」 とは、 前述の如く各 AU内に含まれる相互に切り替え可能なエレメンタ リース トリームの集合であり、 P U情報 3 0 2 Iにより各 P Uに対応する E Sテ 一プルインデックス #が特定されている。 例えば、 AUでマルチビューコンテン ッを構成する場合、 AU内には、 複数の P Uが格納されていて、 夫々の P U内に は、 各ビューのコンテンツを構成するパケッ トを示す複数のェレメンタリース ト リ一ムパケッ ト I Dへのポィンタが格納されている。 これは後述する E Sマップ テーブル 1 3 4内のィンデックス番号を示している。
図 4 9の下段において、 E Sマップテーブル 1 3 4には、 フィ一ルド (F i e I d ) 別に、 E Sマップテーブル総合情報 (E S— m a p t a b 1 e総合情報) と、 複数のインデックス #m (m= 1 , 2 , ···) と、 「その他の情報」 とが格納さ れている。
「E Sマップテーブル総合情報」 には、 当該 E Sマップテーブルのサイズや、 総ィンデックス数等が記述される。
そして 「インデックス # m」 は夫々、 再生に使用される全エレメンタリース ト リームのエレメンタリース ト リームパケッ ト I D (E S— P I D) と、 それに対 応するィンデックス番号及びエレメンタリース トリームのアドレス情報を含んで 構成されている。
本実施例では例えば、 このア ドレス情報、 即ち E Sア ドレス情報 1 3 4 dとし て、 前述のようにエレメンタリース トリームが MP E G 2のビデオス トリームで ある場合には、 I ピクチャの先頭の T Sバケツ ト番号とこれに対応する表示時間 のみが、 E Sマップテーブル 1 3 4中に記述されており、 データ量の削減が図ら れている。 一方、 サプピクチヤス トリームの E S T ドレス情報 1 3 4 dについて は、 S Pコントロール情報が作用する S Pデータのエレメンタ リス トリ一ムのィ W 200
74 ンデックス番号情報 1 3 4 eが記述されることにより、 データ量の削減が更に図 られている。
このように構成されているため、 A Uテーブル 1 3 1から指定された E Sマツ プ 1 3 4のィンデックス番号から、 実際のエレメンタ リース ト リームのエレメ ン タリース トリームパケッ ト I D ( E S— P I D ) が取得可能となる。 また、 その エレメ ンタ リース トリームバケツ ト I Dに対応するエレメンタリース ト リームの ア ドレス情報も同時に取得可能であるため、 これらの情報を元にしてォブジェク トデータの再生が可能となる。
以上説明した光ディスク 1 0 0のデータ構造によれば、 もし新しいタイ トルを 光ディスク 1 0 0に追加する場合でも、 簡単に必要な情報を追加できるので有益 である。 逆に、 例えば編集等を行った結果、 ある情報が不要になったとしても、 単にその情報を参照しなければよいだけであり、 実際にその情報をテーブルから 削除しなくてもよい構造となっているため有益である。
以上図 1から図 4 9を参照して詳細に説明したように、 本実施例によれば、 S Pコントロール情報を用いることなどによって、 例えば情報記録再生装置 5 0 0 でインタラクティブな再生、 サプピクチャに陰影効果をつけての再生、 ビデオ画 面上において複雑高度なボタン操作に応じたボタンのハイライ ト表示制御など、 ビデオデータに伴って再生されるサブピクチャの複雑高度な再生が可能となる。 しかも、 S Pコントロール情報のうち特に S F C C I等の制御情報を用いること などによって、 このよ うなサブピクチヤの各種表示制御を、 比較的効率的に或い は迅速に行うことが可能となる。 '
尚、 上述の実施例では、 情報記録媒体の一例として光ディスク 1 0 0並びに情 報再生記録装置の一例として光ディスク 1 0 0に係るレコーダ又はプレーヤにつ いて説明したが、 本発明は、 光ディスク並びにそのレコーダ又はプレーヤに限ら れるものではなく、 他の高密度記録或いは高転送レート対応の各種情報記録媒体 並びにそのレコーダ又はプレーヤにも適用可能である。
本発明は、 上述した実施例に限られるものではなく、 請求の範囲及び明細書全 体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、 そのような変更を伴なう情報記録媒体、 情報記録装置及び方法、 情報再生装置及 ぴ方法、 情報記録再生装置及び方法、 記録又は再生制御用のコンピュータプログ ラム、 並びに制御信号を含むデータ構造もまた本発明の技術的範囲に含まれるも のである。 産業上の利用可能性
本発明に係る情報記録媒体、 情報記録装置及び方法、 情報再生装置及び方法、 情報記録再生装置及び方法、 記録又は再生制御用のコンピュータプログラム、 並 びに制御信号を含むデータ構造は、 例えば、 民生用或いは業務用の、 主映像、 音 声、 副映像等の各種情報を高密度に記録可能な D V D等の高密度光ディスクに利 用可能であり、 更に D V Dプレーヤ、 D V Dレコーダ等にも利用可能である。 ま た、 例えば民生用或いは業務用の各種コンピュータ機器に搭載される又は各種コ ンピュータ機器に接続可能な、 情報記録媒体、 情報記録再生装置等にも利用可能 である。

Claims

請 求 の 範 囲
1 . 主映像を示す映像情報と、
少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情 報と、
(i)前記副映像における少なく とも一部の領域をサプフレームとして指定する サプフレーム範囲情報及び(i i)前記サプフ I ^一ム内の副映像部分に対して該副映 像部分における透明度を示すアルファ値に応じて選択的に陰影を付与し且つ該陰 影が付与された形式で前記副映像部分を前記主映像に重ねて表示させるための陰 影表示制御情報を含む副映像制御情報と
が記録されていることを特徴とする情報記録媒体。
2 . 前記陰影表示制御情報は、 前記サブフレーム内の副映像部分のうち、 前記ァ ルファ値が所定値又は所定閾値以上である不透明部分に対して若しくは所定値又 は所定閾値以下である透明部分に対して、 前記陰影を付与して表示させるための 情報を含むことを特徴とする請求の範囲第 1項に記載の情報記録媒体。
3 . 前記陰影表示制御情報は、 前記サブフレーム内に輪郭を有する文字又は図形 に対して陰影を付与して表示させるための情報を含むことを特徴とする請求の範 囲第 1項に記載の情報記録媒体。
4 . 前記陰影表示制御情報は、 前記サブフレームの輪郭に対して陰影を付与して 表示させるための情報を含むことを特徴とする請求の範囲第 1項に記載の情報記 録媒体。
5 . 前記陰影表示制御情報は、 仮想的に前記陰影に対応する光源の配置及ぴ前記 陰影が投影される面の配置を規定する情報を含むことを特徴とする請求の範囲第 1項に記載の情報記録媒体。
6 . 前記陰影表示制御情報は、 前記陰影の色を規定する情報を含むことを特徴と する請求の範囲第 1項に記載の情報記録媒体。
7 . 前記陰影表示制御情報は、 前記陰影のぼかし度合いを規定する情報を含むこ とを特徴とする請求の範囲第 1項に記載の情報記録媒体。
8 . 前記主映像情報、 前記副映像情報及び前記副映像制御情報は、 所定のバケツ ト単位に分断され且つ多重化されており、 更に、 前記分断された主映像情報から 構成されるビデオス トリームと、 前記分断された副映像情報から構成されるサブ ピクチャス トリームと、 前記分断された副映像制御情報から構成される制御情報 ス トリームとに分けられてス トリーム化されていることを特徴とする請求の範囲 第 1項に記載の情報記録媒体。
9 . 主映像を示す映像情報を記録する第 1記録手段と、
少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情 報を記録する第 2記録手段と、
(i)前記副映像における少なく とも一部の領域をサブフレームとして指定する サブフレーム範囲情報及び( i i )前記サブフレーム内の副映像部分に対して該副映 像部分における透明度を示すアルファ値に応じて選択的に陰影を付与して該陰影 が付与された形式で前記副映像部分を表示させるための陰影表示制御情報を含む 副映像制御情報を記録する第 3記録手段と
を備えたことを特徴とする情報記録装置。
1 0 . 主映像を示す映像情報を記録する第 1記録工程と、
少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情 報を記録する第 2記録工程と、
(i)前記副映像における少なく とも一部の領域をサブフレームと して指定する サブフレーム範囲情報及び(i i)前記サブフレーム内の副映像部分に対して該副映 像部分における透明度を示すアルファ値に応じて選択的に陰影を付与して該陰影 が付与された形式で前記副映像部分を表示させるための陰影表示制御情報を含む 副映像制御情報を記録する第 3記録工程と
を備えたことを特徴とする情報記録方法。
1 1 .請求の範囲第 1項に記載の情報記録媒体を再生する情報再生装置であって、 前記映像情報、前記副映像情報及び前記副映像制御情報を再生する再生手段と、 前記再生された映像情報に重ねて前記再生された副映像情報を表示出力可能な 表示出力手段と、
前記再生された副映像制御情報中の前記陰影付与制御情報に基づいて、 前記サ プフレーム内の前記副映像部分に対して陰影を付与し且つ該陰影が付与された形 式で前記副映像部分を前記主映像に重ねて表示するように前記表示出力手段を制 御する制御手段と
を備えたことを特徴とする情報再生装置。
1 2 .請求の範囲第 1項に記載の情報記録媒体を再生する情報再生方法であって、 前記映像情報、前記副映像情報及び前記副映像制御情報を再生する再生工程と、 前記再生された映像情報に重ねて前記再生された副映像情報を表示出力可能な表 示出力手段を、 前記再生された副映像制御情報中の前記陰影付与制御情報に基づ いて、 前記サプフレーム内の前記副映像部分に対して陰影を付与し且つ該陰影が 付与された形式で前記副映像部分を前記生映像に重ねて表示するように制御する 制御工程と
を備えたことを特徴とする情報再生方法。
1 3 . 主映像を示す映像情報を記録する第 1記録手段と、
少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情 報を記録する第 2記録手段と、
(i)前記副映像における少なく とも一部の領域をサブフレームとして指定する サブフレーム範囲情報及ぴ( i i )前記サブフレーム內の副映像部分に対して該副映 像部分における透明度を示すアルファ値に応じて選択的に陰影を付与して該陰影 が付与された形式で前記副映像部分を表示させるための陰影表示制御情報を含む 副映像制御情報を記録する第 3記録手段と、
前記映像情報、前記副映像情報及び前記副映像制御情報を再生する再生手段と、 前記再生された映像情報に重ねて前記再生された副映像情報を表示出力可能な 表示出力手段と、
前記再生された副映像制御情報中の前記陰影付与制御情報に基づいて、 前記サ プフレーム内の前記副映像部分に対して陰影を付与し且つ該陰影が付与された形 式で前記副映像部分を前記主映像に重ねて表示するように前記表示出力手段を制 御する制御手段と
を備えたことを特徴とする情報記録再生装置。
1 4 . 主映像を示す映像情報を記録する第 1記録工程と、
少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情 報を記録する第 2記録工程と、
(i)前記副映像における少なく とも一部の領域をサブフレームと して指定する サブフレーム範囲情報及び(i i)前記サブフレ ム內の副映像部分に対して該副映 像部分における透明度を示すアルファ値に応じて選択的に陰影を付与して該陰影 が付与された形式で前記副映像部分を表示させるための陰影表示制御情報を含む 副映像制御情報を記録する第 3記録工程と、
前記映像情報、前記副映像情報及び前記副映像制御情報を再生する再生工程と、 前記再生された映像情報に重ねて前記再生された副映像情報を表示出力可能な 表示出力手段を、 前記再生された副映像制御情報中の前記陰影付与制御情報に基 づいて、 前記サプフレーム内の前記副映像部分に対して陰影を付与し且つ該陰影 が付与された彤式で前記副映像部分を前記主映像に重ねて表示するように制御す る制御工程と
を備えたことを特徴とする情報記録再生方法。
1 5 . 請求の範囲第 9項に記載の情報記録 g置に備えられたコンピュータを制御 する記録制御用のコンピュータプログラムであって、 該コンピュータを、 前記第 1記録手段、 前記第 2記録手段及び前記第 3記録手段の少なく とも一部として機 能させることを特徴とする記録制御用のコンピュータプログラム。
1 6 . 請求の範囲第 1 1項に記載の情報再生装置に備えられたコンピュータを制 御する再生制御用のコンピュータプログラムであって、 該コンピュータを、 前記 再生手段、 前記表示出力手段及び前記制御手段の少なく とも一部として機能させ ることを特徴とする再生制御用のコンピュータプログラム。
1 7 . 請求の範囲第 1 3項に記載の情報記録再生装置に備えられたコンピュータ を制御する記録再生制御用のコンピュータプログラムであって、 該コンピュータ を、 前記第 1記録手段、 前記第 2記録手段、 前記第 3記録手段、 前記再生手段、 前記表示出力手段及び前記制御手段の少なく とも一部として機能させることを特 徴とする記録再生制御用のコンピュータプログラム。
1 8 . 主映像を示す映像情報と、
少なく とも一部が前記主映像に重ねて表示可能とされる副映像を示す副映像情 報と、
(i)前記副映像における少なく とも一部の領域をサブフレームと して指定する サブフレーム範囲情報及び(i i)前記サブフレーム内の副映像部分に対して該副映 像部分における透明度を示すアルファ値に応じて選択的に陰影を付与し且つ該陰 影が付与された形式で前記副映像部分を前記主映像に重ねて表示させるための陰 影表示制御情報を含む副映像制御情報と
を有することを特徴とする制御信号を含むデータ構造。
PCT/JP2003/012584 2002-10-01 2003-10-01 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造 WO2004032498A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/530,041 US20060072907A1 (en) 2002-10-01 2003-10-01 Information recording medium, information recording device and method, information reproduction device and method, information recording/reproduction device and method, recording or reproduction control computer program, and data structure containing control signal
AU2003271075A AU2003271075A1 (en) 2002-10-01 2003-10-01 Information recording medium, information recording device and method, information reproduction device and method, information recording/reproduction device and method, recording or reproduction control computer program, and data structure containing control signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-288297 2002-10-01
JP2002288297A JP2004128770A (ja) 2002-10-01 2002-10-01 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Publications (1)

Publication Number Publication Date
WO2004032498A1 true WO2004032498A1 (ja) 2004-04-15

Family

ID=32063663

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/012584 WO2004032498A1 (ja) 2002-10-01 2003-10-01 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Country Status (4)

Country Link
US (1) US20060072907A1 (ja)
JP (1) JP2004128770A (ja)
AU (1) AU2003271075A1 (ja)
WO (1) WO2004032498A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130016225A (ko) * 2010-03-19 2013-02-14 다이이찌 산쿄 가부시키가이샤 디아민 유도체의 결정 및 그 제조 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145722A (ja) * 1996-11-07 1998-05-29 Sony Corp 再生制御データ生成装置およびその方法
JPH1118048A (ja) * 1997-06-20 1999-01-22 Pioneer Electron Corp コンピュータ読み取り可能な記録媒体及び情報再生装置
JP2001324974A (ja) * 2000-05-17 2001-11-22 Toshiba Corp ズーム処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5355450A (en) * 1992-04-10 1994-10-11 Avid Technology, Inc. Media composer with adjustable source material compression
JP2002150503A (ja) * 2000-11-13 2002-05-24 Pioneer Electronic Corp 情報記録再生装置、および情報記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145722A (ja) * 1996-11-07 1998-05-29 Sony Corp 再生制御データ生成装置およびその方法
JPH1118048A (ja) * 1997-06-20 1999-01-22 Pioneer Electron Corp コンピュータ読み取り可能な記録媒体及び情報再生装置
JP2001324974A (ja) * 2000-05-17 2001-11-22 Toshiba Corp ズーム処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130016225A (ko) * 2010-03-19 2013-02-14 다이이찌 산쿄 가부시키가이샤 디아민 유도체의 결정 및 그 제조 방법
KR101708528B1 (ko) 2010-03-19 2017-02-20 다이이찌 산쿄 가부시키가이샤 디아민 유도체의 결정 및 그 제조 방법

Also Published As

Publication number Publication date
AU2003271075A1 (en) 2004-04-23
JP2004128770A (ja) 2004-04-22
US20060072907A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
US7542660B2 (en) Information recording medium, information recording and/or reproducing apparatus and method, and program storage device and computer data signal embodied in carrier wave for controlling record or reproduction
JP4484116B2 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP3717880B2 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP3954473B2 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP4588968B2 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP2004127398A (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
EP1494473B1 (en) Information recording medium, information recording device and method, information reproducing device and method, and computer program for control of recording or reproduction
WO2004032498A1 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP4204003B2 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
WO2004032497A1 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
WO2004032499A1 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP2004128761A (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JPH1032780A (ja) 再生データの属性情報を再生データとともに記録した記録媒体
JP4827072B2 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JPH09233417A (ja) 再生データの属性情報を再生データとともに記録した記録媒体及びその属性情報を利用して再生データを適切に再生するシステム
JP4151794B2 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP4340716B2 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
WO2003085977A1 (fr) Support, dispositif et procede d&#39;enregistrement d&#39;informations, dispositif et procede d&#39;enregistrement/reproduction d&#39;informations, programme informatique de commande d&#39;enregistrement ou de reproduction d&#39;informations, et structure de donnees comprenant un signal de commande

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2006072907

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10530041

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10530041

Country of ref document: US