WO2013031299A1 - 記録装置/方法/媒体、再生装置/方法 - Google Patents
記録装置/方法/媒体、再生装置/方法 Download PDFInfo
- Publication number
- WO2013031299A1 WO2013031299A1 PCT/JP2012/062228 JP2012062228W WO2013031299A1 WO 2013031299 A1 WO2013031299 A1 WO 2013031299A1 JP 2012062228 W JP2012062228 W JP 2012062228W WO 2013031299 A1 WO2013031299 A1 WO 2013031299A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- stream
- clip
- recording
- playlist
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/329—Table of contents on a disc [VTOC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/913—Television signal processing therefor for scrambling ; for copy protection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Definitions
- the present invention relates to a recording apparatus / method / medium and a reproducing apparatus / method.
- Patent Document 1 JP 2007-280496 (Patent Document 1) as a background art of the present invention.
- playlist information management means for managing information of all playlists (both real and virtual) in the folder, playlist attribute changing means for changing the attributes of the designated playlist, Referring to the target clip attribute changing means for changing the attributes of all clips referenced by the playlist, all clip information managing means for managing information on all the clips in the folder, and the clip that has been changed.
- Playlist attribute change determining means for determining whether or not to change the attribute of the playlist being updated, and an updated playlist
- Patent Document 1 described above describes a playlist structure of AV data, a clip structure, and an AV data editing apparatus and method.
- the playlist and the clip of Patent Document 1 do not consider the problem that the result of editing in the 2D editing environment cannot be reflected in 3D when the content is 3D.
- Such a playlist structure or clip structure may not be displayed correctly as it is edited in 2D during 3D playback, for example.
- the present invention provides a playlist, clip information, recording / reproducing apparatus / method / medium, and reproducing apparatus / method in which information that can correctly display 3D content edited in 2D is displayed in 3D.
- a recording / reproducing apparatus / method / medium and a reproducing apparatus / method are provided that record / reproduce a state whether or not editing in 2D is reflected in 3D in a playlist or clip information.
- the present application includes a plurality of means for solving the above-described problems.
- a recording method for recording information on a recording medium Recording an AV stream; Recording clip information defining the arrangement of the AV stream,
- the clip information includes 3D stream data arrangement information,
- the clip information includes a 3D synchronization flag indicating a synchronization state between the arrangement information of the 2D compatible part of the 3D content and the arrangement information of the 3D part,
- the 3D synchronization flag is set in an asynchronous state when the arrangement information of the 2D compatible part is updated, and is set in a synchronous state when the arrangement information of the 3D part is updated.
- the present invention it is possible to provide a recording / reproducing apparatus / method / medium and a reproducing apparatus / method capable of correctly displaying 3D content edited in 2D even in 3D.
- Example of schematic diagram of directory structure and file structure The example of the schematic diagram which showed the structure of the playlist file.
- the example of the schematic diagram which showed the structure of user interface application information The example of the schematic diagram which showed the structure of the time zone.
- the example of the schematic diagram which showed the structure of playlist information The example of the schematic diagram which showed the structure of play item.
- the example of the schematic diagram which showed the structure of bridge sequence information The example of the schematic diagram which showed the structure of the sub play item.
- regenerating apparatus which showed the implementation system.
- generation of a real play list The example of the schematic diagram which showed an example of the division
- the example of the schematic diagram which showed an example of the connection of a real play list The example of the schematic diagram which showed an example of the connection of a real play list.
- the example of the schematic diagram of the recording / reproducing part of the recording device which showed the implementation system The example of the schematic diagram of the video decoding conversion part of the recording device which showed the implementation system.
- the example of the process of the recording / reproducing apparatus and display apparatus which showed the implementation system The example of the process of the recording / reproducing apparatus and display apparatus which showed the implementation system.
- Example of schematic diagram of directory structure and file structure The example of the schematic diagram which showed the structure of stream number information.
- the flowchart which showed the update method of the management information when editing 3D content in 2D editing environment The flowchart which showed the update method of the management information when the 3D content edited in 2D editing environment is loaded by 3D reproducing
- the flowchart which showed the management method when editing 3D content in 3D editing environment The example of the schematic diagram which showed the structure of clip information.
- FIG. 1 is an example of a schematic diagram of a directory structure and a file structure showing an implementation method of the present invention.
- 101 is a root directory and includes at least the BDAV directory 102.
- BDAV directory 102 is a BDAV directory, which includes a PLAYLIST directory 121, a CLIPINF directory 122, a STREAM directory 123, and a BACKUP directory 131.
- the root directory 101 includes external BDAV directories such as a BDAV1 directory 103, a BDAV2 directory 104, and a BDAVn directory 105.
- n in the BDAVn directory 105 is a natural number continuous from 1 corresponding to the number of external BDAV directories. For example, when four external BDAV directories exist under the root directory 101, n is 4, and the directory names are BDAV1, BDAV2, BDAV3, and BDAV4, respectively.
- the PLAYLIST directory 121 includes management files such as real playlist files 141 and 142 and a virtual playlist 143.
- the CLIPINF directory 122 includes management files such as clip information files 144 and 145.
- the STREAM directory 123 includes stream files such as stream files 146 and 147.
- the bdav file 111 is a file that stores general information, and is stored in the BDAV directory.
- the tidx file 112 stores menu thumbnail header information.
- the tdt1 file 113 stores menu thumbnail picture data. menu.
- the tdt2 file 114 is a similar file.
- the tidx file 115 stores mark thumbnail header information.
- the tdt1 file 116 stores mark thumbnail picture data. mark.
- the tdt2 file 117 is a similar file.
- the rpls file 141 includes information regarding the real play list. One rpls file is generated for one real play list. 02002.
- the rpls file 141 is a similar file.
- the vpls file 143 includes information regarding the virtual playlist.
- One vpls file is generated for one virtual playlist.
- the clpi file 144 is a clip information file and includes clip information related to an AV stream file (clip AV stream file, bridge clip AV stream file). 02000.
- the clpi file 145 is a similar file.
- the m2ts file 146 is an AV stream file and includes an MPEG-2 transport stream. 02000.
- the m2ts file 147 is a similar file.
- the file name “zzzzz” of m2ts is a 5-digit integer, and the same 5-digit integer is assigned to the associated clip information file and AV stream file.
- a set of m2ts is called a clip.
- a playlist is a file stored in the PLAYLIST directory.
- Both real playlists and virtual playlists are composed of the following data.
- FIG. 2 is an example of a diagram showing the structure of a playlist file.
- 201 is a type identifier that stores information indicating a playlist file. For example, it is possible to identify a playlist file by setting a value of “PLAYLIST” in ASCII code.
- 202 is a version number, which is a number indicating the version of the playlist file.
- 203 is the playlist information start address, and a value indicating the relative start position of the playlist information in the playlist file in bytes is set. The head starts from 0.
- 204 is a playlist mark information start address, and a value indicating the relative start position of the playlist mark information in the playlist file in bytes is set. The head starts from 0.
- 205 is a manufacturer-specific data start address, and a value indicating the relative start position of the manufacturer-specific data information in the playlist file in bytes is set. The head starts from 0. If this value is set to 0, there is no manufacturer-specific data information.
- 206 is user interface application information having a data structure as shown in FIG.
- 207 is play list information, which has a data structure as shown in FIG.
- 210 is 3D stream number information and has a data structure as shown in FIG.
- FIG. 3 is an example of a diagram showing the structure of user interface application information. Stores parameters for the playlist user interface app.
- 301 is a length indicating the length from immediately after this field to the end of the user interface application information.
- 321 is a 3D flag, and if 1 is set, it indicates that the content included in the playlist includes 3D (stereoscopic) content. If 0 is set, it indicates that 3D content is not included.
- 322 is a 3D type, and in combination with the 3D flag 321 indicates a 3D system of content included in the playlist.
- 1 is set in the 3D flag 321
- 00 is set in the 3D type 322
- 01 indicates that the content included in the playlist is the top-and-bottom method.
- 10 is set in the 3D type 322, it indicates that the content included in the playlist is the frame packing method.
- 11 is set in the 3D type 322, it indicates that the content included in the playlist is another 3D system.
- 0 is set in the 3D flag 321 will be described. In this case, regardless of the value set in the 3D type 322, it indicates that 3D content is not included.
- 302 is a character code that defines the character code used in the channel name 314, playlist name 316, and playlist details 318. This also applies to the character code of the mark name in the playlist mark information. For example, 1 is set to Japanese, 16 is set to ASCII code, and 32 is set to Unicode.
- 303 is a reproduction protection flag. If 1 is set, playlist information such as a playlist name and thumbnail and a playlist are not reproduced and displayed to the user. If authentication by entering the PIN is successful, it will be played. If 0 is set, playback is possible even if the password is not entered.
- 304 is a recording protection flag. If 1 is set, playlist information other than the recording protection flag must not be changed and deleted. If 0 is set, the user can freely change or delete. If 1 is set, the recording device should reconfirm with the user before the user deletes, edits or overwrites the playlist information. There are cases where a real playlist in which the recording protection flag is set to 0 and a virtual playlist in which the recording protection flag is set to 1 share the same part of the clip. In this case, if the user intends to delete the real playlist, the recording apparatus should reconfirm the user before deleting the real playlist.
- 305 is a played flag, and if 1 is set, it indicates that this playlist has been played at least once. If 0 is set, it indicates that it has never been played.
- Reference numeral 306 denotes an edited flag. If 0 is set, the original data at the time of recording is stored without being changed. If 1 is set, a change has been added. It shows that.
- 307 is a time zone and has a data structure as shown in FIG.
- the 308 is a recording date and time, which includes date and time information when the playlist is recorded. Shown in local time.
- the year, month, day, hour, minute, and second are represented by a 4-bit single-digit BCD (Binary Coded Decimal). The first four digits are the four digits of the year.
- the play item playback time is the time from IN time to OUT time. Units are rounded up to the second. Hour, minute, and second are represented by 4 bits and 1 digit BCD.
- 310 is a manufacturer ID, which indicates the manufacturer of the recording device that last updated the playlist.
- 311 is a manufacturer model code, which indicates the model number of the recording device that last updated the playlist.
- Reference numeral 312 denotes a channel number, which is a broadcast channel number or service number selected by the user when the playlist is recorded. In the case of a playlist in which two or more playlists are combined, this value is representative. Indicates the value of. The value is 999 or less. It is invalid when 0xFFFF is set.
- 313 is the channel name length and indicates the byte length of the channel name. The value is 20 or less.
- channel name 314 is a channel name, which indicates the broadcast channel name or service name that was selected when the user recorded the playlist. The length from the left end of this field to the byte length indicated by the channel name length 313 is valid.
- 315 is the playlist name length, which indicates the byte length of the playlist name. The value is 255 or less.
- 316 is a playlist name including the playlist name. The length from the left end of this field to the byte length indicated by the playlist name length 315 is valid.
- 317 is the detailed length of the playlist, and indicates the byte length of the playlist details. It becomes a value of 1200 or less.
- the playlist details is the playlist details and includes detailed text information of the playlist. From the left end of this field to the byte length indicated by the play list detailed length 317 is effective.
- 323 is a 3D synchronization flag, which indicates that when the 3D content is edited by an editing machine capable of editing in 2D, the edited content needs to be reflected in the 3D content management information.
- the 3D content is a stream encoded with MPEG4-MVC (Multi-View Coding) and consists of Base View and Dependent View
- the Base View is compatible with an MPEG4-AVC stream that is a 2D stream. is there. Therefore, in an environment where MPEG4-AVC can be edited, an MPEG4-MVC Base View stream can be edited.
- MPEG4-MVC Multi-View Coding
- the management information of the stream is managed separately into a 2D compatible part and a 3D specific part.
- a 2D compatible part In an editing environment that supports only 2D, only the 2D compatible part can be edited.
- 2D compatible parts and 3D specific parts can be edited.
- FIG. 4 is an example of a schematic diagram showing the structure of the time zone.
- 402 is a daylight saving time flag. If it is set to 0, it indicates standard time, and if it is set to 1, it indicates summer time.
- time zone code 403 is a time zone code, which indicates a positive number if 0 is set, and a negative number if 1 is set.
- time zone 405 is a 30 minute flag, and if 1 is set, the time zone value indicates that it has an additional difference time of 30 minutes as an absolute value. If 0 is set, the time zone value indicates that there is no additional time.
- FIG. 5 is an example of a diagram showing the structure of playlist information.
- 501 is the length, indicating the length from immediately after this field to the end of the playlist information.
- each access point in the playlist information indicates the display time in the AV stream file, which is called EP_map type playlist information. If 2 is set, it represents the arrival time and is called TU_map type playlist information.
- the play item ID is an integer starting from 0. Entries of play items in the playlist are sorted in the display order.
- 504 is the number of sub play items and indicates the number of sub play items in the play list.
- Reference numeral 505 is a play item having a data structure as shown in FIG.
- Reference numeral 506 denotes a sub play item having a data structure as shown in FIG.
- FIG. 6 is an example of a diagram showing the structure of a play item.
- 601 is a length indicating the length from immediately after this field to the end of the play item information.
- the clip information file 602 is a clip information file name indicating the name of the clip information file of the clip used in the play item information. This field is zzzzzz. A 5-digit number zzzzz of the file name clpi is shown. Expressed as a character string of ACSII code.
- the clip stream type field in the clip information file indicates a clip AV stream file (MPEG-2 transport stream).
- 603 is clip CODEC information, and this field has a value indicating “M2TS” of the ASCII code. All play items in the playlist information have the same value of the clip CODEC information “MTS”. If the playlist CPI type in the playlist information is set to 1 and the clip CODEC information is set to “M2TS”, each clip used in the playlist file has EP_map in the CPI information. . If the playlist CPI type in the playlist information is set to 2 and the clip CODEC information is set to “M2TS”, each clip used in the playlist file has TU_map in the CPI information. .
- connection condition 604 is a connection condition, which indicates a connection condition between the IN time of the current play item and the OUT time of the immediately preceding play item. Any value from 1 to 6 is indicated. If the play item is the first play item in the playlist, the connection condition field is invalid and 1 is set.
- STC information is STC information. If the CPI type in the CPI information of the clip information file is EP_map, it indicates the STC_ID of the STC sequence including the presentation unit of the current play item.
- the clip referred to by the clip information file name of the current play item has the STC sequence.
- the value of STC_ID is defined in the clip sequence information.
- the 606 is the IN time, indicating the IN time of the current play item, that is, the display start time of the current play item.
- the meaning of the IN time differs depending on the CPI type in the CPI of the clip information file referred to by the clip information file name.
- the OUT time indicating the OUT time of the current play item, that is, the display end time of the current play item.
- the meaning of the OUT time differs depending on the CPI type in the CPI of the clip information file referred to by the clip information file name.
- the IN time and the OUT time indicate display times based on the STC time of the clip used for the play item. It is measured in units of 45 kHz clock. For example, the presentation unit is represented by the upper 32 bits of a 33-bit PTS with 90 kHz accuracy. Further, the system time discontinuity is not included between the IN time and the OUT time. Further, the OUT time indicates a time earlier than the IN time. However, when wrapping around, the IN time is greater than the OUT time.
- TU_map In the case of TU_map, it indicates the same TU_time_base time as the ATC sequence of the clip referenced by the clip information file name of the play item. Furthermore, IN time and OUT time are measured with a 45 kHz clock. Furthermore, the OUT time is greater than the IN time.
- 608 is bridge sequence information, which will be described in detail with reference to FIG.
- FIG. 7 is an example of a diagram showing the structure of the bridge sequence information.
- the bridge sequence information file name which indicates the name of the clip information file of the bridge clip used in the bridge sequence information.
- This field includes a 5-digit numerical value (corresponding to the file name zzzzz) described in ASCII code.
- the clip stream type in the clip information of the clip information file is a bridge clip AV stream (MPEG-2 transport stream).
- the bridge clip used in the bridge sequence information has EP_map in CPI.
- the 621 is multi-angle information indicating that multi-angle entry information is included.
- the multi-angle entry information includes the number of angles, the clip file name of each angle, clip CODEC information, and STC information.
- User operations include chapter search, time search, fast forward, rewind, stop, pause, pause release, cursor movement, menu display, button selection, voice selection, angle selection, subtitle display, and the like.
- 623 is a random access flag, which indicates that playback from the middle of this play item is prohibited during special playback.
- 624 is still image information, and indicates that the last video is held in a state where the still image is displayed when play item reproduction ends.
- 625 is stream number information, which will be described in detail with reference to FIG.
- FIG. 35 is an example of a diagram showing the structure of stream number information.
- the stream number information is information indicating the stream number of the elementary stream included in the play item.
- the elementary stream includes a main video stream, a main audio stream, a subtitle stream, a menu stream, a sub video stream, and a sub audio stream.
- 3501 is the length and indicates the length of the stream number information.
- 3502 is the number of main image information, and indicates the number of main image information included in the stream number information.
- 3503 is the number of main audio information and indicates the number of main audio information included in the stream number information.
- 3504 is the number of text subtitle information, which indicates the number of text subtitle information included in the stream number information.
- 3505 is the number of menu graphic information, which indicates the number of menu graphic information included in the stream number information.
- 3506 is the number of sub-image information and indicates the number of sub-image information included in the stream number information.
- 3507 is the number of sub audio information and indicates the number of sub audio information included in the stream number information.
- 3508 is the number of two-screen information, and indicates the number of two-screen information included in the stream number information.
- 3509 is main image information, and has as many main image stream entries and attributes as the number of main image information 3502.
- 3510 is main audio information, and has as many main audio stream entries and attributes as the number of main audio information 3503.
- 3511 is text subtitle information, which has as many text subtitle stream entries and attributes as indicated by the number of text subtitle information 3504.
- 3512 is menu graphic information, and has the number of menu graphic stream entries and attributes as indicated by the number of menu graphic information 3505.
- 3513 is sub-image information, and has as many sub-image stream entries and attributes as the number of sub-image information 3506.
- 3514 is sub audio information, and has sub audio stream entries and attributes as many as the number of sub audio information 3507.
- 3515 is two-screen information, and has the same number of two-screen stream entries and attributes as indicated by the number of two-screen information 3508.
- Entry includes information such as PID.
- the attribute includes information such as a video format, an audio format, a frame rate, a sampling rate, and a language.
- FIG. 36 is an example of a diagram illustrating the structure of 3D stream number information.
- 3601 is the length and indicates the length of the 3D stream number information.
- 3602 is a 3D time stamp and indicates the latest time when the 3D stream number information was updated.
- 3603 is 2D stream number information, which is stream number information having the structure shown in FIG. When first recorded, a copy of the stream number information 625 is recorded.
- Reference numeral 3604 denotes main image 3D information, which is information related to the main image 3D stream that becomes a 3D stream in combination with the main image stream indicated by the main image information 3509. Have the number shown in.
- text subtitle 3D information is information regarding the text subtitle 3D stream that becomes a 3D stream in combination with the text subtitle stream indicated by the text subtitle information 3511.
- the text subtitle 3D stream entry and attribute are set to the number 3504 of text subtitle information. Have the number shown in.
- Reference numeral 3606 denotes menu graphic 3D information, which is information related to the menu graphic 3D stream that becomes a 3D stream in combination with the menu graphic stream indicated by the menu graphic information 3512. Have the number shown in.
- Reference numeral 3607 denotes sub-image 3D information, which is information related to the sub-image 3D stream that becomes a 3D stream in combination with the sub-image stream indicated by the sub-image information 3513. Have the number shown in.
- Reference numeral 3608 denotes two-screen 3D information, which is information regarding a two-screen 3D stream that becomes a 3D stream in combination with the two-screen stream indicated by the two-screen information 3515. Have the number shown in.
- FIG. 8 shows an example of the structure of the sub play item.
- 801 is the length, which is the byte length from immediately after this field to the end of the sub play item.
- the clip information file 802 is a clip information file name, which indicates the name of the clip information file of the clip used in the sub play item. This field has a 5-digit number corresponding to zzzzz of the clip name as an ASCII code.
- the clip stream type in the clip information of the clip information file indicates “clip AV stream (MPEG-2 transport stream)”.
- clip CODEC information which has a value of “M2TS” in the ASCII code and indicates that the MPEG-2 transport stream is used in the playlist file.
- the clip used in the sub play item has EP_map in the CPI.
- sub play item 804 is a sub play item type, which indicates the type of sub path used in the sub play item, but only a value of 1 is set.
- a clip AV stream of an after-recording audio stream is used.
- STC_ID indicates the STC_ID corresponding to the STC sequence of the clip indicated by the clip information file name referred to by the sub play item. Both the sub play item IN time and the sub play item OUT time of the sub play item indicate a presentation unit in the same STC sequence referenced by the STC_ID.
- the 806 is a sub play item IN time, and has a display start time of the sub play item.
- the sub play item IN time is a display time measured with 45 kHz accuracy from the STC of the clip used in the sub play item.
- the 807 is a sub play item OUT time, a sub play item OUT time, and has a display end time of the sub play item.
- the sub play item OUT time is a display time measured with an accuracy of 45 kHz from the STC of the clip used in the sub play item.
- the sub play item OUT time indicates a time earlier than the sub play item IN time, and when the STC wraps around between the sub play item IN time and the sub play item OUT time, the sub play item IN time is the sub play item IN time. It becomes larger than OUT time.
- Both the sub play item IN time and the sub play item OUT time indicate the display time of the section between the display start time and the display end time corresponding to the STC sequence referenced by the STC_ID of the sub play item.
- the 808 is a synchronous play item ID, which indicates the play item ID of the play item in the playlist.
- This play item includes a sub play item, and the sub play item is one whose reproduction starts within the reproduction time of the play item.
- the play item ID is determined by a play list in the play list.
- the 809 is a synchronous play item start PTS, which indicates the display time in the play item pointed to by the synchronous play item ID.
- the sub play item starts its own display when the display time of the play item reaches the synchronous play item start PTS.
- the synchronized play item start PTS is a display time measured with a 45 kHz clock of the play item pointed to by the synchronized play item ID.
- FIG. 34 is an example of a schematic diagram of a directory structure and a file structure showing another implementation method of the present invention.
- 3401 is a root directory and includes a BDMV directory 3402.
- Reference numeral 3402 denotes a BDMV directory, which includes a PLAYLIST directory 3421, a CLIPINF directory 3422, a STREAM directory 3423, and an AUXDATA 3431.
- the PLAYLIST directory 3421 includes playlists 3441, 3442, 3443.
- the CLIPINF directory 3422 includes clip information files 3444 and 3445.
- the STREAM directory 3423 includes stream files 3444 and 3445.
- AUXDATA 3431 is a directory for storing font files and the like.
- the bdmv file 3411 is a file storing overall information.
- the MovieObject file 3412 is a file that stores title objects.
- the mpls file 3441 includes information on a playlist. 00002. mpls files 3442, 00003. The mpls file 3443 is a similar file.
- the clpi file 3444 is a clip information file and includes clip information related to the AV stream file. 02000.
- the clpi file 3445 is a similar file.
- the m2ts file 3446 is an AV stream file and includes an MPEG-2 transport stream. 02000.
- the m2ts file 3447 is a similar file.
- the file name “zzzzz” of m2ts is a 5-digit integer, and the same 5-digit integer is assigned to the associated clip information file and AV stream file.
- a set of m2ts is called a clip.
- An AV stream and clip information defining the arrangement of the AV stream The clip information has 3D synchronization flag indicating the synchronization state of the arrangement information of the 3D stream data, the arrangement information of the 2D compatible part of the 3D content, and the arrangement information of the 3D part,
- the 3D synchronization flag is set to an asynchronous state when the arrangement information of the 2D compatible part is updated, By setting the synchronization state when the 3D part placement information is updated, 3D content edited in 2D can be displayed correctly in 3D.
- FIG. 9 is an example of a diagram showing the structure of an MPEG-2 transport stream.
- the AV stream file has the structure of MPEG-2 transport stream.
- the MPEG-2 transport stream includes a natural number of aligned units 901.
- the aligned unit 901 starts from the first byte of the source packet 902.
- the length of the source packet 902 is 192 bytes.
- One source packet includes a TP extra header 903 and a transport packet 904.
- the length of the TP extra header 903 is four times, and the length of the transport packet 904 is 188 bytes.
- One aligned unit 901 is composed of 32 source packets 902.
- the last aligned unit 901 in the MPEG-2 transport stream is composed of 32 source packets 902.
- the transport packet 904 is defined by ISO / IEC 13818-1.
- the TP extra header 903 includes copy permission information 905 and arrival time stamp 906.
- the copy permission information 905 includes content protection information of the related transport packet 904.
- the arrival time stamp 906 is set with an arrival time stamp value to be described later.
- FIG. 10 is an example of a schematic diagram of a recording apparatus showing an embodiment of the present invention.
- 1001 is an antenna for inputting a digital broadcast wave.
- Reference numeral 1002 denotes a tuner that receives a digital broadcast wave input from the antenna 1001.
- Reference numeral 1003 denotes a DEMUX that separates a digital broadcast wave (full TS (TransportTrStream)) received by the tuner 1002 into elementary streams as necessary.
- a digital broadcast wave full TS (TransportTrStream)
- the 1004 is a data selector, and selects a necessary stream from the elementary streams separated by the DEMUX 1003 as necessary.
- Reference numeral 1005 denotes REMUX, which multiplexes the stream sent from the data selector into the MPEG-2 transport stream again as necessary, thereby forming a partial TS (Transport Stream).
- the 1006 is a transcoder, which converts the format of the TS audio stream and video stream input from the REMUX 1005 as necessary.
- 1011 is a video input for inputting an analog video signal.
- Reference numeral 1012 denotes A / D conversion, which converts analog data input from the video input 1011 into digital data.
- 1021 is an audio input for inputting an analog audio signal.
- a / D conversion which converts analog data input from the audio input 1021 into digital data.
- 1013 is an encoder that encodes the video data and audio data digitized by the A / D conversions 1012 and 1022 into an MPEG-2 transport stream.
- the 1014 is a selector, which switches and inputs a stream sent from the transcoder 1006 or the encoder 1013.
- T_STD which is a transport system target to which an MPEG-2 transport stream at time i is input and is a coder.
- 1032 is a PLL, which has a frequency of 27 MHz, and is synchronized with PCR (ProgramProClock Reference) of the input MPEG-2 transport stream.
- the 1033 is a counter, which is a binary counter that counts pulse signals with a frequency of 27 MHz.
- the count value i at time i is passed to the packetizer 1034 as arrival time clock (i).
- the 1034 is a packetizer, which adds a TP extra header to all transport packets and generates a source packet stream and an aligned unit.
- the generated source packet stream is transferred to the write buffer 1035 at the maximum transfer rate RMAX.
- the packetizer 1034 has a small buffer inside and averages the bit rate of the stream. Although the peak rate of digital broadcasting may exceed RMAX, the transfer rate to the write buffer 1035 is guaranteed to be RMAX or less by an internal buffer.
- the arrival time stamp is the time when the first byte of the source packet arrives at the T_STD 1031 and the packetizer 1034.
- the recording apparatus needs to assume such a case.
- an MPEG-2 transport stream player which will be described later, outputs a transport stream according to arrival time stamps
- the PCR accuracy of the output transport stream is defined by ISO / IEC13818-9.
- a buffer 1035 is a write buffer for writing the source packet transferred from the packetizer 1034 to the drive 1036.
- the TS recording rate defined in the clip information of the AV stream file determines the value of RMAX. This RMAX is calculated as follows.
- RMAX TS recording rate x 192/188
- the unit of TS recording rate is byte / second.
- the recording rate to the drive 1036 is RUD, and when the buffer 1035 is a shell, the recording rate to the drive 1036 is 0. Buffer 1035 does not overflow.
- Reference numeral 1036 denotes a drive which writes a stream input from the write buffer 1035 to a recording medium such as an optical disk at the maximum recording rate RUD.
- Each block in the recording apparatus is connected to the CPU bus indicated by a broken line, and exchanges and controls data.
- Reference numeral 1042 denotes a memory, which is used as a work memory of the CPU 1041 or an encoder buffer.
- the clip information has 3D synchronization flag indicating the synchronization state of the arrangement information of the 3D stream data, the arrangement information of the 2D compatible part of the 3D content, and the arrangement information of the 3D part,
- the 3D synchronization flag is set to an asynchronous state when the arrangement information of the 2D compatible part is updated, By setting the synchronization state when the 3D part placement information is updated, 3D content edited in 2D can be displayed correctly in 3D.
- FIG. 11 is an example of a schematic diagram of a playback apparatus showing an embodiment of the present invention.
- 1101 is a drive that reads an MPEG-2 transport stream from a recording medium such as an optical disk and transfers it to the buffer 1102.
- 1102 is a buffer which buffers the MPEG-2 transport stream read from the drive 1101.
- Reference numeral 1103 denotes a depacketizer, which separates the MPEG-2 transport stream input from the buffer 1102 into a TP extra header and a transport packet, and synchronizes the arrival time stamp with the arrival time clock input from the counter 1104.
- the transport packet is output. First, the initial value of the arrival time clock is passed to the counter 1104.
- 1104 is a counter, which starts from the initial value received from the depacketizer 1103, counts the 27 MHz pulse signal from the X-tal 1105, and passes the arrival time clock to the depacketizer 1103.
- 1105 is X-tal, which generates a 27 MHz pulse signal.
- Reference numeral 1111 denotes a selector which switches the transport packet input from the depacketizer 1103 for each type and passes it to the corresponding decoder.
- the 1121 is an audio decoder, which decodes the audio packet input from the selector 1111 and passes it to the mixer 1122.
- 1122 is a mixer, and performs mixing such as volume setting of multi-channel audio at a specified rate as necessary.
- the 1131 is a video decoder, which decodes the video packet input from the selector 1111 and passes it to the video plane 1132.
- Reference numeral 1132 denotes a video plane, which is a plane buffer for expanding and displaying the picture data decoded by the video decoder 1131.
- 1141 is a graphic decoder which decodes the graphic packet input from the selector 1111 and passes it to the graphic plane 1142.
- 1142 is a graphic plane, which is a plane buffer for developing graphic data input from the graphic decoder 1141.
- CLUT Color
- Table a table which refers to the RGB data and alpha blend data corresponding to each pixel of the graphic plane 1142.
- 1151 is an output unit that multiplexes input audio / video / graphics data and outputs the multiplexed audio / video / graphic data from the playback apparatus to the outside in an analog format such as YCbCr or a digital format such as HDMI.
- 1161 is a CPU, which controls playback control of the entire playback device.
- Each block in the recording apparatus is connected to the CPU bus indicated by a broken line, and exchanges and controls data.
- the 1162 is a memory, which is used as a work memory of the CPU 1161 or a buffer of a decoder.
- FIG. 12 is an example of a schematic diagram of a real playlist and a virtual playlist showing one implementation method of the present invention.
- 1201 is the first real play list, which refers to the play item 1211.
- 1202 is the second real play list, which refers to the play item 1212 and the play item 1213.
- 1211 is the first play item and refers to the clip 1203.
- 1212 is the second play item and refers to the clip 1204.
- the seventh play item which refers to a part of the bridge clip 1208 and a part of the clip 1205.
- the first virtual play list which refers to the play item 1231 and the play item 1232.
- 1207 is the second virtual play list, which refers to the play item 1233 and the play item 1234.
- the first bridge clip 1208 is the first bridge clip, which is re-encoded from the data at the end of the clip 1204 and the data at the top of the clip 1205.
- the playlist is for enabling the user to easily edit the playback time of the clip that the user wants to play. For example, cut and paste editing can be performed without moving, copying, or deleting a clip file entity (including partial movement, partial copying, and partial deletion).
- a playlist is a collection of continuous playback sections in a clip called play items, and a play item is represented by a set of in points and out points.
- the IN point and OUT point are time information indicating the position of the clip on the time axis. Therefore, it can be said that the playlist is a collection of play items.
- the In point means the playback start position of the playback section
- the Out point means the playback end position of the playback section.
- Real playlist is used for clip AV stream file, not for bridge clip AV stream file.
- the real playlist refers to a certain part of the clip.
- the data space on the disc is consumed by the size of the reference destination clip (a part thereof), and when the real play list is deleted, the reference destination clip (a part thereof) is deleted. .
- Real playlist is used for both clip AV stream files and bridge clip AV stream files.
- the virtual playlist has no data entity when used for a clip AV stream file, but has a data entity when used for a bridge clip AV stream file.
- a virtual playlist that does not use the bridge clip AV stream file is deleted, the clip does not change.
- Clip is a management unit for internal control of the playback device or recording device, and is not displayed on the user interface. Only the playlist is shown to the user.
- (1) Generation of Real Playlist The real playlist generated when the first broadcasted program is recorded is a real playlist that refers to the entire recorded clip.
- FIG. 13 is an example of a diagram illustrating an example of generating a real play list.
- 1301 is a real play list and refers to the play item 1311. At the time of new recording, it is generated as one playlist file.
- 1311 is a play item and refers to the clip 1303.
- Reference numeral 1303 denotes a clip, which is generated as one clip information file and one AV stream file at the time of new recording.
- FIG. 14 and FIG. 15 are examples of diagrams showing an example of real play list division.
- the 1401 is a real play list, and refers to the clip 1403 via a play item (not shown).
- 1421 is a division point and shows an example of dividing the vicinity of the center of the real play list 1401.
- a real play list which refers to a part of the clip 1503 (a part corresponding to the left of the dividing point 1521) via a play item (not shown).
- 1503 is a clip, which is the same as the clip 1403.
- a real play list 1512 refers to a part of the clip 1503 (a part corresponding to the right side of the dividing point 1521) via a play item (not shown).
- FIG. 16 and FIG. 17 are examples of diagrams showing an example of concatenation of real play lists.
- 1611 is a real play list, and refers to the clip 1601 via a play item (not shown).
- 1601 is a clip.
- 1612 is a real play list, and refers to the clip 1602 via a play item (not shown).
- 1602 is a clip.
- 1701 is a clip, which is the same as the clip 1601.
- 1702 is a clip, which is the same as the clip 1602.
- Reference numeral 1721 denotes a real play list, which refers to a clip 1701 and a clip 1702 via play items (not shown). (4) Deleting the entire real playlist When deleting an entire real playlist, the referenced range of the reference destination clip is deleted.
- FIG. 18 is an example of a diagram showing an example of deleting a real play list.
- 1801 is a real play list, and refers to a clip 1803 via a play item (not shown).
- Reference numeral 1803 denotes a clip.
- 19 and 20 are examples of diagrams showing an example of partial deletion of the top part of the real play list.
- 1903 is a clip.
- 2021 is a real play list and refers to the play item 2031.
- 2041 is a deletion range, and shows an example in which a part corresponding to the left side of the real play list 1901 is partially deleted.
- 2031 is a play item and refers to the clip 2023.
- 21 and 22 are examples of diagrams showing an example of partial deletion of the middle part of the real play list.
- 2101 is a real play list, and refers to the clip 2121 via a play item (not shown).
- 2121 is a clip.
- the 2211 is a real play list, and refers to the clip 2231 via a play item (not shown).
- 2231 is a clip.
- This process eliminates the need to change the original clip AV stream file and its clip information file.
- FIG. 23 and FIG. 24 are examples of diagrams showing an example of assemble editing (non-seamless connection of two play items).
- 2301 is a real play list, and refers to the clip 2303 via a play item (not shown).
- 2303 is a clip.
- the 2302 is a real play list, and refers to the clip 2304 via a play item (not shown).
- 2304 is a clip.
- 2341 is an IN point, which is the IN time of the play item 2431 registered in the virtual play list.
- 2343 is an IN point, which is the IN time of the play item 2432 to be registered in the virtual playlist.
- 2406 is a virtual play list, which refers to the play item 2431 and the play item 2432.
- 2431 is a play item and refers to a part of the real play list 2401.
- 2432 is a play item and refers to a part of the real play list 2402.
- 2403 is a clip, which is the same as the clip 2303.
- 2404 is a clip, which is the same as the clip 2304.
- 25 and 26 are examples of diagrams showing an example of assembly editing (seamless connection of two play items).
- 2501 is a real play list, and refers to a clip 2503 via a play item (not shown).
- 2503 is a clip.
- the 2502 is a real play list, and refers to the clip 2504 via a play item (not shown).
- 2504 is a clip.
- 2541 is an IN point, which is the IN time of the play item 2631 to be registered in the virtual play list.
- 2542 is an OUT point, which is the OUT time of the play item 2631 to be registered in the virtual play list.
- 2543 is an IN point, which is the IN time of the play item 2632 to be registered in the virtual play list.
- 2544 is an OUT point, which is the OUT time of the play item 2632 to be registered in the virtual play list.
- 2606 is a virtual play list, which refers to the play item 2631 and the play item 2632.
- 2631 is a play item, and a part of the real play list 2601 is referred to.
- 2632 is a play item and refers to a part of the real play list 2602.
- 2603 is a clip, which is the same as the clip 2503.
- 2604 is a clip, which is the same as the clip 2504.
- Reference numeral 2605 denotes a bridge clip. By generating the bridge clip, it is possible to realize smooth connection reproduction at the connection point.
- (2) Re-editing a virtual playlist By adding or inserting a play item to a virtual playlist, or deleting a play item in a virtual playlist, the IN point of the play item in the virtual playlist, or An editing method that changes the OUT point can be considered.
- the recording device warns the user that the existing bridge clip is deleted and a new bridge clip needs to be generated.
- a process of executing such a process after confirmation of the user is conceivable.
- (3) Deleting a virtual playlist Deleting an entire virtual playlist
- On the recording medium an AV stream and clip information that defines the arrangement of the AV stream are recorded.
- the clip information has 3D synchronization flag indicating the synchronization state of the arrangement information of the 3D stream data, the arrangement information of the 2D compatible part of the 3D content, and the arrangement information of the 3D part,
- the 3D synchronization flag is set to the asynchronous state, the management information of the 2D compatible part and the management information of the 3D part are synchronized, By playing 3D content, 3D content edited in 2D can be displayed correctly in 3D.
- FIG. 27 is an example of a hardware configuration diagram illustrating a configuration example of the recording / reproducing apparatus.
- 2704 is a recording / reproducing device
- 2703 is an antenna that receives a broadcast signal transmitted from a transmitting device via a broadcast transmission network such as a radio (satellite, ground), cable, etc.
- 2721 is a CPU (Central Processing) that controls the entire recording / reproducing device Unit)
- 2722 is a general-purpose bus for transmitting control and information between the CPU 2721 and each part in the recording / reproducing apparatus
- 2723 is a broadcast transmitted from the transmission apparatus via a broadcast transmission network such as radio (satellite, ground), cable, etc.
- a descrambler 2725 for decoding the scramble of the broadcast signal input from the network terminal 2756 is connected to a network external to the device.
- a network interface (I / F) 2726 for transmitting / receiving information to / from the network 2755 and transmitting / receiving various information and MPEG2-TS between the Internet and the recording / reproducing apparatus.
- Reference numeral 2726 denotes, for example, a removable HDD, a disk-type recording medium, a flash memory
- a recording medium 2750 is, for example, an HDD (Hard Disk Drive) or flash memory built in the recording / reproducing apparatus, or a secondary recording medium such as a removable HDD, a disk-type recording medium, or a flash memory
- 2727 is a main recording medium 2726 and
- a recording / reproducing unit that controls the sub-recording medium 2750 to control data recording on the main recording medium 2726 and sub-recording medium 2750 and data reproduction from the main recording medium 2726 and sub-recording medium 2750, 2729 is MPEG2-TS, etc.
- a demultiplexing unit that separates video ES (Elementary Stream), audio ES, program information, subtitle information, graphic data, etc., or multiplexes data such as video ES, audio ES, etc. into a format such as MPEG2-TS is there.
- An ES is each of compressed and encoded image / sound data.
- a video decoding conversion unit 2730 decodes the video ES into video data or converts the video ES into a video ES of another format.
- 2731 decodes the audio ES into audio data and outputs it from the audio output 2742, or the audio ES.
- the audio decoding conversion unit 2732 converts the video data decoded by the video decoding unit 2730 into 2D according to the instruction of the CPU.
- Conversion processing for converting 2D video data to 3D processing for superimposing a display such as 2D or 3D OSD (On Screen Display) created by the CPU 2721 on the video data, or predetermined processing such as HDMI
- a display such as 2D or 3D OSD (On Screen Display) created by the CPU 2721 on the video data
- predetermined processing such as HDMI
- a video conversion processing unit 2733 that outputs a synchronization signal and a control signal (used for device control) corresponding to the mat from the video signal output unit 2741 and the control signal output unit 2743, and an operation input (for example, IR ( Infrared Radiation) signal is received from a remote controller, and a device control signal (for example, IR) generated by the CPU 2721 and the video conversion processing unit 2732 is transmitted from the device control signal transmission unit 2744.
- IR Infrared Radiation
- a control signal transmission / reception unit, 2734 has a counter inside, a timer for holding the current time, 2746 is a digital input / output terminal that performs necessary processing such as encryption on the TS reconfigured by the demultiplexing unit TS output from 2757 to the outside, or received from the outside via the digital input / output terminal 2757
- a high-speed digital I / F such as a serial interface or an IP interface that decodes TS and inputs it to the demultiplexing unit 2729 is shown.
- the recording / reproducing apparatus is mainly configured by these devices.
- FIG. 28 is an example of a hardware configuration diagram illustrating a detailed configuration example of the recording / reproducing unit 2727 in FIG. 27 in the recording / reproducing apparatus.
- Reference numeral 2827 denotes the recording / reproducing unit 2727 in FIG.
- Reference numeral 2821 denotes the CPU 2721 in FIG.
- Reference numeral 2811 denotes the demultiplexing unit 2711 in FIG.
- Reference numeral 2825 denotes a network I / F 2725 in FIG.
- Reference numeral 2826 denotes the main recording medium 2726 in FIG.
- Reference numeral 2850 denotes the secondary recording medium 2750 in FIG.
- Reference numeral 2860 denotes a PLL having a frequency of 27 MHz, which is synchronized with MPEG-2TS PCR (Program Clock Reference) input from the demultiplexing unit 2829.
- An encryption unit 2861 performs encryption such as Advanced Encryption System (AES) on the MPEG-2TS input from the demultiplexing unit 2829.
- Reference numeral 2862 denotes a counter that counts a 27 MHz pulse signal input from the PLL.
- 2863 divides the MPEG2-TS input from the encryption unit 2861 into fixed-length data, adds a header including an arrival time stamp generated based on the count value input from the counter 2862, and adds a fixed-length It is a packetizer that outputs as a packet.
- Reference numeral 2864 denotes a write buffer that temporarily stores packets input from the packetizer 2863. Further, it is a write buffer that temporarily stores data downloaded from the network via the network I / F 2825. Furthermore, it is also a read buffer that temporarily stores reproduction data input from the storage I / F 2865. Reference numeral 2865 denotes a storage I / F, which transfers data to the main recording medium 2826 and the sub recording medium 2850 via the buffer 2865.
- a data bus such as a SATA (Serial ATA) bus is connected to the main recording medium 2826 and the sub recording medium 2850, and data is transferred using the SATA protocol or the like.
- Reference numerals 2866 and 2868 denote depacketizers that separate the MPEG-2 transport stream input from the buffer 2864 into a TP extra header and a transport packet, and synchronize the arrival time stamp with the arrival time clock input from the counter 2872. And output a transport packet.
- Reference numerals 2867 and 2869 denote decryption units which decrypt the encrypted transport packet.
- Reference numeral 2870 denotes X-tal, which generates a 27 MHz pulse signal.
- Reference numerals 2871 and 2872 denote counters which start from the initial values received from the depacketizers 2866 and 2868, count the 27 MHz pulse signal from the X-tal 2870, and pass the arrival time clock to the depacketizers 2866 and 2868.
- data input / output to / from the high-speed digital I / F 2746 in FIG. 27 is similar to the network I / F 2825, and digital data input from the high-speed digital I / F 2746 is buffered 2864.
- the digital data recorded on the main recording medium 2826 and the sub-recording medium 2850 and reproduced from the main recording medium 2826 and the sub-recording medium 2850 are temporarily stored in the buffer 2864, and the high-speed digital I Output from / F2746.
- FIG. 29 is an example of a hardware configuration diagram illustrating a detailed configuration example of the video decoding conversion unit 2730 in FIG. 27 in the recording / reproducing apparatus.
- Reference numeral 2921 denotes the CPU unit 2721 in FIG.
- Reference numeral 2949 denotes the memory 2749 in FIG.
- Reference numeral 2929 denotes the demultiplexing unit 2729 in FIG.
- Reference numeral 2932 denotes the video conversion processing unit 2732 in FIG.
- Reference numeral 2930 denotes the video decoding conversion unit 2730 in FIG.
- Reference numeral 2980 denotes a switching unit, which has a function of a PID filter that distributes and transfers a transport packet input from the demultiplexing unit 2929 to a set block according to the PID.
- Reference numerals 2981, 2984, 2987, 2991, and 2995 are buffers, and temporarily buffer transport packets input / output to / from the switching unit 2980.
- Reference numeral 2982 denotes a main decoder which decodes transport packets of a code-compressed video stream input via the buffer 2981.
- Reference numeral 2983 denotes a video plane, which is a display plane buffer for expanding the video data decoded by the main decoder 2982.
- Reference numeral 2985 denotes a sub-decoder for decoding transport packets of a code-compressed video stream input via the buffer 2984.
- Reference numeral 2986 denotes a video plane, which is a display plane buffer for expanding the video data decoded by the sub-decoder 2985.
- Reference numeral 2988 denotes a graphic decoder which decodes a transport packet of graphic data input via the buffer 2987.
- Reference numeral 2989 denotes a graphic plane which is a plane buffer for developing graphic data decoded and drawn by the graphic decoder 2988.
- Reference numeral 2990 denotes a CLUT, which performs conversion processing for replacing graphic data expanded on the graphic plane 2989 with display data.
- Reference numeral 2992 denotes a caption decoder, which decodes a transport packet of caption data input via the buffer 2991.
- Reference numeral 2993 denotes a subtitle plane, which is a plane buffer for developing graphic data decoded and drawn by the subtitle decoder 2992.
- Reference numeral 2994 denotes a CLUT, which performs conversion processing to replace the caption data expanded on the caption plane 2993 with display data.
- 2996 is a transcoder, which transcodes the transport packet of the code-compressed video stream input via the buffer 2995 into a video stream of another format or other bit rate, and outputs it again to the buffer 2995 To do.
- Data output from the video planes 2983 and 2986 and CLUTs 2990 and 2994 are transferred to the video conversion processing unit 2932.
- a state in which a channel to be recorded has been selected before starting recording is considered as an initial state.
- the digital broadcast wave received by the tuner 2723 via the antenna 2703 is descrambled by the descrambler 2724 and separated by the demultiplexer 2729 into a video stream, an audio stream, other graphic streams, subtitle streams, etc. To the decoder.
- the video decoding unit 2730 decompresses the video stream
- the video conversion processing unit 2732 converts the video data as necessary, and outputs control signals and video outputs from the output terminals 2732 and 2741.
- the output video output is displayed on the monitor display connected to the recording / reproducing apparatus and can be viewed by the user.
- a control signal indicating the start of recording is input from the user operation input unit 2745 and received by the control signal transmission / reception unit 2733.
- the received control signal is temporarily stored in the buffer 2749, interpreted by the CPU 2721, and controlled to start the recording operation.
- the CPU 2721 notifies the user that the input from the user is normally received and the recording starts using the OSD (On Screen Display) or the like.
- the CPU 2721 controls the demultiplexing unit 2729 and transfers the stream of the program instructed by the user to select and record to the recording / reproducing unit 2727.
- the recording / playback unit 2827 performs encryption processing such as AES (Advanced Encryption System) on the stream data input from the demultiplexing unit 2829, and the packetizer 2863 uses the packetizer 2863. Packetization processing is performed and temporarily stored in the buffer 2864. In addition, the pulse signal synchronized with the PLL 2860 is counted by the counter 2862 to the PCR of the stream input from the demultiplexing unit 2829, transferred to the packetizer 2863, and added to the transport packet as the arrival time clock of the TP extra header. .
- AES Advanced Encryption System
- Packets stored in the buffer 2864 are recorded on a main recording medium 2826 such as a DVD or Blu-ray Disc (TM) by the storage I / F 2865.
- a main recording medium 2826 such as a DVD or Blu-ray Disc (TM)
- TM Blu-ray Disc
- the video stream and the audio stream are recorded as an m2ts file with a file structure as shown in FIG.
- the stream file name is “01000.m2ts”.
- a bdav file or the like is recorded on the main recording medium 2826.
- the clip information file is “01000.clpi”
- the real playlist file is “01001.rpls”.
- the recording start time and recording end time of the stream file 146 are recorded in the IN time 606 and the OUT time 607 of the clip information file “01000.clpi”, respectively. “01000” is recorded in the clip information file 602 of the real play list file “01001.rpls”.
- the stream is transferred as it is from the demultiplexing unit 2729 of FIG.
- the stream In the mode in which the video stream and audio stream included in the broadcast wave are recorded as they are, the stream is transferred as it is from the demultiplexing unit 2729 of FIG.
- TM Dolby Digital
- it is transferred from the demultiplexing unit 2729 to the video decoding conversion unit 2730, and the switching unit 2980 in the video decoding conversion unit 2730 shown in FIG.
- the data is stored in the buffer 2995, converted in format by the transcoder 2996, and returned to the demultiplexing unit 2729 in FIG. 27 via the buffer 2995 and the switching unit 2980.
- the returned stream data is transferred to the recording / reproducing unit 2727 and recorded on the main recording medium 2726 as described above.
- content downloaded from the network may be recorded on the main recording medium 2726 and sub-recording medium 2750.
- a program eg, JAVA (registered trademark) program
- the CPU 2721 executes the program. If the program is described to perform network access, it is possible to connect to a website designated in the program and download new content.
- the downloaded content is transferred to the recording / reproducing unit 2727 via the network I / F 2725 and recorded on the sub-recording medium 2750.
- digital data may be input via the digital input / output 2757 by the digital I / F 2746 and recorded on the main recording medium 2726 or the sub recording medium 2750.
- the digital input / output 2757 of the recording / reproducing apparatus is USB (Universal Serial Bus) or IEEE 1394
- a storage apparatus having the same digital I / F for example, a digital video camera, a digital still camera, an external HDD, or a USB flash memory And can input digital data.
- digital data can be directly input from the SD card by inserting the SD card on which the content is recorded into this slot.
- SD card TM
- the compressed digital data recorded in the H.264 format can be input and recorded in the main recording medium 2726 and the sub recording medium 2750.
- the recorded content is 3D from the SI information included in the broadcast wave, the program information on the Internet, or the content information input by the user using a remote controller, etc., and whether the 3D format of the recorded content is the side-by-side format
- a top-and-bottom method, a frame packing method, or another method can be determined.
- step 3301 When the recording / reproducing apparatus receives the broadcast, information indicating 3D or 2D is acquired from the program information included in the received broadcast data (step 3301). If it is 2D (step 3302), 000 is recorded as a value to be set for the 3D type 322 (step 3303).
- the AV stream is recorded (step 3304), and the play list is recorded (step 3312). If it is 3D instead of 2D (step 3302), it is determined whether it is a 1080p24Hz frame pack (step 3305). If it is a 1080p24 Hz frame pack (step 3305), 100 is recorded as a value to be set in the 3D type 322 (step 3306). If it is not a 1080p24Hz frame pack (step 3305), it is determined whether it is 720p60Hz top and bottom (step 3307). If it is 720p60 Hz top and bottom (step 3307), 010 is recorded as a value to be set in the 3D type 322 (step 3308).
- an AV stream is recorded (step 3304), and a play list is recorded (step 3312). If it is not 720p60Hz top and bottom (step 3307), it is determined whether it is 1080i60Hz side by side (step 3309). If it is 1080i60 Hz side-by-side (step 3309), 110 is recorded as a value to be set in the 3D type 322 (step 3310).
- the AV stream is recorded (step 3304), and the play list is recorded (step 3312). If it is not 1080i60 Hz side-by-side (step 3309), a message that recording is impossible is displayed to the user (step 3311).
- the 3D type of the content can be recorded correctly, and if the recording is impossible, the user can be notified that the recording is impossible.
- the recording / reproducing unit 2727 When the optical disk as the main recording medium 2726 in FIG. 27 is loaded into the recording / reproducing unit 2727, the recording / reproducing unit 2727 notifies the insertion of the disk, and the CPU 2721 instructs the recording / reproducing unit 2727 to access the disk. Execute confirmation of NO. Thereafter, a list of contents recorded on the disc is read, and the contents list is displayed on a display connected to the recording / reproducing apparatus.
- FIG. 32 shows an example of a content list recorded by the user.
- FIG. 32 is an example of a schematic diagram of a screen displaying a list of programs recorded by the user on the disc.
- 3201 is a title display part of this screen.
- the screen shows a list of recorded programs.
- the recorded program list has a total of one page, and the first page is displayed.
- 3203 is a display section for the total number of contents and the total content recording time. In this case, 10 programs are recorded in total, and the total time is 4 hours and 15 minutes.
- 3204 is a scroll up button. By performing an operation of pressing this button using a cursor or the like by a user operation such as a remote control, the recorded programs displayed in a list are scrolled up.
- 3205 is a scroll down button. Performs the reverse operation of the scroll up button.
- 3211 is an information display section of the recorded program 1.
- the recording date and time is from 12:00 to 13:00 on September 30, the broadcast channel is BS11 channel, the program name is “golf lesson”, the program is 3D content, It is displayed that the recording mode is the TS mode.
- 3212 is an information display section of the recorded program 2.
- Reference numeral 3213 denotes an information display section of the recorded program 3.
- Reference numeral 3214 denotes an information display section of the recorded program 4.
- Reference numeral 3215 denotes an information display section of the recorded program 5.
- Reference numeral 3216 denotes an information display section of the recorded program 6.
- 3221 is a menu list of playback functions. By selecting this menu list, it is possible to continuously play back recorded programs.
- 3231 is a selection frame for indicating an item selected when the user selects an item from items displayed on the screen using a user interface such as a remote controller. In this case, the “reproduction function” is selected.
- 3222 is a menu list of the deletion function. By selecting this menu list, the recorded program can be deleted.
- 3223 is a menu list of the dubbing function. By selecting this menu list, a recorded program can be dubbed.
- 3224 is a conversion function menu list. By selecting this menu list, the recorded program can be converted.
- 3225 is a menu list of editing functions. By selecting this menu list, the recorded program can be locked for deletion.
- 3227 is a menu list of display functions. By selecting this menu list, a list of recorded programs can be displayed.
- the target program is selected from the displayed recorded programs 3211 to 3216 with the remote controller or the like, and the “playback function” is selected to start playback.
- the disc when the disc is inserted into the recording / reproducing apparatus, it is possible to perform automatic reproduction such as executing the first play or resuming the reproduction from the position where the previous reproduction was completed.
- resume point list information in which the disc ID and final playback position are paired is stored in the nonvolatile memory in the device when the disc is ejected, and the disc of the inserted disc is inserted when the disc is inserted.
- the resume point list is referred to, and if there is a matching disc ID, the corresponding final playback position is determined as the playback restart position, jumping to that position and starting playback. It is feasible.
- info By registering the file name of the playlist to be resumed in the resume playlist file name of the bdav file 111, the info. This can be realized by reading the bdav file 111 and reproducing the playlist file recorded in the resume playlist file name.
- the recorded program list display function of the recording / playback apparatus can be used to select a scene or content that the user wants to play from a thumbnail list displayed there. .
- the playlist information start address 203 is read out from the playlist file structure of FIG. 2, and the playlist information is stored. Get the offset on the file.
- the playlist information shown in FIG. 5 is obtained.
- the play item 505 has the structure shown in FIG. 6, and the clip information file name to be reproduced can be known by referring to the clip information file 602. For example, if “01000” is recorded in the clip information file 602, it can be understood that the clip information file 144 (01000.rpls) and the stream file (01000.rpls) may be read.
- the reproduction start position and the reproduction end position of the clip to be reproduced can be known. By repeating this as many times as recorded in the number of play items 503, it is possible to acquire which part of which clip should be reproduced in order.
- information such as the 3D flag 321 and 3D type 322, recording date and time 308, channel number 312 and playlist name 316 recorded in the playlist file, bit rate, image resolution, and CODEC recorded in the clip information file are recorded.
- the acquired attribute information is subjected to graphic processing by the video conversion processing unit 2732 according to an instruction from the CPU 2721, converted into image data, superimposed on the main image output from the video decoding conversion unit 2730, and video output 2741. Can be transmitted to the display or notified to the user.
- information such as the 3D flag 321 and the 3D type 322 is encoded into a control signal by the video conversion processing unit 2732 and output from the control signal 2743 in accordance with an instruction from the CPU 2721.
- control signal output from the control signal 2743 and the video signal output from the video output 2741 are connected to the outside of the recording / playback apparatus as signals compliant with a digital video transmission standard (for example, HDMI standard or DisplayPort standard). Is output to the display.
- a digital video transmission standard for example, HDMI standard or DisplayPort standard.
- the display can correctly display the video signal output from the video output 2741 by receiving the control signal output from the control signal 2743 and setting the display mode according to the control signal.
- the recording / reproducing apparatus can recognize display specifications and performance by acquiring display information from an externally connected display via a control signal 2743 and interpreting the information according to an instruction from the CPU 2721. For example, whether the display is compatible with 3D display, which of the 3D systems is compatible with the display, and the like.
- the recording / reproducing apparatus can determine whether or not 3D content can be correctly displayed by comparing the display information acquired and interpreted as described above with information such as the 3D flag 321 and the 3D type 322. If the 3D display cannot be performed correctly, the user can be informed accordingly.
- the connected display is a display that supports only side-by-side stereoscopic display
- the content that is being attempted is 3D content recorded by the frame packing method, and the display to be displayed is incompatible with the display of the frame packing method. Therefore, a message such as “This display cannot be stereoscopically displayed on this display” can be displayed on the display to notify the user.
- FIG. 30 is an example of a timing chart showing processing of the recording / reproducing apparatus and the display.
- step 3001 When a disc to be played back is inserted into the recording / playback apparatus (step 3001), information about the content is read from the disc (step 3002).
- Information related to content includes information related to 3D such as the 3D flag 321 and the 3D type 322.
- the acquired 3D information 3004 is transmitted to the display device via the digital I / F connected to the display device (display) (step 3003).
- the display device receives the 3D information sent from the recording / reproducing device and analyzes the content (step 3005).
- the display device collates the analyzed result with the 3D method supported by the display device, determines whether the display can be performed without conversion or whether conversion is necessary, and sets an optimal display mode (step 3006).
- normal completion information 3008 is returned to the recording / reproducing apparatus (step 3007). If it is determined in step 3006 that the content cannot be displayed, step 3007 returns error information indicating that display is impossible.
- the recording / playback apparatus starts transmitting the 3D content 3009. If error information is received, 3D content is not transmitted, and the user is notified that display is not possible. At this time, the notification may be displayed on the display device by OSD.
- FIG. 30 is an example of a timing chart showing processing of the recording / reproducing apparatus and the display.
- step 3001 When a disc to be played back is inserted into the recording / playback apparatus (step 3001), information about the content is read from the disc (step 3002).
- Information related to content includes information related to 3D such as the 3D flag 321 and the 3D type 322.
- the display device transmits 3D information 3004 supported by the display device to the recording / playback device via the digital I / F connected to the display device (display) (step 3003). ).
- the recording / reproducing apparatus collates the 3D system information 3004 sent from the display device with the 3D information of the content acquired in step 3002, and determines whether it can be displayed without conversion or whether conversion is necessary (step 3005). If conversion is necessary, it is determined whether the recording / playback apparatus can perform conversion (step 3006). If conversion is possible, the 2D / 3D system information 3008 of the content to be transmitted is notified to the display device (step 3007), and the display device receives the 2D / 3D system information 3008 sent from the recording / playback device, A display mode is set (step 3009). If conversion is impossible, the recording / reproducing apparatus notifies the user that display is impossible. At this time, the notification may be displayed on the display device by OSD. In this case, the 3D content is not transmitted to the display device.
- the display device After setting the display mode (step 3009), the display device returns normal completion information 3011 to the recording / playback device (step 3010), and the recording / playback device converts the 3D content and displays the converted content 3013. Transmit to the device (step 3012).
- the play list is played back (step 3101).
- Information indicating the 3D method is acquired from the 3D type information 322 included in the playlist (step 3102). If it is 000 (step 3103), it is determined that the content is 2D content, and the AV stream is reproduced (step 3104).
- step 3105 it is determined whether it is 100 (step 3105). If 100 (step 3105), it is determined that the frame pack is a 1080p24Hz frame pack, and it is confirmed whether the 1080p24Hz frame pack is included in the 3D format supported by the display device (step 3106). If it is included, it is determined that display is possible (step 3106), 3D information is transmitted (step 3107), and the AV stream is reproduced (step 3104). If it is not included, it is determined that display is impossible (step 3106), and it is confirmed whether the recording / playback apparatus supports the conversion function of 1080p24Hz frame pack content (step 3110).
- step 3110 If it is compatible (step 3110), the AV stream is converted (step 3111), 3D information is transmitted (step 3107), and the AV stream is reproduced (step 3104). If not supported (step 3110), a message indicating that reproduction is impossible is displayed to the user (step 3112).
- step 3105 it is determined whether it is 010 (step 3108). If it is 010 (step 3108), it is determined that the top and bottom is 720p60Hz, and it is confirmed whether or not the 720p60Hz top and bottom is included in the 3D system supported by the display device (step 3106). If it is included, it is determined that display is possible (step 3106), 3D information is transmitted (step 3107), and the AV stream is reproduced (step 3104). If it is not included, it is determined that display is impossible (step 3106), and it is confirmed whether or not the recording / playback apparatus supports the function of converting 720p60Hz top and bottom content (step 3110).
- step 3110 If it is compatible (step 3110), the AV stream is converted (step 3111), 3D information is transmitted (step 3107), and the AV stream is reproduced (step 3104). If not supported (step 3110), a message indicating that reproduction is impossible is displayed to the user (step 3112).
- step 3108 it is determined whether it is 110 (step 3109). If it is 110 (step 3109), it is determined that it is 1080i60Hz side-by-side, and it is confirmed whether 1080i60Hz side-by-side is included in the 3D system supported by the display device (step 3106). If it is included, it is determined that display is possible (step 3106), 3D information is transmitted (step 3107), and the AV stream is reproduced (step 3104). If it is not included, it is determined that display is impossible (step 3106), and it is confirmed whether the recording / playback apparatus supports the conversion function of 1080i60Hz side-by-side content (step 3110).
- step 3110 If it is compatible (step 3110), the AV stream is converted (step 3111), 3D information is transmitted (step 3107), and the AV stream is reproduced (step 3104). If not supported (step 3110), a message indicating that reproduction is impossible is displayed to the user (step 3112).
- the 3D type of content can be correctly played back, and if playback is impossible, the user can be notified that playback is not possible.
- FIG. 27 is used to explain the details of the process of reading desired data from the AV stream file and displaying it on the display.
- the AV stream file read from the main recording medium 2726 is separated into elementary streams by the demultiplexing unit 2729 via the recording / reproducing unit 2727, the video stream to the video decoding conversion unit 2730, and the audio stream to audio decoding.
- the data is transferred to the conversion unit 2731.
- the video stream is decoded by the video decoding conversion unit 2730 and output from the video output 2741 via the video conversion processing unit 2732.
- the audio stream is decoded by the audio decoding conversion unit 2731 and output from the audio output 2742.
- the audio / video stream data of the AV stream file recorded on the main recording medium 2826 is read by the designated length from the designated sector in response to the read request command from the storage I / F 2865 and exceeds a certain amount in the buffer 2864. Accumulated.
- the stream data stored in the buffer 2864 is read in units of TS packets in response to a request from the depacketizer 2866, and the packet is resolved by the depacketizer 2866 and the arrival time stamp in the header is analyzed. Then, the arrival time stamp and the clock information supplied from the counter 2872 are compared, and the packet is transferred to the decoding unit 2867 at a correct interval.
- the decryption unit 2867 decrypts the packet encryption and sends it to the demultiplexing unit 2829.
- the same processing is performed for the path from the buffer 2864 to the packetizer 2868 and the decoding unit 2869.
- a function of superimposing a sub-image on a main image for example, a PictureInPicture function, a PopUpMenu function, or the like can be realized.
- FIG. 37 is a flowchart showing a method for recording management information when recording 3D content.
- step 3701 When 3D content is recorded (step 3701), stream number information 625 and 3D stream number information 210 of the recorded 3D content are recorded in the playlist (step 3702, step 3703). Further, the edited flag 306 is set to 0 (step 3704), and the 3D synchronization flag 323 is set to 1 (step 3705). Finally, the 3D time stamp 3602 is updated (step 3706), and the time stamp of the playlist file is updated (step 3707).
- a 3D synchronization flag 323 indicates a 2D / 3D synchronization state. Furthermore, the 2D stream number information 3603 of the stream number information 625 and the 3D stream number information 210 has the same contents.
- FIG. 38 is a flowchart showing a method for updating management information when editing 3D content in a 2D editing environment.
- step 3801 When an editing operation for changing the stream number information is performed on the recorded 3D content in the 2D editing environment (step 3801), the stream number information 625 is updated (step 3802), and the edited flag 306 is set. 1 is set (step 3803), and the 3D synchronization flag is set to 0 (step 3804). Further, the time stamp of the file is updated (step 3805).
- a 3D synchronization flag 323 indicates a 2D / 3D asynchronous state. Furthermore, the 2D stream number information 3603 of the stream number information 625 and the 3D stream number information 210 has different contents.
- Editing that changes the stream number information includes 3D / 2D conversion of the main image stream, 3D / 2D conversion of the text subtitle stream, and the like.
- FIG. 39 is a flowchart showing a method for updating management information when 3D content edited in the 2D editing environment is loaded in the 3D playback device or the 3D editing environment.
- the edited flag of the playlist file is checked to determine whether editing has been performed (step 3901). If it has been edited, it is confirmed whether or not the 3D stream number information of the playlist file exists, and it is determined whether or not it is 3D content (step 3902). If it is 3D content, the 3D synchronization flag of the playlist file is confirmed, and it is determined whether or not the management information of the 2D compatible part and the 3D specific part is synchronized (step 3903).
- the 3D time stamp 3602 is compared with the time stamp of the playlist file to determine whether they are the same, and it is determined whether the content edited in the 2D editing environment needs to be reflected in the 3D specific part. (Step 3904).
- the 2D stream number information 3603 of the stream number information 625 and the 3D stream number information 210 may be compared, and if they are different, it may be determined that the content edited in the 2D editing environment needs to be reflected in the 3D specific part. Is possible.
- step 3904 If it is determined that reflection is necessary (step 3904), the 3D stream information 210 is updated (step 3905). Then, the 3D synchronization flag is set to 1 (step 3905), the 3D time stamp is updated (step 3907), and the time stamp of the playlist file is updated (step 3908).
- the management information is updated on the memory in the playback device, and this is used during playback to rewrite the file on the recording medium. Even if it is not possible, it can be reproduced in 3D correctly according to the editing contents of 2D.
- FIG. 40 is a flowchart showing a management method when editing 3D content in the 3D editing environment.
- step 4001 When an editing operation for changing the stream number information is performed on the recorded 3D content in the 3D editing environment (step 4001), the stream number information 625 is updated (step 4002), and the 3D stream number information 210 is updated. (Step 4003), the 3D time stamp 3602 is updated (step 4004), the edited flag 306 is set to 1 (step 4005), and the 3D synchronization flag 323 is set to 1 (step 4006). Further, the time stamp of the file is updated (step 4007).
- a 3D synchronization flag 323 indicates a 2D / 3D synchronization state. Furthermore, the 2D stream number information 3603 of the stream number information 625 and the 3D stream number information 210 has the same contents.
- FIG. 41 is an example of a schematic diagram showing the structure of clip information.
- 4101 is type identification, and information indicating clip information is set.
- 4102 is a version number, which is a number indicating the version of the clip information file.
- 4103 is a sequence information start address, and a value indicating the relative start position of the sequence information in the clip information file in bytes is set.
- 4104 is a program information start address, and a value indicating the relative start position of the program information in the clip information file in bytes is set.
- 4105 is a feature point information start address, and a value indicating the relative start position of the feature point information in the clip information file in bytes is set.
- 4106 is a mark information start address, and a value indicating the relative start position of the mark information in the clip information file in bytes is set.
- 4107 is an extent start information start address, and a value indicating the relative start position of the extent start information in the clip information file in bytes is set.
- Reference numeral 4108 denotes an edited flag. If 0 is set, the original data at the time of recording is stored without being changed. If 1 is set, a change has been added. It shows that.
- 4109 is a 3D time stamp and indicates the latest time when the extent start information is updated.
- sequence information which is information for identifying the ATC and STC of the stream file.
- 4111 is program information, which indicates information on a packet sequence that constitutes a stream file.
- 4112 is feature point information indicating the relationship between time information and position information of a stream file.
- 4113 is mark information indicating the mark information of the clip.
- Reference numeral 4114 denotes extent start information, which indicates the arrangement of the Base View stream and the Dependent ⁇ View of the 3D content stream.
- the left-eye stream and the right-eye stream of the 3D content are read separately, and each decoding processing system Used to input to.
- the clpi includes extent start point information for managing stream file arrangement information.
- This information shows the arrangement of the Base View stream and the Dependent ⁇ View of the 3D content stream.
- the respective decoding processing systems In order to separately read the left eye stream and the right eye stream of the 3D content and input them to the respective decoding processing systems. used.
- the stream file can be accessed in two types: a stream file (zzzzz.m2ts) that points only to the Base View stream, and a stream file (zzzzz.ssif) that points to Base View and Dependent View together. Accordingly, 2D playback is possible even with a playback device that supports only 2D.
- the clip information file has “edited flag 4108”, “3D time stamp 4109”, and “extent start information 4114” as “completed flag”, “3D time stamp”, and “2D compatible part management information”, respectively.
- the processing flow can be explained by replacing the description in the playlist with the information in the clip information file.
- An AV stream a recording unit that records clip information defining the arrangement of the AV stream on a recording medium, a reproducing unit that reproduces information from the recording medium, and a control unit that controls the recording unit and the reproducing unit
- the clip information has 3D synchronization flag indicating the synchronization state of the arrangement information of the 3D stream data, the arrangement information of the 2D compatible part of the 3D content, and the arrangement information of the 3D part
- the 3D synchronization flag is set to an asynchronous state when the arrangement information of the 2D compatible part is updated,
- the management information of the 2D compatible part and the management information of the 3D part are synchronized, By playing 3D content, 3D content edited in 2D can be displayed correctly in 3D.
- this invention is not limited to the above-mentioned Example, Various modifications are included.
- the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
- a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
- each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
- Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
- Information such as programs, tables, and files for realizing each function should be stored in a memory, a hard disk, a recording device such as SSD (Solid State Drive), or a recording medium such as an IC card, SD card (TM), or DVD. Can do.
- control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
- 301 Length, 302 ... Character code, 303: Reproduction protection flag, 304 ... Recording protection flag, 305 ... Reproduction flag, 306 ... Edited flag, 307 ... Time zone, 308 ... Recording date and time, 309 ... Playlist length, 310 ... Maker ID, 311 ... Model code, 312 ... Channel number, 313 ... Channel name length, 314 ... Channel name, 315 ... Playlist name length, 316 ... Playlist name, 317 ... Playlist detail length, 318 ... Playlist details, 321 ... 3D flag, 322 ... 3D type, 323 ... 3D synchronization flag
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
記録媒体に情報を記録する記録方法であって、AVストリームを記録するステップと、前記AVストリームの配置を規定するクリップ情報を記録するステップとを有し、前記クリップ情報には3Dストリームデータの配置情報が含まれており、前記クリップ情報には3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグが含まれており、前記3D同期フラグは前記2D互換部分の配置情報が更新されるときに非同期状態に設定され、前記3D部分の配置情報が更新されるときに同期状態に設定される。これによれば、2Dで編集された3Dコンテンツを3Dでも正しく表示できるような情報を記録したプレイリストやクリップ情報とその記録再生装置/方法/媒体、再生装置/方法が提供される。
Description
本発明は、記録装置/方法/媒体、再生装置/方法に関するものである。
本発明の背景技術として、特開2007-280496号公報(特許文献1)がある。この公報には、その課題として、「リアルプレイリストでは再生可否を示すフラグが再生禁止となっているのに、同じクリップを参照しているバーチャルプレイリストは再生可能となってしまう。」と、そして、その解決手段として、「フォルダ内の全てのプレイリスト(リアル、バーチャルとも)の情報を管理する全プレイリスト情報管理手段と、指定されたプレイリストの属性を変更するプレイリスト属性変更手段と、プレイリストが参照している全てのクリップの属性を変更する対象クリップ属性変更手段と、フォルダ内の全てのクリップの情報を管理する全クリップ情報管理手段と、変更があったクリップを参照しているプレイリストの属性を変更するか否かを判定するプレイリスト属性変更判別手段と、更新されたプレイリストの情報ディスクに書き込むディスク書き込み手段とを備える。」と記載されている。
上記の特許文献1には、AVデータのプレイリストの構造とクリップの構造とAVデータ編集装置及び方法が記載されている。しかし、特許文献1のプレイリストやクリップは、コンテンツが3Dであった場合に2D編集環境で編集された結果を3Dに反映することができないという課題に対する考慮はされていない。
このようなプレイリスト構造やクリップ構造は、例えば、3D再生時に2Dで編集した内容どおりに正しく表示できない場合がある。
そこで、本発明は、2Dで編集された3Dコンテンツを3Dでも正しく表示できるような情報を記録したプレイリストとクリップ情報とその記録再生装置/方法/媒体、再生装置/方法を提供する。例えば、プレイリストやクリップ情報に2Dでの編集が3Dに反映されたかどうかの状態を記録再生するような記録再生装置/方法/媒体、再生装置/方法を提供する。
上記課題を解決するために、例えば、本発明によれば、特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、記録媒体に情報を記録する記録方法であって、
AVストリームを記録するステップと、
前記AVストリームの配置を規定するクリップ情報を記録するステップと、を有し、
前記クリップ情報には3Dストリームデータの配置情報が含まれており、
前記クリップ情報には3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグが含まれており、
前記3D同期フラグは前記2D互換部分の配置情報が更新されるときに非同期状態に設定され、前記3D部分の配置情報が更新されるときに同期状態に設定されること
を特徴とする。
AVストリームを記録するステップと、
前記AVストリームの配置を規定するクリップ情報を記録するステップと、を有し、
前記クリップ情報には3Dストリームデータの配置情報が含まれており、
前記クリップ情報には3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグが含まれており、
前記3D同期フラグは前記2D互換部分の配置情報が更新されるときに非同期状態に設定され、前記3D部分の配置情報が更新されるときに同期状態に設定されること
を特徴とする。
本発明によれば、2Dで編集された3Dコンテンツを3Dでも正しく表示できる記録再生装置/方法/媒体、再生装置/方法を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明を記録装置/方法/媒体、再生装置/方法に適用した場合の実施例について、説明する。
(記録媒体)
図1は、本発明の一実施方法を示したディレクトリ構造とファイル構造の模式図の例である。
図1は、本発明の一実施方法を示したディレクトリ構造とファイル構造の模式図の例である。
101は、ルートディレクトリであり、少なくともBDAVディレクトリ102を含む。
102はBDAVディレクトリであり、PLAYLISTディレクトリ121、CLIPINFディレクトリ122、STREAMディレクトリ123、BACKUPディレクトリ131を含む。
ルートディレクトリ101は、BDAV1ディレクトリ103、BDAV2ディレクトリ104、BDAVnディレクトリ105といった、外部BDAVディレクトリを含む。ここでBDAVnディレクトリ105のnは、外部BDAVディレクトリの数に応じた、1から連続した自然数である。例えば、4つの外部BDAVディレクトリがルートディレクトリ101以下に存在する場合、nは4となり、それぞれ、BDAV1、BDAV2、BDAV3、BDAV4というディレクトリ名となる。
PLAYLISTディレクトリ121は、リアルプレイリストファイル141および142、バーチャルプレイリスト143などの管理ファイルが含まれる。
CLIPINFディレクトリ122は、クリップ情報ファイル144、145などの管理ファイルが含まれる。
STREAMディレクトリ123は、ストリームファイル146、147などのストリームファイルが含まれる。
info.bdavファイル111は、一般的な情報を格納したファイルであり、BDAVディレクトリにひとつ格納される。
menu.tidxファイル112は、メニューサムネイルのヘッダ情報が格納される。
menu.tdt1ファイル113は、メニューサムネイルのピクチャデータが格納される。menu.tdt2ファイル114も同様のファイルである。
mark.tidxファイル115は、マークサムネイルのヘッダ情報が格納される。
mark.tdt1ファイル116は、マークサムネイルのピクチャデータが格納される。mark.tdt2ファイル117も同様のファイルである。
01001.rplsファイル141は、リアルプレイリストに関する情報が含まれる。ひとつのリアルプレイリストにつき、ひとつのrplsファイルが生成される。02002.rplsファイル141も同様のファイルである。
99999.vplsファイル143は、バーチャルプレイリストに関する情報が含まれる。ひとつのバーチャルプレイリストにつき、ひとつのvplsファイルが生成される。
01000.clpiファイル144は、クリップ情報ファイルであり、AVストリームファイル(クリップAVストリームファイル、ブリッジクリップAVストリームファイル)に関連したクリップ情報が含まれる。02000.clpiファイル145も同様のファイルである。
01000.m2tsファイル146は、AVストリームファイルであり、MPEG-2トランスポートストリームが含まれる。02000.m2tsファイル147も同様のファイルである。
クリップ情報ファイルzzzzz.clpiと、AVストリームファイルzzzzz.m2tsのファイル名「zzzzz」は5桁の整数であり、関連付けられたクリップ情報ファイルとAVストリームファイルは、同じ5桁の整数が付与される。
なお、クリップ情報ファイルzzzzz.clpiと、AVストリームファイルzzzzz.m2tsを一組にして、クリップと呼ぶ。
このように、プレイリストは、PLAYLISTディレクトリに格納されたファイルである。
以下、リアルプレイリストファイル、バーチャルプレイリストファイルについて、詳細に説明する。
リアルプレイリスト、バーチャルプレイリストいずれも、以下に述べるデータから構成される。
図2は、プレイリストファイルの構造を示した図の例である。
201は、種別識別子であり、プレイリストファイルであることを示す情報が格納される。例えば、ASCIIコードで"PLAYLIST"という値を設定することで、プレイリストファイルであることを識別できる。
202は、バージョン番号であり、プレイリストファイルのバージョンを示す番号である。
203は、プレイリスト情報開始アドレスであり、プレイリストファイル内での、プレイリスト情報の相対的な開始位置をバイト単位で示す値が設定される。先頭は0からとなる。
204は、プレイリストマーク情報開始アドレスであり、プレイリストファイル内での、プレイリストマーク情報の相対的な開始位置をバイト単位で示す値が設定される。先頭は0からとなる。
205は、メーカ独自データ開始アドレスであり、プレイリストファイル内での、メーカ独自データ情報の相対的な開始位置をバイト単位で示す値が設定される。先頭は0からとなる。この値に0が設定されれば、メーカ独自データ情報は存在しない。
206は、ユーザインターフェースアプリケーション情報であり、図3で示すようなデータ構造である。
207は、プレイリスト情報であり、図5で示すようなデータ構造である。
208は、プレイリストマーク情報である。
209は、メーカ独自データである。
210は、3Dストリーム番号情報であり、図36で示すようなデータ構造である。
図3は、ユーザインターフェースアプリケーション情報の構造を示した図の例である。プレイリストのユーザインタフェースアプリのためのパラメータが格納される。
301は、長さであり、本フィールドの直後からユーザインターフェースアプリケーション情報の末尾までの長さを示す。
321は、3Dフラグであり、1が設定されていれば、プレイリストに含まれるコンテンツが、3D(立体視)コンテンツが含まれていることを示す。0が設定されていれば、3Dコンテンツが含まれていないことを示す。
322は、3D種別であり、3Dフラグ321と組み合わせて、プレイリストに含まれるコンテンツの3D方式を示す。まず、3Dフラグ321に1が設定されているときを説明する。このとき、3D種別322に00が設定されていれば、プレイリストに含まれるコンテンツが、サイドバイサイド方式であることを示す。3D種別322に01が設定されていれば、プレイリストに含まれるコンテンツが、トップアンドボトム方式であることを示す。3D種別322に10が設定されていれば、プレイリストに含まれるコンテンツが、フレームパッキング方式であることを示す。3D種別322に11が設定されていれば、プレイリストに含まれるコンテンツが、その他の3D方式であることを示す。次に、3Dフラグ321に0が設定されているときを説明する。この場合は、3D種別322に設定される値にかかわらず、3Dコンテンツが含まれていないことを示す。
302は、文字コードであり、チャンネル名314、プレイリスト名316、プレイリスト詳細318で使用される文字コードを規定する。プレイリストマーク情報の、マーク名の文字コードにも適用される。例えば、1であれば、日本語、16であればASCIIコード、32であればユニコード、のように設定される。
303は、再生保護フラグであり、1が設定されていれば、プレイリスト名やサムネイルなどのプレイリスト情報やプレイリストが再生されユーザに表示されることはない。暗証番号入力による認証が成功すれば、再生される。0が設定されていれば、暗証番号入力がなくとも再生可能である。
304は、記録保護フラグであり、1が設定されていれば、記録保護フラグ以外のプレイリスト情報は変更してはならず削除してもいけない。0が設定されていれば、ユーザによる変更や削除は自由である。1が設定されていれば、ユーザがプレイリスト情報の削除や編集や上書きをする前に、記録装置はユーザに再確認をするべきである。記録保護フラグが0にセットされたリアルプレイリストと、記録保護フラグが1にセットされたバーチャルプレイリストが、クリップの同じ部分を共有している場合がある。この場合、ユーザがリアルプレイリストを削除しようとしたら、記録装置はリアルプレイリストの削除の前にユーザに再確認をするべきである。
305は、再生済みフラグであり、1が設定されていれば、少なくとも1回はこのプレイリストが再生されていることを示す。0が設定されていれば、1度も再生されていないことを示す。
306は、編集済みフラグであり、0が設定されていれば、記録したときのオリジナルのデータが変更されずに保存されていることを示し、1が設定されていれば、変更が加わっていることを示す。
307は、タイムゾーンであり、図4に示すようなデータ構造である。
308は、記録日時であり、プレイリストが記録された日時情報が含まれる。ローカル時間で示される。年月日時分秒を、4ビットで一桁のBCD(Binary Coded Decimal)で表現する。最初の4桁が、西暦の4桁である。
309は、プレイリスト長であり、時間単位でプレイリストの長さを示す。これは、プレイリスト中に含まれるプレイアイテムの再生時間の合計で求められる。プレイアイテムの再生時間は、IN時刻からOUT時刻までの時間である。単位は秒に切り上げられる。時分秒を、4ビットで一桁のBCDで表現する。
310は、メーカIDであり、最後にプレイリストを更新した記録装置の製造者を示す。
311は、メーカモデルコードであり、最後にプレイリストを更新した記録装置のモデル番号を示す。
312は、チャンネル番号であり、プレイリストが記録されたときにユーザが選択していた放送チャンネル番号やサービス番号であり、二つ以上のプレイリストが結合されたプレイリストの場合、この値は代表の値を示す。999以下の値となる。0xFFFFが設定された場合は、無効である。
313は、チャンネル名長さであり、チャンネル名のバイト長を示す。20以下の値となる。
314は、チャンネル名であり、ユーザがプレイリストを記録したときに選択していた放送チャンネル名やサービス名を示す。このフィールドの左端からチャンネル名長さ313で示されたバイト長までが有効である。
315は、プレイリスト名長さであり、プレイリスト名のバイト長を示す。255以下の値となる。
316は、プレイリスト名であり、プレイリスト名を含む。このフィールドの左端からプレイリスト名長さ315で示されたバイト長までが有効である。
317は、プレイリスト詳細長さであり、プレイリスト詳細のバイト長を示す。1200以下の値になる。
318は、プレイリスト詳細であり、プレイリストの詳細なテキスト情報を含む。このフィールドの左端からプレイリスト詳細長さ317で示されたバイト長までが有効である。
323は、3D同期フラグであり、3Dコンテンツを2Dで編集することができる編集機で編集された場合、その編集内容を3Dコンテンツ管理情報に反映する必要があることを示す。
例えば、3Dコンテンツが、MPEG4-MVC(Multi View Coding)でエンコードされたストリームであり、Base Viewと、Dependent Viewの2つから成る場合、Base Viewは2DストリームであるMPEG4-AVCストリームと互換性がある。よって、MPEG4-AVCが編集できる環境では、MPEG4―MVCのBase Viewストリームを編集可能である。
さらに、ストリームの管理情報は、2D互換部分と、3D特有部分とに分かれて管理されており、2Dのみに対応した編集環境においては、2D互換部分のみを編集可能である。3Dにも対応した編集環境においては、2D互換部分と3D特有部分を編集可能である。
図4は、タイムゾーンの構造を示した模式図の例である。
401は、アラインメントのためのパディングである。
402は、夏時間フラグであり、0に設定されていれば、標準時間であることを示し、1に設定されていれば、夏時間であることを示す。
403は、タイムゾーン符号であり、0が設定されていれば、正の数を示し、1が設定されていれば、負の数を示す。
404は、タイムゾーン値であり、UTC(coordinated universal time)からの差分の時間の絶対値を示す。単位は時間(=60分)である。15が設定されていれば、タイムゾーン値は無効であり、夏時間フラグ、タイムゾーン符号、30分フラグも、無効であることを示す。
405は、30分フラグであり、1が設定されていれば、タイムゾーン値はさらに30分の追加の差分時間を絶対値で持つことを示す。0が設定されていれば、タイムゾーン値は追加の時間はないことを示す。
図5は、プレイリスト情報の構造を示した図の例である。
501は、長さであり、本フィールドの直後からプレイリスト情報の末尾までの長さを示す。
502は、プレイリストCPI種別であり、プレイアイテム中のIN時刻やOUT時刻から参照されるアクセスポイントの種別であり、プレイリストマーク中のマークタイムスタンプのアクセスポイント種別でもある。1が設定されていれば、プレイリスト情報中の各アクセスポイントが、AVストリームファイル中の表示時刻を示すことを表し、EP_mapタイプのプレイリスト情報と呼ばれる。2が設定されていれば、到着時刻を示すことを表し、TU_mapタイプのプレイリスト情報と呼ばれる。
503は、プレイアイテム数であり、プレイリスト中のプレイアイテムの数を示す。プレイアイテムIDは、0から始まる整数である。プレイリスト中のプレイアイテムのエントリは、表示順番にソートされる。
504は、サブプレイアイテム数であり、プレイリスト中のサブプレイアイテムの数を示す。
505は、プレイアイテムであり、図6に示すようなデータ構造である。506は、サブプレイアイテムであり、図8に示すようなデータ構造である。
図6は、プレイアイテムの構造を示した図の例である。
601は、長さであり、本フィールドの直後からプレイアイテム情報の末尾までの長さを示す。
602は、クリップ情報ファイル名であり、プレイアイテム情報で使用されているクリップのクリップ情報ファイルの名前を示す。このフィールドは、zzzzz.clpiというファイル名の5桁の番号zzzzzを示す。ACSIIコードの文字列であらわされる。クリップ情報ファイル中の、クリップストリーム種別フィールドは、クリップAVストリームファイル(MPEG-2トランスポートストリーム)を示す。
603は、クリップCODEC情報であり、このフィールドは、ASCIIコードの”M2TS”を示す値を持つ。プレイリスト情報中のすべてのプレイアイテムが、同じ値のクリップCODEC情報”MTS”を持つ。プレイリスト情報中のプレイリストCPI種別が1に設定され、かつ、クリップCODEC情報が”M2TS”に設定されていれば、プレイリストファイルで使われている各クリップは、CPI情報中にEP_mapを持つ。プレイリスト情報中のプレイリストCPI種別が2に設定され、かつ、クリップCODEC情報が”M2TS”に設定されていれば、プレイリストファイルで使われている各クリップは、CPI情報中にTU_mapを持つ。
604は、接続条件であり、現在のプレイアイテムのIN時刻と直前のプレイアイテムのOUT時刻の間の接続条件を示す。1から6までの値のいずれかを示す。もしプレイアイテムがプレイリスト中の最初のプレイアイテムであれば、接続条件フィールドは無効であり、1が設定される。
605は、STC情報であり、クリップ情報ファイルのCPI情報中のCPI種別がEP_mapであれば、現在のプレイアイテムのプレゼンテーションユニットが含まれるSTCシーケンスのSTC_IDを示す。現在のプレイアイテムのクリップ情報ファイル名により参照されているクリップがそのSTCシーケンスを持つ。STC_IDの値はクリップのシーケンス情報中で規定される。
606は、IN時刻であり、現在のプレイアイテムのIN時刻、つまり、現在のプレイアイテムの表示開始時刻を示す。IN時刻の意味合いは、クリップ情報ファイル名により参照されるクリップ情報ファイルのCPI中のCPI種別により異なる。
607は、OUT時刻であり、現在のプレイアイテムのOUT時刻、つまり、現在のプレイアイテムの表示終了時刻を示す。OUT時刻の意味合いは、クリップ情報ファイル名により参照されるクリップ情報ファイルのCPI中のCPI種別により異なる。
EP_mapの場合、IN時刻、OUT時刻は、プレイアイテムに使用されているクリップのSTC時刻に基づいた表示時刻を指す。また、45kHzクロックの単位で測定される。例えば、プレゼンテーションユニットに対して90kHz精度の33ビットPTSの上位32ビットで表現される。さらに、IN時刻からOUT時刻までの間に、システム時刻の不連続点が含まれない。さらに、OUT時刻はIN時刻よりも先の時刻を指す。ただし、ラップアラウンドした場合は、IN時刻がOUT時刻よりも大きくなる。
TU_mapの場合、プレイアイテムのクリップ情報ファイル名で参照されるクリップのATCシーケンスと同じTU_time_baseの時刻を指す。さらに、IN時刻とOUT時刻は45kHzクロックで計測される。さらに、OUT時刻はIN時刻より大きい。
608は、ブリッジシーケンス情報であり、図7で詳細を説明する。
図7は、ブリッジシーケンス情報の構造を示した図の例である。
701は、ブリッジシーケンス情報ファイル名であり、ブリッジシーケンス情報で使用されているブリッジクリップのクリップ情報ファイルの名前を指す。このフィールドは、ASCIIコードで記述された5桁の数値(ファイル名のzzzzzに相当)が含まれる。クリップ情報ファイルのクリップ情報中のクリップストリーム種別は、ブリッジクリップAVストリーム(MPEG-2トランスポートストリーム)となる。
702は、クリップCODEC情報であり、ASCIIコードで“M2TS”という値を持ち、プレイリストファイルがMPEG-2トランスポートストリームを使用していることを示す。ブリッジシーケンス情報で使用されているブリッジクリップは、EP_mapをCPIに持つ。
621は、マルチアングル情報であり、マルチアングルエントリ情報を含むことを示す。マルチアングルエントリ情報は、アングル数、それぞれのアングルのクリップファイル名、クリップCODEC情報、STC情報を含む。
622は、ユーザ操作抑止情報であり、このプレイアイテムが再生中のユーザ操作の制約を示す情報を持つ。ユーザ操作としては、チャプタサーチ、時刻サーチ、早送り、巻き戻し、停止、一時停止、一時停止解除、カーソル移動、メニュー表示、ボタン選択、音声選択、アングル選択、字幕表示、などである。
623は、ランダムアクセスフラグであり、特殊再生時にこのプレイアイテムの途中から再生することを禁止することを示す。
624は、静止画情報であり、プレイアイテム再生終了時に、最後の映像を静止画表示したままの状態で保持することを示す。
625は、ストリーム番号情報であり、図35で詳細を説明する。
図35は、ストリーム番号情報の構造を示した図の例である。
ストリーム番号情報は、プレイアイテムに含まれるエレメンタリストリームのストリーム番号を示す情報である。エレメンタリストリームとしては、主映像ストリーム、主音声ストリーム、字幕ストリーム、メニューストリーム、副映像ストリーム、副音声ストリームがある。
3501は、長さであり、ストリーム番号情報の長さを示す。
3502は、主画像情報数であり、ストリーム番号情報に含まれる主画像情報の数を示す。
3503は、主音声情報数であり、ストリーム番号情報に含まれる主音声情報の数を示す。
3504は、テキスト字幕情報数であり、ストリーム番号情報に含まれるテキスト字幕情報の数を示す。
3505は、メニューグラフィック情報数であり、ストリーム番号情報に含まれるメニューグラフィック情報の数を示す。
3506は、副画像情報数であり、ストリーム番号情報に含まれる副画像情報の数を示す。
3507は、副音声情報数であり、ストリーム番号情報に含まれる副音声情報の数を示す。
3508は、二画面情報数であり、ストリーム番号情報に含まれる二画面情報の数を示す。
3509は、主画像情報であり、主画像ストリームのエントリと属性を、主画像情報数3502で示した数だけ持つ。
3510は、主音声情報であり、主音声ストリームのエントリと属性を、主音声情報数3503で示した数だけ持つ。
3511は、テキスト字幕情報であり、テキスト字幕ストリームのエントリと属性を、テキスト字幕情報数3504で示した数だけ持つ。
3512は、メニューグラフィック情報であり、メニューグラフィックストリームのエントリと属性を、メニューグラフィック情報数3505で示した数だけ持つ。
3513は、副画像情報であり、副画像ストリームのエントリと属性を、副画像情報数3506で示した数だけ持つ。
3514は、副音声情報であり、副音声ストリームのエントリと属性を、副音声情報数3507で示した数だけ持つ。
3515は、二画面情報であり、二画面ストリームのエントリと属性を、二画面情報数3508で示した数だけ持つ。
エントリは、PIDなどの情報を含む。属性は、ビデオフォーマットや音声フォーマット、フレームレート、サンプリングレート、言語などの情報を含む。
図36は、3Dストリーム番号情報の構造を示した図の例である。
3601は、長さであり、3Dストリーム番号情報の長さを示す。
3602は、3Dタイムスタンプであり、3Dストリーム番号情報が更新された最新時刻を示す。
3603は、2Dストリーム番号情報であり、図35で示した構造のストリーム番号情報である。最初に記録されるときは、ストリーム番号情報625のコピーが記録される。
3604は、主画像3D情報であり、主画像情報3509が指す主画像ストリームと組み合わせて3Dストリームとなる主画像3Dストリームに関する情報であり、主画像3Dストリームのエントリと属性を、主画像情報数3502で示した数だけ持つ。
3605は、テキスト字幕3D情報であり、テキスト字幕情報3511が指すテキスト字幕ストリームと組み合わせて3Dストリームとなるテキスト字幕3Dストリームに関する情報であり、テキスト字幕3Dストリームのエントリと属性を、テキスト字幕情報数3504で示した数だけ持つ。
3606は、メニューグラフィック3D情報であり、メニューグラフィック情報3512が指すメニューグラフィックストリームと組み合わせて3Dストリームとなるメニューグラフィック3Dストリームに関する情報であり、メニューグラフィック3Dストリームのエントリと属性を、メニューグラフィック情報数3505で示した数だけ持つ。
3607は、副画像3D情報であり、副画像情報3513が指す副画像ストリームと組み合わせて3Dストリームとなる副画像3Dストリームに関する情報であり、副画像3Dストリームのエントリと属性を、副画像情報数3506で示した数だけ持つ。
3608は、二画面3D情報であり、二画面情報3515が指す二画面ストリームと組み合わせて3Dストリームとなる二画面3Dストリームに関する情報であり、二画面3Dストリームのエントリと属性を、二画面情報数3508で示した数だけ持つ。
図8はサブプレイアイテムの構造を示した図の例である。
801は、長さであり、このフィールドの直後からサブプレイアイテムの末尾までのバイト長である。
802は、クリップ情報ファイル名であり、サブプレイアイテムで使用されているクリップのクリップ情報ファイルの名前を指す。このフィールドは、クリップの名前のzzzzzに相当する5桁の番号をASCIIコードで持つ。クリップ情報ファイルのクリップ情報中のクリップストリーム種別は、“クリップAVストリーム(MPEG-2トランスポートストリーム)”を指す。
803は、クリップCODEC情報であり、“M2TS”という値をASCIIコードで持ち、プレイリストファイルでMPEG-2トランスポートストリームを使用していることを示す。サブプレイアイテムで使用されているクリップは、CPI中にEP_mapを持つ。
804は、サブプレイアイテム種別であり、サブプレイアイテムで使用されているサブパスの種別を示すが、1という値のみが設定される。アフレコ用音声ストリームのクリップAVストリームが使用される。
805は、STC_IDであり、サブプレイアイテムが参照する、クリップ情報ファイル名で示されたクリップのSTCシーケンスに対応するSTC_IDを示す。サブプレイアイテムの、サブプレイアイテムIN時刻とサブプレイアイテムOUT時刻の両方がSTC_IDによって参照される同じSTCシーケンス内のプレゼンテーションユニットを指す。
806は、サブプレイアイテムIN時刻であり、サブプレイアイテムの表示開始時刻を持つ。サブプレイアイテムIN時刻は、サブプレイアイテムで使用されているクリップのSTCから45kHz精度で計測される表示時刻である。
807は、サブプレイアイテムOUT時刻であり、サブプレイアイテムOUT時刻であり、サブプレイアイテムの表示終了時刻を持つ。サブプレイアイテムOUT時刻は、サブプレイアイテムで使用されているクリップのSTCから45kHz精度で計測される表示時刻である。サブプレイアイテムOUT時刻は、サブプレイアイテムIN時刻より先の時刻を示し、サブプレイアイテムIN時刻とサブプレイアイテムOUT時刻の間でSTCがラップアラウンドした場合は、サブプレイアイテムIN時刻がサブプレイアイテムOUT時刻より大きくなる。サブプレイアイテムIN時刻とサブプレイアイテムOUT時刻の両方が、サブプレイアイテムのSTC_IDで参照されるSTCシーケンスに対応した表示開始時刻と表示終了時刻の間の区間の表示時刻を指す。
808は、同期プレイアイテムIDであり、プレイリスト中のプレイアイテムのプレイアイテムIDを指す。このプレイアイテムは、サブプレイアイテムを含み、そのサブプレイアイテムとは、プレイアイテムの再生時間内で再生が開始するものである。プレイアイテムIDは、プレイリスト中のプレイリストで決められる。
809は、同期プレイアイテム開始PTSであり、同期プレイアイテムIDで指されるプレイアイテム中の表示時刻を示す。サブプレイアイテムは、プレイアイテムの表示時刻が同期プレイアイテム開始PTSに達したときに、自身の表示を開始する。同期プレイアイテム開始PTSは同期プレイアイテムIDで指されるプレイアイテムの45kHzクロックで測定される表示時刻である。
図34は、本発明の別の一実施方法を示したディレクトリ構造とファイル構造の模式図の例である。
3401は、ルートディレクトリであり、BDMVディレクトリ3402を含む。3402は、BDMVディレクトリであり、PLAYLISTディレクトリ3421、CLIPINFディレクトリ3422、STREAMディレクトリ3423、AUXDATA3431を含む。
PLAYLISTディレクトリ3421は、プレイリスト3441、3442、3443を含む。
CLIPINFディレクトリ3422は、クリップ情報ファイル3444、3445を含む。
CLIPINFディレクトリ3422は、クリップ情報ファイル3444、3445を含む。
STREAMディレクトリ3423は、ストリームファイル3444、3445を含む。
AUXDATA3431は、フォントファイルなどを格納するためのディレクトリである。
AUXDATA3431は、フォントファイルなどを格納するためのディレクトリである。
index.bdmvファイル3411は、全体的な情報を格納したファイルである。MovieObjectファイル3412は、タイトルのオブジェクトを格納したファイルである。
00001.mplsファイル3441は、プレイリストに関する情報が含まれる。00002.mplsファイル3442、00003.mplsファイル3443も同様のファイルである。
01000.clpiファイル3444は、クリップ情報ファイルであり、AVストリームファイルに関連したクリップ情報が含まれる。02000.clpiファイル3445も同様のファイルである。
01000.m2tsファイル3446は、AVストリームファイルであり、MPEG-2トランスポートストリームが含まれる。02000.m2tsファイル3447も同様のファイルである。
クリップ情報ファイルzzzzz.clpiと、AVストリームファイルzzzzz.m2tsのファイル名「zzzzz」は5桁の整数であり、関連付けられたクリップ情報ファイルとAVストリームファイルは、同じ5桁の整数が付与される。
なお、クリップ情報ファイルzzzzz.clpiと、AVストリームファイルzzzzz.m2tsを一組にして、クリップと呼ぶ。
以上の構成により本発明の第1の実施例では、
AVストリームと、AVストリームの配置を規定するクリップ情報を有し、
クリップ情報は3Dストリームデータの配置情報と3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグを有し、
3D同期フラグは2D互換部分の配置情報が更新されるときに非同期状態に設定し、
3D部分の配置情報が更新されるときに同期状態に設定することにより、
2Dで編集された3Dコンテンツを3Dでも正しく表示できる。
AVストリームと、AVストリームの配置を規定するクリップ情報を有し、
クリップ情報は3Dストリームデータの配置情報と3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグを有し、
3D同期フラグは2D互換部分の配置情報が更新されるときに非同期状態に設定し、
3D部分の配置情報が更新されるときに同期状態に設定することにより、
2Dで編集された3Dコンテンツを3Dでも正しく表示できる。
(記録装置)
まず、図9と図10を使って、記録装置を説明する。
まず、図9と図10を使って、記録装置を説明する。
図9は、MPEG-2トランスポートストリームの構造を示した図の例である。
AVストリームファイルは、MPEG-2トランスポートストリームの構造を持つ。MPEG-2トランスポートストリームは、自然数の個数のアラインドユニット901からなる。アラインドユニット901は6144バイト(=2048×3バイト)のサイズである。アラインドユニット901はソースパケット902の最初のバイトから開始する。ソースパケット902の長さは192バイトである。ひとつのソースパケットはTPエクストラヘッダ903とトランスポートパケット904からなる。TPエクストラヘッダ903の長さは4倍とであり、トランスポートパケット904の長さは188バイトである。ひとつのアラインドユニット901は32個のソースパケット902からなる。MPEG-2トランスポートストリーム中の最後のアラインドユニット901は、32個のソースパケット902からなる。よって、MPEG-2トランスポートストリームは、アラインドユニット901の末尾で終端される。最後のアラインドユニット901が、入力されたトランスポートストリームですべて埋まらなかった場合は、残りのバイトは、PID=0x1FFFであるトランスポートパケット、すなわちヌルパケットのソースパケットで埋められる。
トランスポートパケット904は、ISO/IEC 13818-1で規定される。
TPエクストラヘッダ903は、コピー許可情報905と、アライバルタイムスタンプ906からなる。コピー許可情報905は、関連するトランスポートパケット904のコンテンツ保護情報を含む。アライバルタイムスタンプ906は、後述するアライバルタイムスタンプの値を設定される。
図10は、本発明の一実施方式を示した記録装置の模式図の例である。
1001は、アンテナであり、デジタル放送波を入力する。
1002は、チューナであり、アンテナ1001から入力されるデジタル放送波を受信する。
1003は、DEMUXであり、チューナ1002で受信したデジタル放送波(フルTS(Transport Stream))を必要に応じてエレメンタリストリームに分離する。
1004は、データセレクタであり、必要に応じてDEMUX1003で分離されたエレメンタリストリームから必要なストリームを選択する。
1005は、REMUXであり、データセレクタから送られてきたストリームを必要に応じて再度MPEG-2トランスポートストリームに多重化することで、パーシャルTS(Transport Stream)にする。
1006は、トランスコーダであり、REMUX1005から入力されたTSのオーディストリームやビデオストリームのフォーマットを必要に応じて変換する。
1011は、ビデオ入力であり、アナログビデオ信号を入力する。
1012は、A/D変換であり、ビデオ入力1011から入力されたアナログデータを、デジタルデータに変換する。
1021は、オーディオ入力であり、アナログオーディオ信号を入力する。
1022は、A/D変換であり、オーディオ入力1021から入力されたアナログデータを、デジタルデータに変換する。
1013は、エンコーダであり、A/D変換1012および1022でデジタル化されたビデオデータおよびオーディオデータをMPEG-2トランスポートストリームにエンコードする。
1014は、セレクタであり、トランスコーダ1006もしくはエンコーダ1013から送られてくるストリームを、切り替えて入力する。
1031は、T_STDであり、時刻iのMPEG-2トランスポートストリームが入力されるトランスポートシステムターゲットでコーダである。
1032は、PLLであり、27MHzの周波数であり、入力されたMPEG-2トランスポートストリームのPCR(Program Clock Reference)に同期される。
1033は、カウンタであり、27MHzの周波数のパルス信号をカウントするバイナリカウンタである。時刻iにおけるカウント値iを、アライバルタイムクロック(i)として、パケッタイザ1034に渡す。
1034は、パケッタイザであり、全トランスポートパケットにTPエクストラヘッダを付加し、ソースパケットストリームおよびアラインドユニットを生成する。生成されたソースパケットストリームは、ライトバッファ1035へ最大転送レートRMAXで転送される。パケッタイザ1034は内部に小容量のバッファを持ち、ストリームのビットレートを平均化する。デジタル放送のピークレートは、RMAXを超える場合もあるが、内部のバッファにより、ライトバッファ1035への転送レートはRMAX以下に保障される。
アライバルタイムスタンプは、ソースパケットの最初のバイトがT_STD1031とパケッタイザ1034に到着した時刻である。アライバルタイムスタンプ(k)は、アライバルタイムクロック(k)のサンプル値である。(下式参照)
アライバルタイムスタンプ(k)=アライバルタイムクロック(k)%(2の30乗)
2つの連続したパケットのアライバルタイムスタンプ間の差分の最大値は、(230-1)/27000000 秒 (=およそ 40 秒)である。
アライバルタイムスタンプ(k)=アライバルタイムクロック(k)%(2の30乗)
2つの連続したパケットのアライバルタイムスタンプ間の差分の最大値は、(230-1)/27000000 秒 (=およそ 40 秒)である。
差分がこの値を超えるような場合は、この最大値になるようにアライバルタイムスタンプを変更する。記録装置はそのようなケースも想定しておく必要がある。後述する、MPEG-2トランスポートストリームプレーヤが、アライバルタイムスタンプに従ってトランスポートストリームを出力するとき、出力するトランスポートストリームのPCR精度は、ISO/IEC13818-9によって規定される。
1035は、バッファであり、パケッタイザ1034から転送されたソースパケットをドライブ1036へ書き込むためのライトバッファである。
AVストリームファイルのクリップ情報中で定義される、TSレコーディングレートが、RMAXの値を決める。このRMAXは以下のように計算される。
AVストリームファイルのクリップ情報中で定義される、TSレコーディングレートが、RMAXの値を決める。このRMAXは以下のように計算される。
RMAX=TSレコーディングレート×192/188
TSレコーディングレートの単位は、バイト/秒である。
TSレコーディングレートの単位は、バイト/秒である。
ドライブの最大記録レートRUDであり、バッファ1035が空でない場合は、ドライブ1036への記録レートはRUDであり、バッファ1035が殻の場合は、ドライブ1036への記録レートは0である。バッファ1035はオーバーフローしない。
1036は、ドライブであり、ライトバッファ1035から入力されるストリームを光ディスクなどの記録媒体に最大記録レートRUDで書き込む。
1041は、CPUであり、記録装置全体の記録制御をつかさどる。記録装置内の各ブロックと、破線で示したCPUバスで接続され、データのやり取りや制御を行う。
1042は、メモリであり、CPU1041のワークメモリやエンコーダのバッファなどとして使用される。
以上の構成により本発明の第2の実施例では、
AVストリームと、AVストリームの配置を規定するクリップ情報を記録媒体に記録する記録部と、
記録部を制御する制御部を有し、
クリップ情報は3Dストリームデータの配置情報と3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグを有し、
3D同期フラグは2D互換部分の配置情報が更新されるときに非同期状態に設定し、
3D部分の配置情報が更新されるときに同期状態に設定することにより、
2Dで編集された3Dコンテンツを3Dでも正しく表示できる。
AVストリームと、AVストリームの配置を規定するクリップ情報を記録媒体に記録する記録部と、
記録部を制御する制御部を有し、
クリップ情報は3Dストリームデータの配置情報と3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグを有し、
3D同期フラグは2D互換部分の配置情報が更新されるときに非同期状態に設定し、
3D部分の配置情報が更新されるときに同期状態に設定することにより、
2Dで編集された3Dコンテンツを3Dでも正しく表示できる。
(再生装置)
次に図11を使って、再生装置を説明する。
次に図11を使って、再生装置を説明する。
図11は、本発明の一実施方式を示した再生装置の模式図の例である。
1101は、ドライブであり、光ディスクなどの記録媒体から、MPEG-2トランスポートストリームを読み出して、バッファ1102へ転送する。
1102は、バッファであり、ドライブ1101から読み出されたMPEG-2トランスポートストリームをバッファリングする。
1103は、デパケッタイザであり、バッファ1102から入力されるMPEG-2トランスポートストリームを、TPエクストラヘッダとトランスポートパケットに分離し、カウンタ1104から入力されるアライバルタイムクロックに、アライバルタイムスタンプを同期させて、トランスポートパケットを出力する。カウンタ1104へは、最初にアライバルタイムクロックの初期値を渡す。
1104は、カウンタであり、デパケッタイザ1103から受け取った初期値から開始して、X-tal1105からの27MHzのパルス信号をカウントして、アライバルタイムクロックをデパケッタイザ1103に渡す。
1105は、X-talであり、27MHzのパルス信号を生成する。
1111は、セレクタであり、デパケッタイザ1103から入力されたトランスポートパケットを、種別ごとに切り替えて、対応するデコーダに渡す。
1121は、オーディオデコーダであり、セレクタ1111から入力されるオーディオパケットをデコードし、ミキサ1122へ渡す。
1122は、ミキサであり、必要に応じて、指定された割合で多チャンネルオーディオの音量設定などのミキシングを行う。
1131は、ビデオデコーダであり、セレクタ1111から入力されるビデオパケットをデコードし、ビデオプレーン1132へ渡す。
1132は、ビデオプレーンであり、ビデオデコーダ1131でデコードされたピクチャデータを展開し、表示するためのプレーンバッファである。
1141は、グラフィックデコーダであり、セレクタ1111から入力されるグラフィックパケットをデコードし、グラフィックプレーン1142へ渡す。
1142は、グラフィックプレーンであり、グラフィックデコーダ1141から入力されるグラフィックデータを展開するプレーンバッファである。
1143は、CLUT(Color Look Up Table)であり、グラフィックプレーン1142の各ピクセルに対応したRGBデータおよびアルファブレンドデータを参照するテーブルである。
1151は、出力部であり、入力されたオーディオ/ビデオ/グラフィックデータを多重化し、YCbCrなどのアナログフォーマットもしくはHDMIなどのデジタルフォーマットで再生装置から外部へ出力する。
1161は、CPUであり、再生装置全体の再生制御をつかさどる。記録装置内の各ブロックと、破線で示したCPUバスで接続され、データのやり取りや制御を行う。
1162は、メモリであり、CPU1161のワークメモリやデコーダのバッファなどとして使用される。
図12は、本発明の一実施方法を示したリアルプレイリストとバーチャルプレイリストの模式図の例である。
1201は、一つ目のリアルプレイリストであり、プレイアイテム1211を参照している。
1202は、二つ目のリアルプレイリストであり、プレイアイテム1212とプレイアイテム1213を参照している。
1211は、一つ目のプレイアイテムであり、クリップ1203を参照している。
1212は、二つ目のプレイアイテムであり、クリップ1204を参照している。
1213は、三つ目のプレイアイテムであり、クリップ1205を参照している。
1203は、一つ目のクリップである。
1204は、二つ目のクリップである。
1205は、三つ目のクリップである。
1231は、四つ目のプレイアイテムであり、クリップ1203の一部を参照している。
1232は、五つ目のプレイアイテムであり、クリップ1204の一部を参照している。
1233は、六つ目のプレイアイテムであり、クリップ1204の一部と、ブリッジクリップ1208の一部を参照している。
1234は、七つ目のプレイアイテムであり、ブリッジクリップ1208の一部と、クリップ1205の一部を参照している。
1206は、一つ目のバーチャルプレイリストであり、プレイアイテム1231とプレイアイテム1232を参照している。
1207は、二つ目のバーチャルプレイリストであり、プレイアイテム1233とプレイアイテム1234を参照している。
1208は、一つ目のブリッジクリップであり、クリップ1204の末尾部分のデータと、クリップ1205の先頭部分のデータから再エンコードされたものである。
プレイリストについて説明する。
プレイリストはユーザが再生させたいクリップの再生時間を簡単に編集できるようにするためのものである。例えば、クリップファイル実体の移動やコピー、削除(部分移動、部分コピー、部分削除含む)を行うことなく、切り貼り編集が可能となる。プレイリストは、プレイアイテムと呼ばれる、クリップ中の一続きの再生区間を、集めたものであり、プレイアイテムは、一組のイン点とアウト点で表される。イン点とアウト点はクリップのもつ時間軸における位置を指し示す時間情報である。よって、プレイリストはプレイアイテムを集めたものといえる。また、イン点は再生区間の再生開始位置を意味し、アウト点は再生区間の再生終了位置を意味する。プレイリストには、2種類あり、リアルプレイリストとバーチャルプレイリストである。
リアルプレイリストについて、説明する。
リアルプレイリストは、クリップAVストリームファイルに使用し、ブリッジクリップAVストリームファイルには使用しない。リアルプレイリストは、クリップのある部分への参照を行う。
リアルプレイリストの参照により、参照先のクリップ(の一部分)のサイズ分だけ、ディスク上のデータ空間が消費され、リアルプレイリストが削除されると参照先のクリップ(の一部)が削除される。
バーチャルプレイリストについて、説明する。
リアルプレイリストは、クリップAVストリームファイルと、ブリッジクリップAVストリームファイルの両方に使用する。バーチャルプレイリストは、クリップAVストリームファイルに使用したときは、データ実体を持たないが、ブリッジクリップAVストリームファイルに使用した場合は、データ実体を持つ。ブリッジクリップAVストリームファイルを使用していないバーチャルプレイリストが削除された場合は、クリップに変化は生じない。
一方、ブリッジクリップAVストリームファイルを使用しているバーチャルプレイリストが削除された場合は、クリップAVストリームファイルとそれに関連するクリップ情報ファイルは変化しないが、ブリッジクリップAVストリームファイルとそれに関連するクリップ情報ファイルは削除される。
クリップは、再生装置もしくは記録装置の内部的な制御を行ううえでの管理単位であり、ユーザインターフェースには表示されない。ユーザに示されるのは、プレイリストのみである。
プレイリストの操作としては、以下にあげるようなものがある。
リアルプレイリストの操作に関するものとしては、以下のものがあげられる。
(1) リアルプレイリストの生成
最初に放送された番組を録画したときに生成されるリアルプレイリストは、録画されたクリップ全体を参照するようなリアルプレイリストになる。
(1) リアルプレイリストの生成
最初に放送された番組を録画したときに生成されるリアルプレイリストは、録画されたクリップ全体を参照するようなリアルプレイリストになる。
図13は、リアルプレイリストの生成の一例を示した図の例である。
1301は、リアルプレイリストであり、プレイアイテム1311を参照する。新規録画時には、1つのプレイリストファイルとして生成される。
1311は、プレイアイテムであり、クリップ1303を参照する。
1303は、クリップであり、新規録画時には、1つのクリップ情報ファイルと1つのAVストリームファイルとして生成される。
(2) リアルプレイリストの分割
ひとつのリアルプレイリストをふたつに分割し、二つのリアルプレイリストにする場合、クリップ自体には変化を引き起こさない。
(2) リアルプレイリストの分割
ひとつのリアルプレイリストをふたつに分割し、二つのリアルプレイリストにする場合、クリップ自体には変化を引き起こさない。
図14および図15は、リアルプレイリストの分割の一例を示した図の例である。
1401は、リアルプレイリストであり、図示していないプレイアイテムを経由しクリップ1403を参照する。
1403は、クリップである。
1421は、分割点であり、リアルプレイリスト1401の中央付近を分割する例を示している。
1511は、リアルプレイリストであり、図示していないプレイアイテムを経由しクリップ1503の一部(分割点1521よりも左に相当する部分)を参照する。
1503は、クリップであり、クリップ1403と同じものである。
1512は、リアルプレイリストであり、図示していないプレイアイテムを経由しクリップ1503の一部(分割点1521よりも右に相当する部分)を参照する。
(3) リアルプレイリストの連結
二つのリアルプレイリストを連結して一つの新しいリアルプレイリストにする場合、クリップ自体には変化を引き起こさない。
(3) リアルプレイリストの連結
二つのリアルプレイリストを連結して一つの新しいリアルプレイリストにする場合、クリップ自体には変化を引き起こさない。
図16および図17は、リアルプレイリストの連結の一例を示した図の例である。
1611は、リアルプレイリストであり、図示していないプレイアイテムを経由しクリップ1601を参照する。
1601は、クリップである。
1612は、リアルプレイリストであり、図示していないプレイアイテムを経由しクリップ1602を参照する。
1602は、クリップである。
1701は、クリップであり、クリップ1601と同じものである。
1702は、クリップであり、クリップ1602と同じものである。
1721は、リアルプレイリストであり、図示していないプレイアイテムを経由しクリップ1701とクリップ1702を参照する。
(4) リアルプレイリスト全体の削除
あるリアルプレイリスト全体を削除する場合、参照先のクリップのうち参照されている範囲が削除される。
(4) リアルプレイリスト全体の削除
あるリアルプレイリスト全体を削除する場合、参照先のクリップのうち参照されている範囲が削除される。
図18は、リアルプレイリストの削除の一例を示した図の例である。
1801は、リアルプレイリストであり、図示していないプレイアイテムを経由しクリップ1803を参照する。
1803は、クリップである。
(5) リアルプレイリストの一部分の削除
リアルプレイリストが参照しているクリップの一部を削除する場合は、プレイアイテムを変更して必要な部分を残すが、クリップ中で参照されなくなった部分は削除される。
(5) リアルプレイリストの一部分の削除
リアルプレイリストが参照しているクリップの一部を削除する場合は、プレイアイテムを変更して必要な部分を残すが、クリップ中で参照されなくなった部分は削除される。
図19および図20は、リアルプレイリストの先頭部分の一部削除の一例を示した図の例である。
1901は、リアルプレイリストであり、プレイアイテム1911を参照する。
1911は、プレイアイテムであり、クリップ1903を参照する。
1903は、クリップである。
2021は、リアルプレイリストであり、プレイアイテム2031を参照する。
2041は、削除範囲であり、リアルプレイリスト1901の左側に相当する部分を一部削除する例を示している。
2031は、プレイアイテムであり、クリップ2023を参照する。
2023は、クリップである。
クリップAVストリームの中間部分を編集して削除する場合は、残りの部分は1つのクリップファイルに連結される。
図21および図22は、リアルプレイリストの中間部分の一部削除の一例を示した図の例である。
2101は、リアルプレイリストであり、図示していないプレイアイテムを経由して、クリップ2121を参照する。
2121は、クリップである。
2141は、削除範囲であり、リアルプレイリスト2101の中間領域に相当する部分を一部削除する例(=中抜き削除)を示している。
2211は、リアルプレイリストであり、図示していないプレイアイテムを経由して、クリップ2231を参照する。
2231は、クリップである。
バーチャルプレイリストの操作に関するものとしては、以下のものがあげられる。
(1) アセンブル編集
図23から図26に示すように、ユーザが再生させたいプレイアイテムを生成し、バーチャルプレイリストを用いて別のプレイアイテムに連結させることができる。
(1) アセンブル編集
図23から図26に示すように、ユーザが再生させたいプレイアイテムを生成し、バーチャルプレイリストを用いて別のプレイアイテムに連結させることができる。
ブリッジクリップファイルを生成することにより、連結ポイントでの滑らかなつなぎの再生を実現することができる。MPEGビデオストリームをシームレスにつないで再生させるためには、連結点付近のごく少数の枚数のピクチャーを再エンコードし、ブリッジクリップにすることにより、実現するのが一般的である。
この処理により、もともとのクリップAVストリームファイルとそのクリップ情報ファイルを変更する必要がない。
図23および図24は、アセンブル編集の一例(2つのプレイアイテムの非シームレス接続)を示した図の例である。
2301は、リアルプレイリストであり、図示していないプレイアイテムを経由して、クリップ2303を参照する。
2303は、クリップである。
2302は、リアルプレイリストであり、図示していないプレイアイテムを経由して、クリップ2304を参照する。
2304は、クリップである。
2341は、IN点であり、バーチャルプレイリストに登録する、プレイアイテム2431のIN時刻となる。
2342は、OUT点であり、バーチャルプレイリストに登録する、プレイアイテム2431のOUT時刻となる。
2343は、IN点であり、バーチャルプレイリストに登録する、プレイアイテム2432のIN時刻となる。
2344は、OUT点であり、バーチャルプレイリストに登録する、プレイアイテム2432のOUT時刻となる。
2406は、バーチャルプレイリストであり、プレイアイテム2431とプレイアイテム2432を参照する。
2431は、プレイアイテムであり、リアルプレイリスト2401の一部を参照する。
2432は、プレイアイテムであり、リアルプレイリスト2402の一部を参照する。
2403は、クリップであり、クリップ2303と同じものである。
2404は、クリップであり、クリップ2304と同じものである。
図25および図26は、アセンブル編集の一例(2つのプレイアイテムのシームレス接続)を示した図の例である。
2501は、リアルプレイリストであり、図示していないプレイアイテムを経由して、クリップ2503を参照する。
2503は、クリップである。
2502は、リアルプレイリストであり、図示していないプレイアイテムを経由して、クリップ2504を参照する。
2504は、クリップである。
2541は、IN点であり、バーチャルプレイリストに登録する、プレイアイテム2631のIN時刻となる。
2542は、OUT点であり、バーチャルプレイリストに登録する、プレイアイテム2631のOUT時刻となる。
2543は、IN点であり、バーチャルプレイリストに登録する、プレイアイテム2632のIN時刻となる。
2544は、OUT点であり、バーチャルプレイリストに登録する、プレイアイテム2632のOUT時刻となる。
2606は、バーチャルプレイリストであり、プレイアイテム2631とプレイアイテム2632を参照する。
2631は、プレイアイテムであり、リアルプレイリスト2601の一部を参照する。
2632は、プレイアイテムであり、リアルプレイリスト2602の一部を参照する。
2603は、クリップであり、クリップ2503と同じものである。
2604は、クリップであり、クリップ2504と同じものである。
2605は、ブリッジクリップであり、ブリッジクリップを生成することにより、連結ポイントでの滑らかなつなぎの再生を実現することができる。
(2) バーチャルプレイリストの再編集
プレイアイテムをバーチャルプレイリストに追加したり、挿入したり、バーチャルプレイリスト中のプレイアイテムを削除したりすることで、バーチャルプレイリストのプレイアイテムのIN点、もしくはOUT点を変更するという編集方法が考えられる。
(2) バーチャルプレイリストの再編集
プレイアイテムをバーチャルプレイリストに追加したり、挿入したり、バーチャルプレイリスト中のプレイアイテムを削除したりすることで、バーチャルプレイリストのプレイアイテムのIN点、もしくはOUT点を変更するという編集方法が考えられる。
ブリッジクリップを参照しているIN点、OUT点をユーザ操作で変更した場合、既存のブリッジクリップが削除され、新しいブリッジクリップを生成する必要があることを、記録装置はユーザに対して警告し、ユーザの確認を取ったうえで、このような処理を実行するという処理が考えられる。
(3) バーチャルプレイリストの削除
バーチャルプレイリスト全体を削除する
(4)バーチャルプレイリストでのアフレコ編集
バーチャルプレイリストに対して、追加音声を録音すること(=アフレコ)が可能である。追加される音声は、サブパスとして追加できる。
(3) バーチャルプレイリストの削除
バーチャルプレイリスト全体を削除する
(4)バーチャルプレイリストでのアフレコ編集
バーチャルプレイリストに対して、追加音声を録音すること(=アフレコ)が可能である。追加される音声は、サブパスとして追加できる。
バーチャルプレイリストと、リアルプレイリストに共通の操作としては、以下のものがあげられる。
(1)プレイリストの再生順番を変更
プレイリストの再生順番を規定したプレイリストテーブルを変更することで、実現される。この操作により、クリップ自体が変更されることはない。
(1)プレイリストの再生順番を変更
プレイリストの再生順番を規定したプレイリストテーブルを変更することで、実現される。この操作により、クリップ自体が変更されることはない。
以上の構成により本発明の第3の実施例では、
記録媒体から情報を再生する再生部と、再生部を制御する制御部とを有し、
記録媒体には、AVストリームと、AVストリームの配置を規定するクリップ情報が記
録されており、
クリップ情報は3Dストリームデータの配置情報と3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグを有し、
3D同期フラグが非同期状態に設定されているときは、2D互換部分の管理情報と3D部分の管理情報を同期させて、
3Dコンテンツを再生することにより、
2Dで編集された3Dコンテンツを3Dでも正しく表示できる。
記録媒体から情報を再生する再生部と、再生部を制御する制御部とを有し、
記録媒体には、AVストリームと、AVストリームの配置を規定するクリップ情報が記
録されており、
クリップ情報は3Dストリームデータの配置情報と3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグを有し、
3D同期フラグが非同期状態に設定されているときは、2D互換部分の管理情報と3D部分の管理情報を同期させて、
3Dコンテンツを再生することにより、
2Dで編集された3Dコンテンツを3Dでも正しく表示できる。
(記録再生装置)
次に、記録再生装置における実施例を示す。
次に、記録再生装置における実施例を示す。
図27は、記録再生装置の構成例を示すハードウェア構成図の例である。
2704は記録再生装置、 2703は無線(衛星、地上)、ケーブルなどの放送伝送網を介して送信装置から送信された放送信号を受信するアンテナ、2721は記録再生装置全体を制御するCPU(Central Processing Unit)、2722はCPU2721と記録再生装置内各部との制御および情報を送信するための汎用バス、2723は無線(衛星、地上)、ケーブルなどの放送伝送網を介して送信装置から送信された放送信号を受信し、特定の周波数を選局し復調、誤り訂正処理、などを行い、MPEG2-Transport Stream(以下、「TS」ともいう。)などの多重化パケットを出力するチューナ、2724はチューナ2723から入力した放送信号のスクランブルを復号するデスクランブラ、2725はネットワーク端子2756を介して、装置外部のネットワーク2755と情報を送受信し、インターネットと記録再生装置間で各種情報およびMPEG2―TSを送受信するネットワークI/F(Interface)、2726は例えばリムーバブルなHDD、ディスク型記録媒体、フラッシュメモリ、などの主記録媒体、2750は例えば記録再生装置に内蔵されているHDD(Hard Disk Drive)やフラッシュメモリ、またはリムーバブルなHDD、ディスク型記録媒体、フラッシュメモリ、などの副記録媒体、2727は主記録媒体2726および副記録媒体2750を制御し、主記録媒体2726および副記録媒体2750へのデータの記録や主記録媒体2726および副記録媒体2750からのデータの再生を制御する記録再生部、2729はMPEG2―TSなどの形式に多重化されているデータを、映像ES(Elementary Stream)、音声ES、番組情報、字幕情報、グラフィックデータなどのデータに分離し、あるいは映像ES、音声ESなどのデータを、MPEG2-TSなどの形式に多重する多重分離部である。ESとは、圧縮・符号化された画像・音声データのそれぞれのことである。2730は映像ESを映像データに復号し、あるいは映像ESを他の形式の映像ESに変換する映像復号変換部、2731は音声ESを音声データに復号し、音声出力2742から出力し、あるいは音声ESを他の形式の音声ESに変換し、多重分離部2729に出力する音声復号変換部、2732は、映像復号部2730で復号された映像データを前記CPUの指示に従い3Dの映像データを2Dに変換したり、2Dの映像データを3Dに変換するような変換処理を行ったり、CPU2721が作成した2Dもしくは3DのOSD(On Screen Display)などの表示を映像データに重畳する処理や、HDMIなど所定のフォーマットに変換する処理などを行い、処理後の映像データを映像信号出力部2741に出力し、処理後の映像データのフォーマットに対応する同期信号や制御信号(機器制御に使用)を映像信号出力部2741および制御信号出力部2743から出力する映像変換処理部、2733はユーザー操作入力部2745からの操作入力(例えばIR(Infrared Radiation)信号を発信するリモートコントローラーからのキーコード)を受信し、またCPU2721や映像変換処理部2732が生成した外部機器への機器制御信号(例えばIR)を機器制御信号送信部2744から送信する制御信号送受信部、2734は内部にカウンタを有し、また現在の時刻の保持を行うタイマー、2746は前記多重分離部で再構成されたTSに対し暗号化等必要な処理を行いデジタル入出力端子2757から外部にTSを出力、またはデジタル入出力端子2757を介して外部から受信したTSを復号化して多重分離部2729に対して入力するシリアルインタフェースやIPインタフェースなどの高速デジタルI/Fを表しており、主にこれらの装置により、記録再生装置は構成されている。
2704は記録再生装置、 2703は無線(衛星、地上)、ケーブルなどの放送伝送網を介して送信装置から送信された放送信号を受信するアンテナ、2721は記録再生装置全体を制御するCPU(Central Processing Unit)、2722はCPU2721と記録再生装置内各部との制御および情報を送信するための汎用バス、2723は無線(衛星、地上)、ケーブルなどの放送伝送網を介して送信装置から送信された放送信号を受信し、特定の周波数を選局し復調、誤り訂正処理、などを行い、MPEG2-Transport Stream(以下、「TS」ともいう。)などの多重化パケットを出力するチューナ、2724はチューナ2723から入力した放送信号のスクランブルを復号するデスクランブラ、2725はネットワーク端子2756を介して、装置外部のネットワーク2755と情報を送受信し、インターネットと記録再生装置間で各種情報およびMPEG2―TSを送受信するネットワークI/F(Interface)、2726は例えばリムーバブルなHDD、ディスク型記録媒体、フラッシュメモリ、などの主記録媒体、2750は例えば記録再生装置に内蔵されているHDD(Hard Disk Drive)やフラッシュメモリ、またはリムーバブルなHDD、ディスク型記録媒体、フラッシュメモリ、などの副記録媒体、2727は主記録媒体2726および副記録媒体2750を制御し、主記録媒体2726および副記録媒体2750へのデータの記録や主記録媒体2726および副記録媒体2750からのデータの再生を制御する記録再生部、2729はMPEG2―TSなどの形式に多重化されているデータを、映像ES(Elementary Stream)、音声ES、番組情報、字幕情報、グラフィックデータなどのデータに分離し、あるいは映像ES、音声ESなどのデータを、MPEG2-TSなどの形式に多重する多重分離部である。ESとは、圧縮・符号化された画像・音声データのそれぞれのことである。2730は映像ESを映像データに復号し、あるいは映像ESを他の形式の映像ESに変換する映像復号変換部、2731は音声ESを音声データに復号し、音声出力2742から出力し、あるいは音声ESを他の形式の音声ESに変換し、多重分離部2729に出力する音声復号変換部、2732は、映像復号部2730で復号された映像データを前記CPUの指示に従い3Dの映像データを2Dに変換したり、2Dの映像データを3Dに変換するような変換処理を行ったり、CPU2721が作成した2Dもしくは3DのOSD(On Screen Display)などの表示を映像データに重畳する処理や、HDMIなど所定のフォーマットに変換する処理などを行い、処理後の映像データを映像信号出力部2741に出力し、処理後の映像データのフォーマットに対応する同期信号や制御信号(機器制御に使用)を映像信号出力部2741および制御信号出力部2743から出力する映像変換処理部、2733はユーザー操作入力部2745からの操作入力(例えばIR(Infrared Radiation)信号を発信するリモートコントローラーからのキーコード)を受信し、またCPU2721や映像変換処理部2732が生成した外部機器への機器制御信号(例えばIR)を機器制御信号送信部2744から送信する制御信号送受信部、2734は内部にカウンタを有し、また現在の時刻の保持を行うタイマー、2746は前記多重分離部で再構成されたTSに対し暗号化等必要な処理を行いデジタル入出力端子2757から外部にTSを出力、またはデジタル入出力端子2757を介して外部から受信したTSを復号化して多重分離部2729に対して入力するシリアルインタフェースやIPインタフェースなどの高速デジタルI/Fを表しており、主にこれらの装置により、記録再生装置は構成されている。
図28は、記録再生装置内の、図27における記録再生部2727の詳細な構成例を示すハードウェア構成図の例である。
2827は、図27における記録再生部2727である。
2821は、図27におけるCPU2721である。
2811は、図27における分離多重部2711である。
2825は、図27におけるネットワークI/F2725である。
2826は、図27における主記録媒体2726である。
2850は、図27における副記録媒体2750である。
2860は、27MHzの周波数のPLLであり、多重分離部2829から入力されたMPEG-2TSのPCR(Program Clock Reference)に同期される。
2861は、暗号化部であり、多重分離部2829から入力されたMPEG-2TSに対して、AES(Advanced Encryption System)などの暗号化を行う。
2862は、PLLから入力される27MHzのパルス信号をカウントするカウンタである。
2863は、暗号化部2861から入力されるMPEG2-TSを固定長のデータに分割し、カウンタ2862から入力されるカウント値をもとに生成されるアライバルタイムスタンプを含むヘッダを付加し、固定長パケットとして出力するパケッタイザである。
2864は、パケッタイザ2863から入力されるパケットを一時的に記憶するライトバッファである。さらに、ネットワークI/F2825を経由してネットワークからダウンロードされたデータを一時的に記憶するライトバッファでもある。さらに、ストレージI/F2865から入力される再生データを一時的に記憶するリードバッファでもある。
2865は、ストレージI/Fであり、バッファ2865を経由して、主記録媒体2826および副記録媒体2850にデータ転送する。SATA(Serial ATA)バスなどのデータバスで主記録媒体2826および副記録媒体2850に接続され、SATAプロトコルなどでデータ転送する。
2866および2868は、デパケッタイザであり、バッファ2864から入力されるMPEG-2トランスポートストリームを、TPエクストラヘッダとトランスポートパケットに分離し、カウンタ2872から入力されるアライバルタイムクロックに、アライバルタイムスタンプを同期させて、トランスポートパケットを出力する。
2867および2869は、復号化部であり、暗号化されたトランスポートパケットを復号する。
2870は、X-talであり、27MHzのパルス信号を生成する。
2871および2872は、カウンタであり、デパケッタイザ2866および2868から受け取った初期値から開始して、X-tal2870からの27MHzのパルス信号をカウントして、アライバルタイムクロックをデパケッタイザ2866および2868に渡す。
また、図28には図示していないが、図27における高速デジタルI/F2746とのデータの入出力は、ネットワークI/F2825と同様に、高速デジタルI/F2746から入力されたデジタルデータをバッファ2864へ一時的に記憶して、主記録媒体2826や副記録媒体2850へ記録し、主記録媒体2826や副記録媒体2850から再生したデジタルデータを、バッファ2864へ一時的に記憶して、高速デジタルI/F2746から出力する。
2827は、図27における記録再生部2727である。
2821は、図27におけるCPU2721である。
2811は、図27における分離多重部2711である。
2825は、図27におけるネットワークI/F2725である。
2826は、図27における主記録媒体2726である。
2850は、図27における副記録媒体2750である。
2860は、27MHzの周波数のPLLであり、多重分離部2829から入力されたMPEG-2TSのPCR(Program Clock Reference)に同期される。
2861は、暗号化部であり、多重分離部2829から入力されたMPEG-2TSに対して、AES(Advanced Encryption System)などの暗号化を行う。
2862は、PLLから入力される27MHzのパルス信号をカウントするカウンタである。
2863は、暗号化部2861から入力されるMPEG2-TSを固定長のデータに分割し、カウンタ2862から入力されるカウント値をもとに生成されるアライバルタイムスタンプを含むヘッダを付加し、固定長パケットとして出力するパケッタイザである。
2864は、パケッタイザ2863から入力されるパケットを一時的に記憶するライトバッファである。さらに、ネットワークI/F2825を経由してネットワークからダウンロードされたデータを一時的に記憶するライトバッファでもある。さらに、ストレージI/F2865から入力される再生データを一時的に記憶するリードバッファでもある。
2865は、ストレージI/Fであり、バッファ2865を経由して、主記録媒体2826および副記録媒体2850にデータ転送する。SATA(Serial ATA)バスなどのデータバスで主記録媒体2826および副記録媒体2850に接続され、SATAプロトコルなどでデータ転送する。
2866および2868は、デパケッタイザであり、バッファ2864から入力されるMPEG-2トランスポートストリームを、TPエクストラヘッダとトランスポートパケットに分離し、カウンタ2872から入力されるアライバルタイムクロックに、アライバルタイムスタンプを同期させて、トランスポートパケットを出力する。
2867および2869は、復号化部であり、暗号化されたトランスポートパケットを復号する。
2870は、X-talであり、27MHzのパルス信号を生成する。
2871および2872は、カウンタであり、デパケッタイザ2866および2868から受け取った初期値から開始して、X-tal2870からの27MHzのパルス信号をカウントして、アライバルタイムクロックをデパケッタイザ2866および2868に渡す。
また、図28には図示していないが、図27における高速デジタルI/F2746とのデータの入出力は、ネットワークI/F2825と同様に、高速デジタルI/F2746から入力されたデジタルデータをバッファ2864へ一時的に記憶して、主記録媒体2826や副記録媒体2850へ記録し、主記録媒体2826や副記録媒体2850から再生したデジタルデータを、バッファ2864へ一時的に記憶して、高速デジタルI/F2746から出力する。
図29は、記録再生装置内の、図27における映像復号変換部2730の詳細な構成例を示すハードウェア構成図の例である。
2921は、図27におけるCPU部2721である。
2949は、図27におけるメモリ2749である。
2929は、図27における多重分離部2729である。
2932は、図27における映像変換処理部2732である。
2930は、図27における映像復号変換部2730である。
2980は、切り替え部であり、多重分離部2929から入力されるトランスポートパケットを、設定されたブロックへPIDに応じて振り分けて転送する、PIDフィルタの機能を持つ。
2981および2984および2987および2991および2995は、バッファであり、切り替え部2980との間で入出力されるトランスポートパケットを一時的にバッファリングする。
2982は、主デコーダであり、バッファ2981を経由して入力される符号圧縮された映像ストリームのトランスポートパケットをデコードする。
2983は、ビデオプレーンであり、主デコーダ2982でデコードされた映像データを展開する、表示用プレーンバッファである。
2985は、副デコーダであり、バッファ2984を経由して入力される符号圧縮された映像ストリームのトランスポートパケットをデコードする。
2986は、ビデオプレーンであり、副デコーダ2985でデコードされた映像データを展開する、表示用プレーンバッファである。
2988は、グラフィックデコーダであり、バッファ2987を経由して入力されるグラフィックデータのトランスポートパケットをデコードする。
2989は、グラフィックプレーンであり、グラフィックデコーダ2988でデコードされ描画されたグラフィックデータを展開する、プレーンバッファである。
2990は、CLUTであり、グラフィックプレーン2989に展開されたグラフィックデータを、表示用データに置換する変換処理を行う。
2992は、字幕デコーダであり、バッファ2991を経由して入力される字幕データのトランスポートパケットをデコードする。
2993は、字幕プレーンであり、字幕デコーダ2992でデコードされ描画されたグラフィックデータを展開する、プレーンバッファである。
2994は、CLUTであり、字幕プレーン2993に展開された字幕データを、表示用データに置換する変換処理を行う。
2996は、トランスコーダであり、バッファ2995を経由して入力される符号圧縮された映像ストリームのトランスポートパケットを、他のフォーマットや他のビットレートの映像ストリームにトランスコードし、再びバッファ2995に出力する。
ビデオプレーン2983および2986およびCLUT2990および2994から出力されるデータは、映像変換処理部2932へ転送される。
2921は、図27におけるCPU部2721である。
2949は、図27におけるメモリ2749である。
2929は、図27における多重分離部2729である。
2932は、図27における映像変換処理部2732である。
2930は、図27における映像復号変換部2730である。
2980は、切り替え部であり、多重分離部2929から入力されるトランスポートパケットを、設定されたブロックへPIDに応じて振り分けて転送する、PIDフィルタの機能を持つ。
2981および2984および2987および2991および2995は、バッファであり、切り替え部2980との間で入出力されるトランスポートパケットを一時的にバッファリングする。
2982は、主デコーダであり、バッファ2981を経由して入力される符号圧縮された映像ストリームのトランスポートパケットをデコードする。
2983は、ビデオプレーンであり、主デコーダ2982でデコードされた映像データを展開する、表示用プレーンバッファである。
2985は、副デコーダであり、バッファ2984を経由して入力される符号圧縮された映像ストリームのトランスポートパケットをデコードする。
2986は、ビデオプレーンであり、副デコーダ2985でデコードされた映像データを展開する、表示用プレーンバッファである。
2988は、グラフィックデコーダであり、バッファ2987を経由して入力されるグラフィックデータのトランスポートパケットをデコードする。
2989は、グラフィックプレーンであり、グラフィックデコーダ2988でデコードされ描画されたグラフィックデータを展開する、プレーンバッファである。
2990は、CLUTであり、グラフィックプレーン2989に展開されたグラフィックデータを、表示用データに置換する変換処理を行う。
2992は、字幕デコーダであり、バッファ2991を経由して入力される字幕データのトランスポートパケットをデコードする。
2993は、字幕プレーンであり、字幕デコーダ2992でデコードされ描画されたグラフィックデータを展開する、プレーンバッファである。
2994は、CLUTであり、字幕プレーン2993に展開された字幕データを、表示用データに置換する変換処理を行う。
2996は、トランスコーダであり、バッファ2995を経由して入力される符号圧縮された映像ストリームのトランスポートパケットを、他のフォーマットや他のビットレートの映像ストリームにトランスコードし、再びバッファ2995に出力する。
ビデオプレーン2983および2986およびCLUT2990および2994から出力されるデータは、映像変換処理部2932へ転送される。
本実施例の記録動作を説明する。
録画開始する前に録画するチャンネルが選局済みである状態を、初期状態と考える。
この状態では、アンテナ2703経由でチューナ2723が受信したデジタル放送波を、デスクランブラ2724でスクランブル解除し、多重分離部2729で映像ストリーム
や音声ストリームやその他グラフィックストリームや字幕ストリームなどに分離し、ストリームごとにデコーダに転送する。
この状態では、アンテナ2703経由でチューナ2723が受信したデジタル放送波を、デスクランブラ2724でスクランブル解除し、多重分離部2729で映像ストリーム
や音声ストリームやその他グラフィックストリームや字幕ストリームなどに分離し、ストリームごとにデコーダに転送する。
映像復号変換部2730で映像ストリームを伸張し、映像変換処理部2732にて必要に応じて映像データを変換し、制御信号および映像出力を、出力端子2732および2741から出力する。
以上のように、出力された映像出力を、本記録再生装置に接続したモニタディスプレイに表示し、ユーザが視聴することが可能な状態である。
次に、ユーザの録画ボタン押下や、予約録画開始時刻に記録装置が録画を開始することにより、記録動作が開始する処理の詳細を説明する。
ユーザが録画ボタンを押下すると、ユーザ操作入力部2745から録画開始を示す制御信号が入力され、制御信号送受信部2733で受信する。受信した制御信号は、一時的にバッファ2749に格納され、CPU2721が解釈し、記録動作を開始する制御を行う。
同時に、CPU2721は、ユーザからの入力が正常に受け付けられ、記録が開始することを、OSD(On Screen Display)などを用いて、ユーザに通知する。
CPU2721は、多重分離部2729を制御し、ユーザが選局して記録するよう指示した番組のストリームを記録再生部2727へ転送する。
図28に示すように、記録再生部2827は、多重分離部2829から入力されるストリームデータに対して、暗号化部2861にてAES(Advanced Encryption System)などの暗号化処理を行い、パケッタイザ2863でパケット化処理を行い、バッファ2864に一時的に蓄積する。また、多重分離部2829から入力されたストリームのPCRに、PLL2860で同期されたパルス信号を、カウンタ2862でカウントし、パケッタイザ2863に転送し、トランスポートパケットにTPエクストラヘッダのアライバルタイムクロックとして付加する。
バッファ2864に蓄積されたパケットは、ストレージI/F2865により、DVDやBlu-ray Disc(TM)などの主記録媒体2826に記録される。このとき、映像ストリームや、音声ストリームは、図1に示すようなファイル構造で、m2tsファイルとして記録される。例えば、ストリームファイル名が「01000.m2ts」となる。
さらに、記録が終了すると、クリップ情報ファイルや、リアルプレイリストファイル、info.bdavファイルなどが主記録媒体2826に記録される。例えば、クリップ情報ファイルが「01000.clpi」、リアルプレイリストファイルが「01001.rpls」となる。
クリップ情報ファイル「01000.clpi」の、IN時刻606とOUT時刻607には、それぞれストリームファイル146の記録開始時刻と記録終了時刻を記録する。リアルプレイリストファイル「01001.rpls」のクリップ情報ファイル602には、「01000」を記録する。
ひとつのクリップだけを記録する場合は、プレイアイテム数503に「1」を記録する。
放送波に含まれる映像ストリームや音声ストリームを、そのまま記録するモードでは、上述のように、図27の多重分離部2729から記録再生部2727へ、ストリームがそのまま転送されるが、H.264やドルビーデジタル(TM)などのフォーマットに変換して記録する場合は、多重分離部2729から、映像復号変換部2730へ転送され、図29に示す、映像復号変換部2730内の切り替え部2980を経由してバッファ2995に蓄積され、トランスコーダ2996によりフォーマット変換が行われ、さらにバッファ2995と切り替え部2980を経由して、図27の多重分離部2729へ戻ってくる。戻ってきたストリームデータが、記録再生部2727へ転送され、上記と同様、主記録媒体2726に記録される。
放送波を記録する以外にも、ネットワークからダウンロードしたコンテンツを、主記録媒体2726や副記録媒体2750に記録する場合もある。
記録再生装置が、装置外部のネットワーク2755にネットワーク端子2756にて接続されている場合、主記録媒体2726に含まれるプログラム(例えば、JAVA(登録商標)プログラム)がロードされ、CPU2721がプログラムを実行し、該プログラムがネットワークアクセスを行うように記述されていれば、プログラム中で指定されたウェブサイトに接続し、新たなコンテンツをダウンロードすることが可能である。
ダウンロードされたコンテンツは、ネットワークI/F2725経由で記録再生部2727へ転送され、副記録媒体2750に記録される。
また、デジタルI/F2746により、デジタル入出力2757経由でデジタルデータを入力し、主記録媒体2726や副記録媒体2750に記録する場合もある。
記録再生装置のデジタル入出力2757がUSB(Universal Serial Bus)やIEEE1394であれば、同じデジタルI/Fを備えたストレージ装置、例えば、デジタルビデオカメラやデジタルスチルカメラ、外付けのHDDやUSBフラッシュメモリと接続して、デジタルデータを入力することができる。
もしくは、デジタル入出力2757がSDカード(TM)スロットであれば、コンテンツが記録されたSDカードをこのスロットに挿入することで、SDカードからデジタルデータを直接入力できる。
例えば、AVCHD(TM)に対応したビデオカメラやデジタルカメラの場合は、USB接続して、内蔵のHDDやフラッシュメモリや光ディスクから、本記録再生装置へH.264フォーマットで記録された圧縮デジタルデータを入力して、主記録媒体2726や副記録媒体2750に記録することができる。
放送波に含まれるSI情報や、インターネット上の番組情報、もしくは、ユーザがリモコンなどで入力するコンテンツ情報から、録画するコンテンツが3Dであるかどうか、そして、録画するコンテンツの3D方式がサイドバイサイド方式かトップアンドボトム方式かフレームパッキング方式かその他の方式かが判断できる。
コンテンツの録画時に生成するリアルプレイリストファイルに、3Dかどうか、3D方式が何か、を記録する。このとき、3Dフラグ321と3D種別322に記録する。
図33を用いて、3D種別322の記録の処理フローを説明する。
記録再生装置で放送を受信すると、受信した放送データに含まれる番組情報から、3Dか2Dかを示す情報を取得する(ステップ3301)。もし2Dであれば(ステップ3302)、3D種別322に設定する値として000を記録する(ステップ3303)。
その後AVストリームを記録し(ステップ3304)、プレイリストを記録する(ステップ3312)。もし2Dでなく3Dであれば(ステップ3302)、1080p24Hzフレームパックであるかどうかを判定する(ステップ3305)。もし1080p24Hzフレームパックであれば(ステップ3305)、3D種別322に設定する値として100を記録する(ステップ3306)。もし1080p24Hzフレームパックでなければ(ステップ3305)、720p60Hzトップアンドボトムであるかどうかを判定する(ステップ3307)。もし720p60Hzトップアンドボトムであれば(ステップ3307)、3D種別322に設定する値として010を記録する(ステップ3308)。その後AVストリームを記録し(ステップ3304)、プレイリストを記録する(ステップ3312)。もし720p60Hzトップアンドボトムでなければ(ステップ3307)、1080i60Hzサイドバイサイドであるかどうかを判定する(ステップ3309)。もし1080i60Hzサイドバイサイドであれば(ステップ3309)、3D種別322に設定する値として110を記録する(ステップ3310)。
その後AVストリームを記録し(ステップ3304)、プレイリストを記録する(ステップ3312)。もし1080i60Hzサイドバイサイドでなければ(ステップ3309)、記録不可である旨をユーザに対して表示する(ステップ3311)。
以上より、コンテンツの3D種別を正しく記録することができ、記録できない場合はユーザに録画不可である旨を通知することができる。
本実施例の再生動作を説明する。
図27の主記録媒体2726として光ディスクが記録再生部2727にロードされると、記録再生部2727からディスク挿入が通知され、CPU2721は記録再生部2727にディスクアクセスを指示し、ディスク認識および自動再生要否の確認などを実行する。その後、ディスクに記録されたコンテンツの一覧を読み出し、本記録再生装置に接続されたディスプレイにコンテンツ一覧を表示する。
図32に、ユーザが録画したコンテンツ一覧の例を示す。
図32は、ディスクにユーザが録画した番組を一覧表示した画面の模式図の例である。
3201は、本画面のタイトル表示部である。録画番組を一覧表示する画面であることを示している。
3202は、ページ数表示部である。録画番組一覧が、計1ページ分あり、そのうち1ページ目を表示していることを示している。
3203は、コンテンツ総数とコンテンツ総記録時間の表示部である。この場合は、全部で10番組録画されており、それらの合計時間が4時間15分であることを示している。
3204は、スクロールアップボタンである。リモコンなどのユーザ操作で、カーソルなどを用いてこのボタンを押す動作を行うことで、一覧表示されている録画番組が上にスクロールする。
3205は、スクロールダウンボタンである。スクロールアップボタンと逆の動作を行う。
3211は、録画番組1の情報表示部である。この例では、録画日時が9月30日の12時から13時までであること、放送チャンネルがBS11チャンネルであること、番組名が「ゴルフレッスン」であること、番組が3Dコンテンツであること、録画モードがTSモードであること、が表示されている。
3212は、録画番組2の情報表示部である。3213は、録画番組3の情報表示部である。3214は、録画番組4の情報表示部である。3215は、録画番組5の情報表示部である。3216は、録画番組6の情報表示部である。
3221は、再生機能のメニューリストである。このメニューリストを選択することにより、録画番組を連続して再生することが可能である。
3231は、選択枠であり、ユーザがリモコンなどのユーザインターフェースを用いて、画面上に表示された項目の中からある項目を選択するときに、選択した項目を示すためのものである。この場合は、「再生機能」を選択した状態を示している。
3222は、削除機能のメニューリストである。このメニューリストを選択することにより、録画番組を削除することが可能である。
3223は、ダビング機能のメニューリストである。このメニューリストを選択することにより、録画番組をダビングすることが可能である。
3224は、変換機能のメニューリストである。このメニューリストを選択することにより、録画番組を変換することが可能である。
3225は、編集機能のメニューリストである。このメニューリストを選択することにより、録画番組を削除ロックすることが可能である。
3227は、表示機能のメニューリストである。このメニューリストを選択することにより、録画番組を一覧表示することが可能である。
図32で、表示されている録画番組3211~録画番組3216の中から、リモコンなどで対象番組を選択して、「再生機能」を選択して、再生開始する。
あるいは、ディスクを記録再生装置に挿入すると、ファーストプレイを実行したり、前回再生終了した位置から再生を再開させるリジュームプレイなどの、自動再生を行うこともできる。
リジュームプレイは、ディスクのIDと、最終再生位置をペアにしたリジュームポイントリスト情報を、ディスク排出時に、記録再生装置が装置内の不揮発性メモリに保持し、ディスク挿入時に、挿入されたディスクのディスクIDを認識した時点で、リジュームポイントリストを参照して、合致するディスクIDがあれば、それに相当する最終再生位置を、再生再開位置と判断して、その位置にジャンプして再生開始することで実現可能である。
あるいは、info.bdavファイル111の、リジュームプレイリストファイル名に、リジュームプレイしたいプレイリストのファイル名を登録しておくことで、ディスク挿入時にinfo.bdavファイル111を読み出し、リジュームプレイリストファイル名に記録されたプレイリストファイルを再生することにより、実現可能である。
ファーストプレイや、リジュームプレイ以外には、記録再生装置の持つ録画番組一覧表示機能を使用して、そこに表示されるサムネイル一覧などから、ユーザが再生したいシーンやコンテンツを選択することも可能である。
例えば、図1のプレイリストファイル141(01001.rpls)を再生させる場合は、まず、図2のプレイリストファイルの構造のうち、プレイリスト情報開始アドレス203を読み出し、プレイリスト情報が格納されている、ファイル上のオフセットを取得する。次に、プレイリストファイル先頭から、そのオフセットだけシークした位置から、プレイリスト情報を読み出すと、図5のプレイリスト情報が得られる。この構造のうち、プレイアイテム505は、図6の構造であり、クリップ情報ファイル602を参照すると、再生するクリップ情報ファイル名が分かる。例えば、クリップ情報ファイル602に、「01000」と記録されていれば、クリップ情報ファイル144(01000.rpls)およびストリームファイル(01000.rpls)を読み出せばよいことが分かる。さらに、IN時刻606とOUT時刻607を参照すると、再生するクリップのうち、再生開始位置と再生終了位置が分かる。これを、プレイアイテム数503に記録された数だけ繰り返すことで、どのクリップのどの部分を順番に再生すべきかが取得できる。
また、プレイリストファイルに記録された、3Dフラグ321や3D種別322、記録日時308、チャンネル番号312、プレイリスト名316などの情報や、クリップ情報ファイルに記録された、ビットレートや画像解像度、CODEC情報などのさまざまな情報を読み出すことで、映像音声データそのものだけでなく、いろいろな属性情報を取得できる。取得された属性情報は、例えば、CPU2721の指示に従い、映像変換処理部2732にてグラフィック処理され、画像データに変換され、映像復号変換部2730から出力される主画像と重畳されて、映像出力2741から装置外部へ出力することにより、ディスプレイに伝達したり、ユーザに通知したりすることができる。
あるいは、3Dフラグ321や3D種別322などの情報は、CPU2721の指示に従い、映像変換処理部2732で制御信号にエンコードされ、制御信号2743から出力される。
制御信号2743から出力される制御信号と、映像出力2741から出力される映像信号は、デジタル映像伝送規格(例えば、HDMI規格や、DisplayPort規格)に準拠した信号として、記録再生装置の外部に接続されたディスプレイへ出力される。
ディスプレイは、制御信号2743から出力される制御信号を受信し、制御信号に従って表示モードを設定することで、映像出力2741から出力される映像信号を正しく表示することができる。
本実施例における、記録再生装置とディスプレイの処理の一例を説明する。
記録再生装置は、外部に接続されたディスプレイから、制御信号2743を経由してディスプレイ情報を取得し、CPU2721の指示で情報を解釈することにより、ディスプレイの仕様や性能などを認識できる。例えば、3D表示に対応したディスプレイであるかどうか、や、3D方式のうち、どの方式に対応したディスプレイか、などである。
記録再生装置は、上記のように取得し解釈したディスプレイ情報を、3Dフラグ321や3D種別322などの情報と比較することにより、3Dコンテンツを正しく立体表示できるかどうかを判断することができ、もし正しく立体表示できない場合は、その旨ユーザに知らせることができる。
例えば、再生しようとしているコンテンツのプレイリストファイルに記録された3Dフラグ321が1、3D種別322が10であり、接続されたディスプレイがサイドバイサイド方式の立体表示にのみ対応したディスプレイであった場合、再生しようとしているコンテンツは、フレームパッキング方式で記録された3Dコンテンツであり、かたや、表示するディスプレイは、フレームパッキング方式の表示には非対応であるため、正しく立体表示することができない。よって、ディスプレイ上に「このディスプレイでは、立体表示できないコンテンツです」などのメッセージを出してユーザに通知することができる。
図30は、記録再生装置と、ディスプレイの処理を示したタイミングチャートの例である。
記録再生装置に、再生するディスクを挿入すると(ステップ3001)、ディスクからコンテンツに関する情報を読み出す(ステップ3002)。コンテンツに関する情報に、3Dフラグ321や3D種別322などの3Dに関する情報も含まれる。取得された3D情報3004を、表示装置(ディスプレイ)と接続されたデジタルI/Fを経由して、表示装置に送信する(ステップ3003)。
表示装置は記録再生装置から送られてきた3D情報を受信し、その内容を解析する(ステップ3005)。表示装置は、解析した結果と、表示装置が対応している3D方式を照合し、変換無しに表示できるのか、変換が必要かを判断し、最適な表示モードを設定する(ステップ3006)。設定が完了した後に、記録再生装置に対して正常完了の情報3008を返す(ステップ3007)。もしステップ3006で、判断の結果、表示できないコンテンツであれば、ステップ3007では、表示不可を意味するエラーの情報を返す。記録再生装置は、正常完了の情報3008を受信すると、3Dコンテンツ3009を送信開始する。もし、エラー情報を受信した場合は、3Dコンテンツを送信せず、ユーザに対して表示不可の旨を通知する。この際、OSDにて表示装置上に通知を表示しても良い。
本実施例における、別の、記録再生装置とディスプレイの処理の一例を説明する。
図30は、記録再生装置と、ディスプレイの処理を示したタイミングチャートの例である。
記録再生装置に、再生するディスクを挿入すると(ステップ3001)、ディスクからコンテンツに関する情報を読み出す(ステップ3002)。コンテンツに関する情報に、3Dフラグ321や3D種別322などの3Dに関する情報も含まれる。一方、表示装置(ディスプレイ)は、表示装置が対応している3D方式の情報3004を、表示装置(ディスプレイ)と接続されたデジタルI/Fを経由して、記録再生装置に送信する(ステップ3003)。
記録再生装置は、表示装置から送られてきた3D方式の情報3004と、ステップ3002で取得したコンテンツの3D情報を照合し、変換無しに表示できるのか、変換が必要かを判断し(ステップ3005)、変換要の場合は、記録再生装置で変換が可能かを判断する(ステップ3006)。もし変換が可能であれば、送信するコンテンツの2D/3D方式情報3008を表示装置に通知し(ステップ3007)、表示装置は記録再生装置から送られてきた2D/3D方式情報3008を受信し、表示モードを設定する(ステップ3009)。もし、変換が不可能であれば、記録再生装置は、ユーザに対して表示不可の旨を通知する。この際、OSDにて表示装置上に通知を表示しても良い。そして、この場合、3Dコンテンツを表示装置には送信しない。
表示装置は、表示モードを設定後(ステップ3009)、記録再生装置に対して正常完了の情報3011を返し(ステップ3010)、記録再生装置は3Dコンテンツを変換して、変換されたコンテンツ3013を表示装置に送信する(ステップ3012)。
図31を用いて、3D種別322の再生の処理フローを説明する。
記録再生装置で記録されたコンテンツを再生するとき、プレイリストを再生する(ステップ3101)。プレイリストに含まれる3D種別情報322から、3D方式を示す情報を取得する(ステップ3102)。もし000であれば(ステップ3103)、2Dコンテンツであると判断し、AVストリームを再生する(ステップ3104)。
もし000でなければ(ステップ3103)、100であるかどうかを判定する(ステップ3105)。もし100であれば(ステップ3105)、1080p24Hzフレームパックであると判断し、表示装置の対応している3D方式に1080p24Hzフレームパックが含まれているかを確認する(ステップ3106)。もし含まれていれば表示可能であると判断し(ステップ3106)、3D情報を送信し(ステップ3107)、AVストリームを再生する(ステップ3104)。もし含まれてなければ表示不可であると判断し(ステップ3106)、記録再生装置が1080p24Hzフレームパックコンテンツの変換機能に対応しているかどうかを確認する(ステップ3110)。もし対応していれば(ステップ3110)、AVストリームを変換し(ステップ3111)、3D情報を送信し(ステップ3107)、AVストリームを再生する(ステップ3104)。
もし対応していなければ(ステップ3110)、再生不可である旨をユーザに対して表示する(ステップ3112)。
もし対応していなければ(ステップ3110)、再生不可である旨をユーザに対して表示する(ステップ3112)。
もし100でなければ(ステップ3105)、010であるかどうかを判定する(ステップ3108)。もし010であれば(ステップ3108)、720p60Hzトップアンドボトムであると判断し、表示装置の対応している3D方式に720p60Hzトップアンドボトムが含まれているかを確認する(ステップ3106)。もし含まれていれば表示可能であると判断し(ステップ3106)、3D情報を送信し(ステップ3107)、AVストリームを再生する(ステップ3104)。もし含まれてなければ表示不可であると判断し(ステップ3106)、記録再生装置が720p60Hzトップアンドボトムコンテンツの変換機能に対応しているかどうかを確認する(ステップ3110)。もし対応していれば(ステップ3110)、AVストリームを変換し(ステップ3111)、3D情報を送信し(ステップ3107)、AVストリームを再生する(ステップ3104)。
もし対応していなければ(ステップ3110)、再生不可である旨をユーザに対して表示
する(ステップ3112)。
もし対応していなければ(ステップ3110)、再生不可である旨をユーザに対して表示
する(ステップ3112)。
もし010でなければ(ステップ3108)、110であるかどうかを判定する(ステップ3109)。もし110であれば(ステップ3109)、1080i60Hzサイドバイサイドであると判断し、表示装置の対応している3D方式に1080i60Hzサイドバイサイドが含まれているかを確認する(ステップ3106)。もし含まれていれば表示可能であると判断し(ステップ3106)、3D情報を送信し(ステップ3107)、AVストリームを再生する(ステップ3104)。もし含まれてなければ表示不可であると判断し(ステップ3106)、記録再生装置が1080i60Hzサイドバイサイドコンテンツの変換機能に対応しているかどうかを確認する(ステップ3110)。もし対応していれば(ステップ3110)、AVストリームを変換し(ステップ3111)、3D情報を送信し(ステップ3107)、AVストリームを再生する(ステップ3104)。
もし対応していなければ(ステップ3110)、再生不可である旨をユーザに対して表示
する(ステップ3112)。
もし対応していなければ(ステップ3110)、再生不可である旨をユーザに対して表示
する(ステップ3112)。
以上より、コンテンツの3D種別を正しく再生することができ、再生できない場合はユーザに再生不可である旨を通知することができる。
図27を用いて、AVストリームファイルから所望のデータを読み出してからディスプレイで表示する処理の詳細を説明する。
主記録媒体2726から読み出されたAVストリームファイルは、記録再生部2727を経由して、多重分離部2729でエレメンタリーストリームに分離され、映像ストリームは映像復号変換部2730へ、音声ストリームは音声復号変換部2731へ、それぞれ転送される。
映像ストリームは、映像復号変換部2730によりデコードされ、映像変換処理部2732を経由して、映像出力2741から出力される。
音声ストリームは、音声復号変換部2731によりデコードされ、音声出力2742から出力される。
図28を用いて、記録再生部2727の詳細を説明する。
主記録媒体2826に記録されたAVストリームファイルの映像音声ストリームデータは、ストレージI/F2865からのリード要求コマンドに応じて、指定セクタから指定された長さだけリードされ、バッファ2864にある一定量以上蓄積される。
バッファ2864に蓄積されたストリームデータは、デパケッタイザ2866からの要求で、TSパケット単位で読み出され、デパケッタイザ2866でパケットを解き、ヘッダ中のアライバルタイムスタンプを解析する。そして、アライバルタイムスタンプとカウンタ2872から供給されるクロック情報を比較し、正しい間隔でパケットを復号部2867へ転送する。復号部2867では、パケットの暗号を復号し多重分離部2829へ送る。
一方、バッファ2864からパケッタイザ2868、復号化部2869を経由するパスでも、同様の処理を行う。これにより、同時に2系統のストリーム処理を行うことが可能になり、主画像に副画像を重ねるような機能、例えば、PictureInPicture機能、PopUpMenu機能、などが実現できる。
また、主記録媒体2826から読み出したAVストリームファイルと、副記録媒体2850から読み出したAVストリームファイルを、同時に処理することも同様に実現可能である。
図37から図40を用いて、3Dコンテンツを2D編集環境で編集した際に、3Dでも正しく編集結果を反映できるような管理方法の一例を説明する。
図37は、3Dコンテンツを記録するときの管理情報の記録方法を示した、フローチャートである。
3Dコンテンツを記録すると(ステップ3701)、記録した3Dコンテンツのストリーム番号情報625と3Dストリーム番号情報210をプレイリストに記録する(ステップ3702、ステップ3703)。さらに編集済みフラグ306を0に設定し(ステップ3704)、3D同期フラグ323を1に設定する(ステップ3705)。最後に、3Dタイムスタンプ3602を更新し(ステップ3706)、プレイリストファイルのタイムスタンプを更新する(ステップ3707)。
これにより、3Dタイムスタンプ3602とプレイリストファイルのタイムスタンプが同じ値となる。3D同期フラグ323が2D/3D同期状態を示す。さらに、ストリーム番号情報625と3Dストリーム番号情報210の2Dストリーム番号情報3603は同じ内容となる。
図38は、2D編集環境で3Dコンテンツを編集するときの管理情報の更新方法を示した、フローチャートである。
記録済みの3Dコンテンツに対して、ストリーム番号情報が変更となるような編集作業を、2D編集環境で実行すると(ステップ3801)、ストリーム番号情報625を更新し(ステップ3802)、編集済みフラグ306を1に設定し(ステップ3803)、3D同期フラグを0に設定する(ステップ3804)。さらに、ファイルのタイムスタンプを更新する(ステップ3805)。
これにより、3Dタイムスタンプ3602とプレイリストファイルのタイムスタンプが異なる値となる。3D同期フラグ323が2D/3D非同期状態を示す。さらに、ストリーム番号情報625と3Dストリーム番号情報210の2Dストリーム番号情報3603は異なる内容となる。
ストリーム番号情報が変更となるような編集としては、主画像ストリームの3D/2D変換、テキスト字幕ストリームの3D/2D変換、などである。
図39は、2D編集環境で編集された3Dコンテンツを、3D再生装置や3D編集環境でロードしたときの管理情報の更新方法を示した、フローチャートである。
2D編集環境で編集された3Dコンテンツを、3D編集環境でロードすると、プレイリストファイルの編集済みフラグを確認し、編集が行われているかどうかを判定する(ステップ3901)。編集されていれば、プレイリストファイルの3Dストリーム番号情報が存在するかどうかを確認し、3Dコンテンツであるかどうかを判定する(ステップ3902)。3Dコンテンツであれば、プレイリストファイルの3D同期フラグを確認し、2D互換部分と3D特有部分の管理情報が同期しているかどうかを判定する(ステップ3903)。同期していなければ、3Dタイムスタンプ3602とプレイリストファイルのタイムスタンプを比較し、同じかどうかを判定し、2D編集環境で編集された内容を3D特有部分へ反映させる必要があるかどうか判定する(ステップ3904)。
あるいは、ストリーム番号情報625と3Dストリーム番号情報210の2Dストリーム番号情報3603を比較し、異なっていれば、2D編集環境で編集された内容を3D特有部分へ反映させる必要があると判定することも可能である。
反映が必要であると判定すれば(ステップ3904)、3Dストリーム情報210を更新する(ステップ3905)。そして、3D同期フラグを1に設定し、(ステップ3905)、3Dタイムスタンプを更新し(ステップ3907)、プレイリストファイルのタイムスタンプを更新する(ステップ3908)。
これにより、3Dコンテンツに対して、2D編集環境で実行した編集内容を、正しく反映させた状態で再生が可能となる。
なお、3D再生装置の場合は、ステップ3905からステップ3908のファイル更新を行う代わりに、再生装置内のメモリ上で管理情報を更新し、再生時にこれを用いることで、記録媒体上のファイルを書き換えることができなくても、2Dの編集内容どおりに正しく3Dで再生することができる。
図40は、3D編集環境で3Dコンテンツを編集するときの管理方法を示した、フローチャートである。
記録済みの3Dコンテンツに対して、ストリーム番号情報が変更となるような編集作業を、3D編集環境で実行すると(ステップ4001)、ストリーム番号情報625を更新し(ステップ4002)、3Dストリーム番号情報210を更新し(ステップ4003)、3Dタイムスタンプ3602を更新し(ステップ4004)、編集済みフラグ306を1に設定し(ステップ4005)、3D同期フラグ323を1に設定する(ステップ4006)。さらに、ファイルのタイムスタンプを更新する(ステップ4007)。
これにより、3Dタイムスタンプ3602とプレイリストファイルのタイムスタンプが同じ値となる。3D同期フラグ323が2D/3D同期状態を示す。さらに、ストリーム番号情報625と3Dストリーム番号情報210の2Dストリーム番号情報3603は同じ内容となる。
図41は、クリップ情報の構造を示した模式図の一例である。
4101は、種別識別しであり、クリップ情報であることを示す情報が設定される。
4102は、バージョン番号であり、クリップ情報ファイルのバージョンを示す番号である。
4103は、シーケンス情報開始アドレスであり、クリップ情報ファイル内での、シーケンス情報の相対的な開始位置をバイト単位で示す値が設定される。
4104は、プログラム情報開始アドレスであり、クリップ情報ファイル内での、プログラム情報の相対的な開始位置をバイト単位で示す値が設定される。
4105は、特徴点情報開始アドレスであり、クリップ情報ファイル内での、特徴点情報の相対的な開始位置をバイト単位で示す値が設定される。
4106は、マーク情報開始アドレスであり、クリップ情報ファイル内での、マーク情報の相対的な開始位置をバイト単位で示す値が設定される。
4107は、エクステント開始情報開始アドレスであり、クリップ情報ファイル内での、エクステント開始情報の相対的な開始位置をバイト単位で示す値が設定される。
4108は、編集済みフラグであり、0が設定されていれば、記録したときのオリジナルのデータが変更されずに保存されていることを示し、1が設定されていれば、変更が加わっていることを示す。
4109は、3Dタイムスタンプであり、エクステント開始情報が更新された最新時刻を示す。
4110は、シーケンス情報であり、ストリームファイルの、ATCやSTCを識別する情報である。
4111は、プログラム情報であり、ストリームファイルを構成するパケット列の情報を示す。
4112は、特徴点情報であり、ストリームファイルの時刻情報と位置情報の関係を示す。
4113は、マーク情報であり、クリップの、マーク情報を示す。
4114は、エクステント開始情報であり、3DコンテンツのストリームのBase ViewストリームとDependent Viewの配置を示したものであり、3Dコンテンツの左目用ストリームと右目用ストリームを別々に読み出して、それぞれのデコード処理系へ入力するために使用される。
クリップ情報ファイルzzzzz.clpiには、ストリームファイルの配置情報を管理する、エクステント開始点情報が含まれる。
この情報は、3DコンテンツのストリームのBase ViewストリームとDependent Viewの配置を示したものであり、3Dコンテンツの左目用ストリームと右目用ストリームを別々に読み出して、それぞれのデコード処理系へ入力するために使用される。
ストリームファイルは、Base View用のストリームだけを指すストリームファイル(zzzzz.m2ts)と、Base ViewとDependent Viewをあわせて指すストリームファイル(zzzzz.ssif)の、2種類のアクセスが可能となっており、これにより、2Dのみに対応した再生装置でも2D再生が可能である。
2D編集環境で、3Dコンテンツ本体を部分削除するような編集を行った場合、m2tsファイルに対する編集内容を、ssifファイルへ変更できない課題があり、これについても、プレイリストの場合と同様に、「編集済みフラグ」「3Dタイムスタンプ」「2D互換部分の管理情報」として、それぞれ「編集済みフラグ4108」「3Dタイムスタンプ4109」「エクステント開始情報4114」をクリップ情報ファイルに持たせ、2D編集環境での編集時や3D環境でのロード時に、これらの管理情報をもとに、2Dでの編集内容を3Dへ反映させることが可能である。
処理フローは、プレイリストにおける説明を、クリップ情報ファイルにおける情報に置き換えることで、説明可能である。
すなわち、図37から図40における、ストリーム番号情報を省略し、3Dストリーム番号情報をエクステント開始情報に読み替えることで、同様の処理となる。
以上の構成により本発明の第4の実施例では、
AVストリームと、AVストリームの配置を規定するクリップ情報を記録媒体に記録する記録部と、記録媒体から情報を再生する再生部と、記録部と再生部を制御する制御部とを有し、
クリップ情報は3Dストリームデータの配置情報と3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグを有し、
3D同期フラグは2D互換部分の配置情報が更新されるときに非同期状態に設定し、
3D同期フラグが非同期状態に設定されているときは、2D互換部分の管理情報と3D部分の管理情報を同期させて、
3Dコンテンツを再生することにより、
2Dで編集された3Dコンテンツを3Dでも正しく表示できる。
AVストリームと、AVストリームの配置を規定するクリップ情報を記録媒体に記録する記録部と、記録媒体から情報を再生する再生部と、記録部と再生部を制御する制御部とを有し、
クリップ情報は3Dストリームデータの配置情報と3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグを有し、
3D同期フラグは2D互換部分の配置情報が更新されるときに非同期状態に設定し、
3D同期フラグが非同期状態に設定されているときは、2D互換部分の管理情報と3D部分の管理情報を同期させて、
3Dコンテンツを再生することにより、
2Dで編集された3Dコンテンツを3Dでも正しく表示できる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード(TM)、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、3D同期フラグによる判定と、タイムスタンプ比較による判定と、ストリーム番号情報比較による判定を、連続して行う構成を示したが、このうちいずれか一つのみもしくは二つを組み合わせる構成でも実現可能であり、同様の効果がある。
301…長さ、302…文字コード、303…再生保護フラグ、304…記録保護フラグ、305…再生済みフラグ、306…編集済みフラグ、307…タイムゾーン、308…記録日時、309…プレイリスト長、310…メーカID、311…モデルコード、312…チャンネル番号、313…チャンネル名長さ、314…チャンネル名、315…プレイリスト名長さ、316…プレイリスト名、317…プレイリスト詳細長さ、318…プレイリスト詳細、321…3Dフラグ、322…3D種別、323…3D同期フラグ
Claims (5)
- 記録媒体に情報を記録する記録方法であって、
AVストリームを記録するステップと、
前記AVストリームの配置を規定するクリップ情報を記録するステップと、を有し、
前記クリップ情報には3Dストリームデータの配置情報が含まれており、
前記クリップ情報には3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグが含まれており、
前記3D同期フラグは前記2D互換部分の配置情報が更新されるときに非同期状態に設定され、前記3D部分の配置情報が更新されるときに同期状態に設定されることを特徴とする記録方法。 - 記録媒体に情報を記録する記録装置であって、
AVストリームと、前記AVストリームの配置を規定するクリップ情報を前記記録媒体に記録する記録部と、
前記記録部を制御する制御部を有し、
前記制御部は、
前記クリップ情報には3Dストリームデータの配置情報が含まれ、前記クリップ情報には、3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグが含まれ、前記3D同期フラグは前記2D互換部分の配置情報が更新されるときに非同期状態に設定され、前記3D部分の配置情報が更新されるときに同期状態に設定されることを特徴とする記録装置。 - 記録媒体に記録された情報を再生する再生方法であって、
前記記録媒体には、AVストリームと、前記AVストリームの配置を規定するクリップ情報が記録されており、
前記クリップ情報には3Dストリームデータの配置情報が含まれており、
前記クリップ情報には、3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグが含まれており、
前記3D同期フラグが非同期状態に設定されているときは、前記2D互換部分の配置情報と前記3D部分の配置情報を同期させて、前記3Dコンテンツを再生することを特徴とする再生方法。 - 記録媒体に記録された情報を再生する再生装置であって、
前記記録媒体から情報を再生する再生部と、
前記再生部を制御する制御部とを有し、
前記記録媒体には、AVストリームと、前記AVストリームの配置を規定するクリップ情報が記録されており、
前記クリップ情報には3Dストリームデータの配置情報が含まれており、
前記クリップ情報には、3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグが含まれており、
前記3D同期フラグが非同期状態に設定されているときは、前記2D互換部分の配置情報と前記3D部分の配置情報を同期させて、前記3Dコンテンツを再生することを特徴とする再生装置。 - 情報が記録された記録媒体であって、
AVストリームと、
前記AVストリームの配置を規定するクリップ情報と、を有し、
前記クリップ情報には3Dストリームデータの配置情報が含まれており、
前記クリップ情報には、3Dコンテンツの2D互換部分の配置情報と3D部分の配置情報の同期状態を示す3D同期フラグが含まれており、
前記3D同期フラグは前記2D互換部分の配置情報が更新されるときに非同期状態に設定され、前記3D部分の配置情報が更新されるときに同期状態に設定される情報であることを特徴とする記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011184275A JP2013046324A (ja) | 2011-08-26 | 2011-08-26 | 記録装置/方法/媒体、再生装置/方法 |
JP2011-184275 | 2011-08-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013031299A1 true WO2013031299A1 (ja) | 2013-03-07 |
Family
ID=47755816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/062228 WO2013031299A1 (ja) | 2011-08-26 | 2012-05-11 | 記録装置/方法/媒体、再生装置/方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013046324A (ja) |
WO (1) | WO2013031299A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005311984A (ja) * | 2004-04-26 | 2005-11-04 | Olympus Corp | 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法 |
JP2008172735A (ja) * | 2007-01-15 | 2008-07-24 | Olympus Imaging Corp | 画像ファイル処理装置,画像ファイル再生装置,画像ファイル加工編集装置 |
JP2008311725A (ja) * | 2007-06-12 | 2008-12-25 | Fujifilm Corp | 画像記録装置及び画像記録方法 |
JP2011019084A (ja) * | 2009-07-09 | 2011-01-27 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
-
2011
- 2011-08-26 JP JP2011184275A patent/JP2013046324A/ja not_active Withdrawn
-
2012
- 2012-05-11 WO PCT/JP2012/062228 patent/WO2013031299A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005311984A (ja) * | 2004-04-26 | 2005-11-04 | Olympus Corp | 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法 |
JP2008172735A (ja) * | 2007-01-15 | 2008-07-24 | Olympus Imaging Corp | 画像ファイル処理装置,画像ファイル再生装置,画像ファイル加工編集装置 |
JP2008311725A (ja) * | 2007-06-12 | 2008-12-25 | Fujifilm Corp | 画像記録装置及び画像記録方法 |
JP2011019084A (ja) * | 2009-07-09 | 2011-01-27 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2013046324A (ja) | 2013-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100892012B1 (ko) | 데이터 전송장치 및 방법 | |
CN100394791C (zh) | 信息处理方法和装置 | |
US8306383B2 (en) | Data processor and hierarchy for recording moving and still picture files | |
JPWO2006121049A1 (ja) | データ処理装置 | |
US8289823B2 (en) | Recording apparatus, recording method, recording medium, reproducing apparatus and reproducing method | |
US20120075968A1 (en) | Recording apparatus, recording method, recording medium, reproducing apparatus and reproducing method | |
CN110675895B (zh) | 再现方法、再现装置以及记录介质 | |
WO2012123982A1 (ja) | 記録装置/方法/媒体、再生装置/方法 | |
JP2013118538A (ja) | 再生方法/装置及び記録方法/装置 | |
JP5637750B2 (ja) | 記録装置/方法/媒体、再生装置/方法 | |
JP5537290B2 (ja) | 記録装置/方法/媒体、再生装置/方法 | |
JP2013058287A (ja) | 記録装置/方法/媒体、再生装置/方法 | |
WO2013031307A1 (ja) | 記録装置/方法/媒体、再生装置/方法 | |
JP2013118539A (ja) | 再生方法/装置及び記録方法/装置 | |
JP5537289B2 (ja) | 記録装置/方法/媒体、再生装置/方法 | |
WO2013031299A1 (ja) | 記録装置/方法/媒体、再生装置/方法 | |
WO2012123981A1 (ja) | 記録装置/方法/媒体、再生装置/方法 | |
JP2006216227A (ja) | データ受信装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12828884 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12828884 Country of ref document: EP Kind code of ref document: A1 |