WO2006059779A1 - 符号化装置および方法、復号装置および方法、プログラム、記録媒体、ならびに、データ構造 - Google Patents

符号化装置および方法、復号装置および方法、プログラム、記録媒体、ならびに、データ構造 Download PDF

Info

Publication number
WO2006059779A1
WO2006059779A1 PCT/JP2005/022409 JP2005022409W WO2006059779A1 WO 2006059779 A1 WO2006059779 A1 WO 2006059779A1 JP 2005022409 W JP2005022409 W JP 2005022409W WO 2006059779 A1 WO2006059779 A1 WO 2006059779A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
sub
aspect ratio
main video
picture
Prior art date
Application number
PCT/JP2005/022409
Other languages
English (en)
French (fr)
Inventor
Kuniaki Takahashi
Toshiya Hamada
Yasushi Fujinami
Original Assignee
Sony Corporation
Sony Computer Entertainment Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation, Sony Computer Entertainment Inc. filed Critical Sony Corporation
Priority to EP05814422A priority Critical patent/EP1819165A4/en
Priority to CA002589370A priority patent/CA2589370A1/en
Priority to JP2006546719A priority patent/JP4813370B2/ja
Priority to US11/720,806 priority patent/US8279938B2/en
Publication of WO2006059779A1 publication Critical patent/WO2006059779A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles

Definitions

  • Encoding apparatus and method decoding apparatus and method, program, recording medium, and data structure
  • the present invention relates to an encoding device and method, a decoding device and method, a program, a recording medium, and a data structure, and is capable of displaying a sub-video with an aspect ratio independent of an aspect ratio of the main video.
  • the present invention relates to an encoding device and method, a decoding device and method, a program, a recording medium, and a data structure.
  • main video Content video
  • sub video content video
  • the aspect ratio of the sub-picture is related to the aspect ratio of the main picture. If the aspect ratio of the main picture is a: b, the sub-picture also has the aspect ratio of a: b and the aspect ratio of the main picture. If the ratio is c: d, the sub-picture is also superimposed on the main picture with an aspect ratio of c: d.
  • the present invention has been made in view of such circumstances, and makes it possible to display a sub-video with an aspect ratio independent of the aspect ratio of the main video.
  • the encoding device includes a first encoding unit configured to encode a main video and incorporate a main video aspect ratio; And a second encoding unit configured to incorporate a pect ratio.
  • the second encoding unit can set a flag representing the sub-picture aspect ratio and incorporate the sub-picture aspect ratio.
  • the encoding method of the present invention includes a first encoding step for encoding a main video and incorporating the aspect ratio of the main video, encoding a sub-video and the aspect ratio of the sub-video. And a second encoding step that incorporates.
  • the first program of the present invention encodes a main video and incorporates a main video aspect ratio, and encodes a sub-video and sub-picture aspect ratio. And a second encoding step to be incorporated.
  • the main video is encoded and the aspect ratio of the main video is incorporated, and the sub-video is encoded and the aspect ratio of the sub-video is incorporated.
  • the first acquisition unit configured to acquire the aspect ratio of the main video embedded in the encoded data of the main video and the main video image frame acquired by the first acquisition unit.
  • a first conversion unit configured to perform conversion according to the aspect ratio, and a second conversion unit configured to acquire a sub-picture aspect ratio embedded in the encoded data of the sub-picture.
  • a second conversion unit configured to convert the image frame of the sub-video according to the aspect ratio of the sub-video acquired by the second acquisition unit.
  • the decoding method includes a first acquisition step of acquiring a main video aspect ratio incorporated in encoded data of a main video, and an image frame of the main video as a process of the first acquisition step.
  • the acquisition step includes a second conversion step of converting the image frame of the sub-video according to the aspect ratio of the sub-video acquired in the processing of the second acquisition step.
  • the second program of the present invention includes a first acquisition step of acquiring a main video aspect ratio incorporated in encoded data of the main video, and an image frame of the main video.
  • the first conversion step that converts according to the aspect ratio of the main video acquired in the processing of the step, and the aspect ratio of the sub-picture embedded in the sub-picture encoding data are obtained.
  • the aspect ratio of the main video embedded in the encoded data of the main video is acquired, and the image frame of the main video is acquired. It is converted according to the aspect ratio of the main video, the aspect ratio of the sub video embedded in the encoded data of the sub video is acquired, and the image frame of the sub video is converted to the acquired sub video aspect. Converted according to the cut ratio.
  • the main video encoded data obtained by encoding the main video data and the sub video encoded data obtained by encoding the sub video data to be displayed superimposed on the main video data are multiplexed.
  • the recorded main video encoded data has a first aspect ratio flag that represents the aspect ratio of the main video data
  • the sub-video encoded data has a first aspect ratio flag. Is characterized by having a second aspect ratio flag that represents the aspect ratio of the sub-picture data.
  • the main video encoding data obtained by encoding the main video data and the sub video encoded data obtained by encoding the sub video data to be displayed superimposed on the main video data are multiplexed.
  • the main video encoded data has a first aspect ratio flag that represents the aspect ratio of the main video data, and the sub video encoding data is independent of the first aspect ratio flag.
  • the second aspect ratio flag indicating the aspect ratio of the sub-picture data is provided.
  • the main video encoded data obtained by encoding the main video encoded data obtained by encoding the main video data and the sub video data displayed by being superimposed on the main video data are displayed.
  • the main video encoding data has a first aspect ratio flag indicating the aspect ratio of the main video data
  • the sub video encoded data is the first video data.
  • the data recorded on this recording medium or the data structure The aspect ratio of the main video embedded in the encoded data of the main video and the aspect ratio of the sub video embedded in the encoded data of the sub video are obtained from the data having According to the aspect ratio of the acquired main video, and the image frame of the sub video can be converted according to the aspect ratio of the acquired sub video.
  • Sub-pictures can be displayed with an aspect ratio that is independent of the aspect ratio.
  • FIG. 1 is a diagram showing a display example of a conventional caption
  • FIG. 2 is a block diagram showing a configuration example of an encoding apparatus to which the present invention is applied
  • FIG. 3 is a video encoder 26 in FIG.
  • FIG. 4 is a flowchart schematically showing an example of processing in the video encoder
  • FIG. 5 is a diagram for explaining subtitle coordinates
  • FIG. 6 is a decoding to which the present invention is applied.
  • FIG. 7 is a block diagram showing a configuration example of the video decoder 66 in FIG. 6,
  • FIG. 8 is a flowchart schematically showing an example of processing in the video decoder
  • FIG. FIG. 10 is a flowchart for explaining the operation of the sub-picture image frame size conversion unit 75 in FIG. 7, FIG.
  • FIG. 10 is a diagram showing a display example of subtitles in the present invention
  • FIG. Other figures showing examples of caption display in the invention FIG. 12 and FIG. Figure for explaining that if the aspect ratio of the display device is 4: 3, the subtitle image is projected with an aspect ratio of 4: 3 even if the aspect ratio of the main image is 16: 9.
  • Fig. 13 shows the display area of the main video for the subtitle coordinates.
  • Fig. 4 is another diagram showing the display area of the main video for the subtitle coordinates
  • Fig. 15 is another diagram showing the display area of the main video for the subtitle coordinates
  • Fig. 16 is the main video display area for the subtitle coordinates.
  • Fig. 17 is another diagram showing the display area of the main video with respect to the subtitle coordinates, Fig.
  • FIG. 18 is another diagram showing the display area of the main video with respect to the subtitle coordinates
  • Fig. 17 Fig. 9 is another diagram showing an example of the display of the caption in the present invention
  • Fig. 20 is another diagram showing an example of the display of caption in the present invention
  • Fig. 21 is the main figure for the caption coordinate.
  • FIG. 22 shows another diagram showing the main video display area with respect to the subtitle coordinates.
  • FIG. 23 shows another diagram showing the main video display area with respect to the subtitle coordinates.
  • FIG. 24 is another diagram showing a display example of captions in the present invention
  • FIG. 25 is another diagram showing a display example of captions in the present invention.
  • the encoding device is an encoding device that generates encoded data of a video that is displayed by superimposing a sub-video on a main video, and encodes the main video and stores a video of the main video.
  • a first encoding unit configured to incorporate the aspect ratio (for example, the main video encoding unit 3 1 in FIG. 3), and the sub-picture and the aspect ratio of the sub-video.
  • a second encoding means for example, the sub-picture encoding unit 3 2 in FIG. 3) configured to incorporate.
  • the second incorporation means includes a flag indicating the aspect ratio of the sub-picture (for example, a flag indicating 16: 9, a flag indicating 4: 3, 16: 9, and 4: A flag indicating that any of 3 is acceptable) and the aspect ratio of the sub-picture is incorporated.
  • a flag indicating the aspect ratio of the sub-picture for example, a flag indicating 16: 9, a flag indicating 4: 3, 16: 9, and 4: A flag indicating that any of 3 is acceptable
  • the encoding method according to claim 3 and the program according to claim 4 are the encoding method for generating the encoding data of the video that is displayed by superimposing the sub video on the main video.
  • a first encoding step that encodes the main video and incorporates the aspect ratio of the main video (for example, the processing of the main video encoding unit 31 in FIG. 3), and encodes the sub-video and the sub-video aspect;
  • a second encoding step that incorporates the ratio (for example, processing of the sub-picture encoding unit 32 in FIG. 3).
  • the decoding device is a decoding device that decodes the encoded data of the main video and the encoded data of the sub-video displayed superimposed on the main video.
  • a first acquisition unit configured to acquire an aspect ratio of the embedded main video (for example, For example, the main video decoding unit 7 2) of FIG. 7 and the image frame of the main video are converted according to the aspect ratio of the main video acquired by the first acquisition unit.
  • the configured first conversion unit for example, the main video image frame size conversion unit 74 in FIG. 7) and the aspect ratio of the sub video incorporated in the encoded data of the sub video are acquired.
  • a second acquisition unit configured as described above for example, the sub-video decoding unit 7 3 in FIG.
  • a second conversion unit for example, a sub-picture image frame size conversion unit 75 in FIG. 7 configured to perform conversion according to the above.
  • the decoding method according to claim 6 and the program according to claim 7 include a first acquisition step of acquiring an aspect ratio of the main video incorporated in the encoding of the main video.
  • the processing of the main video decoding unit 72 in FIG. 7) and the image frame of the main video are set to the aspect ratio of the main video acquired in the processing of the first acquisition step.
  • the first conversion step (for example, the processing of the main video image frame size conversion unit 7 4 in FIG. 7) to convert in response, and the aspect ratio of the sub video incorporated in the encoded data of the sub video
  • a second acquisition step for example, the processing of the sub-picture decoding unit 73 in FIG. 7), and the sub-picture image frame obtained from the sub-picture obtained in the process of the second acquisition step.
  • a second conversion step that converts according to the aspect ratio for example, Characterized in that it comprises a processing
  • FIG. 9 of Zogawaku size converting unit 7 5 for example, Characterized in that it comprises a processing
  • FIG. 2 shows a configuration example of the encoding device 11 to which the present invention is applied.
  • the node 21 includes a CPU (Central Processing Unit) 2 2, a memory 2 3, and a video signal input interface. Evening interface 24, Control signal input interface 25, Video encoder 26, and video data output interface 2 7 etc. are connected.
  • CPU Central Processing Unit
  • CPU 2 2 and memory 2 3 form a computer system. That is, the CPU 22 executes a program stored in the memory 23 to control the entire apparatus and perform processing described later.
  • the memory 23 stores a program executed by the CPU 22.
  • the memory 2 3 temporarily stores data necessary for the operation of the CPU 2 2.
  • the memory 23 can be composed of only a nonvolatile memory or a combination of a volatile memory and a nonvolatile memory.
  • the device shown in Fig. 2 is equipped with an eight-sided disk and the hard disk stores the program to be executed by the CPU 22, the memory 23 should be composed only of volatile memory. Is possible.
  • the program executed by the CPU 22 can be stored in advance in the memory 23 as a recording medium built in the apparatus.
  • the program can be stored on a removable disk such as a disk, a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magne to Optical Disk) disk, a magnetic disk, or a memory card.
  • Recording media can be stored temporarily or permanently.
  • a rim-usable recording medium can be provided as so-called package software.
  • the program can be stored in the memory 23 in advance, or can be installed in the apparatus from a removable recording medium as described above. Also, the program can be transferred wirelessly to the device from the download site via a digital satellite broadcasting artificial satellite, or wired to the device via a network such as a LAN (Local Area Ne twork) or the Internet. However, the device receives the program transferred in this way and installs it in the built-in memory 23. You can
  • the program may be processed by one CPU, or may be processed by multiple CPUs in a distributed manner.
  • the video signal input interface 24 inputs the video signal of the main picture and the video signal of the sub picture supplied from the video camera or the like under the control of the CPU 22 and passes the CPU 2 2, the memory 23, and the video stream via the path 21. Supply to coder 2 6 etc.
  • the control signal input interface 2 5 inputs a control signal supplied when a user operates a key (button) (not shown) or a remote control (remote control commander), and via the bus 21, C Supply to J22.
  • the control signal input interface 25 also functions as a communication interface such as a mote (including an ADSL (Asymmetric Digital Subscriber Line) mote) or a NIC (Network Interface Card).
  • the video encoder 26 encodes the video signal input via the video signal input interface 24 and supplies the video data obtained as a result to the CPU 22 via the bus 21.
  • the video data output interface 27 outputs a video transport stream obtained by converting the video data into a bucket by the CPU 22.
  • FIG. 3 shows a configuration example of the video encoder 26 of FIG.
  • the flowchart in FIG. 4 schematically shows an example of processing in the video encoder 26.
  • step S1 the main video encoding unit 3 1 performs encoding processing of the video signal of the main video.
  • the aspect ratio of the main video is incorporated into the encoded data.
  • step S2 the sub-picture encoding unit 3 2 encodes the sub-picture video signal, and the sub-picture aspect ratio and the like are incorporated into the coding process. It is.
  • step S3 the main video encoding data including the main video aspect ratio and the like and the sub video encoding data including the sub video aspect ratio and the like are multiplexed.
  • step S 1 and step S 2 is not limited to the order shown in FIG.
  • the processing related to the main video in step S1 may be performed, or the processing in step S1 and the processing in step S2 are performed in parallel.
  • the processing in the video encoder 26 can also be described in more detail.
  • the main video encoding unit 31 encodes the video signal of the main video input via the video signal input interface 24, and also encodes the aspect ratio of the main video notified from the CPU 22 and the like.
  • the data is incorporated into the data and supplied to the multiplexing unit 33.
  • Data such as the aspect ratio of the main video is incorporated into the encoded data obtained by encoding the video signal of the main video.
  • data such as the aspect ratio of the main video is incorporated into the video signal of the main video before encoding, and the video signal of the main video and data such as the aspect ratio are encoded together. Also good.
  • the sub-picture encoding unit 3 2 encodes sub-picture data such as subtitles and graphics input via the video signal input interface 24, and the size of the sub-picture notified from the CPU 22 and Position information, aspect ratio, and the like are incorporated into the encoded data and supplied to the multiplexing unit 33.
  • sub-picture data such as subtitles and graphics input via the video signal input interface 24, and the size of the sub-picture notified from the CPU 22 and Position information, aspect ratio, and the like are incorporated into the encoded data and supplied to the multiplexing unit 33.
  • the following is an example of subtitles as sub-pictures Light up.
  • Data such as the sub-picture aspect ratio is incorporated into the encoded data obtained by encoding the video signal of the sub-picture.
  • data such as the aspect ratio of the sub-picture is incorporated into the video signal of the sub-picture before being encoded, and the sub-video signal and the aspect ratio etc. are encoded together. May be used.
  • the flag indicating that the aspect ratio is 4: 3, the flag indicating that the aspect ratio is 16: 9, or the aspect ratio is 4: 3 and 1 6: A flag indicating that any of 9 is acceptable is set.
  • subtitles are located within 7 2 0 X 4 8 0, and, as will be described later, the display device depends on the aspect ratio of the display device and the aspect ratio of the subtitles. The size and position projected on the screen are converted to appropriate values and output with the main video superimposed.
  • the multiplexing unit 3 3 is supplied from the main video encoding unit 3 1, the main video encoded data incorporating the main video aspect ratio, etc., and the sub video encoding.
  • Part 3 2 is multiplexed with the sub-picture encoded data including the sub-picture size and position, aspect ratio, etc., and output to the video data output interface 27. To do.
  • FIG. 6 shows a configuration example of a decoding device 51 to which the present invention is applied.
  • Bus 6 1 has CPU 6 2, memory 6 3, video interface input interface 5022409 Ace 64, control signal input interface 65, video decoder 66, and video output interface 67 are connected.
  • the CPU 62 and memory 63 form a computer system. That is, the CPU 62 executes a program stored in the memory 63 to control the entire apparatus and perform processing described later.
  • the memory 63 stores a program executed by the CPU 62.
  • the memory 6 3 temporarily stores data necessary for the operation of the CPU 62.
  • the memory 63 can be composed of only a nonvolatile memory or a combination of a volatile memory and a nonvolatile memory. If a hard disk is installed in the device and the program executed by the CPU 62 is recorded (installed) on the hard disk, the memory 63 can be configured with only volatile memory. is there.
  • the program executed by the CRJ 62 can be stored in advance in a memory 63 as a recording medium built in the apparatus.
  • the program can be temporarily or permanently stored on a removable recording medium such as a disk, flexible disk, compact disc read only memory (CD-ROM), magnetic disk, or memory card. Can be kept.
  • a removable recording medium can be provided as so-called package software.
  • the program can be stored in the memory 63 in advance, or can be installed in the apparatus from a removable recording medium as described above.
  • the program can be transferred wirelessly to the device from the down-site via a satellite for digital satellite broadcasting, or wired to the device via a network such as the LANO Local Area Network or the Internet.
  • Received programs can be received and installed in the internal memory 63.
  • the program may be processed by one CPU, or may be processed by multiple CPUs in a distributed manner.
  • the video data input interface 6 4 inputs the encoded data encoded by the encoding device 11 and supplied to the decoding device 51 under the control of the CPU 62, and the CPU 62, Supply to memory 6 3, video decoder 6 6, etc.
  • the control signal input interface 6 5 receives a signal supplied by a user operating a key (not shown) or a remote control (remote control commander), and passes through the path 6 1 to the CPU 6. Supply to 2.
  • the control signal input interface 65 is, for example, moam (including an ADSL (Asymmetric Digital Subline Line) moam) or NIC (Ne twork interface card). It also functions as a communication interface.
  • the video decoder 66 decodes the encoded video data supplied via the video data input interface 64 and the bus 61, and the resulting video data is sent to the bus 61. Via the CPU 6 2 and the video output interface 6 7.
  • the video output interface 67 performs processing necessary for the video supplied via the bus 61 and outputs it from the video output terminal 68.
  • the video output terminal 68 is connected to a display device such as a CRT (Cathode Ray Tube) or a liquid crystal panel (not shown), and therefore the video data output from the video output terminal 68 is supplied to the display device. Displayed.
  • a display device such as a CRT (Cathode Ray Tube) or a liquid crystal panel (not shown)
  • the supply of video data from the decoding device 51 to the display device is It can be done either by wire or by radio.
  • FIG. 7 shows a configuration example of the video decoder 66 in FIG. Further, the flowchart of FIG. 8 schematically shows an example of processing of the video decoder 66.
  • step S 10 the encoded data of the main video separated by the multiplexing / separating unit 71 is decoded by the main video decoding unit 72, and the main video case incorporated at the time of encoding is decoded. Data such as the image ratio is extracted, and the image frame size is converted by the main image image frame size conversion unit 74 based on the aspect ratio of the main image and the display device.
  • step S 11 the encoded data of the sub-video separated by the multiplexing / separating unit 71 is decoded by the sub-video decoding unit 73, and the aspect ratio of the sub-video incorporated at the time of encoding, etc.
  • the sub-picture image frame size conversion unit 75 converts the image frame size based on the sub-picture and the aspect ratio of the display device.
  • the adder 7 6 superimposes the sub video on the main video determined according to the aspect ratio of the display device, and superimposes the sub video on the main video. An image is displayed.
  • step S 10 and step S 11 is not limited to the order shown in FIG.
  • the processing related to the main video in step S 10 may be performed, or the processing in step S 10 and the processing in step S 11 are performed in parallel. It can also be done.
  • the demultiplexing unit 71 separates the encoded data of the main video and the encoded data of the sub-video from the encoded data supplied from the video data input interface 64, and also converts the encoded data of the main video Supply to main video decoder 7 2 Then, the sub-picture encoded data is supplied to the sub-picture decoding unit 73.
  • the main video decoding unit 72 decodes the encoded data of the main video and supplies the video data obtained as a result to the main video image frame size conversion unit 74. At that time, the main video decoding unit 7 2 also extracts information such as the aspect ratio of the main video embedded in the encoded data of the main video and supplies it to the main video image frame size conversion unit 7 4. .
  • the sub video decoding unit 73 decodes the encoded data of the sub video, and supplies the subtitle data obtained as a result to the sub video image frame size conversion unit 75.
  • the sub-picture decoding unit 7 3 also extracts information on the size and position of the sub-picture embedded in the encoded data of the sub-picture and the aspect ratio, and the sub-picture image frame size conversion unit 7 Supply to 5.
  • the main video image frame size conversion unit 74 converts the aspect ratio of the display device connected to the video output terminal 68 and the aspect ratio of the main video supplied from the main video decoding unit 72. Based on this, the image frame size of the main video to be output is converted and supplied to the adder 76.
  • the main video image frame size conversion unit 7 4 displays the main video in the horizontal direction (horizontal Direction) and output data with black displayed on the left and right.
  • the main video image frame size conversion unit 74 reduces the main video in the vertical direction. , Output data with black display on top and bottom.
  • the main video image frame size converter 7 4 When the aspect ratio of the display device and the aspect ratio of the main video are the same at 4: 3 or 16: 9, the main video image frame size converter 7 4 outputs the main video as it is without reducing it. To do.
  • the sub-picture image frame size conversion unit 75 converts the sub-picture image frame size based on the aspect ratio of the sub-video supplied from the sub-picture decoding unit 73, and sends it to the adder 76. Supply.
  • the adder 7 6 superimposes the sub video supplied from the sub video image frame size conversion unit 75 on the main video supplied from the main video image frame size conversion unit 74, and supplies it to the output buffer 7 7 .
  • the output buffer 77 temporarily stores the data supplied from the adder 76 and outputs it to the video output interface 67 at a predetermined timing.
  • step S 21 the sub-picture image frame size converter 7 5 indicates the aspect ratio of the sub-picture currently supplied from the sub-picture decoder 7 3 to the sub-picture picture frame size converter 7 5. Get the flag.
  • 4: 3 eg, 3 60 X 2 7 0
  • 16: 9 eg, 4 8 0 X 2 7 0
  • the sub-picture is projected with an aspect ratio of 4: 3 regardless of the aspect ratio of the main picture.
  • the aspect ratio of the main video is 16: 9, as shown in Fig. 10, the main frame with the data to change the frame size and display black on the top and bottom is added. : Subtitle video with aspect ratio of 3 is superimposed Displayed.
  • the aspect ratio of the main video is 4: 3, the video of the 4: 3 aspect ratio frame is superimposed on the main video as it is, as shown in Fig. 11.
  • Step S2 3 in Fig. 9 is that if you project at an aspect ratio of 16: 9, both ends of the screen may not be displayed as shown in Fig. 12A. Because there is. The same applies when the aspect ratio of the display device is 4: 3 and the aspect ratio of the main video is 4: 3 (see Figure B in Figure 12). Therefore, when projection with a subtitle aspect ratio of 16: 9 is prohibited or the aspect ratio of the display device is 4: 3, the subtitle aspect ratio is set to 4: 3 in the first place. Sometimes.
  • Fig. 10 When the sub video aspect ratio is 4: 3 and the main video aspect ratio is 16: 9 (Fig. 10), the main video display area with respect to the sub video coordinate system is shown in Fig. 13 To the shaded area shown in Fig. 15. Fig. 1 3 shows the main picture frame is 7 2 0 X 4 8 0, Fig 1 4 shows 3 5 2 X 4 8 0, Fig 1 5 shows 3 5 2 X It represents the area when 2 4 0.
  • Fig. 11 the display area of the main picture with respect to the sub-picture coordinate system is shown in Figs. 1 This is the shaded area shown in Figure 8.
  • Fig. 16 shows the case where the main image frame is 7 2 0 X 4 8 0, Fig. 1 7 shows 3 5 2 X 4 8 0, Fig. 1 8 shows 3 5 2 It represents the area when X 2 4 0.
  • step S 22 the display device aspect ratio is 16: If it is determined that it is 9, the process proceeds to step S 24 and the sub-picture image frame size conversion unit 75 receives the flag obtained in step S 21 and the sub-picture aspect ratio is 16: 9 and 4: Determines whether the flag can be any of 3 and whether it is a flag indicating the aspect ratio of any one of 16: 9 or 4: 3. If it is determined that the flag indicates an aspect ratio, the process proceeds to step S 25.
  • step S 25 the sub-picture image frame size conversion unit 75 receives the flag acquired in step S 21 as a flag indicating that the aspect ratio of the sub-picture is 16: 9 or 4: If it is determined that the flag is 3 and if it is determined that the flag is 16: 9, the process proceeds to step S 26.
  • the sub-picture is displayed with a 16: 9 aspect ratio, regardless of the aspect ratio of the main picture.
  • the main video has an aspect ratio of 4: 3
  • a subtitle image with an aspect ratio of 9 is superimposed and displayed. That is, since the subtitle can be displayed using the display screen of the display device in this way, the subtitle can be displayed large even when the display device is a small device and the display screen is small.
  • the aspect ratio of the main video is also 16: 9, as shown in Fig. 20, the 16: 9 subtitle video is superimposed and displayed on the main video as it is.
  • the aspect ratio of the sub-picture is 16: 9 and the aspect ratio of the main picture is 16: 9 (Fig. 20)
  • the display area of the main picture with respect to the sub-picture coordinate system Is the shaded area shown in FIGS. 16 to 18.
  • Fig. 19 the display area of the main picture with respect to the sub-picture coordinate system is shown in Figs. 2 This is the shaded area shown in Figure 3.
  • Fig. 2 1 shows the case where the main image frame is 7 2 0 X 4 8 0, Fig. 2 2 shows 3 5 2 X 4 8 0, Fig. 2 3 shows 3 5 2 X This represents the area when 2 4 0.
  • step S 25 if it is determined in step S 25 that the sub-picture aspect ratio is 4: 3, the process proceeds to step S 27 and the sub-picture image frame size converter 7 5
  • the image frame size of 7 20 X 4 8 0 of the subtitle is converted to fit the aspect ratio of 4: 3, and the resulting subtitle data is output to the adder 76.
  • the sub-picture is displayed (projected) at a 4: 3 aspect ratio regardless of the aspect ratio of the main picture.
  • the aspect ratio of the main video is 4: 3, as shown in Fig. 24, the aspect ratio of 4: 3 is added to the main video with the data reduced in the horizontal direction and displayed black on the left and right. Ratio subtitle video is superimposed and displayed.
  • the aspect ratio of the main video is 16: 9, as shown in Fig. 25, the 4: 3 subtitle video is superimposed on the main video and displayed.
  • the display area of the main video with respect to the sub video coordinate system is shown in Figs. 1 This is the area shown in Fig. 8.
  • the display area of the main picture with respect to the sub-picture coordinate system is shown in Figs. 1 The area is as shown in Fig. 5.
  • step S 2 4 If it is determined in step S 2 4 that the flag indicates that any aspect ratio of 16: 9 and 4: 3 is acceptable, the process proceeds to step S 2 8, where the aspect ratio of the display device Is 16: 9, so that the subframe's 7 2 0 X 4 8 0 image frame size matches the aspect ratio of 16: 9, as in step S 2 6
  • the subtitle data obtained as a result is output to the adder 76.
  • step S 2 6 When subtitles are displayed in step S 2 3, step S 2 6, or step S 28, the process ends.
  • the sub-video is displayed based on the aspect ratio of the sub-video set independently of the main video aspect ratio and the aspect ratio of the display device. Can do.
  • the series of processes described above can be realized by hardware, but can also be realized by software.
  • a series of processing is realized by software, a program constituting the software is installed in a computer, and the program is executed in the computer evening. 5 1 is functionally realized.
  • the steps for describing the program provided by the recording medium are not limited to the processes performed in time series according to the described order, but are not necessarily processed in time series. It also includes processes that are executed individually.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

主映像のアスペクト比とは独立したアスペクト比で、字幕を表示することができる。字幕のアスペクト比が１６：９であることを示すフラグが設定されている場合、字幕の映像の画枠サイズ（７２０×４８０）が、１６：９のアスペクト比に合うように変換され、その結果得られた字幕の映像が、主映像に重畳されて表示される。すなわち主映像のアスペクト比が４：３である場合には、第１９図に示すように、横方向に縮小されて左右に黒味が付加された主映像が表示されるが、字幕の映像は、１６：９のアスペクト比で表示される。

Description

明 細 書
符号化装置および方法、 復号装置および方法、 プログラム、 記録媒 体、 ならびに、 データ構造 技術分野
本発明は、 符号化装置および方法、 復号装置および方法、 プロダラ ム、 記録媒体、 ならびに、 データ構造に関し、 主映像のアスペクト比 とは独立したァスぺクト比で、 副映像を表示することができるように した符号化装置および方法、 復号装置および方法、 プログラム、 記録 媒体、 ならびに、 データ構造に関する。 背景技術
コンテンツの映像 （以下、 適宜、 主映像と称する） に、 字幕などの 主映像を補足等する理由で表示される映像 （以下、 適宜、 副映像と称 する） を重ね合わせて表示されることがある。
通常、 副映像のアスペクト比は、 主映像のアスペクト比に関連づけ られており、 主映像のアスペクト比が、 a ： bであれば、 副映像も a ： bのアスペクト比で、 また主映像のアスペクト比が、 c ： dであれ ば、 副映像も c ： dのアスペクト比で、 主映像に重ね合わされるよう になされている。
具体的な例としては、 表示装置のアスペクト比が 1 6 ： 9である場 合であって、 主映像のアスペクト比が 4 ： 3であるとき、 第 1図に示 すように、 主映像の画枠サイズを変更して左右に黒色を表示させるデ 一夕が付されて表示されるが、 そのとき字幕は、 必ず 4 ： 3のァスぺ クト比で表示される （特許文献 1 「特開平 1 0— 3 0 8 9 2 4号公報 」 参照） 。 しかしながら、 PDA (Personal Di gi t al As s i s t ant) などの携帯性 を重視した小型の電子機器には、 通常画面が小さい表示装置が設けら れているので、 その表示画面のアスペクト比が 1 6 ： 9である場合で あって、 主映像のアスペクト比が 4 ： 3であるとき、 字幕が、 サイド パネル部分があるにもかかわらず、 第 1図に示したように 4 ： 3のァ スぺクト比で表示されると、 見えづらくなつてしまう場合があった。 発明の開示
本発明はこのような状況に鑑みてなされたものであり、 主映像のァ スぺクト比とは独立したアスペクト比で、 副映像を表示することがで きるようにするものである。
本発明の符号化装置は、 主映像を符号化すると共に主映像のァスぺ クト比を組み込むように構成された第 1の符号化部と、 副映像を符号 化すると共に副映像のァスぺクト比を組み込むように構成された第 2 の符号化部とを備えることを特徴とする。
第 2の符号化部は、 副映像のァスぺクト比を表すフラグを設定して 副映像のァスぺクト比の組み込みを行うことができる。
本発明の符号化方法は、 主映像を符号化すると共に前記主映像のァ スぺクト比を組み込む第 1の符号化ステップと、 副映像を符号化する と共に前記副映像のァスぺクト比を組み込む第 2の符号化ステップと を含むことを特徴とする。
本発明の第 1のプログラムは、 主映像を符号化すると共に主映像の ァスぺクト比を組み込む第 1の符号化ステップと、 副映像を符号化す ると共に副映像のァスぺクト比を組み込む第 2の符号化ステップとを 含むことを特徴とする。
本発明の符号化装置および方法、 並びに第 1のプログラムにおいて は、 主映像が符号化されると共に主映像のァスぺクト比が組み込まれ 、 副映像が符号化されると共に副映像のァスぺクト比が組み込まれる 本発明の復号装置は、 主映像の符号化データに組み込まれている主 映像のアスペクト比を取得するように構成された第 1の取得部と、 主 映像の画枠を、 第 1の取得部により取得された主映像のァスぺクト比 に応じて変換するように構成された第 1の変換部と、 副映像の符号化 データに組み込まれている副映像のァスぺクト比を取得するように構 成された第 2の取得部と、 副映像の画枠を、 第 2の取得部により取得 された副映像のァスぺクト比に応じて変換するように構成された第 2 の変換部とを備えることを特徴とする。
本発明の復号方法は、 主映像の符号化データに組み込まれている主 映像のァスぺクト比を取得する第 1の取得ステップと、 主映像の画枠 を、 第 1の取得ステップの処理で取得された主映像のァスぺクト比に 応じて変換する第 1の変換ステップと、 副映像の符号化データに組み 込まれている副映像のァスぺクト比を取得する第 2の取得ステップと 、 副映像の画枠を、 第 2の取得ステップの処理で取得された副映像の ァスぺクト比に応じて変換する第 2の変換ステップとを含むことを特 徵とする。
本発明の第 2のプログラムは、 主映像の符号化データに組み込まれ ている主映像のァスぺクト比を取得する第 1の取得ステップと、 主映 像の画枠を、 第 1の取得ステップの処理で取得された主映像のァスぺ クト比に応じて変換する第 1の変換ステップと、 副映像の符号化デー 夕に組み込まれている副映像のァスぺクト比を取得する第 2の取得ス テツプと、 副映像の画枠を、 第 2の取得ステップの処理で取得された 副映像のァスぺクト比に応じて変換する第 2の変換ステップとを含む ことを特徴とする。
本発明の復号装置および方法、 並びに第 2のプログラムにおいては 、 主映像の符号化データに組み込まれている主映像のァスぺク卜比が 取得され、 主映像の画枠が、 取得された主映像のアスペクト比に応じ て変換され、 副映像の符号化データに組み込まれている副映像のァス ぺクト比が取得され、 副映像の画枠が、 取得された副映像のァスぺク ト比に応じて変換される。
本発明の記録媒体は、 主映像データを符号化した主映像符号化デー 夕と、 主映像データに重ね合わせて表示される副映像データを符号化 した副映像符号化データとが多重化されて記録され、 主映像符号化デ 一夕は、 主映像データのァスぺクト比を表す第 1のァスぺクト比フラ グを有し、 副映像符号化データは、 第 1のアスペクト比フラグとは独 立した、 副映像データのァスぺクト比を表す第 2のァスぺクト比フラ グを有することを特徴とする。
本発明のデータ構造は、 主映像データを符号化した主映像符号化デ —夕と、 主映像データに重ね合わせて表示される副映像データを符号 化した副映像符号化データとが多重化され、 主映像符号化データは、 主映像データのァスぺクト比を表す第 1のァスぺクト比フラグを有し 、 副映像符号化デ一夕は、 第 1のアスペクト比フラグとは独立した、 副映像データのァスぺクト比を表す第 2のァスぺクト比フラグを有す ることを特徴とする。
本発明の記録媒体およびデータ構造においては、 主映像データを符 号化した主映像符号化データと、 主映像データに重ね合わせて表示さ れる副映像データを符号化した副映像符号化デ一夕とが多重化されて 記録され、 主映像符号化デ一夕は、 主映像デ一夕のアスペクト比を表 す第 1のアスペクト比フラグを有し、 副映像符号化データは、 第 1の ァスぺクト比フラグとは独立した、 副映像デ一夕のァスぺクト比を表 す第 2のァスぺクト比フラグを有するため、 この記録媒体に記録され たデータまたはこのデータ構造を有するデータから、 主映像の符号化 データに組み込まれている主映像のァスぺクト比と、 副映像の符号化 データに組み込まれている副映像のアスペクト比とが取得され、 主映 像の画枠を、 取得された主映像のアスペクト比に応じて変換でき、 副 映像の画枠を、 取得された副映像のァスぺクト比に応じて変換できる 本発明によれば、 主映像のァスぺクト比とは独立したァスぺクト比 で、 副映像を表示することができる。 図面の簡単な説明
第 1図は、 従来の字幕の表示例を示す図、 第 2図は、 本発明を適用 した符号化装置の構成例を示すブロック図、 第 3図は、 第 2図のビデ ォエンコーダ 2 6の構成例を示すブロック図、 第 4図は、 ビデオェン コーダにおける一例の処理を概略的に示すフローチャート、 第 5図は 、 字幕の座標を説明する図、 第 6図は、 本発明を適用した復号装置の 構成例を示すブロック図、 第 7図は、 第 6図のビデオデコーダ 6 6の 構成例を示すブロック図、 第 8図は、 ビデオデコーダにおける一例の 処理を概略的に示すフローチャート、 第 9図は、 第 7図の副映像画枠 サイズ変換部 7 5の動作を説明するフローチヤ一ト、 第 1 0図は、 本 発明での字幕の表示例を示す図、 第 1 1図は、 本発明での字幕の表示 例を示す他の図、 第 1 2図 Aおよび第 1 2図 Bは、 表示装置のァスぺ クト比が 4 : 3であれば主映像のアスペクト比が 1 6 ： 9であっても 字幕の映像をアスペクト比が 4 ： 3で投射することを説明するための 図、 第 1 3図は、 字幕座標に対する主映像の表示領域を示す図、 第 1 4図は、 字幕座標に対する主映像の表示領域を示す他の図、 第 1 5図 は、 字幕座標に対する主映像の表示領域を示す他の図、 第 1 6図は、 字幕座標に対する主映像の表示領域を示す他の図、 第 1 7図は、 字幕 座標に対する主映像の表示領域を示す他の図、 第 1 8図は、 字幕座標 に対する主映像の表示領域を示す他の図、 第 1 9図は、 本発明での字 幕の表示例を示す他の図、 第 2 0図は、 本発明での字幕の表示例を示 す他の図、 第 2 1図は、 字幕座標に対する主映像の表示領域を示す他 の図、 第 2 2図は、 字幕座標に対する主映像の表示領域を示す他の図 、 第 2 3図は、 字幕座標に対する主映像の表示領域を示す他の図、 第 2 4図は、 本発明での字幕の表示例を示す他の図、 第 2 5図は、 本発 明での字幕の表示例を示す他の図である。 発明を実施するための最良の形態
以下に本発明の実施の形態を説明するが、 本明細書に記載の発明と 、 発明の実施の形態との対応関係を例示すると、 次のようになる。 こ の記載は、 本明細書に記載されている発明をサポートする実施の形態 が本明細書に記載されていることを確認するためのものである。 従つ て、 発明の実施の形態中には記載されているが、 発明に対応するもの として、 ここには記載されていない実施の形態があつたとしても、 そ のことは、 その実施の形態が、 その発明に対応するものではないこと を意味するものではない。 逆に、 実施の形態が発明に対応するものと してここに記載されていたとしても、 そのことは、 その実施の形態が 、 その発明以外の発明には対応しないものであることを意味するもの でもない。
さらに、 この記載は、 本明細書に記載されている発明の全てを意味 するものではない。 換言すれば、 この記載は、 本明細書に記載されて いる発明であって、 この出願では請求されていない発明の存在、 すな わち、 将来、 分割出願されたり、 補正により出現、 追加される発明の 存在を否定するものではない。
請求の範囲 1に記載の符号化装置は、 主映像に副映像を重ね合わせ て表示される映像の符号化データを生成する符号化装置において、 前 記主映像を符号化すると共に主映像のァスぺクト比を組み込むように 構成された第 1の符号化部 （例えば、 第 3図の主映像符号化部 3 1 ) と、 前記副映像を符号化すると共に副映像のァスぺクト比を組み込む ように構成された第 2の符号化手段 （例えば、 第 3図の副映像符号化 部 3 2 ) とを備えることを特徴とする。
前記第 2の組み込み手段は、 前記副映像のァスぺクト比を表すフラ グ （例えば、 1 6 ： 9であることを示すフラグ、 4 ： 3であることを 示すフラグ、 1 6 ： 9および 4 ： 3のいずれでもよいことを示すフラ グ） を設定して副映像のァスぺクト比の組み込みを行うことを特徴と する。
請求の範囲 3に記載の符号化方法および請求の範囲 4に記載のプロ グラムは、 主映像に副映像を重ね合わせて表示される映像の符号化デ 一夕を生成する符号化方法において、 前記主映像を符号化すと共に主 映像のアスペクト比を組み込む第 1の符号化ステップ （例えば、 第 3 図の主映像符号化部 3 1の処理） と、 前記副映像を符号化すると共に 副映像のアスペクト比を組み込む第 2の符号化ステップ （例えば、 第 3図の副映像符号化部 3 2の処理） とを含むことを特徴とする。
請求の範囲 5の復号装置は、 主映像の符号化データ、 および前記主 映像に重ね合わせて表示される副映像の符号化デ一夕を復号する復号 装置において、 前記主映像の符号化データに組み込まれている前記主 映像のァスぺクト比を取得するように構成された第 1の取得部 （例え ば、 第 7図の主映像復号部 7 2 ) と、 前記主映像の画枠を、 前記第 1 の取得部により取得された前記主映像のァスぺクト比に応じて変換す るように構成された第 1の変換部 （例えば、 第 7図の主映像画枠サイ ズ変換部 7 4 ) と、 前記副映像の符号化データに組み込まれている前 記副映像のアスペクト比を取得するように構成された第 2の取得部 （ 例えば、 第 7図の副映像復号部 7 3 ) と、 前記副映像の画枠を、 前記 第 2の取得部により取得された前記副映像のアスペクト比に応じて変 換するように構成された第 2の変換部 （例えば、 第 7図の副映像画枠 サイズ変換部 7 5 ) とを備えることを特徴とする。
請求の範囲 6に記載の復号方法および請求の範囲 7に記載のプログ ラムは、 前記主映像の符号化デ一夕に組み込まれている前記主映像の アスペクト比を取得する第 1の取得ステップ （例えば、 第 7図の主映 像復号部 7 2の処理） と、 前記主映像の画枠を、 前記第 1の取得ステ ップの処理で取得された前記主映像のァスぺクト比に応じて変換する 第 1の変換ステップ （例えば、 第 7図の主映像画枠サイズ変換部 7 4 の処理） と、 前記副映像の符号化データに組み込まれている前記副映 像のアスペクト比を取得する第 2の取得ステップ （例えば、 第 7図の 副映像復号部 7 3の処理） と、 前記副映像の画枠を、 前記第 2の取得 ステップの処理で取得された前記副映像のァスぺクト比に応じて変換 する第 2の変換ステップ （例えば、 第 7図の副映像画枠サイズ変換部 7 5の第 9図に示す処理） とを含むことを特徴とする。
第 2図は、 本発明を適用した符号化装置 1 1の構成例を示している ノ ス 2 1には、 CPU (Cent ra l Process ing Uni t) 2 2 , メモリ 2 3、 ビデオ信号入力イン夕フェース 2 4、 制御信号入力インタフェース 2 5、 ビデオエンコーダ 2 6、 およびビデオデータ出力インタフエ一ス 2 7等が接続されている。
CPU 2 2およびメモリ 2 3は、 コンピュータシステムを形成してい る。 即ち、 CPU 2 2は、 メモリ 2 3に記憶されたプログラムを実行し 、 装置全体を制御するとともに、 後述する処理を行う。 メモリ 2 3は 、 CPU 2 2が実行するプログラムを記憶している。 また、 メモリ 2 3 は、 CPU 2 2の動作上必要なデ一夕を一時記憶する。 なお、 メモリ 2 3は、 不揮発性メモリのみ、 または揮発性メモリと不揮発性メモリと の組み合わせで構成することが可能である。 また、 第 2図の装置に、 八一ドディスクを設け、 そのハードディスクに、 CPU 2 2が実行する プログラムを格納しておく場合には、 メモリ 2 3は、 揮発性メモリの みで構成することが可能である。
ここで、 CPU 2 2が実行するプログラムは、 装置に内蔵されている 記録媒体としてのメモリ 2 3に予め格納しておくことができる。
あるいはまた、 プログラムは、 ディスク、 さらには、 フレキシブル ディスク、 CD-ROM (Compac t Di s c Read On l y Memory)、 MO (Magne t o Op t i ca l)ディスク、 磁気ディスク、 メモリカードなどのリム一バブル記 録媒体に、 一時的あるいは永続的に格納しておくことができる。 この ようなリム一パブル記録媒体は、 いわゆるパッケージソフトウエアと して提供することができる。
なお、 プログラムは、 メモリ 2 3にあらかじめ記憶させておくこと 、 あるいは、 上述したようなリムーバブル記録媒体から装置にインス トールすることができる。 また、 プログラムは、 ダウンロードサイト から、 ディジタル衛星放送用の人工衛星を介して、 装置に無線で転送 したり、 LAN (Loc a l Area Ne twork) , インターネットといったネット ワークを介して、 装置に有線で転送し、 装置では、 そのようにして転 送されてくるプログラムを受信し、 内蔵するメモリ 2 3にインスト一 ルすることができる。
さらに、 プログラムは、 1の CPUにより処理されるものであっても 良いし、 複数の CPUによって分散処理されるものであっても良い。 ビデオ信号入力インタフェース 24は、 CPU22の制御の下、 ビデ ォカメラ等から供給された主映像のビデオ信号や副映像のビデオ信号 を入力し、 パス 2 1を介して、 CPU2 2や、 メモリ 23、 ビデオェン コーダ 2 6などに供給する。
制御信号入力イン夕フェース 2 5は、 図示せぬキー （ボタン） や、 リ モコン （リモートコントロールコマンダ） がユーザに操作されること によって供給される制御信号を入力し、 バス 2 1を介して、 C J22 に供給する。 なお、 制御信号入力インタフエ一ス 2 5は、 その他、 例 えは、 モテム (ADSL (Asymmetric Digital Subscriber Line)モテムを 含む） や、 NIC(Network Interface Card)などの通信インタフェース としても機能する。
ビデオエンコーダ 26は、 ビデオ信号入力イン夕フエ一ス 24を介 して入力されたビデオ信号を符号化し、 その結果得られたビデオデー 夕を、 バス 2 1を介して、 CPU 22に供給する。
ビデオデータ出カイン夕フェース 2 7は、 CPU 22によりビデオデ —夕がバケツト化されて得られたビデオトランスポートストリームを 出力する。
第 3図は、 第 2図のビデオエンコーダ 2 6の構成例を示している。 また、 第 4図のフローチャートは、 ビデオエンコーダ 26における一 例の処理を概略的に示す。
先ず、 第 4図のフローチャートを用いてビデオエンコーダ 26にお ける一例の処理を概略的に説明する。 ステップ S 1で、 主映像符号化 部 3 1において、 主映像のビデオ信号の符号化処理がなされると共に 、 主映像のアスペクト比等が符号化データに組み込まれる。 次に、 ス テツプ S 2で、 副映像符号化部 3 2において、 副映像のビデオ信号の 符号化処理がなされると共に、 副映像のァスぺク卜比等が符号化デ一 夕に組み込まれる。 そして、 ステップ S 3で、 主映像のアスペクト比 等が組み込まれた主映像の符号化デ一夕と、 副映像のアスペクト比等 が組み込まれた副映像の符号化データとが多重化される。
なお、 ステップ S 1およびステップ S 2の順序は、 この第 4図の順 序に限られない。 例えば、 ステップ S 2で副映像に関する処理を行つ てから、 ステップ S 1の主映像に関する処理を行ってもよいし、 ステ ップ S 1の処理とステップ S 2の処理とを並列的に行うこともできる ビデオエンコーダ 2 6における処理を、 より詳細に説明する。 主映 像符号化部 3 1は、 ビデオ信号入力インタフェース 2 4を介して入力 された主映像のビデオ信号を符号化するとともに、 CPU 2 2から通知 された主映像のアスペクト比等を、 その符号化データに組み込んで、 多重化部 3 3に供給する。
主映像のァスぺク卜比等のデータは、 主映像のビデオ信号が符号化 された符号化データに対して組み込まれる。 これに限らず、 符号化さ れる前の主映像のビデオ信号に主映像のァスぺクト比等のデータを組 み込み、 主映像のビデオ信号とアスペクト比等のデータとを共に符号 化してもよい。
副映像符号化部 3 2は、 ビデオ信号入力インタフェース 2 4を介し て入力された、 例えば字幕やグラフィクスといった副映像のデータを 符号化するとともに、 CPU 2 2から通知された副映像の大きさおよび 位置情報、 並びにアスペクト比等を、 その符号化データに組み込んで 、 多重化部 3 3に供給する。 以下、 副映像として字幕を例に挙げて説 明する。
副映像のァスぺクト比等のデータは、 副映像のビデオ信号が符号化 された符号化データに対して組み込まれる。 これに限らず、 符号化さ れる前の副映像のビデオ信号に副映像のァスぺクト比等のデータを組 み込み、 副映像のビデオ信号とアスペクト比等のデ一夕とを共に符号 化してもよい。
なお副映像のアスペクト比については、 アスペクト比が 4 ： 3であ ることを示すフラグ、 ァスぺクト比が 1 6 ： 9であることを示すフラ グ、 またはアスペクト比が 4 ： 3および 1 6 ： 9のいずれでもよいこ とを示すフラグが設定される。
また、 第 5図に示すように副映像を表示可能な画枠が 7 2 0 X 4 8 0の 1種類だけと規定されている場合、 字幕の大きさは、 字幕の高さ p h ( Y軸方向の大きさ） と、 幅 p w ( X軸方向の大きさ） により表 され、 その位置は、 字幕の図上左上角の座標（bx，by)で表されており 、 (bx + pw, by+ph) < = (71 9, 479)を満たすようになされている。 す なわち字幕は、 7 2 0 X 4 8 0内に位置するようになされており、 後 述するように、 表示装置のァスぺクト比と字幕のァスぺクト比に応じ て表示装置の画面上に投射される大きさや位置を適当な値に変換し、 主映像と重ね合わせて出力される。
第 3図に戻り多重化部 3 3は、 主映像符号化部 3 1から供給された 、 主映像のァスぺク卜比等が組み込まれた主映像の符号化データと、 副映像符号化部 3 2から供給された、 副映像の大きさおよび位置、 並 びにァスぺクト比等が組み込まれた副映像の符号化データとを多重化 し、 ビデオデータ出力イン夕フェース 2 7に出力する。
第 6図は、 本発明を適用した復号装置 5 1の構成例を示している。 バス 6 1には、 CPU 6 2、 メモリ 6 3、 ビデオデ一夕入力インタフ 5022409 エース 64、 制御信号入力イン夕フエ一ス 6 5、 ビデオデコーダ 6 6 、 およびビデオ出カイン夕フェース 6 7が接続されている。
CPU 6 2およびメモリ 6 3は、 コンピュータシステムを形成してい る。 即ち、 CPU6 2は、 メモリ 6 3に記憶されたプログラムを実行し 、 装置全体を制御するとともに、 後述する処理を行う。 メモリ 6 3は 、 CPU6 2が実行するプログラムを記憶している。 また、 メモリ 6 3 は、 CPU6 2の動作上必要なデータを一時的記憶する。 なお、 メモリ 6 3は、 不揮発性メモリのみ、 または揮発性メモリと不揮発性メモリ との組み合わせで構成することが可能である。 また、 装置に、 ハード ディスクを設け、 そのハードディスクに、 CPU 6 2が実行するプログ ラムを記録 （インストール） しておく場合には、 メモリ 6 3は、 揮発 性メモリのみで構成することが可能である。
ここで、 CRJ6 2が実行するプログラムは、 装置に内蔵されている 記録媒体としてのメモリ 6 3に予め格納しておくことができる。
あるいはまた、 プログラムは、 ディスク、 フレキシブルディスク、 CD-ROM (Compact Disc Read Only Memory) MO (Magneto Optical)ティ スク、 磁気ディスク、 メモリカードなどのリム一バブル記録媒体に、 一時的あるいは永続的に格納しておくことができる。 このようなリム 一バブル記録媒体は、 いわゆるパッケージソフトウエアとして提供す ることができる。
なお、 プログラムは、 メモリ 6 3にあらかじめ記憶させておくこと 、 あるいは、 上述したようなリムーバブル記録媒体から装置にインス トールすることができる。 また、 プログラムは、 ダウン口一ドサイト から、 ディジタル衛星放送用の人工衛星を介して、 装置に無線で転送 したり、 LANOLocal Area Network)、 インタ一ネットといったネット ワークを介して、 装置に有線で転送し、 装置では、 そのようにして転 送されてくるプログラムを受信し、 内蔵するメモリ 6 3にインスト一 ルすることができる。
さらに、 プログラムは、 1の CPUにより処理されるものであっても 良いし、 複数の CPUによって分散処理されるものであっても良い。 ビデオデータ入力インタフエ一ス 6 4は、 CPU 6 2の制御の下、 復 号装置 5 1に供給された、 符号化装置 1 1によって符号化された符号 化データを入力し、 CPU 6 2や、 メモリ 6 3、 ビデオデコーダ 6 6な どに供給する。
制御信号入力インタフェース 6 5は、 図示せぬキ一 （ポタン） や、 リモコン （リモートコントロールコマンダ） がユーザに操作されるこ とによって供給される信号を受信し、 パス 6 1を介して、 CPU 6 2に 供給する。 なお、 制御信号入力イン夕フェース 6 5は、 その他、 例え ば、 モアム (ADSL (Asymme t r i c Digi t al Subscr i ber Line)モアムを含 む） や、 NIC (Ne twork In t er f ace Card)などの通信インタフェースと しても機能する。
ビデオデコーダ 6 6は、 ビデオデータ入カイン夕フェース 6 4およ びバス 6 1を介して供給される、 ビデオデータの符号化データをデコ —ドし、 その結果得られるビデオデータを、 バス 6 1を介して、 CPU 6 2やビデオ出カイン夕フェース 6 7に供給する。
ビデオ出力イン夕フェース 6 7は、 バス 6 1を介して供給されるビ デォデ一夕に必要な処理を施し、 ビデオ出力端子 6 8から出力する。
ビデオ出力端子 6 8は、 図示せぬ CRT (Cathode Ray Tube)や、 液晶 パネル等の表示装置に接続されており、 従って、 ビデオ出力端子 6 8 から出力されるビデオデータは、 その表示装置に供給されて表示され る。
なお、 復号装置 5 1から、 表示装置へのビデオデ一夕の供給は、 有 線または無線のいずれによって行うことも可能である。
第 7図は、 第 6図のビデオデコーダ 6 6の構成例を示している。 ま た、 第 8図のフローチャートは、 ビデオデコーダ 6 6の一例の処理を 概略的に示す。
先ず、 第 8図のフローチャートを用いてビデオデコーダ 6 6におけ る一例の表示処理を概略的に説明する。 ステップ S 1 0で、 多重化分 離部 7 1で分離された主映像の符号化データが主映像復号部 7 2で復 号化されると共に、 符号化時に組み込まれた主映像のァスぺクト比等 のデータが抽出され、 主映像画枠サイズ変換部 7 4で主映像および表 示装置のアスペクト比に基づき画枠サイズが変換される。 ステップ S 1 1で、 多重化分離部 7 1で分離された副映像の符号化データが副映 像復号部 7 3で復号化されると共に、 符号化時に組み込まれた副映像 のアスペクト比等のデ一夕が抽出され、 副映像画枠サイズ変換部 7 5 で副映像および表示装置のァスぺクト比に基づき画枠サイズが変換さ れる。 そして、 次のステップ S 1 2で、 加算器 7 6により、 表示装置 のァスぺク卜比に合わせて決められた主映像に副映像が重ね合わされ 、 この主映像に副映像が重ね合わされた映像が表示される。
なお、 ステップ S 1 0およびステップ S 1 1の順序は、 この第 8図 の順序に限られない。 例えば、 ステップ S 1 1で副映像に関する処理 を行ってから、 ステップ S 1 0の主映像に関する処理を行ってもよい し、 ステップ S 1 0の処理とステップ S 1 1の処理とを並列的に行う こともできる。
ビデオデコーダ 6 6における処理を、 より詳細に説明する。 多重化 分離部 7 1は、 ビデオデータ入力イン夕フェース 6 4から供給された 符号化データから、 主映像の符号化データと副映像の符号化データを 分離するとともに、 主映像の符号化データを主映像復号部 7 2に供給 し、 副映像の符号化データを副映像復号部 7 3に供給する。
主映像復号部 7 2は、 主映像の符号化データを復号し、 その結果得 られたビデオデータを主映像画枠サイズ変換部 7 4に供給する。 主映 像復号部 7 2はまた、 その際、 主映像の符号化データに組み込まれて いた主映像のアスペクト比等の情報を抽出して、 主映像画枠サイズ変 換部 7 4に供給する。
副映像復号部 7 3は、 副映像の符号化データを復号し、 その結果得 られた字幕データを副映像画枠サイズ変換部 7 5に供給する。 副映像 復号部 7 3はまた、 その際、 副映像の符号化データに組み込まれてい る副映像の大きさおよび位置、 並びにアスペクト比等に関する情報を 抽出して、 副映像画枠サイズ変換部 7 5に供給する。
主映像画枠サイズ変換部 7 4は、 ビデオ出力端子 6 8に接続されて いる表示装置のァスぺクト比と、 主映像復号部 7 2から供給された主 映像のァスぺクト比に基づいて、 出力する主映像の画枠サイズを変換 し、 加算器 7 6に供給する。
例えば、 表示装置のアスペクト比が 1 6 ： 9である場合において、 主映像のアスペクト比が 4 ： 3であるときには、 主映像画枠サイズ変 換部 7 4は、 主映像を、 横方向 （水平方向） に縮小するとともに、 左 右に黒色を表示させるデータを付加して出力する。
また表示装置のアスペクト比が 4 ： 3である場合において、 主映像 のアスペクト比が 1 6 ： 9であるときには、 主映像画枠サイズ変換部 7 4は、 主映像を、 縦方向に縮小するとともに、 上下に黒色を表示さ せるデータを付加して出力する。
表示装置のアスペクト比と主映像のアスペクト比がいずれも、 4 ： 3や 1 6 ： 9で同一である場合、 主映像画枠サイズ変換部 7 4は、 主 映像を縮小することなく、 そのまま出力する。 副映像画枠サイズ変換部 7 5は、 原則、 副映像復号部 7 3から供給 された副映像のァスぺクト比に基づいて、 副映像の画枠サイズを変換 し、 加算器 7 6に供給する。
加算器 7 6は、 主映像画枠サイズ変換部 7 4から供給された主映像 に、 副映像画枠サイズ変換部 7 5から供給された副映像を重ね合わせ て、 出力バッファ 7 7に供給する。
出力バッファ 7 7は、 加算器 7 6から供給されたデータを一時的に 記憶して、 所定のタイミングでビデオ出カイン夕フェース 6 7に出力 する。
次に、 第 9図のフローチャートを参照して、 ビデオデコーダ 6 6の 副映像画枠サイズ変換部 7 5の動作を説明する。
ステップ S 2 1において、 副映像画枠サイズ変換部 7 5は、 副映像 復号部 7 3から、 いま副映像画枠サイズ変換部 7 5に供給されている 副映像のァスぺクト比を示すフラグを取得する。
ステップ S 2 2において、 副映像画枠サイズ変換部 7 5は、 表示装 置のァスぺクト比が 4 ： 3 (例えば、 3 6 0 X 2 7 0 ) であるか 1 6 ： 9 (例えば、 4 8 0 X 2 7 0 ) であるかを判定し、 4 ： 3であると 判定した場合、 ステップ S 2 3に進み、 副映像を表示可能な 7 2 0 X 4 8 0の画枠サイズを、 4 ： 3のァスぺクト比に合うように変換し （ ピクセルァスぺクト比 = 1 0 : 1 1 ) 、 その結果得られた字幕データ を、 加算器 7 6に出力する。
すなわち副映像は、. 主映像のアスペクト比に関係なく、 4 : 3のァ スぺクト比で投射される。
主映像のァスぺクト比が 1 6 ： 9である場合には、 第 1 0図に示す ように、 画枠サイズが変更され上下に黒色を表示させるデータが付加 された主映像に、 4 ： 3のアスペクト比の字幕の映像が重ね合わされ て表示される。 主映像のアスペクト比も 4 ： 3である場合には、 第 1 1図に示すように、 そのままの主映像に、 4 ： 3のアスペクト比の字 幕の映像が重ね合わされて表示される。
なお表示装置のアスペクト比が 4 ： 3である場合、 主映像のァスぺ クト比が 1 6 : 9であっても、 ァスぺクト比が 4 ： 3の字幕の映像で 投射されるようにした （第 9図のステップ S 2 3 ) のは、 1 6 ： 9の アスペクト比で投射すると、 第 1 2図 Aに一例が示されるように、 字 幕の両端が表示されなくなる可能性があるためである。 表示装置のァ スぺクト比が 4 ： 3で主映像のアスペクト比が 4 ： 3の場合も同様で ある （第 1 2図 B参照） 。 そのため、 字幕のァスぺクト比を 1 6 ： 9 としての投射が禁止されていたり、 表示装置のアスペクト比が 4 ： 3 であるとき、 そもそも字幕のァスぺクト比が 4 ： 3とされていたりす る。
• 副映像のアスペクト比が 4 ： 3で主映像のアスペクト比が 1 6 ： 9 である場合 （第 1 0図） の、 副映像の座標系に対する主映像の表示領 域は、 第 1 3図乃至第 1 5図に示される影が付されている領域となる 。 第 1 3図は、 主映像の画枠が 7 2 0 X 4 8 0である場合、 第 1 4図 は、 3 5 2 X 4 8 0である場合、 第 1 5図は、 3 5 2 X 2 4 0である 場合の領域を表している。
また副映像のアスペクト比が 4 ： 3で主映像のアスペクト比も 4 ： 3である場合 （第 1 1図） の副映像の座標系に対する主映像の表示領 域は、 第 1 6図乃至第 1 8図に示される影が付されている領域となる 。 第 1 6図は、 主映像の画枠が 7 2 0 X 4 8 0である楊合、 第 1 7図 は、 3 5 2 X 4 8 0である場合、 第 1 8図は、 3 5 2 X 2 4 0である 場合の領域を表している。
第 9図に戻りステップ S 2 2で、 表示装置のァスぺクト比が 1 6 ： 9であると判定された場合、 ステップ S 2 4に進み、 副映像画枠サイ ズ変換部 7 5は、 ステップ S 2 1で取得したフラグが、 副映像のァス ぺクト比が 1 6 ： 9および 4 ： 3のいずれでもよいことを示すフラグ であるか、 また 1 6 ： 9または 4 ： 3のいずれか 1つのァスぺクト比 を示すフラグであるかを判定し、 いずれか 1つのアスペクト比を示す フラグであると判定した場合、 ステップ S 2 5に進む。
ステップ S 2 5において、 副映像画枠サイズ変換部 7 5は、 ステツ プ S 2 1で取得したフラグが、 副映像のァスぺクト比が 1 6 ： 9であ ることを示すフラグかまたは 4 ： 3であることを示すフラグかを判定 し、 1 6 ： 9であることを示すフラグであると判定した場合、 ステツ プ S 2 6に進む。
ステップ S 2 6において、 副映像画枠サイズ変換部 7 5は、 字幕の 映像の 7 2 0 X 4 8 0の画枠サイズを、 1 6 ： 9のァスぺクト比に合 うように変換し （ピクセルァスぺクト比 = 4 0 ： 3 3 ) 、 その結果得 られた字幕データを、 加算器 7 6に出力する。
すなわち副映像は、 主映像のアスペクト比に関係なく、 1 6 ： 9の ァスぺク卜比で表示される。
主映像のアスペクト比が 4 ： 3である場合には、 第 1 9図に示すよ うに、 横方向に縮小されて左右に黒色を表示させるデ一夕が付加され た主映像に、 1 6 ： 9のアスペクト比の字幕の映像が重ね合わされて 表示される。 すなわち、 このように表示装置の表示画面をフルに用い て、 字幕を表示することができるので、 表示装置が小型の装置であつ て表示画面が小さいときでも、 字幕を大きく表示することができる。 主映像のァスぺクト比も 1 6 ： 9である場合には、 第 2 0図に示す ように、 そのままの主映像に、 1 6 ： 9の字幕の映像が重ね合わされ て表示される。 なお副映像のァスぺクト比が 1 6 ： 9で主映像のァスぺクト比が 1 6 ： 9である場合 （第 2 0図） の、 副映像の座標系に対する主映像の 表示領域は、 第 1 6図乃至第 1 8図に示す影が付されている領域とな る。
また副映像のアスペクト比が 1 6 ： 9で主映像のアスペクト比が 4 ： 3である場合 （第 1 9図） の副映像の座標系に対する主映像の表示 領域は、 第 2 1図乃至第 2 3図に示す影が付されている領域となる。 第 2 1図は、 主映像の画枠が 7 2 0 X 4 8 0である場合、 第 2 2図は 、 3 5 2 X 4 8 0である場合、 第 2 3図は、 3 5 2 X 2 4 0である場 合の領域を表している。
第 9図に戻りステップ S 2 5で、 副映像のァスぺクト比が 4 ： 3で あると判定された場合、 ステップ S 2 7に進み、 副映像画枠サイズ変 換部 7 5は、 字幕の 7 2 0 X 4 8 0の画枠サイズを、 4 ： 3のァスぺ クト比に合うように変換し、 その結果得られた字幕データを、 加算器 7 6に出力する。
すなわちこの場合、 副映像は、 主映像のアスペクト比に関係なく、 4 ： 3のァスぺク卜比で表示 （投射） される。
主映像のアスペクト比が 4 ： 3である場合には、 第 2 4図に示すよ うに、 横方向に縮小されて左右に黒色を表示させるデータが付加され た主映像に、 4 ： 3のアスペクト比の字幕の映像が重ね合わされて表 示される。 主映像のアスペクト比が 1 6 ： 9である場合には、 第 2 5 図に示すように、 そのままの主映像に、 4 ： 3の字幕の映像が重ね合 わされて表示される。
なお副映像のアスペクト比が 4 ： 3で主映像のアスペクト比も 4 ： 3である場合 （第 2 4図） の副映像の座標系に対する主映像の表示領 域は、 第 1 6図乃至第 1 8図に示される領域となる。 また副映像のアスペクト比が 4 ： 3で主映像のアスペクト比が 1 6 ： 9である場合 （第 2 5図） の副映像の座標系に対する主映像の表示 領域は、 第 1 3図乃至第 1 5図に示すような領域となる。
ステップ S 2 4で、 1 6 : 9および 4 ： 3のいずれのァスぺクト比 でもよいことを示すフラグであると判定された場合、 ステップ S 2 8 に進み、 ここでは表示装置のアスペクト比が 1 6 ： 9であるので、 ス テツプ S 2 6における場合と同様に、 字幕の 7 2 0 X 4 8 0の画枠サ ィズを、 1 6 ： 9のァスぺクト比に合うように変換し、 その結果得ら れた字幕データを、 加算器 7 6に出力する。
ステップ S 2 3、 ステップ S 2 6、 またはステップ S 2 8の処理で 字幕が表示されると、 処理は終了する。
以上のようにして、 主映像のァスぺク卜比と独立して設定された副 映像のァスぺクト比と表示装置のァスぺクト比とに基づいて、 副映像 を表示することができる。
上述した一連の処理は、 ハードウェアにより実現させることもでき るが、 ソフトウェアにより実現させることもできる。 一連の処理をソ フトウエアにより実現する場合には、 そのソフトウエアを構成するプ ログラムがコンピュータにィンストールされ、 そのプログラムがコン ピュー夕で実行されることより、 上述した符号化装置 1 1および復号 装置 5 1が機能的に実現される。
なお、 本明細書において、 記録媒体により提供されるプログラムを 記述するステップは、 記載された順序に沿って時系列的に行われる処 理はもちろん、 必ずしも時系列的に処理されなくとも、 並列的あるい は個別に実行される処理をも含むものである。

Claims

請 求 の 範 囲
1 . 主映像に副映像を重ね合わせて表示される映像の符号化デ一夕を 生成する符号化装置において、
前記主映像を符号化すると共に前記主映像のァスぺクト比を組み込 むように構成された第 1の符号化部と、
前記副映像を符号化すると共に前記副映像のァスぺクト比を組み込 むように構成された第 2の符号化部と
を備える符号化装置。
2 . 前記第 2の符号化部は、 前記副映像のアスペクト比を表すフラグ を設定して前記副映像のァスぺクト比の組み込みを行う
請求の範囲 1に記載の符号化装置。
3 . 主映像に副映像を重ね合わせて表示される映像の符号化データを 生成する符号化方法において、
前記主映像を符号化すると共に前記主映像のァスぺクト比を組み込 む第 1の符号化ステップと、
前記副映像を符号化すると共に前記副映像のァスぺクト比を組み込 む第 2の符号化ステップと
を含む符号化方法。
4 . 主映像に副映像を重ね合わせて表示される映像の符号化データを 生成する符号化装置を制御するプロセッサに実行させるプログラムに おいて、
前記主映像を符号化すると共に前記主映像のァスぺクト比を組み込 む第 1の符号化ステップと、
前記副映像を符号化すると共に前記副映像のァスぺク卜比を組み込 む第 2の符号化ステップと
を含むプログラム。
5 . 主映像の符号化データ、 および前記主映像に重ね合わせて表示さ れる副映像の符号化データを復号する復号装置において、
前記主映像の符号化デ一夕に組み込まれている前記主映像のァスぺ クト比を取得するように構成された第 1の取得部と、
前記主映像の画枠を、 前記第 1の取得部により取得された前記主映 像のァスぺクト比に応じて変換するように構成された第 1の変換部と 前記副映像の符号化データに組み込まれている前記副映像のァスぺ クト比を取得するように構成された第 2の取得部と、
前記副映像の画枠を、 前記第 2の取得部により取得された前記副映 像のァスぺクト比に応じて変換するように構成された第 2の変換部と を備える復号装置。
6 . 主映像の符号化データ、 および前記主映像に重ね合わせて表示さ れる副映像の符号化データを復号する復号方法において、
前記主映像の符号化データに組み込まれている前記主映像のァスぺ クト比を取得する第 1の取得ステップと、
前記主映像の画枠を、 前記第 1の取得ステップの処理で取得された 前記主映像のァスぺクト比に応じて変換する第 1の変換ステップと、 前記副映像の符号化データに組み込まれている前記副映像のァスぺ クト比を取得する第 2の取得ステップと、
前記副映像の画枠を、 前記第 2の取得ステップの処理で取得された 前記副映像のァスぺクト比に応じて変換する第 2の変換ステップと を含む復号方法。
7 . 主映像の符号化データ、 および前記主映像に重ね合わせて表示さ れる副映像の符号化デー夕を復号する復号装置を制御するプロセッサ に実行させるプログラムにおいて、 前記主映像の符号化データに組み込まれている前記主映像のァスぺ クト比を取得する第 1の取得ステップと、
前記主映像の画枠を、 前記第 1の取得ステップの処理で取得された 前記主映像のァスぺクト比に応じて変換する第 1の変換ステップと、 前記副映像の符号化データに組み込まれている前記副映像のァスぺ ク卜比を取得する第 2の取得ステップと、
前記副映像の画枠を、 前記第 2の取得ステップの処理で取得された 前記副映像のァスぺクト比に応じて変換する第 2の変換ステップと を含むプログラム。
8 . ¾映像データを符号化した主映像符号化データと、 前記主映像デ 一夕に重ね合わせて表示される副映像データを符号化した副映像符号 化デ一夕とが多重化されて記録された記録媒体において、
前記主映像符号化データは、 前記主映像データのァスぺクト比を表 す第 1のァスぺクト比フラグを有し、
前記副映像符号化データは、 前記第 1のアスペクト比フラグとは独 立した、 前記副映像データのァスぺク卜比を表す第 2のァスぺク卜比 フラグを有する記録媒体。
9 . 主映像データを符号化した主映像符号化データと、 前記主映像デ 一夕に重ね合わせて表示される副映像データを符号化した副映像符号 化データとが多重化されたデ一夕構造において、
前記主映像符号化データは、 前記主映像データのァスぺクト比を表 す第 1のァスぺクト比フラグを有し、
前記副映像符号化データは、 前記第 1のァスぺクト比フラグとは独 立した、 前記副映像データのァスぺクト比を表す第 2のァスぺクト比 フラグを有するデータ構造。
PCT/JP2005/022409 2004-12-02 2005-11-30 符号化装置および方法、復号装置および方法、プログラム、記録媒体、ならびに、データ構造 WO2006059779A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP05814422A EP1819165A4 (en) 2004-12-02 2005-11-30 CODING DEVICE AND METHOD, DECODING DEVICE AND METHOD, RECORDING MEDIUM, AND DATA STRUCTURES
CA002589370A CA2589370A1 (en) 2004-12-02 2005-11-30 Encoding apparatus and method, decoding apparatus and method, program, record medium, and data structure
JP2006546719A JP4813370B2 (ja) 2004-12-02 2005-11-30 映像信号処理装置、映像信号処理方法、プログラムおよび記録媒体
US11/720,806 US8279938B2 (en) 2004-12-02 2005-11-30 Encoding device and method, decoding device and method, program, recording medium, and data structure

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004349816 2004-12-02
JP2004-349816 2004-12-02

Publications (1)

Publication Number Publication Date
WO2006059779A1 true WO2006059779A1 (ja) 2006-06-08

Family

ID=36565201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/022409 WO2006059779A1 (ja) 2004-12-02 2005-11-30 符号化装置および方法、復号装置および方法、プログラム、記録媒体、ならびに、データ構造

Country Status (8)

Country Link
US (1) US8279938B2 (ja)
EP (1) EP1819165A4 (ja)
JP (1) JP4813370B2 (ja)
KR (1) KR20070086704A (ja)
CN (1) CN101112096A (ja)
CA (1) CA2589370A1 (ja)
TW (1) TW200633506A (ja)
WO (1) WO2006059779A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI262725B (en) * 2005-06-30 2006-09-21 Cheertek Inc Video decoding apparatus and digital audio and video display system capable of controlling presentation of subtitles and method thereof
CN101188712B (zh) * 2007-12-21 2012-07-18 康佳集团股份有限公司 一种页面自适应显示处理的方法
JP4518194B2 (ja) * 2008-06-10 2010-08-04 ソニー株式会社 生成装置、生成方法、及び、プログラム
US20110285726A1 (en) * 2009-02-18 2011-11-24 William Gibbens Redmann Method and apparatus for preparing subtitles for display
CN102065241B (zh) * 2009-11-18 2015-06-17 新奥特（北京）视频技术有限公司 一种自动制作字幕的字幕机
US20140002460A1 (en) 2012-06-27 2014-01-02 Viacom International, Inc. Multi-Resolution Graphics
WO2016163603A1 (ko) * 2015-04-05 2016-10-13 엘지전자 주식회사 Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
EP3370429A4 (en) * 2015-10-28 2018-09-05 Sony Corporation Transmission device, transmission method, receiver, and reception method
CN110020285B (zh) * 2017-09-28 2021-04-27 北京国双科技有限公司 柱状图的处理方法及装置
CN112770183B (zh) * 2020-11-10 2023-03-24 北京达佳互联信息技术有限公司 视频的播放控制方法、控制装置、电子设备和存储介质
CN113452935B (zh) * 2021-08-31 2021-11-09 成都索贝数码科技股份有限公司 横屏和竖屏直播视频生成系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564100A (ja) * 1991-09-02 1993-03-12 Toshiba Corp 多画面テレビジヨン受像機
JPH05336465A (ja) * 1992-06-02 1993-12-17 Toshiba Corp テレビジョン信号処理回路
US5467142A (en) 1992-04-24 1995-11-14 Victor Company Of Japan, Ltd. Television receiver for reproducing video images having different aspect ratios and characters transmitted with video images
EP0734180A2 (en) 1995-03-20 1996-09-25 Sony Corporation Subtitle encoding/decoding
JPH10308924A (ja) 1997-05-02 1998-11-17 Sony Corp 符号化装置及び方法
US20020047918A1 (en) 2000-10-19 2002-04-25 Sullivan Gary J. Method and apparatus for encoding video content
EP1282318A2 (en) 2001-08-04 2003-02-05 Samsung Electronics Co., Ltd. Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same
JP2004215046A (ja) * 2003-01-06 2004-07-29 Toshiba Corp 情報再生装置、情報再生方法、情報記録媒体
JP2004215045A (ja) * 2003-01-06 2004-07-29 Toshiba Corp 情報記録媒体、情報再生装置、情報再生方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369444A (en) * 1990-06-01 1994-11-29 Thomson Consumer Electronics Field type matching system
JPH05183833A (ja) * 1992-01-07 1993-07-23 Sony Corp 表示装置
JPH06314092A (ja) * 1993-04-28 1994-11-08 Toshiba Corp 文字画像用記録再生装置
US5930450A (en) * 1995-02-28 1999-07-27 Kabushiki Kaisha Toshiba Recording medium, apparatus and method of recording data on the same, and apparatus and method of reproducing data from the recording medium
JPH08256297A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ２画面テレビ受像機
CN1114212C (zh) * 1995-04-14 2003-07-09 株式会社东芝 记录媒体的数据记录装置和方法以及数据再生装置和方法
JP3362856B2 (ja) * 1996-05-09 2003-01-07 松下電器産業株式会社 主映像が画面上にどのように配置されようとも、副映像をバランス良く主映像上に重ね合わせることができる記録媒体、再生装置、及び再生方法
JPH10145722A (ja) * 1996-11-07 1998-05-29 Sony Corp 再生制御データ生成装置およびその方法
JP3742167B2 (ja) * 1996-12-18 2006-02-01 株式会社東芝 画像表示制御装置
US6678006B1 (en) * 1998-01-07 2004-01-13 Ati Technologies, Inc. Method and apparatus for video processing that includes sub-picture scaling
JP2000184375A (ja) * 1998-12-15 2000-06-30 Victor Co Of Japan Ltd 画像変換装置
JP4356202B2 (ja) * 2000-06-29 2009-11-04 パナソニック株式会社 映像信号処理装置
JP2002109831A (ja) * 2000-09-29 2002-04-12 Toshiba Corp 記録再生装置
JP3607627B2 (ja) * 2001-02-26 2005-01-05 株式会社東芝 アスペクト比情報の整合処理機能付き情報録再装置および方法
TW535413B (en) * 2001-12-13 2003-06-01 Mediatek Inc Device and method for processing digital video data
JP2004215081A (ja) * 2003-01-07 2004-07-29 Pioneer Electronic Corp 情報記録媒体、情報再生装置及び方法、並びにコンピュータプログラム
US6943768B2 (en) * 2003-02-21 2005-09-13 Xtellus Inc. Thermal control system for liquid crystal cell
JP4250458B2 (ja) * 2003-05-30 2009-04-08 キヤノン株式会社 映像システムの映像表示方法及び画像処理装置
KR100580245B1 (ko) * 2003-06-26 2006-05-16 삼성전자주식회사 동시화면을 디스플레이 하는 장치 및 방법
TWI296400B (en) * 2005-02-18 2008-05-01 Au Optronics Corp Video processing chip capable of adjusting aspect ratio and method of displaying an image thereby

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564100A (ja) * 1991-09-02 1993-03-12 Toshiba Corp 多画面テレビジヨン受像機
US5467142A (en) 1992-04-24 1995-11-14 Victor Company Of Japan, Ltd. Television receiver for reproducing video images having different aspect ratios and characters transmitted with video images
JPH05336465A (ja) * 1992-06-02 1993-12-17 Toshiba Corp テレビジョン信号処理回路
EP0734180A2 (en) 1995-03-20 1996-09-25 Sony Corporation Subtitle encoding/decoding
JPH10308924A (ja) 1997-05-02 1998-11-17 Sony Corp 符号化装置及び方法
US20020047918A1 (en) 2000-10-19 2002-04-25 Sullivan Gary J. Method and apparatus for encoding video content
EP1282318A2 (en) 2001-08-04 2003-02-05 Samsung Electronics Co., Ltd. Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same
JP2004215046A (ja) * 2003-01-06 2004-07-29 Toshiba Corp 情報再生装置、情報再生方法、情報記録媒体
JP2004215045A (ja) * 2003-01-06 2004-07-29 Toshiba Corp 情報記録媒体、情報再生装置、情報再生方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1819165A4 *

Also Published As

Publication number Publication date
CN101112096A (zh) 2008-01-23
EP1819165A1 (en) 2007-08-15
EP1819165A4 (en) 2011-01-19
KR20070086704A (ko) 2007-08-27
US8279938B2 (en) 2012-10-02
JP4813370B2 (ja) 2011-11-09
CA2589370A1 (en) 2006-06-08
TW200633506A (en) 2006-09-16
TWI315153B (ja) 2009-09-21
JPWO2006059779A1 (ja) 2008-06-05
US20100128799A1 (en) 2010-05-27

Similar Documents

Publication Publication Date Title
WO2006059779A1 (ja) 符号化装置および方法、復号装置および方法、プログラム、記録媒体、ならびに、データ構造
US6377309B1 (en) Image processing apparatus and method for reproducing at least an image from a digital data sequence
TW448690B (en) System for multiple scaled videos
US20020101536A1 (en) Method and apparatus for implementing 4:2:0 to 4:2:2 and 4:2:2 to 4:2:0 color space conversion
TW200302662A (en) Method and system for contouring reduction
JP4375313B2 (ja) 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体
US7411617B2 (en) Image processing apparatus, image processing method, recording medium, and program
JP2002058024A (ja) 情報処理装置および方法、並びに記録媒体
US20190027077A1 (en) Electronic device and method
US7689045B2 (en) Image capture apparatus
JP2000175118A (ja) 放送受信装置およびその方法
JP2002354428A (ja) Ｄｖｍｐｅｇ変換装置
JP4695240B2 (ja) キャプションディスプレイのためのｍｐｅｇデコーダ
JP2001045444A (ja) 受信装置及び方法、送信装置及び方法、及び信号処理装置
JPH11262009A (ja) 映像信号再生装置
JP2010213362A (ja) 垂直フォーマットコンバータのメモリ管理のための方法及びシステム
JPH1175155A (ja) 画像と音声の再生装置
JP2000032475A (ja) 動画像再生装置
JP2010074559A (ja) 映像処理装置及び映像処理方法
JP2004221751A (ja) 画像信号処理装置
KR100322551B1 (ko) 엠펙 신호 복원장치
JP2001223989A (ja) 画像再生装置
JP2009159279A (ja) カメラ装置および映像再生装置
JP2000244912A (ja) 画像符号化装置及び画像復号化装置
JP2005039662A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006546719

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2589370

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2005814422

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020077014638

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 200580047672.7

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2005814422

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11720806

Country of ref document: US