WO2005125217A1 - 動画像符号化装置、動画像記録装置、及び動画像再生装置 - Google Patents

動画像符号化装置、動画像記録装置、及び動画像再生装置 Download PDF

Info

Publication number
WO2005125217A1
WO2005125217A1 PCT/JP2005/007971 JP2005007971W WO2005125217A1 WO 2005125217 A1 WO2005125217 A1 WO 2005125217A1 JP 2005007971 W JP2005007971 W JP 2005007971W WO 2005125217 A1 WO2005125217 A1 WO 2005125217A1
Authority
WO
WIPO (PCT)
Prior art keywords
period
commercial
boundary
encoding
picture
Prior art date
Application number
PCT/JP2005/007971
Other languages
English (en)
French (fr)
Inventor
Junji Sukeno
Yoshiko Hatano
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to DE200560023997 priority Critical patent/DE602005023997D1/de
Priority to JP2006514666A priority patent/JP3894948B2/ja
Priority to EP20050736668 priority patent/EP1768419B1/en
Publication of WO2005125217A1 publication Critical patent/WO2005125217A1/ja

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Definitions

  • Moving image encoding device moving image recording device, and moving image reproducing device
  • the present invention relates to video coding of television broadcast signals, and more particularly to ITU-T (International Telecommunication Union—Telecommunication sector) recommendation H.2x and ISOZlEC (International Organization for Standardization / International Electrotechnical). Commission)
  • ITU-T International Telecommunication Union—Telecommunication sector
  • ISOZlEC International Organization for Standardization / International Electrotechnical). Commission
  • a moving picture encoding system that encodes a broadcast signal of a television broadcast including a television program period and a commercial period by a moving image encoding system represented by a standard MPEG (Moving Picture Experts Group) or the like.
  • the present invention relates to an encoding method, a program for causing an electronic information processing device to execute a moving image encoding process, and a recording medium on which the program is recorded.
  • TV program period does not include the commercial period of the television broadcast.
  • the broadcast period of the main program is described here !.
  • the “commercial period (CM period)” refers to the television broadcast. Means the broadcast period other than the main program broadcast before, during or during the television program period.
  • CMs Commercials
  • CMs are very effective means for advertisers to provide product information to viewers. Therefore, it is an important issue for advertisers and advertising agencies that create commercials to ensure that commercials are broadcast exactly as contracted.
  • CM period detection device In order to extract only CM broadcasts, the CM period must be reliably detected.
  • Patent Document 1 a CM period detection device has been proposed (for example, see Patent Document 1).
  • the continuity of CMs (multiple CMs included in one CM period (in this application, refers to each of a plurality of CMs included in one CM period as a “CM part”. )
  • CM part a “CM part”.
  • a method of storing information of a detected CM period in a storage device such as a database and confirming a CM broadcast based on the stored information.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2003-47031 (Page 5, Page 11, FIG. 1, FIG. 16)
  • the conventional CM period detection device described above requires a storage device or the like for storing detected information, and thus has a problem that the device configuration becomes complicated and the device price increases. there were. Furthermore, when the original moving image information is recorded on an exchangeable storage medium and the information stored on this storage medium is reproduced by another reproducing apparatus, the information of the detected CM period is recorded on this storage medium. Therefore, other playback devices could not perform operations such as extracting and viewing only commercials.
  • the conventional CM period detection device described above was a dedicated device for professional use intended for use only by a company such as an advertiser.
  • the present invention has been made to solve the above-described problems of the related art, and has as its object a moving image recording apparatus other than a moving image recording apparatus for recording information obtained by encoding moving images.
  • Video code that can embed information about the boundaries of commercials into encoded data when encoding television broadcasts without the need for storage means (such as a built-in large-capacity semiconductor memory or built-in hard disk)
  • a moving image recording apparatus capable of recording encoded data in which information on commercial boundaries is embedded, and a moving image can be reproduced by a reproduction method based on information on commercial boundaries. To provide a moving image reproducing apparatus.
  • a video encoding device of the present invention encodes a broadcast signal of a television broadcast including a television program period and a commercial period other than the television program period, and outputs encoded data of the broadcast signal.
  • Encoding means, and the encoding means performs intra-picture coding for pictures at regular intervals, and performs picture coding at regular intervals for pictures at regular intervals.
  • Encoding control means for controlling the encoding means so as to perform the inter-coding, a boundary for switching from the television program period to the commercial period, and a boundary for switching from the commercial period to the television program period.
  • a commercial boundary detecting means for detecting the commercial boundary of the program to output the commercial boundary information and wherein the encoding control means comprises: The encoding means is controlled based on the commercial boundary information so as to perform in-screen encoding on a boundary position picture located at the program / commercial boundary.
  • a moving picture recording apparatus of the present invention is characterized by having the above moving picture coding apparatus and a recording means for recording the code data output from the coding means.
  • the moving picture reproducing apparatus of the present invention converts a broadcast signal of a television broadcast including a television program period and a commercial period other than the television program period by an intra-screen encoding and an inter-screen encoding.
  • Decoding means for decoding encoded data which is generated by encoding and in which intra-screen encoding is performed on a picture at a fixed period; and intra-screen encoding at a fixed period.
  • the in-screen encoded picture other than the picture is used for the program 'commercial boundary, which is a boundary that switches from the television program period to the commercial period, and a boundary that switches from the commercial period to the television program period, and within the commercial period.
  • the moving picture encoding apparatus of the present invention when encoding a television broadcast, information relating to a commercial boundary is embedded in the encoded data, so that the encoded period is detected as a frame period. The effect that it becomes possible is obtained.
  • the moving picture recording apparatus of the present invention since the encoded data in which the information on the commercial boundary is embedded is recorded, the recorded encoded data is detected in the commercial period. The effect that it becomes possible is obtained.
  • the intra-coded picture other than the one intra-coded picture at a fixed period allows the intra-coded picture to be encoded, the program's commercial boundary and the commercial / commercial boundary. Therefore, it is possible to obtain an effect that a moving image can be reproduced by a reproduction method (for example, including CM selection extraction, main program selection extraction and CM fast forward) based on such detection information.
  • a reproduction method for example, including CM selection extraction, main program selection extraction and CM fast forward
  • FIG. 1 is a block diagram schematically showing a configuration of a moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram schematically showing a configuration of a CM boundary detection unit according to Embodiments 1, 2, 3, and 4 of the present invention.
  • FIG. 3 is a block diagram schematically showing a configuration of an encoder according to Embodiment 1, Embodiment 2, Embodiment 3 and Embodiment 4 of the present invention.
  • FIG. 4 (A), (B1) to (B3), and (C) show the case where there is a CM boundary by an encoder in the video encoding apparatus according to Embodiment 1 of the present invention. It is explanatory drawing which shows a system.
  • FIG. 5 (A), (B1) to (B3), and (C) are diagrams illustrating a case where there is a CM boundary by an encoder in the video encoding device according to Embodiment 1 of the present invention. It is explanatory drawing which shows a system.
  • FIG. 6 (A), (B1) to (B3), and (C) are diagrams illustrating a case where there is a CM boundary by an encoder in the moving picture coding apparatus according to Embodiment 1 of the present invention. It is explanatory drawing which shows a system.
  • FIG. 7 is a block diagram schematically showing a configuration of a moving image recording apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 (A) shows a display example of the CM period of the confirmation operation unit in the moving image recording apparatus according to Embodiment 2, Embodiment 3, Embodiment 4 and Embodiment 5 of the present invention.
  • FIG. 3B is an explanatory diagram showing the position of the intra-screen coding frame
  • FIG. 4C is an enlarged view of a period Pa in FIG.
  • FIG. 9 is a display example of the CM period of the confirmation operation unit in the moving image recording apparatus according to the second, third, fourth, and fifth embodiments of the present invention ( (B) There is an erroneous determination), (B) is an explanatory diagram showing the position of the in-screen coding frame, and (C) is an enlarged view of the period Pb in FIG. .
  • FIG. 10 (A) is a display example of the CM period of the confirmation operation unit in the moving image recording apparatus according to Embodiments 2, 3, 4, and 5 of the present invention
  • (B) is an explanatory diagram showing a position of an intra-frame encoding frame
  • (C) is an enlarged view of a period Pc in FIG. (B). .
  • FIG. 11 is a block diagram schematically showing a configuration of a moving image recording apparatus according to Embodiments 3 and 4 of the present invention.
  • FIG. 12 (A) is a diagram showing a display example of a CM period of a confirmation operation unit (before editing by a data editing unit) in the moving image recording apparatus according to Embodiment 3 of the present invention
  • FIG. FIG. 14C is a diagram showing a display example of the CM period (after editing by the data editing unit)
  • FIG. 7D is a diagram showing a display example of a CM period (before editing by the data editing unit) (before editing by the data editing unit).
  • FIG. 12 (A) is a diagram showing a display example of a CM period of a confirmation operation unit (before editing by a data editing unit) in the moving image recording apparatus according to Embodiment 3 of the present invention
  • FIG. 14C is a diagram showing a display example of the CM period (after editing by the data editing unit)
  • FIG. 7D is a diagram showing a display example of a CM period (before editing by the data editing unit) (before editing by the data editing unit).
  • FIG. 13 (A) is a diagram showing a display example of a CM period of the confirmation operation unit (before editing by the data editing unit) in the moving image recording apparatus according to the third and fourth embodiments of the present invention.
  • (B) is a diagram showing a display example of the CM period (after editing by the data editing unit).
  • FIG. 14 is a block diagram schematically showing a configuration of a video playback device according to Embodiment 5 of the present invention.
  • CM boundary detector 1 CM boundary detector, 2 memories, 3 encoders, 4 encoders, 11 scene change detector, 12 silence period detector, 13 CM period detector, 32 subtractor, 3 3 DCT circuit, 34 quantization circuit, 35 DCZAC predictor, 36 variable length coding circuit, 37 inverse quantization circuit, 38 inverse DCT circuit, 39 adder, 40 decoded image memory, 41 predicted image creation circuit, 42 motion Detection circuit, 43 motion vector prediction circuit, 80 recording unit, 81 confirmation operation unit, 82 decoding unit, 83 decoding memory, 84 data editing unit, 85 CM boundary discriminating unit, 86 decoding processing control unit, 101 video encoding device , 102, 103 Video recording device, 104 Video playback device, la — In-frame coded frame (picture) at regular intervals, lb, Ibl, Ib2 In-screen coded frame (picture) located at CM boundary , Ibl 'overlaps the intra-frames (pictures) in the screen at regular intervals, shifts
  • variable-length coding is further performed in a predetermined order to generate a bit stream.
  • the entire displayed image is composed of a plurality of image series of images (objects), so that the screen of each image series at each display time is displayed in video format.
  • This is called the Video Object Plane (hereinafter referred to as "VOP").
  • VOP Video Object Plane
  • the entire display image is composed of one image sequence image
  • the VOP corresponds to a frame (a picture in MPEG-2) in MPEG-1 and MPEG-2.
  • the entire display image is converted into one image sequence image. The description will be made assuming that it is composed of: In this case, VOP is equivalent to "frame”.
  • a frame has a luminance signal and a color difference signal, and is composed of a plurality of macroblock cards.
  • the macro block is composed of 16 pixels each in the vertical and horizontal directions with respect to the luminance signal.
  • the amount of information is compressed by a method such as spatial and temporal compression in macro block units.
  • Spatial compression is the quantization of a signal after the time domain force is also transformed into the frequency domain by the discrete cosine transform (DCT), which is a type of orthogonal transform. Is performed by Motion compensation is used for temporal compression.
  • DCT discrete cosine transform
  • the data compression method on a frame-by-frame basis is also referred to as spatial intra-frame encoding (hereinafter referred to as “intra-frame encoding” or “intra-picture encoding”), which is encoded only by spatial compression within the same screen. ) And inter-screen correlation (hereinafter also referred to as “inter-frame coding” or “inter-picture coding”) which is coded using temporal compression.
  • intra-frame encoding or “intra-picture encoding”
  • inter-picture coding inter-screen correlation
  • the moving picture coding apparatus must output a bit stream having a specified code amount according to a predetermined coding parameter.
  • a buffer virtual buffer verifier
  • VBV buffer virtual buffer verifier
  • the amount of generated code must be controlled assuming the occupancy of the VBV buffer! / ,.
  • the amount of generated code in the video coding apparatus is set for each macroblock constituting a frame, and the amount of generated code is controlled on a frame basis by a quantization parameter for quantizing DCT coefficients.
  • the generated code amount is reduced, and when the quantization parameter is reduced, the generated code amount is increased. That is, the generated code amount and the quantization parameter are in inverse proportion. Using this property, it is possible to adjust the generated code amount.
  • FIG. 1 is a block diagram schematically showing a configuration of a moving picture coding apparatus 101 according to Embodiment 1 of the present invention.
  • the video encoding device 101 includes a commercial boundary detection unit (CM boundary detection unit) 1, a memory 2, an encoder 3, an encoding control unit 4, an input terminal 5, And 6 and an output terminal 7.
  • CM boundary detection unit commercial boundary detection unit
  • An input terminal 5 receives a video signal S of a television broadcast
  • an input terminal 6 receives an audio signal S of a television broadcast.
  • the CM boundary detection unit 1 is a television set input via the input terminals 5 and 6, respectively. From the broadcast video signal s and audio signal S, the frames from the TV program period (main program period)
  • CM boundary The boundary that switches to the P period and the boundary that switches from the commercial period to the television program period (referred to as “program 'commercial boundary (program' CM boundary)” in this application), as well as broadcast during the commercial period
  • a boundary between a plurality of commercial parts referred to as “commercial'commercial boundary (CM'CM boundary)” in the present application
  • CM boundary is used as a term (general term) including both the program 'CM boundary and the CM' CM boundary.
  • the memory 2 captures and temporarily stores a video signal S of a television broadcast input through the input terminal 5.
  • the encoder 3 encodes the video signal S output from the memory 2 by using an encoding method such as MPEG-2, MPEG-4, or ITU-T Recommendation H.263. Created by encoder 3
  • the encoded data (stream data) is output from the output terminal 7 and sent to, for example, a recording unit (not shown).
  • the encoding control unit 4 determines the encoding method based on the CM boundary information output from the CM boundary detection unit 1 and controls the encoder 3.
  • FIG. 2 is a block diagram schematically showing a configuration of the CM boundary detection unit 1 shown in FIG.
  • the CM boundary detector 1 includes a scene change detector 11, a silence period detector 12, a commercial period determiner (CM period determiner) 13, an input terminal 14, 15, 16 And an output terminal 17.
  • the input terminal 14 receives the current frame video signal S (0) of the television broadcast.
  • Input terminal 15 has the current frame image of the television broadcast.
  • An image signal N (N is a positive integer) before the frame of the image is input.
  • the scene change detector 11 receives the input a
  • the silence period detection unit 12 detects a silence period t from the audio signal S input via the input terminal 16.
  • the CM period determination unit 13 performs scene change detection a no
  • FIG. 3 is a block diagram schematically showing a configuration of encoder 3 shown in FIG. As shown in FIG.
  • the encoder 3 includes an input terminal 31, a subtractor 32, a DCT circuit 33, a quantization circuit 34, a DCZAC predictor 35, a variable-length encoding circuit 36, and an inverse It includes a quantization circuit 37, an inverse DCT circuit 38, an adder 39, a decoded image memory 40, a predicted image creation circuit 41, a motion detection circuit 42, a motion vector prediction circuit 43, and an output terminal 44. ing.
  • a video signal in units of macro blocks read out from the memory 2 (FIG. 1) is input.
  • the subtracter 32 outputs a difference between the video signal input from the input terminal 31 and the predicted image output from the predicted image creation circuit 41.
  • the DCT circuit 33 outputs a DCT coefficient by performing a DCT transform on the output of the subtracter 32.
  • the quantization circuit quantizes the DCT coefficient output from the DCT circuit 33.
  • the DCZAC predictor 35 predicts a DC coefficient and an AC coefficient based on DCZAC coefficients of a block adjacent to the current block.
  • the inverse quantization circuit 37 inversely quantizes the quantized DCT coefficients output from the quantization circuit 34.
  • the inverse DCT circuit 38 performs an inverse DCT transform on the output of the inverse quantization circuit 37.
  • the adder 39 adds the output of the inverse DCT circuit 38 and the output of the predicted image creation circuit 41 to obtain a decoded image.
  • the decoded image memory 40 stores the decoded image obtained by the adder 39.
  • the motion detection circuit 42 detects a motion vector based on the decoded image output from the decoded image memory 40 and the video signal input to the memory 2 (FIG. 1) in macroblock units via the input terminal 31.
  • U The predicted image generation circuit 41 generates a predicted image corresponding to the current video signal from the decoded image card input from the decoded image memory 40 based on the motion vector output from the motion detection circuit 42, And output to the adder 39.
  • the motion vector prediction circuit 43 predicts the motion vector and outputs the prediction vector to the variable length coding circuit 36.
  • the variable-length coding circuit 36 performs variable-length coding on the prediction coefficient output from the DCZAC predictor 35 and the motion vector output from the motion vector prediction circuit 43 together with additional information such as quantization parameters to generate a bit stream. Output as
  • a video signal of a television broadcast is input to the memory 2 and the CM boundary detection unit 1 via the input terminal 5 of the moving picture coding device 101.
  • video signals for television broadcasting There are two types of video signals for television broadcasting: interlaced and non-interlaced.
  • the present invention can be applied to any system and mode.
  • the non-interlaced system will be described as a frame mode in which a video signal is input in units of frames.
  • the video signal input to the memory 2 is delayed by the frame unit and is output to the CM boundary detection unit 1, and is rearranged by the macroblock unit and output to the encoder 3.
  • the audio signal of the television broadcast is input to the CM boundary detection unit 1.
  • CM boundary detection unit 1 a current frame video signal of a television broadcast to which the input terminal 14 is also input (hereinafter also referred to as “current frame image”) S (0)
  • N-frame-before-image The N-frame-before-image signal (hereinafter also referred to as “N-frame-before-image”) input from the input terminal 15 is input to the scene change detection unit 11.
  • Scene change detection N-frame-before-image
  • the unit 11 outputs, for example, the luminance signals of the current frame image S (0) and the N-frame preceding image S (—N).
  • the absolute value sum of the difference is obtained for each pixel and compared with a preset set value. When the sum of absolute values of the calculated differences exceeds the set value, it is determined that a scene change has occurred, and information indicating a frame in which the scene change has occurred is output to the CM period determination unit 13 as scene change information.
  • the scene change detection method in the scene change detection unit 11 is not limited to the above-described method, and may employ another determination method based on a time change of a signal level.
  • the audio signal S of the television broadcast is output from the silent period detecting unit 12a.
  • the silent period detecting section 12 detects a silent period t of the television broadcast.
  • CM of a television broadcast that is, before and after a CM period and before and after a plurality of CM portions included in the CM period
  • silence period t of about several tens of ms.
  • the CM boundary and the CM period are determined based on the scene change information output from the scene change detection unit 11 and the silence period information output from the silence period detection unit 12. I do.
  • the CM portion included in the CM period is often a fixed length such as 15 seconds or 30 seconds (hence, a scene change and a silent period t every 15 or 30 seconds). Appears, the CM part and the next C no
  • the mode of the audio signal is switched to monaural, stereo, or bilingual, and the sound volume is used (generally, the property that the volume of the CM is high) is used.
  • the configuration may be such that the CM boundary is detected or the reliability of the detection of the CM boundary is improved.
  • the CM boundary information determined by the CM period determination unit 13 is output to the encoding control unit 4 via the output terminal 17.
  • the video signal S input to the memory 2 is read out in macroblock units,
  • the video signal input to the encoder 3 is input to a subtractor 32 and a motion detection circuit 42 via an input terminal 31.
  • the subtracter 32 performs a subtraction process between the video signal input from the input terminal 31 and the predicted image output from the predicted image generation circuit 41, and outputs the difference (subtraction result) to the DCT circuit 33.
  • the DCT circuit 33 performs DCT conversion on the input difference of the subtraction circuit 32 and outputs the DCT coefficient.
  • the DCT coefficient output from the DCT circuit 33 is input to the quantization circuit 34 and is quantized.
  • the DCT coefficients quantized by the quantization circuit 34 (hereinafter referred to as “quantized DCT coefficients”) are input to the DCZAC predictor 35 and the inverse quantization circuit 37.
  • the DCZAC predictor 35 predicts the DC and AC coefficients from the input quantized DCT coefficients based on the DCZAC coefficients of blocks adjacent to the current block, and performs variable-length coding circuit 36 Output to
  • the inverse quantization circuit 37 inversely quantizes the quantized DCT coefficient output from the quantization circuit 34 and outputs the result to the inverse DCT circuit 38.
  • the inverse DCT circuit 38 performs an inverse DCT transform on the output of the inverse quantization circuit 37 and outputs the result to the adder 39.
  • the adder 39 adds the output of the inverse DCT circuit 38 and the predicted image output from the predicted image generation circuit 41 to generate a decoded image, and outputs the decoded image to the decoded image memory 40.
  • the decoded image stored in the decoded image memory 40 is output to the motion detection circuit 42 and the predicted image creation circuit 41.
  • the motion detection circuit 42 detects a motion vector from a decoded image output from the decoded image memory 40 and a video signal input in units of macroblocks input from the memory 2 via the input terminal 31. Output to the predicted image creation circuit 41 and the motion vector prediction circuit 43.
  • the predicted image generation circuit 41 Based on the motion vector output from the motion detection circuit 42, the predicted image generation circuit 41 generates a predicted image corresponding to the current video signal from the decoded image read from the decoded image memory 40.
  • Create The motion vector prediction circuit 43 predicts a motion vector from the motion vector output from the motion detection circuit 42, and outputs the prediction vector to the variable length coding circuit 36.
  • the variable-length coding circuit 36 performs variable-length coding on the prediction coefficient output from the DCZAC predictor 35 and the motion vector output from the motion vector prediction circuit 43 together with additional information such as quantization parameters. Output from output terminal
  • the encoding control unit 4 controls the encoding (intra-screen encoding and inter-screen encoding) in the encoding unit 3 based on the CM boundary information detected by the CM boundary detecting unit 1.
  • the intra-screen coding and the inter-screen coding will be briefly described by taking the case of MPEG-4 as an example.
  • Intra-screen coding is coding called "intra coding", which divides an input image into blocks, performs DCT transform for each block, quantizes the blocks, and performs variable-length coding. Encoding.
  • the VOP force I-VOP thus encoded. In the present application, it is also referred to as “an in-screen encoding frame”.
  • Inter-screen coding is a coding method called Inter coding, in which a difference signal between a predicted macroblock and a macroblock to be decoded is obtained, and DCT is applied to the difference signal. This is a variable length code that performs variable length coding on the quantized DCT coefficients together with the motion vector and the quantization width.
  • a frame on which inter-screen coding has been performed is also referred to as an “inter-frame coding frame”.
  • the operation of the encoder 3 for performing intra-screen coding and inter-screen coding will be described.
  • the video signal output from the memory 2 is input to the DCT circuit 33 in macroblock units. .
  • the DCT circuit 33 outputs DCT coefficients of a video signal obtained by performing DCT conversion on each macroblock of the video signal.
  • the DCT coefficient of the video signal output by the DCT circuit 33 is quantized by the quantization circuit 34, then DCZAC predicted by the DCZAC predictor 35, and is variable by the variable length coding circuit 36 together with additional information such as quantization parameters.
  • the data is output as a bit stream after a long code.
  • the difference between the predicted image output from the predicted image generation circuit 41 and the video signal output from the memory 2 is output from the subtractor 32. Output in macroblock units.
  • the DCT circuit 33 outputs a DCT coefficient obtained by performing DCT conversion on the difference signal between the predicted image and the video signal.
  • the DCT coefficient of the difference signal is quantized by a quantization circuit 34, and then DCZAC predicted by a DCZAC predictor 35, and a variable length encoding circuit 36 adds a variable length code together with a motion vector and additional information such as a quantization parameter. And output as a bit stream.
  • the encoding controller 4 requests the encoder 3 to perform in-screen encoding at regular intervals.
  • a bit stream created by periodically performing intra-screen encoding can easily realize fast-forward and rewind during reproduction. Specifically, at the time of fast-forward or rewind, an intra-coded frame is searched for in a bit stream or a systemized video file such as MP4 (its internal table), and the intra-coded code is searched. This can be realized by performing reproduction processing (that is, decoding processing) one after another while skipping to the shaded frame.
  • Figs. 4 A), (B1) to (B3), (, Fig. 5 (8), (B1) to (B3), (C), and Figs. 6 (A), (B1) to ( With reference to B3) and (C), the encoding process when a television broadcast includes a CM period will be specifically described.
  • the encoder 3 performs the in-screen encoding at regular intervals Ta as a normal operation.
  • a picture (“Ia” is added to the hatched portion in FIG. 4 (A))), and the inter-picture coding (shaded lines in FIG. 4 (A)) is performed for one picture other than the intra-coded picture la. White spot other than the spot).
  • the scene change detecting unit 11 detects a frame (hereinafter, referred to as a “scene change frame (or picture)”) F in which a scene change has occurred. Put out. Further, as shown in FIG. 4 (B2), the silent period detecting unit 12 detects the silent period t no. If the scene change frame output from the scene change detector 11 overlaps with the silence period t output from the silence period detector 12,
  • the CM boundary is detected by using the switching of the mode of the audio signal such as monaural, stereo, bilingual, etc., and the loudness of the sound (that is, a large change in the volume).
  • the mode of the audio signal such as monaural, stereo, bilingual, etc.
  • the frame at the switching position from the TV program period to the CM period, the frame at the switching position to the TV program period, the CM period The frame at the switching position from one CM portion to the next CM portion (these are referred to as “CM boundary position frames (or pictures)”) is the inter-frame encoding frame and the intra-frame encoding frame (or (Picture).
  • CM boundary position frames or pictures
  • the encoded data is added to the in-screen encoded image for each fixed-period frame (in addition to the in-screen encoded image la for each fixed-period frame), and the CM boundary position can also to those made intra code it spoon against frame over beam (intra code I spoon frame as CM boundary position frame over beam indicated by "Ib".) 0 encoded data Therefore, since it is possible to detect the in-screen coding frame lb other than the in-screen coding frame la with a fixed period, at the time of reproduction, the CM boundary is searched, and for example, skipping or skipping for the CM period is performed. It is possible to perform reproduction by performing an operation such as fast forward.
  • FIGS. 5 (A), (B 1) to (B 3), and (C) show scene change frames output from the scene change detecting unit 11 and a silent period t output from the silent period detecting unit 12. Done C no
  • FIG. 11 is a diagram showing a case where an M frame overlaps with a frame for performing in-screen encoding at regular intervals in a normal operation.
  • the frame for performing intra-frame encoding for the CM boundary position frame created in FIGS. 5 (B1) to (B3) is delayed by one frame to perform intra-frame encoding. (3 ⁇ 4 ⁇ in Fig. 5 (C)).
  • the frame to be delayed is not necessarily limited to one frame, and may be delayed for several frames.
  • a frame (or picture) that has been delayed and intra-coded is also called a “pseudo-boundary position frame (or picture)”.
  • the first few frames of the CM period are left as coded data, such as when the TV program period is switched to the CM period, etc., so "Not-Coded (No code of DCT coefficient! , Macroblock) type, etc., it is also possible to not encode the frame in that period. Also, when the CM period is switched to the TV program period, the first few frames of the TV program period will be skipped or deleted during playback.
  • FIGS. 6 (A), (B1) to (B3) and (C) are output from the scene change detecting unit 11 as in FIGS. 5 (8), (B1) to (B3) and (C).
  • the scene change frame and the silence period t output from the silence period detection unit 12 are detected at the CM boundary position frame.
  • FIG. 6 (C) It is a figure showing the case where it overlaps with the frame which performs in-screen coding for every screen.
  • a frame (FIG. 6 (B1)) in which intra-frame coding is performed on the CM boundary position frame created in FIGS. 6 (B1) to (B3).
  • Ibl is delayed by one frame to perform intra-frame coding (Ibl 'in Fig. 6 (C)), but the overlapping frames (Ic in Fig. 6 (C)) for performing intra-frame coding at a fixed period are overlapped.
  • inter-screen coding By inter-screen coding.
  • the frame that has been subjected to intra-coding is a unit of playback (stop) for fast-forward and rewind during playback, avoid unnecessary intra-coding of adjacent frames as shown in Fig. 6 (C). Is effective because it leads to the effective use of the code amount and, consequently, to the allocation of the code amount to the necessary frames.
  • the number of frames to be delayed (Ibl / in FIG. 6 (C)) is not limited to one frame. A predetermined number of two or more frames may be delayed.
  • the moving picture coding apparatus 101 uses the encoder 3 in the coding control unit 4 based on the CM boundary information output from the CM boundary detecting unit 1. Is controlled.
  • the CM boundary detection unit 1 controls to perform intra-frame encoding for a CM boundary position frame in addition to performing intra-frame encoding at regular intervals for fast-forwarding and rewinding during reproduction. I do.
  • the intra-frame coding is shifted. In this way, by performing in-screen encoding different from the fixed period on the CM boundary, the code CM boundary information can be embedded in the coded data, and playback can be performed in consideration of the CM period during playback.
  • CM boundary information it is also possible to cut out the CM period. Specifically, at the time of reproduction, it is possible to search for the CM boundary position frame from the encoded data, and since the CM boundary information can be embedded in the encoded data, There is no need to record CM boundary information in a storage means (for example, a built-in memory or a built-in hard disk) built in the encoding device 101.
  • a storage means for example, a built-in memory or a built-in hard disk
  • the recording medium (optical disk, magnetic disk, portable hard disk device, memory device, etc.) on which the encoded data is recorded by the moving image encoding device 101 according to Embodiment 1 is attached to the moving image encoding device. Even when playback is performed by a device different from the dangling device 101, playback can be performed in consideration of the CM boundary. Further, when the recording medium on which the encoded data is recorded by the moving picture encoding apparatus 101 according to Embodiment 1 is reproduced by a moving picture reproducing apparatus without considering the CM boundary information, a normal operation is performed. Reproduction is possible.
  • the intra-frame encoding process is performed on a frame subsequent to the next frame. Therefore, it is possible to distinguish the intra-screen coding frame inserted due to the CM boundary from the intra-screen coding frame at regular intervals.
  • the intra-frame encoding process is performed on frames subsequent to the next frame.
  • the intra-frame coding frame inserted due to the CM boundary is distinguished from the intra-frame coding frame at regular intervals. In addition to this, it is possible to avoid adjacent intra-coded frames, so that it is possible to suppress a decrease in the efficiency of fast forward and rewind during reproduction.
  • FIG. 7 is a block diagram schematically showing a configuration of a moving image recording apparatus 102 according to Embodiment 2 of the present invention.
  • a moving image recording apparatus 102 according to the second embodiment includes a CM boundary detection unit 1, a memory 2, which is a configuration of the moving image coding apparatus 101 according to the first embodiment.
  • a recording unit 80 In addition to the encoder 3 and the encoding control unit 4, it has a recording unit 80, a confirmation operation unit 81, a decoding unit 82, and a decoding memory 83.
  • the recording unit 80 records and stores the encoded data (bit stream) output from the encoder 3.
  • the confirmation operation unit 81 has an operation unit used when the user operates the moving image recording device 102 and a display unit for providing information on the moving image recording device 102 to the user. Note that this display unit is not limited to the display monitor unit provided in the moving image recording device 102 itself, and may be a monitor device for displaying images which is a separate device from the moving image recording device 102. Control signals are mutually transmitted and received between the encoding control unit 4 and the confirmation operation unit 81.
  • the decoding unit 82 decodes the encoded data read from the recording unit 80.
  • the decoding memory 83 stores the decoded image data decoded by the decoding unit 82.
  • the decoded image data output from the decoding memory 83 is sent to the confirmation operation unit 81 and the encoder 3.
  • the encoding controller 4 outputs a CM boundary position frame (a frame number at which the in-screen encoding is performed at a non-constant cycle) to the confirmation operation unit 81.
  • the confirmation operation unit 81 displays the CM boundary position frame output from the encoding control unit 4 on the display unit. In this way, since the images before and after the CM boundary can be confirmed, it is possible to confirm by looking at the images whether the CM boundary power is really between the television program period and the CM period. In addition, since a picture on which intra-screen encoding has been performed is decoded, a decoded image can be obtained at high speed without having to perform extra decoding processing.
  • the confirmation operation unit 81 displays a television program period (white portion) t and a CM period on the display unit, for example, as shown in FIG. (Shaded area) t
  • CM border position frame (cross-hatched part ⁇ i> to ⁇ v> in Fig. 8 (C)) is repeated at regular intervals (15 seconds, 30 seconds, etc., which are assumed as CM parts).
  • the time between CM border position frames ⁇ i> and ⁇ v> Is displayed as the CM period.
  • the confirmation operation unit 81 the user can confirm that the CM period detected by the CM boundary detection unit 1 is appropriate.
  • Fig. 8 (B) is a representation of Fig. 8 (A) in another format, and shows the beginning of the CM period and the CM boundary position frame at the beginning of the television program period (Fig. 8 (B)). (Cross-hatched area).
  • FIG. 8 (C) is an enlarged view of a period Pa in FIGS. 8 (A) and 8 (B).
  • the period determined as the CM period there are an intra-frame encoded frame having a fixed period and an intra-coded frame based on the CM boundary position frame determined as the CM boundary.
  • FIG. 8 (C) within one CM period, there are four CM parts indicated by CM1, CM2, CM3, and CM4, and the first frame of each CM part CM1, CM2, CM3, and CM4 (see FIG. In ()), the cross-hatched portions ⁇ i> to iv>) are determined to be CM boundary position frames F.
  • CM CM boundary position frames
  • the first frame of the television program immediately after the period is also the CM boundary position frame.
  • the confirmation operation unit 81 performs a search by the user from the encoded data stored in the recording unit 80 for the CM boundary position frame and the frames before and after the CM boundary position frame.
  • the encoded data of the intra-frame encoded frame read from the recording unit 80 is input to the decoding unit 82, where decoding processing is performed.
  • the decoded image output from the decoding unit 82 is stored in the decoding memory 83.
  • the decoded image read from the decoding memory 83 by the operation from the confirmation operation unit 81 is input to the confirmation operation unit 81, and the user confirms the images before and after the CM to confirm whether or not the CM period is indeed a CM period. It can be performed.
  • FIGS. 9 (A), (B) specific examples of the case where there is an erroneous determination in determining the CM boundary are shown in FIGS. 9 (A), (B),
  • FIGS. 9 (A), (B), and (C) show the case where it is not determined that the period is the CM period while the period is actually the CM period.
  • a message is displayed on the confirmation operation unit 81 as shown in FIG. If the television broadcast is a drama, etc., the CM period will occur approximately once every 10 to 15 minutes, but as shown in period Pb in Fig. 9 (A). However, it can be known from the display contents of the confirmation operation unit 81 that the CM period is not displayed at the time that should be displayed as the CM period.
  • FIG. 9 (B) is a representation of FIG. 9 (A) in another format, and shows the beginning of a CM period and a CM boundary position frame F at the beginning of a television program period.
  • Period Pb smell is a representation of FIG. 9 (A) in another format, and shows the beginning of a CM period and a CM boundary position frame F at the beginning of a television program period.
  • FIG. 9C is an enlarged view of the period Pb in FIGS. 9A and 9B.
  • the period Pb there are an intra-coded frame having a fixed period and an intra-coded frame based on the CM boundary position frame F c determined as a CM boundary.
  • CM1, CM2, C CM1, CM2, C
  • CM part CM2 and the next CM part CM3 are not determined to be a CM boundary position frame. It is considered one large CM part, and consequently three CM parts.
  • the CM period is not determined unless the CM partial force is continuous, the period Pb is not determined to be the CM period.
  • the entire period including the period of the CM portion CM2 and the period of the CM portion CM3 is set to a reasonable period (for example, 15 seconds or 30 seconds, etc.) as one CM portion. Period), the TV program period was judged to be not a CM period t
  • the period Pb is not determined to be the CM period.
  • the user can determine the validity of the CM period through the confirmation operation unit 81. Then, if it is determined that there is no CM period at the expected time, a decoded image of a frame that has been subjected to intra-coding around the CM boundary by the decoding unit 82 is created by the operation of the confirmation operation unit 81. Then, by displaying the decoded image on the confirmation operation unit 81 via the decoding memory 83, the CM period can be confirmed. In addition, as described later, after confirmation, the encoder 3 changes the encoding method and performs the encoding process again, so that the CM period can be corrected. Thus, even if there is a misjudgment with the CM boundary, After the confirmation, the data can be corrected, and the data will not be accidentally erased at the time of encoding.
  • FIGS. 10 (A), (B) and (C) show that the CM period ( Or a CM boundary).
  • the period Pc in FIG. 10 (A) corresponds to this.
  • the period Pc in FIG. 10 (B) as a result of the erroneous determination, it is regarded as the CM boundary.
  • FIG. 10 (C) is an enlarged view of the period Pc in FIGS. 10 (A) and (B). There are a frame that has been subjected to intra-frame coding in a fixed cycle and a frame that has been intra-coded by a frame determined as a CM boundary as a result of erroneous determination.
  • the user can determine the validity of the CM period (or CM boundary) from, for example, FIG. 10A or FIG. 10B through the confirmation operation unit 81.
  • the decoding unit 82 creates a decoded image of an intra-frame encoded frame before and after the CM boundary by an operation from the confirmation operation unit 81, and displays the decoded image on the confirmation operation unit 81 via the decoding memory 83. By doing so, it is possible to confirm whether or not it is really a CM boundary. Also in this case, as will be described later, it is possible to correct the CM boundary by changing the encoding method in the encoder 3 and performing the encoding process again.
  • the encoding control unit 4 also creates an intra-screen encoding frame position force that is not a fixed cycle.
  • the reason why the intra-screen coding is not performed at a fixed cycle is that the CM boundary detection unit 1 switches from the television program period t to the CM period, and switches from the CM portion in the CM period to the next CM portion.
  • CM border position frame immediately after the discontinuity of video and audio determined as the CM border, such as switching to the CM period from the CM period to the TV program.
  • the decoded image can be confirmed and it can be confirmed whether it is really the CM period.
  • the confirmation operation unit 81 by operating the confirmation operation unit 81, the in-screen encoding frame (for example, the frame of FIG. 9C) in the period Pb shown in FIGS. 9A, 9B, and 9C Fl, F2, F3, ⁇ are selected in order, and the encoded data corresponding to the selected frame is searched by the recording unit 80.
  • the encoded data of the corresponding frame read from the recording unit 80 is It is input to the decoding unit 82 and It is.
  • the decoded image data obtained by the decoding unit 82 is stored in the decoding memory 83.
  • the user reads the decoded image data from the decoding memory 83 using the check operation unit 81 and checks the content of the image. As a result of the confirmation, it is found that the frames F1 and F2 exist in the CM part CM4, and the frame F3 exists in the television program period t.
  • the CM boundary position frame is set between the CM period and the television program period t.
  • the confirmation operation unit 81 is used to search the recording unit 80 for encoded data corresponding to the frame F2.
  • the encoded data of the frame F2 found by the search is read out from the recording unit 80 and input to the decoder 82.
  • the decoder 82 outputs a decoded image obtained by performing the decoding process to the decoding memory 83.
  • the confirmation operation unit 81 reads out the decoded image from the decoding memory 83 and displays it.
  • the encoded data following the encoded data corresponding to the frame F2 is read from the recording unit 80 and input to the decoder 82.
  • the decoder 82 outputs a decoded image obtained by performing the decoding process to the decoding memory 83.
  • the decoded image obtained here is an image corresponding to the frame next to the frame F2.
  • the decoded image is input to the confirmation operation unit 81 and displayed.
  • the above decoding operation is repeated, and the decoding process is performed up to frame F2, ⁇ , frame F4, ⁇ , frame F5.
  • the decoded image corresponding to the frame F4 stored in the decoding memory 83 is recognized by the user through the confirmation operation unit 81 as the first frame of the television program period t.
  • the encoder 3 receives the in-screen encoding from the encoding controller 4 and instructs the encoding to be performed on the decoded image corresponding to the frame F4 input from the decoding memory 83. To encode. The encoded data is output to the recording unit 80.
  • Decoded images corresponding to the frame F4 and subsequent frames are also read from the decoding memory 83 following the frame F4, and under the control of the encoding control unit 4.
  • the encoding is performed by the encoder 3 (inter-screen encoding) and output to the recording unit 80.
  • the new encoded data corresponding to the frames F4 to F5 input to the recording unit 80 replaces the encoded data corresponding to the frames F4 to F5 originally stored in the recording unit 80.
  • the confirmation operation unit 81 receives the new CM boundary position frame from the encoding control unit 4 and displays it. Since the misjudgment has been resolved, the CM boundary information shown in FIGS. 9 (A), (B) and (C) is similar to the CM boundary information shown in FIGS. 8 (A), (B) and (C). Become
  • the encoding control unit 4 also creates an intra-screen encoding frame position force that is not a fixed cycle.
  • the reason why the in-screen encoding is not performed at a fixed cycle is that the CM boundary detection unit 1 switches to the TV program period t the CM period, and the CM partial power in the CM period.
  • CM boundary position frame This is the frame (CM boundary position frame) immediately after the discontinuous plane of the video and audio determined to be the world.
  • the user performs the following operation to check the decoded image.
  • the confirmation operation unit 81 selects an intra-frame coded frame (for example, frames F11, F12, F13,...) Within the period Pc in FIGS.
  • the encoded data corresponding to the selected frame is searched from the recording unit 80.
  • the encoded data of the corresponding frame read from the recording unit 80 is input to the decoding unit 82, where decoding processing is performed.
  • the decoded image data obtained by the decoding unit 82 is stored in the decoding memory 83.
  • the user By operating the confirmation operation unit 81, the user reads the decoded image data from the decoding memory 83, displays the decoded image data on the confirmation operation unit 81, and confirms the content of the image.
  • the frames Fl l, ⁇ , and F14 are all forces that can be recognized as being frames within the television string and period t.
  • the inner coded frame (frame F13 in Figs. 10 (B) and (C)) should not exist. The force exists due to a false determination.
  • control is performed so that the frame F13 is coded by inter-screen coding.
  • the recording unit 80 is searched for encoded data corresponding to the frame F12.
  • the encoded data of the frame F12 found by the search is read out from the recording unit 80 and input to the decoder 82.
  • the decoder 82 outputs a decoded image obtained by performing the decoding process to the decoding memory 83.
  • the confirmation operation unit 81 reads out the decoded image from the decoding memory 83 and displays it.
  • the encoded data following the encoded data corresponding to the frame F12 is read from the recording unit 80 and input to the decoder 82.
  • the decoder 82 outputs a decoded image obtained by performing the decoding process to the decoding memory 83.
  • the decoded image obtained here is an image corresponding to the frame following frame F12.
  • the decoded image is input to the confirmation operation unit 81 and displayed.
  • the decoding process is performed up to frame F12, ⁇ , and frame F14.
  • the decoded image corresponding to the frame F13 stored in the decoding memory 83 is recognized through the confirmation operation unit 81 to be a frame of the television program period t. Then confirm
  • a process of changing from intra-screen coding to inter-screen coding is selected.
  • the change processing instruction from the intra-screen encoding to the inter-screen encoding is input from the confirmation operation unit 81 to the encoding control unit 4.
  • a decoded image corresponding to the frame F12 on which the previous intra-frame encoding has been performed is input to the encoder 3 from the decoding memory.
  • the encoder 3 is instructed by the encoding control unit 4 to perform encoding by intra-frame encoding, and encodes a decoded image corresponding to the frame F12 input from the decoding memory 83 by intra-frame encoding.
  • the encoded data is output to the recording unit 80.
  • Decoded images corresponding to frame F12 and subsequent frames are also read from the decoding memory 83 following frame F12, and coded by the encoder 3 under the control of the coding control unit 4 (inter-screen coding). ) Is performed and output to the recording unit 80.
  • the new encoded data corresponding to the frames F12 to F14 input to the recording unit 80 replaces the encoded data corresponding to the frame F14 from the frame F12 originally stored in the recording unit 80.
  • the encoded data is actually updated from frame F13 to frame F14.
  • the confirmation operation unit 81 receives the new CM boundary position frame from the encoding control unit 4 and displays it. Misjudgment solved Since it has been erased, the CM boundary information shown in FIGS. 10 (A), (B) and (C) becomes like the CM boundary information shown in FIGS. 8 (A), (B) and (C).
  • the recording unit 80 is searched for encoded data corresponding to the frame F13.
  • the encoded data of the frame F 13 found by the search is read out from the recording unit 80 and input to the decoder 82.
  • the decoder outputs the decoded image obtained by performing the decoding process to the decoding memory 83.
  • the confirmation operation unit 81 reads out the decoded image from the decoding memory 83 and displays it.
  • a decoded image corresponding to the frame F13 from the decoding memory is input to the encoder 3.
  • the encoder 3 controls the encoding control unit 4 to control the encoding of the frame F13 input from the decoding memory 83 by controlling the encoding method (inter-picture encoding as a picture type and intra-coding as a macroblock type).
  • the corresponding decoded image is inter-coded as a picture type and intra-coded as a macro block type.
  • the encoded data is output to the recording unit 80. In this case, since the continuity of the encoded data from the frame F13 to the frame F13 and subsequent frames is maintained, the decoding process and the encoding process of the frame F13 and subsequent frames are unnecessary. Therefore, the encoded data to be updated is only the encoded data corresponding to the frame F13.
  • the confirmation operation unit 81 receives the newly added CM boundary position frame from the encoding control unit 4 and displays it. Since the misjudgment has been resolved, the CM boundary information shown in Figs. 10 (A), (B) and (C) is similar to the CM boundary information shown in Figs. 8 (A), (B) and (C). become.
  • moving image recording apparatus 102 controls the encoding method in encoder 3 based on the CM boundary information output from CM boundary detection unit 1.
  • control is also performed to perform intra-frame encoding for CM boundary position frames.
  • the confirmation operation unit 81 can transmit the CM period to the user by displaying the CM boundary position frame, and the user can determine whether the CM period displayed through the confirmation operation unit 81 is appropriate. You can judge.
  • CM processing is performed by performing decoding processing and coding processing at least (about one cycle of intra-frame coding performed in a fixed cycle during normal operation).
  • Boundary information Can be embedded in the encoded data.
  • FIG. 11 is a block diagram schematically showing a configuration of a moving image recording apparatus 103 according to Embodiment 3 of the present invention. 11, the same reference numerals are given to the same or corresponding components as those in FIG. 1 (Embodiment 1).
  • a moving image recording device 103 according to the third embodiment includes a CM boundary detecting unit 1, a memory 2, and a code, which are components of the moving image encoding device 101 according to the first embodiment. It has a recording unit 80, a confirmation operation unit 81, and a data editing unit 84 in addition to the encoding unit 3 and the encoding control unit 4.
  • the recording unit 80 records and stores the encoded data (bit stream) output from the encoder 3.
  • the confirmation operation unit 81 includes an operation unit used when the user operates the moving image recording device 103 and a display unit that provides information on the moving image recording device 103 to the user. Note that this display unit is not limited to the display monitor unit provided in the moving image recording device 102 itself, and may be a monitor device for displaying images which is a separate device from the moving image recording device 102. Control signals are mutually transmitted and received between the encoding control unit 4 and the confirmation operation unit 81.
  • the data editing unit 84 edits the encoded data stored in the recording unit 80 by operating the confirmation operation unit 81. The edited encoded data is recorded in the recording unit 80.
  • the encoding control unit 4 outputs a CM boundary position frame (not a fixed period! Encoded frame number within the screen) to the confirmation operation unit 81.
  • the confirmation operation unit 81 displays the CM boundary position frame output from the encoding control unit 4 on the display unit.
  • the confirmation operation unit 81 displays a television program period (white portion) and a CM period (white portion) on the display unit, for example, as shown in FIG. (Shaded area) is displayed. From the continuity of the CM, the frame of the CM boundary position (the cross-hatched part in Figure 8 (C) If> to ⁇ v>) is repeated multiple times at regular intervals (15 seconds, 30 seconds, etc., assumed as CM), that period is displayed as the CM period. Through the confirmation operation unit 81, the user can confirm that the CM period detected by the CM boundary detection unit 1 is appropriate.
  • Fig. 8 (B) is a representation of Fig. 8 (A) in another format, and shows the beginning of the CM period and the CM boundary position frame at the beginning of the TV program (the cross-section in Fig. 8 (B) (Hatched area).
  • FIG. 8 (C) is an enlarged view of the period Pa in FIGS. 8 (A) and 8 (B).
  • the period determined as the CM period there are an intra-frame encoded frame having a fixed period and an intra-coded frame based on the CM boundary position frame determined as the CM boundary.
  • FIG. 8 (C) within one CM period, there are four CM parts indicated by CM1, CM2, CM3, and CM4, and the first frame of each CM part CM1, CM2, CM3, and CM4 (see FIG. In), the cross-hatched portions ⁇ i> to iv>) are determined to be CM boundary position frames.
  • the first frame of the TV program immediately after the CM period is also the CM boundary position frame.
  • the user can edit the television program period. Specifically, as shown in FIG. 12 (A), from the actual encoded data, the encoded data corresponding to the period t other than the television program (shaded area)
  • the confirmation operation unit 81 determines the CM period from the intra-frame encoded frame that is not a fixed period, and displays the CM period as shown in FIG. After confirming the CM period with the confirmation operation unit 81, if the user wants to edit the TV program period, the user uses the confirmation operation unit 81 to output a TV program period combination request to the data editing unit 84.
  • the data editing unit 84 reads the encoding data as a recording unit from the recording unit 80, and records only the TV program period in the recording unit 80.
  • the confirmation operation unit 81 displays the TV program periods in a connected (connected) manner as shown in FIG. 12 (B). In this case, the TV program period It is possible to create encoded data of a combined moving image, and there is no need to re-encode, so that image quality does not deteriorate.
  • the user can perform a CM mask (concealment) after confirming the validity of the CM period with the confirmation operation unit 81.
  • the image encoded data stored in the recording unit 80 is separately multiplexed together with the audio encoded data stored in the recording unit 80 from a control unit (not shown). For example, save it as a system file (file format) such as MP4 format.
  • a system file such as MP4 format.
  • prepare a new FLAG (flag) indicating the CM period embed it in the system file, and check the FLAG at the time of playback
  • the playback and skip are controlled by FLAG.
  • the confirmation operation section 81 the user connects the TV program period t
  • the data editing unit 84 adds a flag so as to perform a skip operation on the encoded data of the picture corresponding to the CM period.
  • the flag information With the flag information, the CM period can be skipped and the recorded moving images will not be deleted, so there is no danger of erasing some important moving images by mistake.
  • the confirmation operation unit 81 determines a CM period from an intra-frame coded frame that is not a fixed period, and displays the CM period as shown in FIG. 13 (A). After confirming the CM period by the confirmation operation unit 81, the user outputs to the data editing unit 84 as a CM period concealment request that the CM period is skipped during reproduction. Upon receiving the CM period concealment request from the data editing unit 84, the data editing unit 84 reads the encoded data, which is a recording unit, from the recording unit 80, and reads the encoded data corresponding to the CM period.
  • the power they claim is not limited to this.
  • the moving picture recording apparatus 103 of the third embodiment after confirming the CM period displayed by the confirmation operation unit 81, the editing and linking of television program periods is performed. And playback.
  • the user can delete the TV program period. Specifically, as shown in FIG. 12 (C), the encoded data (parts with no diagonal lines! Corresponding to the television program period t is deleted from the actual encoded data.
  • the confirmation operation unit 81 determines a CM period from an intra-frame encoded frame that is not a fixed period, and displays the CM period as shown in FIG. After confirming the CM period with the confirmation operation unit 81, if the user actually wants to delete the TV program period, he or she can use the confirmation operation unit 81 to request the deletion of the TV program period. Output to the data editor 84.
  • the data editing unit 84 receives a request to delete the TV program period from the confirmation operation unit 81, the data editing unit 84 reads the encoded data as a recording unit from the recording unit 80, and reads the encoded data corresponding to a period other than the CM period.
  • the dagger data is deleted and recorded in the recording unit 80. Since the head frame of each recorded CM period is encoded by intra-frame encoding, it is possible to combine encoded data without re-encoding.
  • the confirmation operation unit 81 displays the CM periods in a connected (combined) form as shown in FIG. 12 (D). In this case, it is possible to create encoded data of a moving image in which the CM periods are combined, and there is no need to re-code, so that image quality does not deteriorate.
  • the user can mask (conceal) the television program period.
  • the operation is the same as the operation described with reference to FIGS. 13A and 13B in the third embodiment.
  • the flag information indicates that the TV The program period can be skipped, and the recorded moving images cannot be deleted, so there is no danger of accidentally erasing some important CM images.
  • FIG. 14 is a block diagram schematically showing a configuration of a moving image reproducing apparatus 104 according to Embodiment 5 of the present invention.
  • a moving image reproducing apparatus 104 according to the fifth embodiment includes a recording unit 80 for storing encoded data (bit stream), and an encoded data read from the recording unit 80.
  • CM boundary discriminating section 85 for discriminating CM boundaries
  • decoding processing control section 86 for controlling decoding section 82 using the discrimination result output from CM boundary discriminating section 85, and control output from decoding processing control section 86
  • a decoding unit 82 for decoding the encoded data read from the recording unit 80 by a signal
  • a decoding memory 83 for storing the decoded image decoded by the decoding unit 82, and a use for operating the moving picture reproducing apparatus 104
  • a confirmation operation unit 81 that provides an operation system and a display system to the user!
  • the encoded data is stored in the recording unit 80 in advance by control means (not shown).
  • the CM boundary determination unit 85 reads the encoded data from the recording unit 80 and determines the CM boundary.
  • the determination result of the CM boundary determination unit 85 is input to the decryption processing control unit 86.
  • the decoding process control unit 86 controls the decoding unit 82 using the determination result input from the CM boundary determination unit 85.
  • the decoding unit 82 performs a decoding process on the encoded data read from the recording unit 80 in accordance with the control signal output from the decoding process control unit 86.
  • the decoded image data obtained by the decoding processing in the decoding unit 82 is stored in the decoding memory 83.
  • the decoded image data is read from the decoding memory 83, input to the confirmation operation unit 81, and displayed.
  • CM boundary determination of a CM boundary.
  • a moving image is coded by intra-screen coding every fixed period, and at the same time, a frame determined as a CM boundary is determined. Even the code inside the screen I do. Therefore, an intra-frame coded frame that is not at a fixed cycle can be determined to be a CM boundary.
  • the encoded data is, for example, as shown in FIGS. 8 (A), (B) and (C). If the playback frame is determined by the CM boundary determination unit 85 to be a CM boundary position frame during the video playback (the frame indicated by ⁇ i> in FIG.
  • the decoding process control unit 86 determines In response to the determination result from the boundary determination unit 85, after the completion of the decoding process for the CM boundary position frame, the decoding unit 82 controls to stop the decoding process.
  • the decoded image of the CM boundary position frame is stored in the decoding memory 83, read out, and displayed on the confirmation operation unit 81.
  • the user can recognize the switch to the CM from the TV program period, and can check the contents of the frame after switching.
  • the confirmation operation is performed so that the decoding is not performed and the decoding process is skipped until the next CM boundary position frame ⁇ ii>. Operate part 81.
  • the CM boundary determination unit 85 searches the encoded data stored in the recording unit 80, and determines the CM boundary position frame ii>.
  • the decoding processing control unit 86 reads the in-screen encoded data corresponding to the CM boundary position frame ⁇ ii> from the recording unit 80, and the decoding unit 82 outputs the encoded data. Is decoded and stored in the decoding memory 83. The decoded image stored in the decoding memory 83 is displayed on the confirmation operation unit 81.
  • the same processing is performed for the CM boundary position frames ii>, ⁇ iii>, ⁇ iv>, and ⁇ v> on which intra-coding has been performed, and the decoded image is output to the confirmation operation unit 81.
  • the user uses the confirmation operation unit 81 to check the power of the CM boundary during the TV program period (frame v> in Fig. 8 (C)), the power of the CM period (frame ⁇ ii> in Fig. 8 (C)). Iii>, ⁇ iv>). If it is a CM period, only the coded frames within the screen are played until the next CM boundary, and if it is a TV program period, normal playback is performed. As a result, the reproduction process can be performed with the TV program periods reliably connected.
  • the confirmation operation unit 81 when the confirmation operation unit 81 confirms the television program period, the confirmation operation unit 81 is operated so as to skip without performing the decoding process, and when it is determined that it is the CM period, the normal reproduction operation is performed. By doing so, it is also possible to connect and play back CM periods by the same operation.
  • moving image reproducing apparatus 104 detects an intra-screen encoded frame other than the intra-screen encoded frame having a fixed period, and regenerates it as a CM boundary. Can live. Further, according to the moving picture reproducing apparatus 104 according to Embodiment 5, it is possible to easily search for the CM boundary between the encoded data and the CM period or to reliably perform the skip reproduction.
  • a television broadcast program includes, in addition to television broadcast to which direct television power is also input, a television broadcast program. It also includes a television recorder and a television broadcast program which is output after being recorded on a hard disk recorder.
  • examples of utilization of the moving picture coding apparatus, moving picture recording apparatus, and moving picture reproducing apparatus of the present invention described above include a DVD (Digital Versatile Disk) recorder, a DVD player, and a HDD (Hard Disk). Drive) recording / reproducing device, hybrid recorder (multifunction device of DVD recording / reproducing device and HDD recording / reproducing device), etc.
  • a moving image encoding method performed by the moving image encoding device of the present invention a moving image recording method implemented by the moving image recording device, and a moving image reproducing device.
  • the moving image reproducing method can be executed by an electronic information processing device such as a personal computer (PC) in accordance with an installed software program.
  • PC personal computer
  • installing a program there is a method of installation from an information recording medium such as a CD-ROM or DVD-ROM in which an installation program is recorded, or a method of installation by download using a communication line such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　テレビジョン放送信号の符号化データにＣＭ境界に関する情報を埋め込むことができる動画像符号化装置、この符号化データを記録する動画像記録装置、及び、埋め込まれたＣＭ境界情報に基づいた動画像再生を行うことができる動画像再生装置を提供する。動画像符号化装置１０１は、テレビ番組期間とＣＭ期間とを含むテレビジョン放送の放送信号を符号化して符号化データを出力する符号化器３と、一定周期毎のピクチャーについて画面内符号化を行わせ、一定周期毎の画面内符号化ピクチャーの間のピクチャーについて画面間符号化を行わせるように符号化器３を制御する符号化制御部４と、テレビ番組期間からＣＭ期間に切り替わる境界及びＣＭ期間からテレビ番組期間に切り替わる境界である番組・ＣＭ境界を検出して番組・ＣＭ境界情報を出力するＣＭ境界検出部１とを有し、番組・ＣＭ境界に位置する境界位置ピクチャーについて画面内符号化を行わせる。  

Description

明 細 書
動画像符号化装置、動画像記録装置、及び動画像再生装置
技術分野
[0001] 本発明は、テレビジョン放送信号の動画像符号ィ匕に関し、特に、 ITU-T (Interna tional Telecommunication Union— Telecommunication sector)勧告 H. 2り xや ISOZlEC (International Organization for Standardization/ Inter national Electrotechnical Commission)標準 MPEG (Moving Picture Ex perts Group)等に代表される動画像符号ィ匕方式によりテレビ番組期間とコマーシ ャル期間とを含むテレビジョン放送の放送信号を符号ィ匕する動画像符号ィ匕装置、こ の動画像符号ィ匕装置により符号化されたデータを記録する動画像記録装置、コマ一 シャルの境界ピクチャーに基づいた再生方式により符号ィ匕データを再生する動画像 再生装置、動画像符号化方法、電子情報処理装置に動画像符号化処理を実行させ るプログラム、及びこのプログラムを記録した記録媒体に関するものである。
背景技術
[0002] 一般に、テレビジョン放送、特に、無料放送の場合には、テレビ番組期間の前後又 は途中にコマーシャル期間がある。なお、本出願において、「テレビ番組期間」とは、 テレビジョン放送のうちのコマーシャル期間を含まな ヽ番組本編の放送期間を言!、、 「コマーシャル期間（CM期間）」とは、テレビジョン放送のうちのテレビ番組期間の前 後又は途中に放送される番組本編以外の放送期間を言う。
[0003] コマーシャル (以下において、 CMと略称する場合がある）は、広告主が視聴者に商 品情報を提供するために非常に有効な手段である。したがって、広告主や CMを作 成した広告代理店にとって、 CMが契約通りに確実に放送されて 、る力否かは重要 な問題である。これを容易に確認するため、テレビジョン放送をすベて録画し、その 中で CM放送のみを取り出す技術が求められて 、る。 CM放送のみを取り出すため には、 CM期間を確実に検出しなければならない。このような要望に応えるため、 CM 期間検出装置が提案されている (例えば、特許文献 1参照)。また、この CM期間検 出方法では、 CMの連続性（1つの CM期間に含まれる複数の CM (本出願において は、 1つの CM期間に含まれる複数の CMのそれぞれを、「CM部分」と言う。）が、例 えば、 15秒間ずつ繰り返し放送される性質)を評価することにより、 CM期間の誤検 出及び未検出を防止する対策が採用されている。さらに、検出した CM期間の情報 をデータベース等の記憶装置に記憶させ、その記憶情報に基づき、 CM放送を確認 する手法が開示されている。
[0004] 特許文献 1 :特開 2003— 47031号公報 (第 5頁、第 11頁、図 1、図 16)
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、上記した従来の CM期間検出装置においては、検出した情報を記憶 させる記憶装置等が必要であり、装置構成が複雑になるとともに装置価格が高くなつ てしまうという課題があった。さらに、もとの動画像情報を交換可能な記憶媒体に記録 し、他の再生装置でこの記憶媒体に記憶された情報を再生する場合、検出した CM 期間の情報がこの記憶媒体に記録されて 、な 、ため、他の再生装置では CMだけを 抽出して見るといった動作ができな力つた。上記の従来の CM期間検出装置は、広 告主等の業者が自らのみ使うことを目的としたプロ用途の専用装置であった。
[0006] 近年、 CMは視聴者に商品情報を提供するためだけではなぐ企業イメージの向上 のためにも重要となっている。このため、 CMは年々洗練され、多くの創意工夫がなさ れた映像作品と呼ぶにふさわしい内容を持つものも少なくない。このような CMの質 の向上により、若年者には番組本編よりも CMを好んで視聴する者も現れている。一 方で、テレビ番組期間だけを視聴したいという視聴者も存在し、どちらの視聴者の要 求も満足させる廉価な装置が望まれて 、る。
[0007] そこで、本発明は、上記したような従来技術の課題を解決するためになされたもの であり、その目的は、動画像を符号化した情報を記録するための動画像記録装置以 外の記憶手段 (例えば、内蔵大容量半導体メモリや内蔵のハードディスク）を必要と せず、テレビジョン放送を符号化する際に符号化データにコマーシャルの境界に関 する情報を埋め込むことができる動画像符号ィ匕装置、コマーシャルの境界に関する 情報が埋め込まれた符号ィ匕データを記録することができる動画像記録装置、及びコ マーシャルの境界に関する情報に基づいた再生方式で動画像再生を行うことができ る動画像再生装置を提供することにある。
課題を解決するための手段
[0008] 本発明の動画像符号化装置は、テレビ番組期間とこのテレビ番組期間以外のコマ 一シャル期間とを含むテレビジョン放送の放送信号を符号化し、前記放送信号の符 号化データを出力する符号化手段と、前記符号化手段に、一定周期毎のピクチャー につ 、て画面内符号ィ匕を行わせ、前記画面内符号ィ匕される一定周期毎のピクチャ 一の間のピクチャーについて画面間符号ィ匕を行わせるように、前記符号化手段を制 御する符号化制御手段と、前記テレビ番組期間から前記コマーシャル期間に切り替 わる境界及び前記コマーシャル期間から前記テレビ番組期間に切り替わる境界であ る番組'コマーシャル境界を検出して番組'コマーシャル境界情報を出力するコマ一 シャル境界検出手段とを有し、前記符号化制御手段が、前記番組'コマーシャル境 界情報に基づ ヽて、前記番組 ·コマーシャル境界に位置する境界位置ピクチャーに ついて画面内符号ィ匕を行わせるように、前記符号ィ匕手段を制御することを特徴として いる。
[0009] また、本発明の動画像記録装置は、上記動画像符号化装置と、前記符号化手段か ら出力された前記符号ィヒデータを記録する記録手段とを有することを特徴としている
[0010] また、本発明の動画像再生装置は、テレビ番組期間とこのテレビ番組期間以外のコ マーシャル期間とを含むテレビジョン放送の放送信号を画面内符号ィ匕及び画面間符 号ィ匕によって符号ィ匕して生成された符号ィ匕データであって、一定周期毎のピクチャ 一について画面内符号ィヒが行われる符号ィヒデータを復号する復号手段と、一定周 期毎の画面内符号ィ匕ピクチャー以外の画面内符号ィ匕ピクチャーを、前記テレビ番組 期間から前記コマーシャル期間に切り替わる境界及び前記コマーシャル期間から前 記テレビ番組期間に切り替わる境界である番組'コマーシャル境界、並びに、前記コ マーシャル期間内において放送される複数のコマーシャル部分の間のコマーシャル 'コマーシャル境界と認識するコマーシャル境界判別手段と、前記コマーシャル境界 判別手段により判別された前記番組'コマーシャル境界及び前記コマーシャル 'コマ 一シャル境界に基づ 、て、前記復号手段による復号処理を制御する復号処理制御 手段とを有することを特徴として 、る。
発明の効果
[0011] 本発明の動画像符号化装置によれば、テレビジョン放送を符号化する際に符号ィ匕 データにコマーシャルの境界に関する情報を埋め込むので、符号ィ匕データ力 コマ 一シャル期間を検出することが可能になるという効果が得られる。
[0012] また、本発明の動画像記録装置によれば、コマーシャルの境界に関する情報が埋 め込まれた符号ィ匕データを記録するので、記録された符号ィ匕データ力 コマーシャ ル期間を検出することが可能になるという効果が得られる。
[0013] さらに、本発明の動画像再生装置によれば、一定周期毎の画面内符号化ピクチャ 一以外の画面内符号ィ匕ピクチャーにより、符号ィ匕データ力 番組'コマーシャル境界 及びコマーシャル ·コマーシャル境界を検出することができるので、これらの検出情報 に基づく再生方式 (例えば、 CM選択抽出、本番組選択抽出や CM早送りを含む)で 動画像再生を行うことができるという効果が得られる。
図面の簡単な説明
[0014] [図 1]本発明の実施の形態 1に係る動画像符号ィ匕装置の構成を概略的に示すブロッ ク図である。
[図 2]本発明の実施の形態 1、実施の形態 2、実施の形態 3、及び実施の形態 4にお ける CM境界検出部の構成を概略的に示すブロック図である。
[図 3]本発明の実施の形態 1、実施の形態 2、実施の形態 3、及び実施の形態 4にお ける符号化器の構成を概略的に示すブロック図である。
[図 4] (A) , (B1)〜(B3) , (C)は、本発明の実施の形態 1に係る動画像符号ィ匕装置 における符号化器による CM境界がある場合の符号ィ匕方式を示す説明図である。
[図 5] (A) , (B1)〜(B3) , (C)は、本発明の実施の形態 1に係る動画像符号ィ匕装置 における符号化器による CM境界がある場合の符号ィ匕方式を示す説明図である。
[図 6] (A) , (B1)〜(B3) , (C)は、本発明の実施の形態 1に係る動画像符号ィ匕装置 における符号化器による CM境界がある場合の符号ィ匕方式を示す説明図である。
[図 7]本発明の実施の形態 2に係る動画像記録装置の構成を概略的に示すブロック 図である。 [図 8] (A)は、本発明の実施の形態 2、実施の形態 3、実施の形態 4、及び実施の形 態 5に係る動画像記録装置における確認操作部の CM期間の表示例を示す図であ り、（B)は、画面内符号ィ匕フレームの位置を示す説明図であり、（C)は、同図（B)の 期間 Paの拡大図である。
[図 9] (A)は、本発明の実施の形態 2、実施の形態 3、実施の形態 4、及び実施の形 態 5に係る動画像記録装置における確認操作部の CM期間の表示例 (誤判定がある 場合)を示す図であり、（B)は、画面内符号ィ匕フレームの位置を示す説明図であり、 ( C)は、同図（B)の期間 Pbの拡大図である。
[図 10] (A)は、本発明の実施の形態 2、実施の形態 3、実施の形態 4、及び実施の形 態 5に係る動画像記録装置における確認操作部の CM期間の表示例 (誤判定がある 場合)を示す図であり、（B)は、画面内符号ィ匕フレームの位置を示す説明図であり、 ( C)は、同図（B)の期間 Pcの拡大図である。
[図 11]本発明の実施の形態 3、及び実施の形態 4に係る動画像記録装置の構成を 概略的に示すブロック図である。
[図 12] (A)は、本発明の実施の形態 3に係る動画像記録装置における確認操作部 の CM期間の表示例（データ編集部による編集前）を示す図であり、（B)は、 CM期 間の表示例（データ編集部による編集後）を示す図であり、 (C)は、本発明の実施の 形態 4に係る動画像記録装置における確認操作部の CM期間の表示例（データ編 集部による編集前）を示す図であり、 (D)は、 CM期間の表示例（データ編集部によ る編集後）を示す図である。
[図 13] (A)は、本発明の実施の形態 3、及び実施の形態 4に係る動画像記録装置に おける確認操作部の CM期間の表示例（データ編集部による編集前）を示す図であ り、（B)は、 CM期間の表示例（データ編集部による編集後）を示す図である。
[図 14]本発明の実施の形態 5に係る動画像再生装置の構成を概略的に示すブロック 図である。
符号の説明
1 CM境界検出部、 2 メモリ、 3 符号化器、 4 符号化制御部、 11 シーン チェンジ検出部、 12 無音期間検出部、 13 CM期間判定部、 32 減算器、 3 3 DCT回路、 34 量子化回路、 35 DCZAC予測器、 36 可変長符号化回 路、 37 逆量子化回路、 38 逆 DCT回路、 39 加算器、 40 復号画像メモリ 、 41 予測画像作成回路、 42 動き検出回路、 43 動きベクトル予測回路、 8 0 記録部、 81 確認操作部、 82 復号部、 83 復号メモリ、 84 データ編集 部、 85 CM境界判別部、 86 復号処理制御部、 101 動画像符号化装置、 102, 103 動画像記録装置、 104 動画像再生装置、 la —定周期毎の画面内 符号化フレーム（ピクチャー）、 lb, Ibl, Ib2 CM境界に位置する画面内符号ィ匕フ レーム（ピクチャー）、 Ibl' 一定周期毎の画面内符号ィ匕フレーム（ピクチャー）に重 なり、所定フレーム (ピクチャー)数ずらして画面内符号ィ匕された CM境界に対する画 面内符号化フレーム (ピクチャー）、 Ic CM境界に対する画面内符号ィ匕フレーム（ ピクチャー）が一定周期毎の画面内符号ィ匕フレーム（ピクチャー）に重なった結果、画 面内符号ィ匕ではなく画面間符号化された一定周期位置の画面間符号ィ匕フレーム (ピ クチャ一）、 CM1〜CM4 CM期間内に連続的に存在する CM部分。
発明を実施するための最良の形態
[0016] 以下に、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。なお、 以下の説明においては、動画像符号ィ匕方式として、主に、 MPEG— 4を採用した場 合を説明する。
[0017] 実施の形態 1.
一般に、 MPEG— 4に代表される動画像符号ィ匕方式は、入力される映像信号に対 して空間的 ·時間的相関関係を利用してデータの圧縮を行う。そして、この空間的- 時間的圧縮により得られるデータをもとに、所定の順序に従ってさらに可変長符号ィ匕 を行い、ビットストリームを生成する。
[0018] MPEG— 4では、表示される画像全体 (合成画像）は、複数の画像系列の画像 (物 体）により構成されることから、各画像系列の、各表示時刻における画面をビデオ'ォ ブジェクト ·プレーン（Video Object Plane) (以下「VOP」と記す。 )と呼ぶ。また、 表示画像の全体が 1つの画像系列の画像により構成される場合には、 VOPは、 MP EG- 1, 2におけるフレーム（MPEG— 2ではピクチャー）に相当する。以下の説明 においては、説明を簡単にするために、表示画像の全体が 1つの画像系列の画像に より構成されるものとして説明する。この場合、 VOPは「フレーム」と等価である。
[0019] フレームは、輝度信号と色差信号をもち、複数のマクロブロックカゝら構成される。マク ロブロックは、輝度信号に対して縦横それぞれ 16画素から成り、 MPEG— 4における 画像符号ィ匕では、このマクロブロック単位で空間的 ·時間的圧縮等の手法により情報 量の圧縮が行われる。
[0020] 空間的圧縮は、直交変換の一種である離散コサイン変換 (Discrete Cosine Tr ansform) (以下「DCT」と記す。）により時間領域力も周波数領域に変換した後の信 号を量子化することにより行われる。また、時間的圧縮には、動き補償が用いられる。
[0021] また、フレーム単位のデータ圧縮方法には、同一画面内の空間的圧縮のみで符号 化される空間的画面内符号化（以下「フレーム内符号化」又は「ピクチャー内符号化」 とも記す。）と、画面間の相関力 時間的圧縮を用いて符号化される画面間符号化（ 以下「フレーム間符号化」又は「ピクチャー間符号化」とも記す。）とがある。
[0022] 動画像符号化装置では、所定の符号化パラメータに従って、指定された符号量の ビットストリームを出力しなければならない。また、ビットストリームを受け取る復号ィ匕装 置側のバッファ (仮想バッファ検証器）（以下「VBVバッファ」と記す。）がオーバーフ ロー又はアンダーフローしな 、ように、動画像符号ィ匕装置側で VBVバッファの占有 量を想定して発生符号量を制御しなければならな!/、。動画像符号ィヒ装置における発 生符号量は、フレームを構成するマクロブロック毎に設定され、発生符号量の制御は 、 DCT係数を量子化するための量子化パラメータにより、フレーム単位で行われる。 一般に、量子化パラメータを大きくすると発生符号量は小さくなり、量子化パラメータ を小さくすると発生符号量は大きくなる。即ち、発生符号量と量子化パラメータとは反 比例の関係にある。この性質を用いて、発生符号量を調整することが可能である。
[0023] 図 1は、本発明の実施の形態 1に係る動画像符号ィ匕装置 101の構成を概略的に示 すブロック図である。図 1に示されるように、動画像符号ィ匕装置 101は、コマーシャル 境界検出部 (CM境界検出部） 1と、メモリ 2と、符号化器 3と、符号化制御部 4と、入力 端子 5及び 6と、出力端子 7とを備えている。入力端子 5には、テレビジョン放送の映 像信号 Sが入力され、入力端子 6には、テレビジョン放送の音声信号 Sが入力される
P
。 CM境界検出部 1は、入力端子 5及び 6のそれぞれを介して入力されるテレビジョン 放送の映像信号 sと音声信号 Sから、テレビ番組期間 (番組本編期間)からコマ
P 一 シャル期間に切り替わる境界及びコマーシャル期間からテレビ番組期間に切り替わ る境界 (本出願において「番組'コマーシャル境界 (番組 'CM境界）」と言う。）、並び に、コマーシャル期間内において放送される複数のコマーシャル部分の間の境界（ 本出願において「コマーシャル 'コマーシャル境界（CM 'CM境界）」と言う。 )を検出 して出力する。なお、本出願においては、番組 'CM境界と CM 'CM境界の両方を含 む用語 (総称）として、「コマーシャル境界 (CM境界）」を用いる。メモリ 2は、入力端子 5を介して入力されるテレビジョン放送の映像信号 Sを取り込み、一時的に記憶する
P
。符号化器 3は、 MPEG— 2、 MPEG— 4、又は、 ITU— T勧告 H. 263等の符号化 方式でメモリ 2から出力された映像信号 Sの符号化を行う。符号化器 3で作成された
P
符号ィ匕データ (ストリームデータ）は、出力端子 7から出力され、例えば、図示しない 記録部へ送られる。符号化制御部 4は、 CM境界検出部 1から出力される CM境界情 報カゝら符号ィ匕方式を決定し、符号化器 3を制御する。
図 2は、図 1に示される CM境界検出部 1の構成を概略的に示すブロック図である。 図 2に示されるように、 CM境界検出部 1は、シーンチェンジ検出部 11と、無音期間 検出部 12と、コマーシャル期間判定部 (CM期間判定部） 13と、入力端子 14, 15, 1 6と、出力端子 17とを備えている。入力端子 14には、テレビジョン放送の現フレーム 映像信号 S (0)が入力される。入力端子 15には、テレビジョン放送の現フレーム画
P
像の N (Nは正の整数)フレーム前映像信号 S (— N)が入力される。入力端子 16に
P
は、テレビジョン放送の音声信号 Sが入力される。シーンチェンジ検出部 11は、入力 a
端子 14を介して入力されたテレビジョン放送の映像信号の現フレーム画像と入力端 子 15を介して入力された Nフレーム前画像力 画面の切り替わり（以下「シーンチェ ンジ」と記す。）を検出する。無音期間検出部 12は、入力端子 16を介して入力された 音声信号 Sから無音期間 t を検出する。 CM期間判定部 13は、シーンチ ンジ検 a no
出部 11力 出力されるシーンチェンジ情報と、無音期間検出部 12から出力される無 音期間情報から、 CM境界、及び、 CM期間を判定し、 CM境界情報を出力する。出 力端子 17からは、符号ィ匕制御部 4に対して、 CM期間判定部 13から出力される CM 境界情報が出力される。 [0025] 図 3は、図 1に示される符号化器 3の構成を概略的に示すブロック図である。図 3に 示されるように、符号化器 3は、入力端子 31と、減算器 32と、 DCT回路 33と、量子化 回路 34と、 DCZAC予測器 35と、可変長符号化回路 36と、逆量子化回路 37と、逆 DCT回路 38と、加算器 39と、復号画像メモリ 40と、予測画像作成回路 41と、動き検 出回路 42と、動きベクトル予測回路 43と、出力端子 44とを備えている。入力端子 31 には、メモリ 2 (図 1 )カゝら読み出されたマクロブロック単位の映像信号が入力される。 減算器 32は、入力端子 31から入力される映像信号と予測画像作成回路 41から出 力される予測画像との差分を出力する。 DCT回路 33は、減算器 32の出力に DCT 変換を行うことにより DCT係数を出力する。量子化回路 34は、 DCT回路 33から出 力された DCT係数を量子化する。 DCZAC予測器 35は、現在のブロックに隣接す るブロックの DCZAC係数に基づいて、 DC係数及び AC係数の予測を行う。逆量子 化回路 37は、量子化回路 34から出力された量子化された DCT係数を逆量子化す る。逆 DCT回路 38は、逆量子化回路 37の出力を逆 DCT変換する。加算器 39は、 逆 DCT回路 38の出力と予測画像作成回路 41の出力を加算して復号画像を得る。 復号画像メモリ 40は、加算器 39で得られた復号画像を格納する。動き検出回路 42 は、復号画像メモリ 40から出力される復号画像及びメモリ 2 (図 1)力も入力端子 31を 介してマクロブロック単位で入力される映像信号に基づ 、て動きベクトルの検出を行 う。予測画像作成回路 41は、動き検出回路 42から出力される動きベクトルに基づい て、復号画像メモリ 40から入力される復号画像カゝら現在の映像信号に対応する予測 画像を作成し、減算器 32及び加算器 39に出力する。動きベクトル予測回路 43は、 動きベクトルの予測を行い、予測ベクトルを可変長符号化回路 36に出力する。可変 長符号化回路 36は、 DCZAC予測器 35から出力された予測係数と、動きベクトル 予測回路 43から出力された動きベクトルを、量子化パラメータ等の付加情報と共に 可変長符号ィ匕してビットストリームとして出力する。
[0026] 以下に、図 1から図 3までを用いて、実施の形態 1に係る動画像符号ィ匕装置 101の 動作を説明する。図 1に示されるように、テレビジョン放送の映像信号は動画像符号 化装置 101の入力端子 5を介して、メモリ 2と CM境界検出部 1に入力される。テレビ ジョン放送の映像信号の方式には、インターレース方式とノンインターレース方式が あり、また、モードとして、フィールドモードとフレームモードがある。本発明はいずれ の方式及びモードにも適用可能である力 以下の説明においては、ノンインターレー ス方式でフレームモードとして、映像信号がフレーム単位で入力されるものとして説 明する。メモリ 2に入力された映像信号は、フレーム単位で遅延されて CM境界検出 部 1に、また、マクロブロック単位に並び替えられて符号化器 3に出力される。また、映 像信号と同様に、テレビジョン放送の音声信号は CM境界検出部 1に入力される。
[0027] 図 2に示されるように、 CM境界検出部 1においては、入力端子 14力も入力された テレビジョン放送の現フレーム映像信号 (以下「現フレーム画像」とも記す。） S (0)と
P
、入力端子 15から入力された Nフレーム前映像信号 (以下「Nフレーム前画像」とも 記す。 ) S (― N)とが、シーンチェンジ検出部 11に入力される。シーンチェンジ検出
P
部 11は、例えば、現フレーム画像 S (0)と Nフレーム前画像 S (—N)の輝度信号を
P P
画素毎に差の絶対値和をとり、予め設定された設定値と比較を行う。計算された差の 絶対値和が前記設定値を上回った場合に、シーンチェンジが発生したと判定し、シ ーンチェンジが発生したフレームを示す情報をシーンチェンジ情報として CM期間判 定部 13に出力する。なお、シーンチェンジ検出部 11におけるシーンチェンジ検出方 法は、上記した方法に限定されるものではなぐ信号レベルの時間変化に基づく他の 判定方法を採用してもよい。
[0028] また、図 2に示されるように、テレビジョン放送の音声信号 Sは無音期間検出部 12 a
に入力される。無音期間検出部 12は、テレビジョン放送の無音期間 t を検出する。
no
一般に、テレビジョン放送の CMの前後（即ち、 CM期間の前後、及び、 CM期間内 に含まれる複数の CM部分の前後）には、数 10ms程度の無音期間 t が存在する。
no
このため、 CM境界を検出する際に、テレビジョン放送の無音期間 t を検出する。実 no
施の形態 1にお 、ては、シーンチェンジ検出部 11から出力されたシーンチェンジ情 報と、無音期間検出部 12から出力された無音期間情報に基づいて、 CM境界、及び 、 CM期間を判定する。例えば、テレビジョン放送では、一般に、 CM期間内に含まれ る CM部分は 15秒又は 30秒といった一定の長さであることが多く（したがって、 15秒 又は 30秒ごとにシーンチェンジ及び無音期間 t が現れる場合には CM部分と次の C no
M部分の境界である可能性が高い）、また、複数の CM部分が連続して放送される傾 向が高い（したがって、シーンチェンジ及び無音期間 t が繰り返される場合には CM no
部分と次の CM部分の境界である可能性が高い）という性質を使って、より CM判定 の信頼性を向上させてもよい。また、無音期間検出部 12の代わりに、音声信号のモ ノラル、ステレオ、又は、 2ケ国語等のモードの切り替わり、音の大小（一般に、 CMの 音量が大きいという性質を利用する）を使って CM境界を検出する、又は、 CM境界 の検出の信頼性を向上させるように構成してもよい。 CM期間判定部 13で判定した C M境界情報は、出力端子 17を介して、符号ィ匕制御部 4に出力される。
メモリ 2に入力された映像信号 Sは、マクロブロック単位で読み出され、符号化器 3
P
に入力される。符号化器 3に入力された映像信号は、入力端子 31を介して、減算器 32と動き検出回路 42に入力される。減算器 32は、入力端子 31から入力される映像 信号と予測画像生成回路 41から出力される予測画像との減算処理を行い、その差 分 (減算結果)を DCT回路 33に出力する。 DCT回路 33は、入力された減算回路 32 の差分を DCT変換し、その DCT係数を出力する。 DCT回路 33から出力された DC T係数は、量子化回路 34に入力され、量子化される。量子化回路 34で量子化され た DCT係数（「量子化 DCT係数」と記す。）は、 DCZAC予測器 35と逆量子化回路 37に入力される。 DCZAC予測器 35は、入力された量子化 DCT係数から、現在の ブロックに隣接するブロックの DCZAC係数に基づ!/、て、 DC係数及び AC係数の予 測を行い、可変長符号化回路 36に出力する。また、逆量子化回路 37は、量子化回 路 34から出力された量子化 DCT係数を逆量子化し、逆 DCT回路 38に出力する。 逆 DCT回路 38は、逆量子化回路 37の出力を逆 DCT変換し、加算器 39に出力する 。加算器 39は、逆 DCT回路 38の出力と予測画像作成回路 41から出力する予測画 像を加算し、復号画像を作成し、復号画像メモリ 40に出力する。復号画像メモリ 40に 格納された復号画像は、動き検出回路 42と予測画像作成回路 41に出力される。動 き検出回路 42は、復号画像メモリ 40より出力される復号画像と、メモリ 2から入力端 子 31を介して入力されるマクロブロック単位で入力される映像信号から、動きベクトル の検出を行い、予測画像作成回路 41と、動きベクトル予測回路 43に出力する。予測 画像作成回路 41は、動き検出回路 42から出力される動きベクトルに基づいて、復号 画像メモリ 40から読み出される復号画像から現在の映像信号に対応する予測画像 を作成する。動きベクトル予測回路 43は、動き検出回路 42から出力される動きべタト ルから、動きベクトルの予測を行い、その予測ベクトルを可変長符号化回路 36に出 力する。可変長符号化回路 36は、 DCZAC予測器 35から出力された予測係数と、 動きベクトル予測回路 43から出力された動きベクトルを、量子化パラメータ等の付カロ 情報と共に可変長符号ィ匕して、ビットストリームとして出力端子 7から出力する。
[0030] 符号化制御部 4は、 CM境界検出部 1で検出した CM境界情報に基づいて、符号 ィ匕器 3における符号化 (画面内符号化及び画面間符号化）を制御する。 MPEG— 4 の場合を例にして、画面内符号ィ匕及び画面間符号ィ匕について簡単に説明する。
[0031] 画面内符号化とは、イントラ (Intra)符号ィ匕とも呼ばれる符号ィ匕であり、入力された 画像をブロック単位に分割し、ブロック毎に DCT変換を施して量子化し、可変長符号 化する符号化である。このように符号ィ匕した VOP力 I—VOPである。本出願におい ては、「画面内符号ィ匕フレーム」とも記す。
[0032] これに対して、 I—VOP以降の VOPは、動き検出により符号ィ匕した VOPの中で、対 象マクロブロックに対して誤差が最も小さい予測マクロブロックを検出する。対象マク ロブロックと誤差の最も小さ 、予測マクロブロックへの動き量を示す信号を「動きべタト ル」と呼ぶ。画面間符号ィ匕は、インター (Inter)符号ィ匕とも呼ばれる符号ィ匕であり、予 測マクロブロックと符号ィ匕対象となるマクロブロックとの差分信号を求め、差分信号に 対して DCTを施して量子化し、量子化した DCT係数を動きベクトルや量子化幅と共 に可変長符号ィ匕する符号ィ匕である。本出願においては、画面間符号化を行ったフレ ームを「画面間符号ィ匕フレーム」とも記す。
[0033] なお、上述の画面内符号ィ匕及び画面間符号ィ匕は、 VOP (ピクチャー、フレーム）単 位だけではなぐマクロブロック単位毎にも制御可能である。以下の説明において区 別の必要がある場合には、 VOP (ピクチャー、フレーム）単位の符号ィ匕については「 ピクチャータイプ」、マクロブロック単位の符号化については「マクロブロックタイプ」と いう説明を付記する。
[0034] 次に、画面内符号ィ匕及び画面間符号ィ匕を行う符号化器 3の動作について説明する 。符号化器 3により画面内符号化を行う場合、予測画像の作成は行われないので、 D CT回路 33には、メモリ 2より出力された映像信号がマクロブロック単位で入力される 。 DCT回路 33は映像信号の各マクロブロックに対して DCT変換を行って得られる映 像信号の DCT係数を出力する。 DCT回路 33によって出力される映像信号の DCT 係数は、量子化回路 34により量子化された後、 DCZAC予測器 35により DCZAC 予測され、可変長符号化回路 36により量子化パラメータ等の付加情報と共に可変長 符号ィ匕されビットストリームとして出力される。
[0035] 一方、符号化器 3により画面間符号化を行う場合、減算器 32からは、予測画像作 成回路 41より出力される予測画像と、メモリ 2より出力される映像信号との差分がマク ロブロック単位で出力される。 DCT回路 33は予測画像と映像信号の差信号に対して 、 DCT変換を行って得られる DCT係数を出力する。差信号の DCT係数は、量子化 回路 34により量子化された後、 DCZAC予測器 35により DCZAC予測され、可変 長符号化回路 36により動きベクトル、及び量子化パラメータ等の付加情報と共に可 変長符号化されビットストリームとして出力される。
[0036] 次に、符号化制御部 4による符号化器 3に対する制御について説明する。符号ィ匕 制御部 4は、一定周期毎に画面内符号ィ匕を符号化器 3に対して要求する。周期的に 画面内符号ィ匕を行って作成したビットストリームは、再生時に、早送り及び巻き戻しを 容易に実現することができる。具体的には、早送り時又は巻き戻し時に、画面内符号 化されたフレームを、ビットストリーム中、あるいは MP4等のシステム化された動画フ アイル (その内部テーブル)から検索し、その画面内符号ィ匕されたフレームまでスキッ プしながら、次々と再生処理 (即ち、復号処理)を行うことにより実現可能である。
[0037] 図 4 (A) , (B1)〜（B3) , ( 、図5 (八）, (B1)〜（B3) , (C)、及び、図 6 (A) , (B1 )〜(B3) , (C)を用いて、テレビジョン放送が CM期間を含む場合の符号ィ匕処理に ついて具体的に説明する。
[0038] 図 4 (A)に示されるように、符号ィ匕制御部 4からの制御により、符号化器 3は、通常 動作として一定周期 Ta毎に画面内符号ィ匕 (画面内符号ィ匕ピクチャー（図 4 (A)にお ける斜線箇所）に「Ia」を付す。）を行い、画面内符号化ピクチャー la以外のピクチャ 一につ 、て画面間符号化（図 4 (A)における斜線箇所以外の白色箇所)を行う。
[0039] また、図 4 (B3)に示されるように、シーンチェンジ検出部 11によって、シーンチェン ジが起こったフレーム（「シーンチェンジフレーム（又はピクチャー）」と記す。） F を検 出する。また、図 4 (B2)に示されるように、無音期間検出部 12によって、無音期間 t no を検出する。シーンチェンジ検出部 11から出力されるシーンチェンジフレーム力 無 音期間検出部 12から出力される無音期間 t と重なる場合には、 CM境界の特徴で
no
ある、シーンチェンジと無音期間 t の両方が同時に発生したことを意味するので、こ
no
のときのシーンチェンジの生じたフレーム（又はピクチャー） F を CM境界とみなして
CM境界位置を検出する。ここで、無音期間検出部 12の代わりに、音声信号のモノラ ル、ステレオ、 2ケ国語等のモードの切り替わり、音の大小 (即ち、音量の大きな変化） 等を用いて CM境界を検出してもよ 、。
[0040] 実施の形態 1においては、図 4 (B1)に示されるように、テレビ番組期間から CM期 間への切り替わり位置のフレーム、 CM期間力 テレビ番組期間への切り替わり位置 のフレーム、 CM期間内においてある CM部分から次の CM部分への切り替わり位置 のフレーム（これらを「CM境界位置フレーム（又はピクチャー）」と記す。 )を画面間符 号ィ匕フレーム力も画面内符号ィ匕フレーム (又はピクチャー）に変更する。その結果、 符号ィ匕データは、図 4 (C)に示されるように、一定周期フレーム毎の画面内符号ィ匕に 加え（一定周期フレーム毎の画面内符号ィ匕ピクチャー laに加え）、 CM境界位置フレ ームに対しても画面内符号ィ匕がなされたものにすることができる（CM境界位置フレ ームとしての画面内符号ィ匕フレームを「Ib」で示す。 )0符号化データから、一定周期 の画面内符号ィ匕フレーム la以外の画面内符号ィ匕フレーム lbを検出することは可能で あるので、再生時に、 CM境界を検索して、例えば、 CM期間に対してスキップ又は 早送り等の動作をして、再生することが可能である。
[0041] 図 5 (A) , (B1)〜（B3) , (C)は、シーンチェンジ検出部 11から出力されるシーン チェンジフレームと、無音期間検出部 12から出力される無音期間 t から検出した C no
M境界位置フレーム力 通常動作の一定周期毎の画面内符号ィ匕を行うフレームと重 なった場合を示した図である。このとき、図 5 (C)に示されるように、図 5 (B1)〜（B3) で作成した CM境界位置フレームに対する画面内符号化を行うフレームを 1フレーム 遅らせて画面内符号ィ匕を行う（図 5 (C)の ¾Γ)。ここで、必ずしも、遅らせるフレーム は 1フレームに限るものではなぐ数フレームを遅延させてもよい。本出願においては 、このように、本来の「境界位置フレーム（又はピクチャー）」から 1又は複数フレーム 遅らせて画面内符号化がなされたフレーム (又はピクチャー）を「擬似境界位置フレ ーム（又はピクチャー）」とも言う。ただし、このとき、テレビ番組期間力も CM期間への 切り替わり等、 CM期間の先頭の数フレームを符号ィ匕データとして残すことになるの で、「Not— Coded (DCT係数のコードをもたな!、マクロブロック）タイプ」等の処置を とる等して、その期間のフレームをエンコードしないことも可能である。また、 CM期間 力もテレビ番組期間への切り替わりでは、再生時に、テレビ番組期間の先頭の数フレ ームをスキップ、あるいは削除してしまうことになる。
[0042] 図 6 (A) , (B1)〜（B3) , ( は、図5 (八）, (B1)〜（B3) , (C)と同様に、シーンチ ェンジ検出部 11から出力されるシーンチェンジフレームと、無音期間検出部 12から 出力される無音期間 t 力 検出した CM境界位置フレームが、通常動作の一定周期
no
毎の画面内符号ィ匕を行うフレームと重なった場合を示した図である。ただし、このとき 、図 6 (C)に示されるように、図 6 (B1)〜（B3)において作成された CM境界位置フレ ームに対する画面内符号化を行うフレーム（図 6 (B1)の Ibl)を 1フレーム遅らせて画 面内符号化を行う（図 6 (C)の Ibl')が、重なった一定周期毎の画面内符号ィ匕を行う フレーム（図 6 (C)の Ic)を、画面間符号化によって符号化する。画面内符号化を行つ たフレームは、再生時の早送り、巻き戻しの再生 (停止）単位となるため、図 6 (C)に 示すような近接したフレームに対する不要な画面内符号化を避けることは符号量の 有効利用につながり、結果的に、必要なフレームに符号量を割り当てることに繋がる ため、有効である。ここでも、遅らせるフレーム（図 6 (C)の Ibl/)の遅延フレーム数は 1フレームに限るものではなぐ 2フレーム以上の所定数フレームを遅延させてもよい
[0043] 以上説明したように、実施の形態 1に係る動画像符号ィ匕装置 101は、符号化制御 部 4において、 CM境界検出部 1からの出力である CM境界情報によって、符号化器 3の符号化方式を制御する。 CM境界検出部 1は、再生時の早送り及び巻き戻しのた めに、一定周期毎に画面内符号ィ匕を行うのに加え、 CM境界位置フレームについて も、画面内符号化を行うように制御する。このとき、 CM境界位置フレームが一定周期 に行う画面内符号ィ匕のフレームと重なってしまう場合には、ずらして画面内符号化を 行う。このように、 CM境界に一定周期と異なる画面内符号ィ匕を行うことにより、符号 化データ内に、 CM境界情報を埋め込むことができ、再生時に、 CM期間を考慮した 再生が可能である。
[0044] また、 CM期間の切り出しも可能である。具体的に言えば、再生時において、符号 化データから、 CM境界位置フレームを検索することが可能であり、また、符号化デ ータ内に、 CM境界情報を埋め込むことができるため、動画像符号化装置 101に内 蔵された記憶手段 (例えば、内蔵メモリや内蔵のハードディスク）に CM境界情報を記 録する必要がない。
[0045] さらに、実施の形態 1に係る動画像符号ィ匕装置 101により符号ィ匕データを記録した 記録媒体 (光ディスク、磁気ディスク、可搬性のハードディスク装置、メモリ装置等)を 、動画像符号ィ匕装置 101とは異なる装置によって再生する場合であっても、 CM境界 を考慮した再生が可能である。また、実施の形態 1に係る動画像符号ィ匕装置 101に より符号化データを記録した記録媒体を、 CM境界情報を考慮しな 、動画像再生装 置によって再生する際には、通常通りの再生が可能である。
[0046] さらにまた、 CM境界と判定されたフレームが一定周期毎の画面内符号ィ匕フレーム と重なった場合に、次フレーム以降のフレームに対して画面内符号ィ匕処理を行うよう にしているので、 CM境界を要因として挿入した画面内符号ィ匕を、一定周期毎の画 面内符号ィ匕フレームと区別することができる。
[0047] さらに、 CM境界と判定されたフレームが一定周期毎の画面内符号ィ匕フレームと重 なった場合に、次フレーム以降のフレームに対して画面内符号ィ匕処理を行うようにす ると共に、ピクチャーに対する画面内符号ィ匕を画面間符号化とするように制御するこ とにより、 CM境界を要因として挿入した画面内符号ィ匕フレームを一定周期毎の画面 内符号ィ匕フレームと区別することができると共に、近接した画面内符号化フレームを 避けることができるため、再生時の早送り及び巻き戻しの効率低下を抑えることができ る。
[0048] 実施の形態 2.
図 7は、本発明の実施の形態 2に係る動画像記録装置 102の構成を概略的に示す ブロック図である。図 7において、図 1の構成と同一又は対応する構成には同じ符号 を付す。 [0049] 図 7に示されるように、実施の形態 2に係る動画像記録装置 102は、実施の形態 1 に係る動画像符号ィ匕装置 101の構成である CM境界検出部 1、メモリ 2、符号化器 3 、及び符号化制御部 4に加え、記録部 80、確認操作部 81、復号部 82、及び復号メ モリ 83を有する。
[0050] 図 7に示されるように、記録部 80は、符号化器 3から出力された符号ィ匕データ (ビッ トストリーム）を記録し、保存する。確認操作部 81は、利用者が動画像記録装置 102 を操作する際に使用する操作部と、利用者に動画像記録装置 102に関する情報を 提供する表示部とを有する。なお、この表示部は、動画像記録装置 102自体に装備 された表示モニター部には限らず、動画像記録装置 102とは別の装置である画像表 示用のモニター装置であってもよい。符号ィ匕制御部 4と確認操作部 81との間では、 相互に制御信号が授受される。復号部 82は、記録部 80から読み出された符号ィ匕デ 一タを復号する。復号メモリ 83は、復号部 82により復号処理された復号画像データ を格納する。復号メモリ 83から出力された復号画像データは、確認操作部 81及び符 号化器 3へ送られる。
[0051] 次に、図 7を用いて、実施の形態 2に係る動画像記録装置 102の動作を説明する。
符号ィ匕制御部 4から CM境界位置フレーム (一定周期でない画面内符号ィ匕を行った フレーム番号)を確認操作部 81に出力する。確認操作部 81は、その表示部に、符号 化制御部 4から出力された CM境界位置フレームを表示する。このように、 CM境界 前後の画像を確認することができるので、その CM境界力 本当にテレビ番組期間と CM期間との間にあるのかどうか、画像を見て確認することができる。また、画面内符 号ィ匕を行ったピクチャーに対して復号するので、余分な復号処理を行う必要がなぐ 高速に復号画像を得ることができる。
[0052] 具体的には、確認操作部 81は、その表示部に、例えば、図 8 (A)に示されるように 、横方向を時間軸として、テレビ番組期間（白色部分) t と CM期間 (斜線部分) t
PR CM
を区別可能に (例えば、色、明るさ、模様、形状等を変えることによって視覚的に区別 可能に）表示する。 CMの連続性から、 CM境界位置フレーム（図 8 (C)のクロスハツ チング部分 <i>〜く v>)が一定間隔（15秒、 30秒等の CM部分として想定される 時間）で、複数回連続する場合に、 CM境界位置フレーム <i>と <v>の間の期間 を、 CM期間として表示させる。確認操作部 81を通じて、利用者は、 CM境界検出部 1で検出した CM期間が妥当であることを確認することができる。
[0053] 図 8 (B)は、図 8 (A)を別の形式で表現したもので、 CM期間の先頭と、テレビ番組 期間の先頭の CM境界位置フレームを図示（図 8 (B)のクロスハッチング部分）したも のである。
[0054] 図 8 (C)は、図 8 (A) , (B)中の期間 Paの拡大図である。 CM期間と判断された期 間内には、一定周期の画面内符号ィ匕フレームと、 CM境界として判断された CM境 界位置フレームによる画面内符号化フレームが存在する。図 8 (C)では、 1つの CM 期間内に、 CM1、 CM2、 CM3、 CM4で示される 4つの CM部分があり、それぞれの CM部分 CM1、 CM2、 CM3、 CM4の先頭フレーム（図 8 (C)においてクロスハッチ ング部分 <i>〜く iv>)は CM境界位置フレーム F と判定されている。なお、 CM
CM
期間直後のテレビ番組先頭フレーム（図 8 (C)においてクロスハッチング部分く v>) も CM境界位置フレームである。
[0055] また、確認操作部 81は、利用者によって、 CM境界位置フレームとその前後の画面 内符号ィ匕したフレームを記録部 80に格納された符号ィ匕データ中から検索を行う。記 録部 80から読み出された画面内符号ィ匕フレームの符号ィ匕データは、復号部 82に入 力され、復号処理がなされる。復号部 82から出力された復号画像は、復号メモリ 83 に格納される。確認操作部 81からの操作により復号メモリ 83から読み出された復号 画像は、確認操作部 81に入力され、利用者は CM前後の画像を確認することにより 、本当に CM期間であるかどうかの確認を行うことができる。
[0056] 次に、 CM境界の判定に際して、誤判定があった場合の具体例を、図 9 (A) , (B) ,
(C)及び図 10 (A) , (B) , (C)に基づいて説明する。図 9 (A) , (B) , (C)は、実際に は CM期間でありながら、 CM期間であると判定されなかった場合を示している。この 場合、確認操作部 81において、図 9 (A)のように表示される。利用者は、テレビジョン 放送がドラマ等の場合には、概ね 10分から 15分に 1回の割合で、 CM期間が発生す ることになるが、図 9 (A)の期間 Pbに示すように、本来、 CM期間として表示されるべ き時間に、 CM期間が表示されていないことを、確認操作部 81の表示内容から知る ことができる。 [0057] 図 9 (B)は、図 9 (A)を別の形式で表現したものであり、 CM期間の先頭と、テレビ 番組期間の先頭の CM境界位置フレーム F を図示したものである。期間 Pbにおい
CM
ては、 CM期間の終り（テレビ番組期間の先頭フレームに相当する CM境界位置フレ ーム）が検出されな力つたことを表している。
[0058] 図 9 (C)は、図 9 (A) , (B)中の期間 Pbの拡大図である。期間 Pbには、一定周期の 画面内符号化されたフレームと、 CM境界として判断された CM境界位置フレーム F c による画面内符号化されたフレームが存在する。この期間内には、 CM1、 CM2、 C
M
M3、 CM4で示された 4つの CM部分が存在する力 CM部分 CM4とテレビ番組期 間 t との間で、 CM境界位置フレームと判定されな力つた。 CM期間判定として、例
PR
えば、 CM部分力 個連続しなければ、 CM期間と判定しないというように構成してい た場合等、図 9 (A)のように、期間 Pbには CM期間 t が無いと判定されることになる
CM
[0059] また、 CM部分 CM2と、次の CM部分 CM3との間のフレームが、 CM境界位置フレ ームと判定されなかった場合には、 CM部分 CM2と次の CM部分 CM3の組み合わ せが一つの大きな CM部分と見なされて、結果的に、 3つの CM部分であると判断さ れる。上述のように、例えば、 CM部分力 個連続しなければ、 CM期間と判定しない というように構成した場合等には、期間 Pbは CM期間と判定されないことになる。また 、別の場合には、 CM部分 CM2の期間と CM部分 CM3の期間とを合わせた全体の 期間が、 1つの CM部分として妥当な期間（例えば、 15秒又は 30秒等の予め設定さ れた期間）を超えてしまった結果、 CM期間としてではなぐテレビ番組期間 t と判断
PR
される場合も同様に、期間 Pbは CM期間とは判定されない。
[0060] このような場合、利用者は、確認操作部 81を通じて、 CM期間の妥当性を判断する ことが可能である。その上で、本来あるべき時間に CM期間がないと判断した場合に は、確認操作部 81からの操作により、復号部 82で CM境界前後の画面内符号化を 行ったフレームの復号画像を作成し、復号画像を復号メモリ 83経由で、確認操作部 81に表示させることにより、 CM期間を確認することができる。また、後述するように、 確認後、符号化器 3で符号化方式を変更して符号化処理をやり直すことにより、 CM 期間の訂正を行うことが可能である。このように、 CM境界と誤判定があった場合にも 、確認後、修正が可能であり、符号ィ匕の際に誤ってデータを消してしまうことがない。
[0061] 図 10 (A) , (B) , (C)は、図 9 (A) , (B) , (C)とは逆に、実際には CM期間でない にもかかわらず、 CM期間（又は CM境界）と判定された場合の具体例である。図 10 ( A)の期間 Pcが、それに相当する。図 10 (B)の期間 Pcで、誤判定の結果、 CM境界 と見なされている。図 10 (C)は、図 10 (A) , (B)中の期間 Pcの拡大図である。一定 周期の画面内符号ィ匕されたフレームと、誤判定の結果、 CM境界として判断されたフ レームによる画面内符号化されたフレームが存在する。利用者は、確認操作部 81を 通して、例えば、図 10 (A)又は図 10 (B)からその CM期間（又は CM境界）の妥当性 を判断することができる。また、確認操作部 81からの操作により、復号部 82で CM境 界前後の画面内符号化されたフレームの復号画像を作成し、復号画像を復号メモリ 83経由で、確認操作部 81に表示させることにより、本当に CM境界であるのかどうか を確認することができる。この場合にも、後述するように、符号化器 3で符号化方式を 変更して符号ィ匕処理をやり直すことにより、 CM境界の訂正を行うことが可能である。
[0062] 次に、図 9 (A) , (B) , (C)のように、 CM期間であるにもかかわらず、 CM期間でな いと判断された場合の動作について説明する。利用者は、確認操作部 81を使って、 符号ィ匕した符号ィ匕データ中の CM期間情報を確認することができる。この CM期間情 報は、符号ィ匕制御部 4において、一定周期でない画面内符号ィ匕フレーム位置力も作 成する。一定周期でない画面内符号ィ匕を行うのは、 CM境界検出部 1において、テレ ビ番組期間 t から CM期間への切り替え、 CM期間内の CM部分から次の CM部分
PR
への切り替え、 CM期間からテレビ番組への切り替え等の CM境界と判断した映像及 び音声の不連続面の直後のフレーム（CM境界位置フレーム）である。
[0063] 利用者は、本来、 CM期間が存在すべきはずのところに（図 9 (A) , (B) , (C)にお ける期間 Pb)に、 CM期間が存在しない場合には、次の動作により、復号画像確認を 行い、本当に CM期間でないかどうかを確認することができる。確認に際しては、確 認操作部 81の操作によって、図 9 (A) , (B) , (C)に示される期間 Pb内の画面内符 号ィ匕フレーム（例えば、図 9 (C)のフレーム Fl、 F2、 F3、 · · を順番に選択し、選択 されたフレームに相当する符号化データを記録部 80で検索する。記録部 80から読 み出された該当フレームの符号ィ匕データは、復号部 82に入力され、復号処理がなさ れる。復号部 82で得られた復号画像データは、復号メモリ 83に格納される。利用者 は、確認操作部 81により復号画像データを復号メモリ 83から読み出して、画像の内 容確認を行う。確認の結果、フレーム F1及び F2は、 CM部分 CM4内に存在し、フレ ーム F3は、テレビ番組期間 t 内に存在することがわかる。実施の形態 2に係る動画
PR
像記録装置 102の場合、 CM期間とテレビ番組期間 t の間には、 CM境界位置フレ
PR
ームに相当する画面内符号ィ匕のフレーム（図 9 (B)及び (C)の F4)が存在するはず であるが、誤判定により存在しない。このとき、確認操作部 81を使って、フレーム F4 について画面内符号化で符号化するように制御する。まず、確認操作部 81を使って 、記録部 80からフレーム F2に相当する符号ィ匕データを検索する。検索して見つけた フレーム F2の符号ィ匕データを記録部 80から読み出し、復号器 82に入力する。復号 器 82は、復号処理を行って得た復号画像を復号メモリ 83に出力する。確認操作部 8 1は、復号画像を復号メモリ 83から読み出して表示する。次に、フレーム F2に相当す る符号ィ匕データに続く符号ィ匕データを記録部 80から読み出し、復号器 82に入力す る。復号器 82は、復号処理を行って得た復号画像を復号メモリ 83に出力する。ここ で得られた復号画像は、フレーム F2の次のフレームに相当する画像である。復号画 像は、確認操作部 81に入力され表示される。
以上の復号動作を繰り返し、フレーム F2、 · · ·、フレーム F4、 · · ·、フレーム F5まで 復号処理を行う。復号メモリ 83に格納されたフレーム F4に相当する復号画像は、確 認操作部 81を通じて、利用者にテレビ番組期間 t の先頭フレームであることが認識
PR
される。その上で、確認操作部 81から CM境界位置フレームとして認識させるために 、画面間符号化から画面内符号化への変更処理を選択する。この画面間符号化か ら画面内符号ィ匕への変更処理命令は、確認操作部 81から符号ィ匕制御部 4に入力さ れる。同時に、変更処理が選択されると、復号メモリ 83からフレーム F4に相当する復 号画像が符号化器 3に入力される。符号化器 3は、符号ィ匕制御部 4からの画面内符 号ィ匕による符号ィ匕を指示されることにより、復号メモリ 83から入力されたフレーム F4 に相当する復号画像を画面内符号化によって符号化する。符号化された符号化デ ータは記録部 80に出力される。フレーム F4以降フレーム F5に相当する復号画像も 、フレーム F4に続いて、復号メモリ 83から読み出され、符号ィ匕制御部 4の制御のもと 、符号化器 3において符号化 (画面間符号化）がなされ、記録部 80に出力される。記 録部 80に入力されたフレーム F4からフレーム F5に相当する新 、符号化データは 、もともと記録部 80に格納されていたフレーム F4からフレーム F5に相当する符号ィ匕 データを置き換える。確認操作部 81は新しくなつた CM境界位置フレームを符号ィ匕 制御部 4から受け取り、表示する。誤判定が解消されたため、図 9 (A) , (B) , (C)に 示される CM境界情報は、図 8 (A) , (B) , (C)に示される CM境界情報のようになる
[0065] 次に、図 10 (A) , (B) , (C)のように、 CM境界でないにもかかわらず、 CM境界とし て判断された場合の動作について説明する。利用者は、確認操作部 81を使って、符 号ィ匕した符号ィ匕データ中の CM期間情報を確認することができる。この CM期間情報 は、符号ィ匕制御部 4において、一定周期でない画面内符号ィ匕フレーム位置力も作成 する。一定周期でない画面内符号ィ匕を行うのは、 CM境界検出部 1において、テレビ 番組期間 t 力 CM期間への切り替わり、 CM期間内における CM部分力 次の C
PR
M部分への切り替わり、 CM期間力 テレビ番組期間 t への切り替わりである CM境
PR
界と判断した映像及び音声の不連続面直後のフレーム（CM境界位置フレーム)であ る。
[0066] 利用者は、 CM期間でないところ（図 10 (A) , (B) , (C)では期間 Pc)に CM境界が あると判断された場合には、次の動作により、復号画像確認を行い、本当に CM境界 でないのかどうかを確認することができる。確認操作部 81で、図 10 (A) , (B) , (C) の期間 Pc内の画面内符号化フレーム（例えば、フレーム Fl l、 F12、 F13、 · · ·）を選 択する。選択されたフレームに相当する符号化データを記録部 80から検索する。記 録部 80から読み出された該当フレームの符号ィ匕データは、復号部 82に入力され、 復号処理がなされる。復号部 82で得られた復号画像データは、復号メモリ 83に格納 される。利用者は、確認操作部 81の操作により、復号画像データを復号メモリ 83から 読み出して確認操作部 81に表示させ、画像の内容確認を行う。確認の結果、フレー ム Fl l、 · · ·、 F14はすべてテレビ番糸且期間 t 内のフレームであることがわ力る力 テ
PR
レビ番組期間 t 内には、 CM境界位置フレームに挿入すべき一定周期にない画面
PR
内符号化フレーム（図 10 (B)及び（C)におけるフレーム F13)が存在しないはずであ る力 誤判定により、存在している。このとき、確認操作部 81を使って、フレーム F13 を画面間符号化で符号化するように制御する。まず、確認操作部 81を使って、記録 部 80からフレーム F12に相当する符号化データを検索する。検索して見つけたフレ ーム F12の符号ィ匕データを記録部 80から読み出し、復号器 82に入力する。復号器 82は、復号処理を行って得た復号画像を復号メモリ 83に出力する。確認操作部 81 は、復号画像を復号メモリ 83から読み出して表示する。次に、フレーム F12に相当す る符号ィ匕データに続く符号ィ匕データを記録部 80から読み出し、復号器 82に入力す る。復号器 82は、復号処理を行って得た復号画像を復号メモリ 83に出力する。ここ で得られた復号画像は、フレーム F12の次のフレームに相当する画像である。復号 画像は、確認操作部 81に入力され表示される。
以上の復号動作を繰り返し、フレーム F12、 · · ·、フレーム F14まで復号処理を行う 。復号メモリ 83に格納されたフレーム F13に相当する復号画像は、確認操作部 81を 通じて、まだ、テレビ番組期間 t のフレームであることが認識される。その上で、確認
PR
操作部 81から CM境界位置フレームでないものとして認識させるために、画面内符 号化から画面間符号化への変更処理が選択される。この画面内符号化から画面間 符号化への変更処理命令は、確認操作部 81から符号化制御部 4に入力される。同 時に、変更処理が選択されると、復号メモリから前の画面内符号ィ匕を行ったフレーム F12に相当する復号画像が、符号化器 3に入力される。符号化器 3は、符号化制御 部 4からの画面内符号ィ匕による符号ィ匕を指示されることにより、復号メモリ 83から入力 されたフレーム F12に相当する復号画像を画面内符号化によって符号化する。符号 化された符号化データは記録部 80に出力される。フレーム F12以降フレーム F14に 相当する復号画像も、フレーム F12に続いて、復号メモリ 83から読み出され、符号ィ匕 制御部 4の制御のもと、符号化器 3において符号化 (画面間符号化）がなされ、記録 部 80に出力される。記録部 80に入力されたフレーム F12からフレーム F14に相当す る新しい符号ィ匕データは、もともと記録部 80に格納されていたフレーム F12からフレ ーム F14に相当する符号ィ匕データを置き換える。ただし、実際に、符号化データが 新しくなるのは、フレーム F13からフレーム F14までである。確認操作部 81は、新しく なった CM境界位置フレームを符号ィ匕制御部 4から受け取り、表示する。誤判定が解 消されたため、図 10 (A) , (B) , (C)に示される CM境界情報は、図 8 (A) , (B) , (C )に示される CM境界情報のようになる。
[0068] 次に、画面内符号化フレーム（図 10 (C)におけるフレーム F13)を、符号化器 3で 画面間符号化する別の方法を説明する。まず、確認操作部 81を使って、記録部 80 からフレーム F13に相当する符号化データを検索する。検索して見つけたフレーム F 13の符号ィ匕データを記録部 80から読み出し、復号器 82に入力する。復号器 82は、 復号処理を行って得た復号画像を復号メモリ 83に出力する。確認操作部 81は、復 号画像を復号メモリ 83から読み出して表示する。同時に、復号メモリからフレーム F1 3に相当する復号画像が、符号化器 3に入力される。符号化器 3は、符号化制御部 4 力もの符号ィ匕方式の制御（ピクチャータイプとして画面間符号化、マクロブロックタイ プとして画面内符号化）により、復号メモリ 83から入力されたフレーム F13に相当する 復号画像をピクチャータイプとして画面間符号化、マクロブロックタイプとして画面内 符号化する。符号化された符号化データは記録部 80に出力される。この場合、フレ ーム F13から、フレーム F13以降フレーム F14への符号化データの連続性は保たれ るので、フレーム F13以降フレーム F14の復号処理、符号ィ匕処理は不要である。した がって、更新される符号ィ匕データは、フレーム F13に相当する符号ィ匕データだけで ある。確認操作部 81は新しくなつた CM境界位置フレームを符号ィ匕制御部 4から受 け取り、表示する。誤判定が解消されたため、図 10 (A) , (B) , (C)に示される CM境 界情報は、図 8 (A) , (B) , (C)に示される CM境界情報のようになる。
[0069] 以上に説明したように、実施の形態 2に係る動画像記録装置 102は、 CM境界検出 部 1からの出力である CM境界情報によって、符号化器 3での符号化方式を制御す る。再生時の早送り及び巻き戻しのために、一定周期毎に画面内符号化を行うのに 加え、 CM境界位置フレームについても、画面内符号化を行うように制御する。確認 操作部 81は、 CM境界位置フレームを表示することにより、利用者に CM期間を伝達 することが可能であり、利用者は確認操作部 81を通じて表示された CM期間が妥当 であるかどうかを判断することができる。
[0070] また、誤判定があると判断した場合にも、最低限 (通常動作時、一定周期で行う画 面内符号化の一周期程度)の復号処理と符号化処理を行うことにより、 CM境界情報 を符号ィ匕データ内に埋め込むことができる。
[0071] さらに、 CM境界と誤判定があった場合にも、確認後、修正が可能であり、符号化の 際に誤って消してしまうことがない。
[0072] さらにまた、余計な画面内符号ィ匕を避けることができるため、再生時の早送り、巻き 戻しの効率低下を抑えることができる。
[0073] 実施の形態 3.
図 11は、本発明の実施の形態 3に係る動画像記録装置 103の構成を概略的に示 すブロック図である。図 11において、図 1 (実施の形態 1)と同一又は対応する構成に は同じ符号を付す。図 11に示されるように、実施の形態 3に係る動画像記録装置 10 3は、実施の形態 1に係る動画像符号ィ匕装置 101の構成である CM境界検出部 1、メ モリ 2、符号化器 3、及び符号化制御部 4に加え、記録部 80、確認操作部 81、及び データ編集部 84を有する。
[0074] 図 11に示されるように、記録部 80は、符号化器 3から出力された符号ィ匕データ (ビ ットストリーム）を記録し、保存する。確認操作部 81は、利用者が動画像記録装置 10 3を操作する際に使用する操作部と、利用者に動画像記録装置 103に関する情報を 提供する表示部とを有する。なお、この表示部は、動画像記録装置 102自体に装備 された表示モニター部には限らず、動画像記録装置 102とは別の装置である画像表 示用のモニター装置であってもよい。符号ィ匕制御部 4と確認操作部 81との間では、 相互に制御信号が授受される。データ編集部 84は、記録部 80に蓄えられた符号ィ匕 データを確認操作部 81からの操作により編集する。編集された符号化データは、記 録部 80に記録される。
[0075] 次に、図 11を用いて、実施の形態 3に係る動画像記録装置 103の動作を説明する 。符号化制御部 4から CM境界位置フレーム（一定周期でな!ヽ画面内符号化フレー ム番号)を確認操作部 81に出力する。確認操作部 81は、その表示部に、符号化制 御部 4から出力された CM境界位置フレームを表示する。
[0076] 具体的には、確認操作部 81は、その表示部に、例えば、図 8 (A)に示されるように 、横方向を時間軸として、テレビ番組期間（白色部分)と CM期間 (斜線部分)を表示 する。 CMの連続性から、 CM境界位置フレーム（図 8 (C)のクロスハッチング部分く i >〜<v>)が一定間隔（15秒、 30秒等 CMとして想定される時間）で、複数回連続 する場合に、その期間を CM期間として表示させる。確認操作部 81を通じて、利用者 は、 CM境界検出部 1で検出した CM期間が妥当であることを確認することができる。
[0077] 図 8 (B)は、図 8 (A)を別の形式で表現したもので、 CM期間の先頭と、テレビ番組 の先頭の CM境界位置フレームを図示（図 8 (B)のクロスハッチング部分）したもので ある。
[0078] 図 8 (C)は、図 8 (A) , (B)中の期間 Paの拡大図である。 CM期間と判断された期 間内には、一定周期の画面内符号ィ匕フレームと、 CM境界として判断された CM境 界位置フレームによる画面内符号化フレームが存在する。図 8 (C)では、 1つの CM 期間内に、 CM1、 CM2、 CM3、 CM4で示される 4つの CM部分があり、それぞれの CM部分 CM1、 CM2、 CM3、 CM4の先頭フレーム（図 8 (C)においてクロスハッチ ング部分 <i>〜く iv>)が CM境界位置フレームと判定される。なお、 CM期間直後 のテレビ番組先頭フレーム（図 8 (C)においてクロスハッチング部分く v>)も CM境 界位置フレームである。
[0079] 利用者は、確認操作部 81で CM期間の妥当性を確認した後、テレビ番組期間を繋 ぐ編集を行うことが可能である。具体的には、図 12 (A)に示されるように、実際の符 号ィ匕データの中からテレビ番組以外 t の期間に相当する符号ィ匕データ (斜線部分）
PR
を削除する。
[0080] 図 12 (A)の場合の動作を説明する。確認操作部 81では、一定周期でない画面内 符号化フレームから CM期間を判別し、図 12 (A)のように CM期間を表示する。利用 者は、 CM期間を確認操作部 81で確認した後、テレビ番組期間を繋げる編集をした い場合には、確認操作部 81を使ってテレビ番組期間結合要求をデータ編集部 84に 出力する。データ編集部 84は、テレビ番組期間結合要求を確認操作部 81から受け ると、記録単位となっている符号ィ匕データを記録部 80から読み出し、テレビ番組期間 だけを記録部 80に記録する。 CM期間直後のフレーム (テレビ番組期間の先頭フレ ーム）は、画面内符号ィ匕で符号ィ匕されているため、再エンコードすることなぐ符号ィ匕 データを結合することが可能である。確認操作部 81は、図 12 (B)のように、テレビ番 組期間が繋げられた (結合された)形で表示する。この場合には、テレビ番組期間を 結合した動画像の符号ィ匕データを作成することが可能であり、再符号ィ匕の必要がな いので、画質劣化も発生しない。
[0081] また、利用者は、確認操作部 81で CM期間の妥当性を確認した後、 CMマスク（隠 蔽)を行うことが可能である。具体的には、図 13 (B)のように記録部 80に格納された 画像符号化データを、別途、不図示の制御部から記録部 80に格納された音声符号 化データと一緒に多重化して、例えば、 MP4形式等のシステムファイル (ファイルフォ 一マット）として保存し、その際に、 CM期間を表す FLAG (フラグ)を新しく用意して、 システムファイル内に埋め込み、再生時にその FLAGを確認し、 FLAGによって再生 とスキップを制御する。確認操作部 81で、利用者によってテレビ番組期間 t の結合
PR
を指示された場合に、データ編集部 84で、 CM期間に相当するピクチャーの符号ィ匕 データに対してスキップ動作をさせるようにフラグを付加する。フラグ情報により、 CM 期間のスキップを行うことが可能で、記録した動画像を削除することがないので、大切 な動画像の一部を誤って消す危険性がな 、。
[0082] 図 13 (A) , (B)の場合の動作を説明する。確認操作部 81は、一定周期でない画 面内符号化フレームから CM期間を判別し、図 13 (A)に示されるように、 CM期間を 表示する。利用者は、 CM期間を確認操作部 81で確認した後、 CM期間を再生時に スキップさせる旨を CM期間隠蔽要求としてデータ編集部 84に出力する。データ編 集部 84は、 CM期間隠蔽要求をデータ編集部 84から受けると、記録単位になってい る符号ィ匕データを記録部 80から読み出し、 CM期間に相当する符号ィ匕データに対し ては、 CM期間を表す FLAGを設け、 FLAGを付カ卩した形で多重化する。図 13 (B) の場合には、 FLAG= ' 1，のとき CM期間、 FLAG= '0，のときテレビ番組期間 t で
PR
あるとしている力 これに限るものではない。なお、記録部 80に格納された符号化デ ータがすでに多重化されて 、る場合、システムファイルとして FLAGパラメータがあれ ば、 CM期間に相当する符号化データについて FLAGを' 0'から' 1，に変更し、 FL AGパラメータがなければ、新たに付加する。確認操作部 81では、図 13 (B)のよう〖こ 、 CM期間が FLAG = ' 1 'と変更されていることを表示する。
[0083] 以上に説明したように、実施の形態 3に係る動画像記録装置 103によれば、確認操 作部 81により表示された CM期間を確認した上で、テレビ番組期間を繋げる編集及 び再生を行うことが可能である。
[0084] 実施の形態 4.
実施の形態 3にお ヽては、確認操作部 81により表示された CM期間を確認した上 で、テレビ番組期間を繋げる編集操作を行ったが、実施の形態 3と同じく図 11に示し た動画像記録装置 103を用い、同様の操作で、テレビ番組期間を除去等し、 CM期 間を繋げる操作も可能である。図 11の動画像記録装置 103を用い、確認操作部 81 で CM期間の妥当性を確認するまでの動作は、実施の形態 3と同様のため省略する
[0085] 利用者は、確認操作部 81で CM期間の妥当性を確認した後、テレビ番組期間の削 除を行うことが可能である。具体的には、図 12 (C)に示されるように、実際の符号ィ匕 データの中からテレビ番組期間 t に相当する符号化データ (斜線のな!、部分)を削
PR
除する。
[0086] 図 12 (C)の場合の動作を説明する。確認操作部 81では、一定周期でない画面内 符号化フレームから CM期間を判別し、図 12 (C)のように CM期間を表示する。利用 者は、 CM期間を確認操作部 81で確認した後、テレビ番組期間を実際に符号ィ匕デ 一タカゝら削除したい場合には、確認操作部 81を使ってテレビ番組期間の削除要求を データ編集部 84に出力する。データ編集部 84は、テレビ番組期間の削除要求を確 認操作部 81から受けると、記録単位となっている符号ィ匕データを記録部 80から読み 出し、 CM期間以外の期間に相当する符号ィ匕データを削除して、記録部 80に記録 する。記録された各 CM期間の先頭フレームは、画面内符号化で符号化されている ため、再エンコードすることなぐ符号ィ匕データを結合することが可能である。確認操 作部 81は、図 12 (D)のように、 CM期間が繋げられた (結合された)形で表示する。 この場合には、 CM期間が結合された動画像の符号ィ匕データを作成することが可能 であり、再符号ィ匕の必要がないので、画質劣化も発生しない。
[0087] また、利用者は、確認操作部 81で CM期間の妥当性を確認した後、テレビ番組期 間のマスク（隠蔽)を行うことが可能である。動作は実施の形態 3において、図 13 (A) 及び (B)を用いて説明した動作と同様である。ただし、再生時に FLAG= '0'の期間 (テレビ番組期間）をスキップする点がことなる。このように、フラグ情報により、テレビ 番組期間のスキップを行うことが可能で、記録した動画像を削除することがな 、ので、 大切な CM画像の一部を誤って消す危険性がな 、。
[0088] 以上に説明したように、実施の形態 4に係る動画像記録装置 103によれば、確認操 作部 81により表示された CM期間を確認した上で、 CMだけをつなげる編集及び再 生が可能である。
[0089] 実施の形態 5.
図 14は、本発明の実施の形態 5に係る動画像再生装置 104の構成を概略的に示 すブロック図である。図 14に示されるように、実施の形態 5に係る動画像再生装置 10 4は、符号ィ匕データ (ビットストリーム）を格納する記録部 80と、記録部 80から読み出 された符号化データから CM境界を判別する CM境界判別部 85と、 CM境界判別部 85から出力される判別結果を使って復号部 82を制御する復号処理制御部 86と、復 号処理制御部 86から出力される制御信号により記録部 80から読み出した符号ィ匕デ 一タを復号する復号部 82と、復号部 82により復号処理された復号画像を格納する復 号メモリ 83と、動画像再生装置 104を操作する利用者に操作系と表示系を提供する 確認操作部 81とを備えて!/、る。
[0090] 次に、図 14を用いて、実施の形態 5に係る動画像再生装置 104の動作を説明する 。符号ィ匕データは不図示の制御手段によって予め記録部 80に格納される。確認操 作部 81で動画像再生が指示されると、 CM境界判別部 85は、記録部 80から符号ィ匕 データを読み出し、 CM境界を判別する。 CM境界判別部 85の判別結果は、復号処 理制御部 86に入力される。復号処理制御部 86は、 CM境界判別部 85から入力され る判別結果を使って、復号部 82を制御する。復号部 82は、記録部 80から読み出さ れた符号化データを復号処理制御部 86から出力された制御信号に従って、復号処 理を行う。復号部 82で復号処理されて得た復号画像データは、復号メモリ 83に格納 される。復号画像データは、復号メモリ 83から読み出されて確認操作部 81に入力さ れ、表示される。
[0091] 次に、 CM境界の判別について説明する。実施の形態 1及び実施の形態 2におい て既に説明したように、動画像符号ィ匕に際して、一定周期毎に画面内符号ィ匕により 動画像を符号化し、同時に、 CM境界と判定したフレームに対しても、画面内符号ィ匕 を行う。したがって、一定周期でない画面内符号化フレームは、 CM境界であると判 別することができる。符号化データは、例えば、図 8 (A) , (B) , (C)のようになる。動 画再生途中に、 CM境界判別部 85で再生フレームが CM境界位置フレームであると 判別した場合（図 8 (C)において <i>で示されるフレーム）、復号処理制御部 86で は、 CM境界判別部 85からの判別結果を受けて、この CM境界位置フレームに対す る復号処理終了後、復号部 82の復号処理をー且停止するように制御する。この CM 境界位置フレームの復号画像は、復号メモリ 83に格納された後、読み出されて、確 認操作部 81に表示される。利用者は、テレビ番組期間から CMへの切り替わりを認 識することができ、切り替わり後のフレームく i >の内容を確認することが可能である。 利用者は、確認操作部 81を確認後、フレーム <i>が CM期間であると判断した場合 には、次の CM境界位置フレーム <ii>まで復号処理を行わずスキップするように確 認操作部 81を操作する。確認操作部 81からの操作を受けて、 CM境界判別部 85は 、記録部 80に格納された符号ィ匕データを検索し、 CM境界位置フレームく ii>を判 別する。 CM境界検索部 85からの判別結果で、復号処理制御部 86は、記録部 80か ら CM境界位置フレーム < ii >に相当する画面内符号化データを読み出し、復号部 82ではその符号ィ匕データを復号し、復号メモリ 83に格納する。復号メモリ 83に格納 された復号画像は、確認操作部 81に表示される。以降、画面内符号化を行った CM 境界位置フレームく ii>、 <iii>、 <iv>、 <v>についても同様の処理を行い、復 号画像を確認操作部 81に出力する。利用者は、確認操作部 81でその CM境界がテ レビ番組期間にあるの力 （図 8 (C)におけるフレームく v>)なの力、 CM期間（図 8 (C )におけるフレームく ii>、く iii>、 <iv>)なのかを確認することができ、 CM期間で あれば、次の CM境界まで画面内符号化フレームのみの再生を行い、テレビ番組期 間であれば通常再生を行うことにより、テレビ番組期間を確実に繋げて再生処理を行 うことができる。
また、上記において、確認操作部 81でテレビ番組期間と確認した場合は、復号処 理を行わずスキップするように確認操作部 81を操作し、 CM期間と判断した場合には 、通常再生動作を行うようにすれば、同様の動作により、 CM期間を繋げて再生する ことも可能である。 [0093] また、実施の形態 3及び 4において説明したように、 CM期間を、記録部 80に格納 されたシステムファイルから、 CM境界判別部 85で判別することも可能である。図 13 ( A) , (B)の場合には、 FLAG= ' 1，のときを CM期間として判別し、復号処理制御部 86に判別結果を出力する。復号処理制御部 86は、 CM境界判別部 85から出力され た CM期間の判別結果で、 CM期間であると判別されたフレームに対しては、復号部 82における復号処理をスキップするように制御する。したがって、復号部 82は、記録 部 80から、テレビ番組期間（FLAG= '0'の期間）に相当する符号化データを読み 出し、復号処理を行う。 CM期間に相当する符号ィ匕データをスキップした場合にも、 C M期間直後の先頭フレームは、画面内符号ィ匕で符号ィ匕されているため、そのフレー ムからの復号処理は可能である。
[0094] 他方、テレビ番組期間をスキップし、 CM期間を繋げる場合にっ 、て説明する。 FL AG= ' 1 'のときを CM期間として判別し、復号処理制御部 86に判別結果を出力する 。復号処理制御部 86は、 CM境界判別部 85から出力された CM期間の判別結果で 、 CM期間であると判別された以外のフレームに対しては、復号部 82における復号 処理をスキップするように制御する。したがって、復号部 82は、記録部 80から、 CM 期間 (FLAG= ' 1 'の期間）に相当する符号ィ匕データを読み出し、復号処理を行う。 CM期間以外の期間に相当する符号化データをスキップした場合にも、 CM期間直 後の先頭フレームは、画面内符号ィ匕で符号ィ匕されているため、そのフレーム力もの 復号処理は可能である。
[0095] 以上に説明したように、実施の形態 5に係る動画像再生装置 104は、一定周期であ る画面内符号ィ匕フレーム以外の画面内符号ィ匕フレームを検出して CM境界として再 生することができる。また、実施の形態 5に係る動画像再生装置 104によれば、簡単 に符号ィ匕データ力 CM境界を検索することができ、確実に、 CM期間を結合させ、 あるいはスキップ再生することができる。
[0096] なお、上記実施の形態 1から実施の形態 5までの装置において、「フレーム」と称し ているものの概念には、テレビジョン放送信号における「フィールド」も含まれる。
[0097] また、上記実施の形態 1から実施の形態 5までの装置において、「テレビジョン放送 番組」と称しているものには、直接テレビ力も入力されるテレビジョン放送の他に、ビ デォレコーダや、ハードディスクレコーダにー且録画された後に出力されるテレビジョ ン放送番組も含まれる。
[0098] さらに、以上に説明した本発明の動画像符号化装置、動画像記録装置、及び動画 像再生装置の活用例としては、 DVD (Digital Versatile Disk)レコーダ、 DVDプ レーャ、 HDD (Hard Disk Drive)記録再生装置、ハイブリッドレコーダ（DVD記 録再生装置と HDD記録再生装置の複合機)等に適用できる。
[0099] さらにまた、本発明の動画像符号ィ匕装置によって実施される動画像符号ィ匕方法、 動画像記録装置によって実施される動画像記録方法、及び動画像再生装置によつ て実施される動画像再生方法を、パーソナルコンピュータ (PC)のような電子情報処 理装置によって、インストールされたソフトウェアプログラムに従って、実行させることも 可能である。プログラムのインストールに際しては、インストール用のプログラムを記録 した CD— ROMや DVD— ROMのような情報記録媒体からのインストール方法、又 は、インターネット等の通信回線を用いたダウンロードによるインストール方法がある。

Claims

請求の範囲
[1] テレビ番組期間とこのテレビ番組期間以外のコマーシャル期間とを含むテレビジョ ン放送の放送信号を符号化し、前記放送信号の符号化データを出力する符号化手 段と、
前記符号化手段に、一定周期毎のピクチャーについて画面内符号ィ匕を行わせ、前 記画面内符号ィヒされる一定周期毎のピクチャーの間のピクチャーについて画面間符 号ィ匕を行わせるように、前記符号化手段を制御する符号化制御手段と、
前記テレビ番組期間から前記コマーシャル期間に切り替わる境界及び前記コマ一 シャル期間から前記テレビ番組期間に切り替わる境界である番組'コマーシャル境界 を検出して番組'コマーシャル境界情報を出力するコマーシャル境界検出手段と を有し、
前記符号化制御手段が、前記番組 'コマーシャル境界情報に基づいて、前記番組
.コマーシャル境界に位置する第 1の境界位置ピクチャーにつ 、て画面内符号化を 行わせるように、前記符号化手段を制御する
ことを特徴とする動画像符号化装置。
[2] 前記符号化制御手段は、前記第 1の境界位置ピクチャーが、画面内符号化が行わ れる前記一定周期毎のピクチャーと重なった場合に、前記一定周期毎のピクチャー の所定ピクチャー数後のピクチャーを第 1の擬似境界位置ピクチャーとして画面内符 号化するように、前記符号ィ匕手段を制御することを特徴とする請求項 1に記載の動画 像符号化装置。
[3] 前記符号化制御手段は、前記第 1の境界位置ピクチャーが、画面内符号化が行わ れる前記一定周期毎のピクチャーと重なった場合に、前記第 1の境界位置ピクチャー と重なった前記一定周期毎のピクチャーを画面間符号ィ匕するように、前記符号化手 段を制御することを特徴とする請求項 2に記載の動画像符号ィ匕装置。
[4] 前記コマーシャル境界検出手段が、前記コマーシャル期間内において放送される 複数のコマーシャル部分の間のコマーシャル 'コマーシャル境界を検出してコマーシ ャル 'コマーシャル境界情報を出力し、
前記符号ィ匕制御手段が、前記コマーシャル 'コマーシャル境界情報に基づいて、 前記コマーシャル ·コマーシャル境界に位置する第 2の境界位置ピクチャーについて 画面内符号ィヒを行わせるように、前記符号化手段を制御する
ことを特徴とする請求項 1に記載の動画像符号化装置。
[5] 前記符号化制御手段は、前記第 2の境界位置ピクチャーが、画面内符号化が行わ れる前記一定周期毎のピクチャーと重なった場合に、前記第 2の境界位置ピクチャー と重なった前記一定周期毎のピクチャーの所定ピクチャー数後のピクチャーを第 2の 擬似境界位置ピクチャーとして画面内符号化するように、前記符号化手段を制御す ることを特徴とする請求項 4に記載の動画像符号ィ匕装置。
[6] 前記符号化制御手段は、前記第 2の境界位置ピクチャーが、画面内符号化が行わ れる前記一定周期毎のピクチャーと重なった場合に、前記第 2の境界位置ピクチャー と重なった前記一定周期毎のピクチャーを画面間符号ィ匕するように、前記符号化手 段を制御することを特徴とする請求項 5に記載の動画像符号ィ匕装置。
[7] 前記コマーシャル境界検出手段が、前記放送信号に含まれる映像信号に基づい て検出されるシーンチェンジ情報、及び、前記放送信号に含まれる音声信号に基づ いて、前記番組'コマーシャル境界及び Z又は前記コマーシャル 'コマーシャル境界 を検出することを特徴とする請求項 1に記載の動画像符号化装置。
[8] 請求項 1に記載の動画像符号化装置と、
前記符号化手段から出力された前記符号化データを記録する記録手段と を有することを特徴とする動画像記録装置。
[9] 前記第 1の境界位置ピクチャー及び Z又は前記第 2の境界位置ピクチャーに基づ いて、前記コマーシャル期間の開始及び終了時期に関する情報、及び Z又は、前記 コマーシャル期間内に放送される前記複数のコマーシャル部分のそれぞれの開始及 び終了時期に関する情報を表示する確認操作手段をさらに有することを特徴とする 請求項 8に記載の動画像記録装置。
[10] 前記テレビ番組期間に対応する符号ィ匕データを削除し、前記コマーシャル期間に 対応する符号化データを結合させる符号化データ編集手段をさらに有することを特 徴とする請求項 8に記載の動画像記録装置。
[11] 前記コマーシャル期間に対応する符号ィ匕データを削除し、前記テレビ番組期間に 対応する符号化データを結合させる符号化データ編集手段をさらに有することを特 徴とする請求項 8に記載の動画像記録装置。
[12] 前記コマーシャル期間に対応する符号ィ匕データに対して第 1のフラグを付加し、前 記テレビ番組期間に対応する符号ィヒデータに対して前記第 1のフラグとは異なる第 2 のフラグを付加する符号化データ編集手段をさらに有することを特徴とする請求項 8 に記載の動画像記録装置。
[13] 前記記録手段に記録された符号化データを復号する復号手段を有し、
前記確認操作手段は、前記復号手段により復号された画面内符号化フレームを表 示することを特徴とする請求項 9に記載の動画像記録装置。
[14] 前記符号ィ匕制御手段が、利用者による前記確認操作手段の操作によって特定さ れた画面内符号ィヒフレームを前記復号手段により復号させ、この復号により得られた 復号画像を前記符号化手段により画面間符号化させることを特徴とする請求項 13に 記載の動画像記録装置。
[15] 前記符号化手段が、ピクチャーを複数のブロックに区切り、ブロック単位で符号ィ匕し
、前記ブロック毎に画面内符号ィ匕又は画面間符号ィ匕を切り替える機能を有し、 前記符号化制御手段は、前記復号手段が、誤判定されたコマーシャル境界に位置 する画面内符号化されたピクチャーに対して復号処理を行って復号画像を生成し、 前記符号化手段により、前記ピクチャーとして画面間符号化を行い、前記ブロックとし ては画面内符号化を全ブロックに対して行うように制御する
ことを特徴とする請求項 14に記載の動画像記録装置。
[16] 前記符号ィ匕制御手段が、前記確認操作手段による利用者の操作によって特定さ れた画面間符号ィヒフレームを前記復号手段により復号させ、この復号により得られた 復号画像を前記符号化手段により画面内符号化させることを特徴とする請求項 13に 記載の動画像記録装置。
[17] テレビ番組期間とこのテレビ番組期間以外のコマーシャル期間とを含むテレビジョ ン放送の放送信号を画面内符号化及び画面間符号化によって符号化して生成され た符号ィ匕データであって、一定周期毎のピクチャーについて画面内符号ィ匕が行われ る符号化データを復号する復号手段と、 一定周期毎の画面内符号ィ匕ピクチャー以外の画面内符号ィ匕ピクチャーを、前記テ レビ番組期間から前記コマーシャル期間に切り替わる境界及び前記コマーシャル期 間から前記テレビ番組期間に切り替わる境界である番組'コマーシャル境界、並びに 、前記コマーシャル期間内において放送される複数のコマーシャル部分の間のコマ 一シャル 'コマーシャル境界と認識するコマーシャル境界判別手段と、
前記コマーシャル境界判別手段により判別された前記番組 'コマーシャル境界及 び前記コマーシャル 'コマーシャル境界に基づいて、前記復号手段による復号処理 を制御する復号処理制御手段と
を有することを特徴とする動画像再生装置。
[18] 前記コマーシャル境界判別手段により判別された前記番組'コマーシャル境界及 び前記コマーシャル 'コマーシャル境界に基づいて前記コマーシャル期間を判別し、 前記コマーシャル期間において早送り Z巻き戻し再生を行うことを特徴とする請求項 17に記載の動画像再生装置。
[19] 前記コマーシャル境界判別手段により判別された前記番組'コマーシャル境界及 び前記コマーシャル 'コマーシャル境界に基づいて前記コマーシャル期間を判別し、 前記テレビ番組期間をスキップして再生を行うことを特徴とする請求項 17に記載の動 画像再生装置。
[20] 前記コマーシャル境界判別手段により判別された前記番組'コマーシャル境界及 び前記コマーシャル 'コマーシャル境界に基づいて前記コマーシャル期間を判別し、 前記コマーシャル期間をスキップして再生を行うことを特徴とする請求項 17に記載の 動画像再生装置。
PCT/JP2005/007971 2004-06-21 2005-04-27 動画像符号化装置、動画像記録装置、及び動画像再生装置 WO2005125217A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE200560023997 DE602005023997D1 (de) 2004-06-21 2005-04-27 Codierungseinrichtung für bewegliche bilder, aufzeichnungseinrichtung für bewegliche bilder und wiedergabeeinrichtung für bewegliche bilder
JP2006514666A JP3894948B2 (ja) 2004-06-21 2005-04-27 動画像符号化装置及び動画像記録装置
EP20050736668 EP1768419B1 (en) 2004-06-21 2005-04-27 Moving picture encoding device, moving picture recording device, and moving picture reproduction device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004182095 2004-06-21
JP2004-182095 2004-06-21

Publications (1)

Publication Number Publication Date
WO2005125217A1 true WO2005125217A1 (ja) 2005-12-29

Family

ID=35510136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/007971 WO2005125217A1 (ja) 2004-06-21 2005-04-27 動画像符号化装置、動画像記録装置、及び動画像再生装置

Country Status (4)

Country Link
EP (2) EP2056299A3 (ja)
JP (1) JP3894948B2 (ja)
DE (1) DE602005023997D1 (ja)
WO (1) WO2005125217A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007267121A (ja) * 2006-03-29 2007-10-11 Victor Co Of Japan Ltd Ｃｍ検出装置
JP2012209958A (ja) * 2012-06-08 2012-10-25 Mitsubishi Electric Corp 映像音声記録装置及び映像音声記録方法
US8886014B2 (en) 2005-08-11 2014-11-11 Mitsubishi Electric Corporation Video recording apparatus, scene change extraction method, and video audio recording apparatus
US9841941B2 (en) 2013-01-21 2017-12-12 Dolby Laboratories Licensing Corporation System and method for optimizing loudness and dynamic range across different playback devices
US9905237B2 (en) 2013-01-21 2018-02-27 Dolby Laboratories Licensing Corporation Decoding of encoded audio bitstream with metadata container located in reserved data space

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304372A (ja) * 1997-04-30 1998-11-13 Sony Corp 画像符号化方法および装置、画像伝送方法
JP2002010254A (ja) * 2000-06-20 2002-01-11 Sony Corp 特徴点検出方法および記録再生装置
JP2002112197A (ja) * 2000-09-27 2002-04-12 Victor Co Of Japan Ltd 映像信号記録装置、映像信号再生装置、及び映像信号記録再生装置
JP2003047031A (ja) * 2001-08-03 2003-02-14 Nec Corp コマーシャル検出方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3711571B2 (ja) * 1994-09-29 2005-11-02 ソニー株式会社 画像符号化装置及び画像符号化方法
JP3911768B2 (ja) * 1997-06-02 2007-05-09 ソニー株式会社 画像符号化方法及び画像符号化装置
JP4005691B2 (ja) * 1998-03-19 2007-11-07 株式会社東芝 動画像符号化方法および動画像符号化装置
US7120351B2 (en) * 2002-05-09 2006-10-10 Thomson Licensing Control field event detection in a digital video recorder

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304372A (ja) * 1997-04-30 1998-11-13 Sony Corp 画像符号化方法および装置、画像伝送方法
JP2002010254A (ja) * 2000-06-20 2002-01-11 Sony Corp 特徴点検出方法および記録再生装置
JP2002112197A (ja) * 2000-09-27 2002-04-12 Victor Co Of Japan Ltd 映像信号記録装置、映像信号再生装置、及び映像信号記録再生装置
JP2003047031A (ja) * 2001-08-03 2003-02-14 Nec Corp コマーシャル検出方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1768419A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886014B2 (en) 2005-08-11 2014-11-11 Mitsubishi Electric Corporation Video recording apparatus, scene change extraction method, and video audio recording apparatus
JP2007267121A (ja) * 2006-03-29 2007-10-11 Victor Co Of Japan Ltd Ｃｍ検出装置
JP4547678B2 (ja) * 2006-03-29 2010-09-22 日本ビクター株式会社 Ｃｍ検出装置
JP2012209958A (ja) * 2012-06-08 2012-10-25 Mitsubishi Electric Corp 映像音声記録装置及び映像音声記録方法
US9841941B2 (en) 2013-01-21 2017-12-12 Dolby Laboratories Licensing Corporation System and method for optimizing loudness and dynamic range across different playback devices
US9905237B2 (en) 2013-01-21 2018-02-27 Dolby Laboratories Licensing Corporation Decoding of encoded audio bitstream with metadata container located in reserved data space
US9911426B2 (en) 2013-01-21 2018-03-06 Dolby Laboratories Licensing Corporation Audio encoder and decoder with program loudness and boundary metadata
US9916838B2 (en) 2013-01-21 2018-03-13 Dolby Laboratories Licensing Corporation Audio encoder and decoder with program loudness and boundary metadata
US10672413B2 (en) 2013-01-21 2020-06-02 Dolby Laboratories Licensing Corporation Decoding of encoded audio bitstream with metadata container located in reserved data space
US10671339B2 (en) 2013-01-21 2020-06-02 Dolby Laboratories Licensing Corporation System and method for optimizing loudness and dynamic range across different playback devices
US11080010B2 (en) 2013-01-21 2021-08-03 Dolby Laboratories Licensing Corporation System and method for optimizing loudness and dynamic range across different playback devices
US11782672B2 (en) 2013-01-21 2023-10-10 Dolby Laboratories Licensing Corporation System and method for optimizing loudness and dynamic range across different playback devices

Also Published As

Publication number Publication date
EP2056299A3 (en) 2009-07-29
JP3894948B2 (ja) 2007-03-22
EP1768419A4 (en) 2008-12-17
EP2056299A8 (en) 2010-06-09
JPWO2005125217A1 (ja) 2009-01-22
EP1768419B1 (en) 2010-10-06
EP2056299A2 (en) 2009-05-06
EP1768419A1 (en) 2007-03-28
DE602005023997D1 (de) 2010-11-18

Similar Documents

Publication Publication Date Title
TW545064B (en) Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance
US7295757B2 (en) Advancing playback of video data based on parameter values of video data
KR100912599B1 (ko) 풀 프레임 비디오 및 서브-프레임 메타데이터를 저장하는이동가능한 미디어의 프로세싱
JP4707713B2 (ja) 映像記録装置及びシーンチェンジ抽出方法
KR100906957B1 (ko) 서브-프레임 메타데이터를 이용한 적응 비디오 프로세싱
JP4838253B2 (ja) 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法
US20030123841A1 (en) Commercial detection in audio-visual content based on scene change distances on separator boundaries
JP5100667B2 (ja) 画像符号化装置及び画像符号化方法
JP4310195B2 (ja) エンコードされたオーディオ／ビデオシーケンスの編集
JP3894948B2 (ja) 動画像符号化装置及び動画像記録装置
JP4981275B2 (ja) 画像記録装置
JP2009010831A (ja) 画像解析装置および画像解析方法
JP4514736B2 (ja) 動画像再生装置
JP2005175710A (ja) デジタル記録再生装置及びデジタル記録再生方法
JPH06276485A (ja) 高能率符号化された動画像情報から早送り，早戻し画像を再生する再生方法
JP4736918B2 (ja) デジタル再生装置または再生プログラム
JP2003324686A (ja) 映像再生装置及び映像再生方法
JP4487196B2 (ja) 記録装置及びその制御方法
JP2007081813A (ja) 記録装置
JP2000333105A (ja) 画像圧縮データ記録装置及び画像圧縮データ記録・再生装置
KR100686137B1 (ko) 디지털 방송 수신기 및 캡처된 이미지 편집 및 저장 방법
JP2009272929A (ja) 映像符号化装置および映像符号化方法
JP2007028237A (ja) デジタル信号記録再生装置
JP2006121415A (ja) 動画符号化装置
JP2000354260A (ja) 映像再生方法、及び映像編集再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006514666

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005736668

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 2005736668

Country of ref document: EP