WO2004095844A1 - 画像符号化装置および画像符号化方法 - Google Patents

画像符号化装置および画像符号化方法 Download PDF

Info

Publication number
WO2004095844A1
WO2004095844A1 PCT/JP2003/005311 JP0305311W WO2004095844A1 WO 2004095844 A1 WO2004095844 A1 WO 2004095844A1 JP 0305311 W JP0305311 W JP 0305311W WO 2004095844 A1 WO2004095844 A1 WO 2004095844A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
information
picture
data
scene change
Prior art date
Application number
PCT/JP2003/005311
Other languages
English (en)
French (fr)
Inventor
Koichi Suzuki
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to CNB038240637A priority Critical patent/CN100364335C/zh
Priority to PCT/JP2003/005311 priority patent/WO2004095844A1/ja
Priority to AU2003231503A priority patent/AU2003231503A1/en
Priority to JP2004571101A priority patent/JP3923498B2/ja
Publication of WO2004095844A1 publication Critical patent/WO2004095844A1/ja
Priority to US11/084,011 priority patent/US8428117B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding device and an image encoding method for encoding a moving image, and in particular, to adding unique information to a frame such as information indicating scene change information to encoded data.
  • the present invention relates to a possible image encoding device and an image encoding method. Background art
  • Moving image data is used by being recorded on various recording media or transmitted and received via a network.
  • scene change information indicating the start of image recording or scene change is added to moving image data.
  • the scene change information is used, for example, in searching for a scene change and generating a thumbnail image at the time of reproducing moving image data.
  • a conventional image recording device that can detect a scene change from a video sequence and add scene change information to this data is a buffer memory that always stores the two frames of data input immediately before.
  • the scene change detection circuit detects the presence or absence of a scene change from the current frame and the two immediately preceding frames, and if a scene change is detected, the scene change addition circuit detects the scene change.
  • There is an image recording apparatus that adds information indicating a scene change to the data, and selectively outputs the data to which the information indicating the scene change is added and the data to which no information is added according to the presence or absence of the scene change by a switching switch. (For example, see Patent Document 1).
  • Patent Document 1
  • scene change information When scene change information is added at the time of generating such an MPEG stream, the presence / absence of a scene change is detected based on the data stored in the frame memory at the preceding stage of the encoding unit.
  • a method of recording information indicating a change in an option area or the like in the header can be considered.
  • the MPEG method employs a variable-length coding method
  • the amount of data per unit time of the video stream is often not constant, and the multiplexing processing in the multiplexing unit is also performed for each frame. It does not become a fixed time interval. For this reason, in the above method, the time required from the detection of a scene change to the writing of the scene change information fluctuates irregularly, and the header of the bucket including the head data of the target frame in which the scene change has occurred is included in the header. It was difficult to write scene change information accurately. Disclosure of the invention
  • the present invention has been made in view of such a problem, and is an image encoding apparatus capable of adding frame information such as scene change information to an accurate position in encoded moving image data.
  • the purpose is to provide.
  • Another object of the present invention is to provide an image encoding method capable of adding frame information unique to a frame such as scene change information to an accurate position in an encoded moving image. is there.
  • the image encoding apparatus is for encoding a moving image, and includes an encoding processing unit 1 that compresses and encodes input moving image data, and a picture generated by the encoding processing unit 1.
  • a first counter 2 for counting the number of frames, and a frame information holding unit for holding frame information indicating information unique to the frame in the input moving image data in association with the count number of the first counter 2 4, a header information insertion unit 6 that receives the picture generated by the encoding processing unit 1 and inserts predetermined header information, and counts the number of pictures received by the header information input unit 6 ′.
  • the header information input unit 6 refers to the frame information holding unit 4 and counts the respective counts by the first counter 2 and the second counter 7. The frame information corresponding to the picture at the time of match, and writes into the header information corresponding to the head data of the picture.
  • the input moving image data is compression-encoded by the encoding processing unit 1, and the number of pictures generated by the encoding processing unit 1 is counted by the first counter 2.
  • the frame information holding unit 4 holds frame information indicating information unique to the frame in the input moving image data in association with the count number of the first counter 2.
  • the header information insertion unit 6 inserts predetermined header information into the picture generated by the encoding processing unit 1, and reduces the number of pictures received by the header information insertion unit 6 to the second count. Counted by seven.
  • the header information input unit 6 when the header information is input, the frame information holding unit 4 is referred to, and when the respective count numbers by the first counter 2 and the second counter 7 match. Since the frame information corresponding to the picture is written in the header information corresponding to the head data of the picture, the frame information corresponding to the generated picture is reliably obtained and written at the correct position.
  • the input moving image data is compression-encoded, and the number of pictures generated by the compression encoding process is determined by
  • the frame information indicating information unique to the frame in the input moving image data is counted as the number of pictures of the first picture.
  • the number of received pictures is counted as a second picture number. Writing the frame information corresponding to a picture when the first and second picture numbers match, in the header information corresponding to the first data of the picture.
  • the input moving image data is compression-encoded, and the number of pictures generated by the compression-encoding processing is counted as a first picture number. Also, frame information indicating information unique to the frame in the input moving image data is held in association with the first number of pictures.
  • the picture generated by the compression encoding process is received and predetermined header information is inserted, the number of received pictures is used as the second picture number, and the first and second picture numbers match.
  • the frame information corresponding to the picture at the time of the writing is written in the header information corresponding to the head data of the picture. Therefore, when the header information is imported, the frame information corresponding to the generated picture is reliably obtained and written in the correct position.
  • FIG. 1 is a principle diagram for explaining the principle of the present invention.
  • FIG. 2 is a block diagram showing a configuration of the M PEG encoding device according to the embodiment of the present invention.
  • FIG. 3 is a flowchart showing the flow of processing in the video encoder section.
  • FIG. 4 is a flowchart showing the flow of processing in the multiplexing unit.
  • FIG. 5 is a diagram showing a format example of a header area into which scene change information is inserted.
  • FIG. 1 is a principle diagram for explaining the principle of the present invention.
  • the image encoding device shown in FIG. 1 includes an encoding processing unit 1, a first counter 2, a frame information detection unit 3, a frame information holding unit 4, and a multiplex processing unit 5.
  • the multiplexing processing unit 5 is provided with a header information insertion unit 6 and a second counter 7.
  • the encoding processing unit 1 compression-encodes the input moving image data using a predetermined encoding method, and generates a moving image stream.
  • a moving image stream data compressed and encoded for each frame or field is generated as a picture.
  • the first counter 2 counts the number of pictures generated in the encoding processing unit 1.
  • the count number at this time is output to the frame information holding unit 4.
  • the frame information detection unit 3 detects frame information from the input moving image data.
  • the frame information indicates information unique to the frame in the moving image data. For example, information indicating that a scene change has occurred in a target frame, VBI information stored in a vertical blanking interval (VBI), and the like can be included.
  • VBI vertical blanking interval
  • the frame information is stored in the frame memory. It can be detected in the evening.
  • the frame information holding unit 4 holds the count value from the first counter 2 in association with the frame information detected by the frame information detection unit 3 at this time.
  • the multiplexing processing unit 5 multiplexes the moving image stream encoded by the encoding processing unit 1 and the audio stream obtained by encoding the audio data to generate a multiplexed stream.
  • the header information input unit 6 inserts predetermined header information into the moving image stream received from the encoding processing unit 1.
  • the second counter 7 stores the moving image stream received by the header information inserting unit 6 in the moving image stream. The number of pictures is counted and output to the header information insertion unit 6.
  • the header information input unit 6 refers to the frame information holding unit 4 and refers to the frame information associated with the same count value as the second count 7 To get. Then, the frame information is written in the header information corresponding to the head data of the picture received at this time. For example, the data is written in the bucket header of the bucket including the leading data.
  • the input moving image data is compression-encoded in the encoding processing unit 1 and supplied to the multiplexing processing unit 5 as a moving image stream.
  • the header information is inserted in the header information input section 6, further multiplexed with the audio stream, and output as a multiplexed stream.
  • the frame information detection unit 1 From the time when the moving image is input to the encoding processing unit 1, the frame information detection unit
  • frame information is detected, and the frame information is stored in a frame information holding unit.
  • the value is held in association with the count value of the first counter 2.
  • the frame information is associated with the picture corresponding to the frame from which the frame information was detected.
  • the first counter 2 counts the number of pictures generated by the encoding processing unit 1
  • the second counter 7 counts the number of pictures received by the header information insertion unit 6. Therefore, when the first counter 2 and the second counter 7 have the same count number, the pictures to be counted are the same. Therefore, when the header information insertion unit 6 receives the picture, it acquires the frame information corresponding to the count value of the first counter 2 which is the same as the count value of the second counter 7 at this time. By doing so, it is possible to reliably obtain frame information corresponding to the received picture.
  • the header information input unit 6 for example, upon receiving a picture from the encoding processing unit 1, the head of the picture is identified, the second counter 7 is incremented at this time, and the frame information is By obtaining the frame information, it is possible to easily write the obtained frame information in the header information corresponding to the first data of the picture. Therefore, in the multiplexed stream, the write positions of the frame information and the corresponding picture data can be exactly matched, and When playing back a stream, it is possible to extract and use frame information at an accurate timing synchronized with the playback image.
  • FIG. 2 is a block diagram showing a configuration of the M PEG encoding device according to the embodiment of the present invention.
  • the MPEG encoding apparatus shown in FIG. 2 is an apparatus that generates an MPEG stream by compressing and encoding input video data and audio data according to the MPEG-2 method.
  • the MPEG encoding apparatus includes a frame memory 10, a scene change detection circuit 20, a video encoding unit 30, an audio encoder 40, and a multiplexing unit 50.
  • the video and audio signals input to the MPEG encoding device are input as analog signals from an external device such as a TV tuner, for example.
  • the video signal is input, for example, as a composite signal, is separated into a luminance signal and a color difference signal by a YZC separator (not shown), and is further subjected to AZD conversion and chroma encoding by an NTSC (National Television System Committee) decoder (not shown).
  • the data is input to the frame memory 10 as digital data.
  • the frame memory 10 is a first-in, first-out (FIFO) buffer memory having a capacity of a plurality of frames, and temporarily stores input video data sequentially. Then, the stored data is read out by the video encoder 31 and the scene change detection circuit 20.
  • FIFO first-in, first-out
  • the scene change detection circuit 20 stores the read frame and the previous frame in the frame memory 10. Read out the frame and detect the scene change. To detect a scene change, for example, a method of statistically processing pixel values included in two frames to obtain a difference between frames, a method of obtaining a correlation coefficient between frames, or the like can be used. For these detections, For example, only a luminance signal or only a color difference signal may be used as a pixel value.
  • the scene change detection circuit 20 includes a register 21 and stores information indicating whether or not a scene change has occurred in the register 21 based on the detection result.
  • the video encoder 30 includes a video encoder 31, a counter 32, and a scene change information processing circuit 33.
  • the video encoder 31 reads out the video data stored in the frame memory 10 frame by frame, compresses and encodes the data by the MPEG-2 method to generate a picture, and outputs the picture to the multiplexing unit 50 as a video ES (Elementary Stream). Output.
  • the video encoder 31 increments the count value of the counter 32 each time one picture is generated, and notifies the scene change information processing circuit 33 of the generation of the picture.
  • the counter 32 counts the number of pictures generated by the video encoder 31 and outputs the count value to the scene change information processing circuit 33.
  • the scene change information processing circuit 33 acquires the incremented count value of the counter 32 and refers to the register 21 of the scene change detection circuit 20. Then, the presence or absence of a scene change is determined, and information indicating the presence or absence of a scene change is stored in the memory 34 together with the acquired count value.
  • the memory 34 stores, for example, a table in which the presence or absence of a scene change is associated with a count value. Alternatively, only the count value when a scene change has occurred may be sequentially stored.
  • the input analog audio signal is converted into digital data by an A / D converter (not shown) and then input to the audio encoder 40.
  • the audio encoder 40 compresses and encodes the input audio data by the MPEG audio method or the like, and outputs it to the multiplexing unit 50 as audio ES.
  • the multiplexing section 50 is provided with a video ES buffer 51, an audio ES buffer 52, a MUX (Multiplexer) 53, a counter 54, and a matching processing circuit 55.
  • the video ES buffer 51 and the audio ES buffer 52 are used for video ES and audio encoders 40, respectively.
  • This is a buffer memory of the FIFO system that sequentially stores data ES and outputs it to the MUX 53.
  • the MUX 53 sequentially reads data from the video ES buffer 51 and the audio ES buffer 52, and multiplexes while writing predetermined system information in a header area to generate an MPEG stream.
  • the MUX 53 increments the count 54 and notifies the matching processing circuit 55 of the picture reading. Then, the result of determining whether or not a scene change has occurred in this picture is received from the matching processing circuit 55, and scene change information according to the result of determination is written in the header of the packet storing the head data of the picture. .
  • the counter 54 counts the number of pictures read from the video ES buffer 51 by the MUX 53, and outputs the count value to the matching processing circuit 55.
  • the control circuit 55 receives a control signal for notifying the reading of a picture from the MUX 53
  • the matching circuit 55 refers to the memory 34 using the count value of the counter 54, and a scene change occurs for the same count value.
  • the MUX 53 determines whether or not it has performed this, and notifies the MUX 53 of the determination result.
  • the basic operation of the M PEG encoding device is as follows.
  • the input video data is sequentially stored in the frame memory 10.
  • a picture type is assigned to each frame of the stored video data, and the video data of each frame is assigned by the video encoder 31 in the order of the code processing according to the picture type. Is read.
  • the video encoder 31 encodes the read data for one frame to generate a picture, stores the picture data in a packet, and sequentially outputs it as a video ES.
  • the generated video ES is temporarily stored in the video ES buffer 51, and is sequentially read from the MUX 53.
  • the audio ES generated by the audio encoder 40 is also temporarily stored in the audio ES buffer 52 and is sequentially read from the MUX 53.
  • the MUX 53 multiplexes the read video ES and audio ES while inserting necessary system information, and generates and outputs an MPEG stream.
  • the matching processing circuit is added to the option area of the header of the video packet.
  • Scene change information based on the determination result of 5 is added.
  • the occurrence of a scene change is detected by the scene change detection circuit 20 based on the video data stored in the frame memory 10.
  • the data of each frame is read out of the frame memory 10 from the video encoder 31 in the order of the encoding process.
  • the scene change detection circuit 20 detects the presence or absence of a scene change from the data of that frame and the data of the immediately preceding frame. And stores the detection result in register 21.
  • the count value of the counter 32 is incremented and the scene change is performed.
  • the information processing circuit 33 refers to the register 21 to determine the presence or absence of a scene change, and writes the scene change into the memory 34.
  • FIG. 3 is a flowchart showing the flow of processing in the video encoding unit 30.
  • the processing in the video encoding unit 30 will be described along the step numbers using this flowchart.
  • step S301 the video encoder 31 reads one frame of video data from the frame memory 10. Then, in step S302, the read data is subjected to a compression encoding process in accordance with the MPEG-2 method to generate one picture. Note that the generated picture data is temporarily stored in an output buffer (not shown) and then output to the video ES buffer 51 of the multiplexing unit 50.
  • step S303 the count value of the counter 32 is incremented according to the control signal from the video encoder 31.
  • step S304 the scene change information processing circuit 33 refers to the register 21 to determine the presence or absence of a scene change.
  • step S305 the scene change information processing circuit 33 stores the determination result in the memory 34 in association with the count value of the count 32.
  • step S306 it is determined whether or not to end the processing. If the processing is to be continued, the process returns to step S301, where the video data of the next frame is read out, and compression encoding is performed.
  • the memory 34 holds the count number assigned to each picture generated by the video encoder 31 and information indicating whether or not a scene change has occurred in each picture.
  • the MUX 53 counts the number of pictures read from the video ES buffer 51 by the counter 54, and compares the count with the count stored in the memory 34. By doing so, it is possible to easily recognize whether or not a scene change has occurred in the read picture.
  • FIG. 4 is a flowchart showing a processing flow in the multiplexing unit 50.
  • the processing of the multiplexing unit 50 will be described along the step numbers using this flowchart.
  • step S401 the MUX 53 reads the data stored in the video ES buffer 51.
  • PES Packetized Elementary
  • step S402 the MUX 53 determines whether or not the read data includes the head of the picture. This determination is made by reading the picture start code (Picture Start Code) described in the header of the picture layer. If the head is included, the process proceeds to step S 403, and if not, the process proceeds to step S 406.
  • picture start code Picture Start Code
  • step S403 the counter 54 is incremented according to the control signal from the MUX 53.
  • step S404 the matching processing circuit 55 refers to the data stored in the memory 34, reads the information associated with the same numerical value as the incremented counter 54, and reads the information corresponding to the scene change. Determines the presence or absence and notifies MU X53.
  • step S405 the MUX 53 inserts the scene change information into the optional area in the header of the PES bucket based on the determination result by the matching processing circuit 55. The insertion position of the scene change information will be described later with reference to FIG. .
  • step S406 the MUX 53 receives the audio ES buffer 52 from the audio ES buffer 52. An audio packet is generated using the read data and multiplexed with the output signal.
  • step S407 the MUX 53 generates a video bucket in which other necessary system information is inserted into a predetermined header area, and multiplexes the video bucket with an output signal.
  • step S408 it is determined whether or not to end the processing. If the processing is to be continued, the process returns to step S401, and the data read from the video ES buffer 51 is processed in the MUX 53. . Through the above processing, the MUP53 sequentially outputs the MPEG2 system stream to which the sequence change information has been added.
  • FIG. 5 is a diagram showing a format example of a header area into which scene change information is inserted.
  • the data read from the video ES buffer 51 by the multiplexing process in the MUX 53 is stored in the PES packet.
  • the header area is extended, and this extended area, together with a storage area for time stamps and the like, contains 16 bytes of PES private data.
  • An optional area is provided. Therefore, by inserting scene change information into this optional area, it becomes possible to accurately extract the scene change information in synchronization with the picture playback timing at the time of playback.
  • the number of pictures counted by the count 54 is recorded in the PES private data area together with the presence or absence of a scene change. For example, information on the presence or absence of a scene change is recorded in the first byte.
  • the multiplexing unit 50 counts the number of pictures during the multiplexing process, and refers to the memory 34 to compare the count value, thereby determining the presence or absence of a scene change in the picture.
  • Scene change according to Information is inserted into the multiplexed stream.
  • the MUX 53 can insert scene change information accurately in synchronization with the multiplexing processing of pictures.
  • the insertion position does not deviate from the start position of the picture.
  • the insertion position in the PES private data area it is possible to easily and accurately synchronize the picture with the scene change information. Therefore, when the generated MPEG stream is reproduced, the timing at which a scene change occurs can be accurately extracted. For example, cueing and thumbnail generation for each scene are performed accurately in synchronization with the reproduced image.
  • the scene change detection circuit may detect a scene change from the field read from the frame memory by the video encoder and the field stored two times before in the frame memory.
  • the presence / absence of a scene change is identified using the number of pictures as a unit.
  • this identification may be performed in a GOP (Group Of Picture) unit.
  • the video encoder performs a count every time the first picture of the GOP is generated, and writes the count number and information indicating the presence or absence of a scene change to the memory.
  • the multiplexing unit refers to the above memory to determine the presence or absence of a scene change.
  • the scene change information is inserted in a PES packet including a GOP header.
  • the position where the scene change information is written may be delayed by a few frames from the position where the scene change actually occurs, but is usually provided in the MPEG-2 format reproducing apparatus.
  • the cueing function can be used to identify the position where a scene change has occurred.
  • scene change information is inserted at the start of recording, so that the timing at which the recording is newly started is started. Can be extracted from the playback data.
  • it may be inserted into the user data area immediately after the sequence header.
  • a private bucket containing scene change information is stored immediately before the position where the first data of a frame is multiplexed. By doing so, it is possible to accurately extract the position where a scene change has occurred during playback.
  • the header information when header information is inserted into coded data, the header information is referred to the frame information holding unit, so that the generated picture can be handled. Frame information to be obtained. Therefore, the frame information can be reliably written in the header information corresponding to the head data of this picture, and the occurrence of a shift in the writing position is prevented.
  • the frame information is held in association with the first number of pictures, and the number of received pictures is counted when inserting the header information into the encoded data.
  • the frame information corresponding to the generated picture can be obtained. Therefore, the frame information can be reliably written in the header information corresponding to the first data of this picture, and the occurrence of the writing position shift is prevented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化した動画像データにシーンチェンジ情報等のフレームに固有なフレーム情報を正確な位置に付加する。符号化処理部（１）は、入力された動画像データを圧縮符号化し、第１のカウンタ（２）は、符号化処理部（１）によって生成されたピクチャの枚数をカウントする。フレーム情報保持部（４）は、入力された動画像データ中のフレームに固有な情報を示すフレーム情報を、第１のカウンタ（２）によるカウント数に対応づけて保持する。ヘッダ情報挿入部（６）は、符号化処理部（１）によって生成されたピクチャに対して所定のヘッダ情報を挿入し、第２のカウンタ（７）は、ヘッダ情報挿入部（６）が受け取ったピクチャの枚数をカウントする。ヘッダ情報挿入部（６）は、ヘッダ情報が挿入される際にフレーム情報保持部（４）を参照して、第１および第２のカウンタ（２）および（７）による各カウント数が一致したときのピクチャに対応するフレーム情報を、当該ピクチャの先頭データに対応するヘッダ情報内に書き込む。

Description

明 細 書 画像符号化装置および画像符号化方法 技術分野
本発明は、 動画像を符号化するための画像符号化装置および画像符号化方法に 関し、 特に、 符号化されたデータにシーンチェンジ情報を示す情報等のフレーム に固有な情報を付加することが可能な画像符号化装置および画像符号化方法に関 する。 背景技術
近年、 M P E G (Moving Picture Expert Group) 等の圧縮符号化方式を用い て、 動画像をデジタルデータとして取り扱うことが一般的となっている。 このよ うな動画像デ一夕は、 各種の記録媒体に記録されたり、 あるいはネットワークを 通じて送受信されることで利用されている。 また、 動画像データに対して、 画像 記録の開始時や場面の転換時を示すシーンチェンジ情報を付加することが行われ ている。 シーンチェンジ情報は、 例えば、 動画像データの再生時において、 場面 転換時のサーチやこのときのサムネール画像の生成等に利用される。
動画像デ一夕からシーンチェンジを検出し、 このデータ中にシーンチェンジ情 報を付加することが可能な従来の画像記録装置としては、 直前に入力された 2フ レーム分のデータを常にバッファメモリに記憶しておき、 シ一ンチェンジ検出回 路により、 現在のフレームと直前の 2フレームとからシーンチェンジの有無を検 出し、 シーンチェンジが検出された場合に、 シーンチェンジ付加回路によってシ ステム情報中にシーンチェンジを示す情報を付加し、 さらに切り替えスィッチに よって、 シーンチェンジを示す情報が付加されたデータと付加されていないデー 夕とをシーンチェンジの有無に応じて選択出力する画像記録装置があった （例え ば、 特許文献 1参照） 。
特許文献 1
特開 2 0 0 0— 1 1 5 6 6 5号公報 （段落番号 〔0 0 1 4〕 〜 〔0 0 3 2〕 、 第 1図）
また、 最近では、 例えばアンテナから受信したテレビ画像や外部から入力され た画像信号を圧縮符号化して、 光ディスク等の記録媒体に記録する装置の普及が 進んでおり、 このような装置においてもシーンチェンジ情報を付加することが考 えられている。 例えば、 MP E G方式を用いて圧縮符号化する装置では、 入力画 像信号は一旦フレームメモリに蓄積され、 符号化部によって 1フレームまたは 1 フィ一ルドごとに順次読み出されて圧縮符号化される。 これにより生成されたビ デォストリームは、 さらに多重化部においてオーディオストリーム等と多重化さ れ、 M P E Gストリームとして記録媒体に記録される。
このような M P E Gストリームの生成時にシーンチェンジ情報を付加する場合、 符号化部の前段のフレ一ムメモリに記憶されたデ一夕を基にシーンチェンジの有 無を検出し、 多重化部において、 シーンチェンジを示す情報をヘッダ内のォプシ ョン領域等に記録する方法が考えられる。
しかし、 M P E G方式では可変長符号化方式を採っているため、 ビデオストリ ームの単位時間当たりのデータ量は一定とならない場合が多く、 さらに多重化部 における多重化処理の夕イミングもフレームごとに一定時間間隔とはならない。 このため、 上記の方法では、 シーンチェンジの検出からシーンチェンジ情報の書 き込みまでに要する時間が不規則に変動し、 シーンチェンジが発生した目的のフ レームの先頭データを含むバケツトのヘッダに、 シーンチェンジ情報を正確に書 き込むことが困難であった。 発明の開示
本発明はこのような課題に鑑みてなされたものであり、 符号化した動画像デー 夕にシーンチェンジ情報等のフレームに固有なフレーム情報を正確な位置に付加 することが可能な画像符号化装置を提供することを目的とする。
また、 本発明の他の目的は、 符号化した動画像デ一夕にシーンチェンジ情報等 のフレームに固有なフレーム情報を正確な位置に付加することが可能な画像符号 化方法を提供することである。
本発明では上記課題を解決するために、 図 1に示すような画像符号化装置が提 供される。 この画像符号化装置は、 動画像を符号化するためのものであり、 入力 された動画像データを圧縮符号化する符号化処理部 1と、 前記符号化処理部 1に よって生成されたピクチャの枚数をカウントする第 1のカウンタ 2と、 入力され た前記動画像データ中のフレームに固有な情報を示すフレーム情報を、 前記第 1 のカウンタ 2によるカウント数に対応づけて保持するフレーム情報保持部 4と、 前記符号化処理部 1によって生成されたピクチャを受け取つて所定のへッダ情報 を挿入するヘッダ情報挿入部 6と、 前記ヘッダ情報揷入部 6'が受け取ったピクチ ャの枚数をカウントする第 2のカウンタ 7とを有し、 前記ヘッダ情報揷入部 6は、 前記フレーム情報保持部 4を参照して、 前記第 1のカウン夕 2および第 2のカウ ン夕 7による各カウント数が一致したときのピクチャに対応する前記フレーム情 報を、 当該ピクチャの先頭データに対応する前記ヘッダ情報内に書き込むことを 特徴とする。
このような画像符号化装置では、 符号化処理部 1によって、 入力された動画像 データが圧縮符号化され、 第 1のカウンタ 2により、 符号化処理部 1によって生 成されたピクチャの枚数がカウントされる。 このとき、 フレーム情報保持部 4に より、 入力された動画像デ一タ中のフレームに固有な情報を示すフレーム情報が、 第 1のカウンタ 2によるカウント数に対応づけて保持される。 また、 ヘッダ情報 挿入部 6では、 符号化処理部 1によって生成されたピクチャに対して所定のへッ ダ情報が挿入され、 ヘッダ情報挿入部 6が受け取ったピクチャの枚数が、 第 2の カウン夕 7によってカウントされる。 ここで、 ヘッダ情報揷入部 6では、 ヘッダ 情報が揷入される際にフレーム情報保持部 4が参照されて、 第 1のカウンタ 2お よび第 2のカウン夕 7による各カウント数が一致したときのピクチャに対応する フレーム情報が、 当該ピクチャの先頭データに対応するヘッダ情報内に書き込ま れるので、 生成されたピクチャに対応するフレーム情報が確実に取得され、 正し い位置に書き込まれる。
また、 本発明では、 動画像を符号化するための画像符号化方法において、 入力 された動画像データを圧縮符号化するとともに、 前記圧縮符号化処理によつて生 成されたピクチャの枚数を第 1のピクチャ枚数としてカウン卜し、 入力された前 記動画像データ中のフレームに固有な情報を示すフレーム情報を、 前記第 1のピ クチャ枚数に対応づけて保持し、 前記圧縮符号化処理によって生成されたピクチ ャを受け取つて所定のへッダ情報を挿入する際に、 受け取つたピクチャの枚数を 第 2のピクチャ枚数としてカウン卜し、 前記第 1および第 2のピクチャ枚数が一 致したときのピクチャに対応する前記フレーム情報を、 当該ピクチャの先頭デー 夕に対応する前記へッダ情報内に書き込むことを特徴とする画像符号化方法が提 供される。
このような画像符号化方法では、 入力された動画像データを圧縮符号化すると ともに、 この圧縮符号化処理によつて生成されたピクチャの枚数を第 1のピクチ ャ枚数としてカウントする。 また、 入力された動画像データ中のフレームに固有 な情報を示すフレーム情報を、 第 1のピクチャ枚数に対応づけて保持しておく。 そして、 圧縮符号化処理によって生成されたピクチャを受け取って所定のヘッダ 情報を挿入する際に、 受け取ったピクチャの枚数を第 2のピクチャ枚数として力 ゥントし、 第 1および第 2のピクチャ枚数が一致したときのピクチャに対応する フレーム情報を、 当該ピクチャの先頭データに対応するヘッダ情報内に書き込む。 従って、 ヘッダ情報を揷入する際に、 生成されたピクチャに対応するフレーム情 報が確実に取得され、 正しい位置に書き込まれる。
本発明の上記および他の目的、 特徴および利点は本発明の例として好ましい実 施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。 図面の簡単な説明
図 1は、 本発明の原理を説明するための原理図である。
図 2は、 本発明の実施の形態に係る M P E G符号化装置の構成を示すプロック 図である。
図 3は、 ビデオェンコ一ド部における処理の流れを示すフロ一チヤ一トである。 図 4は、 多重化部における処理の流れを示すフローチャートである。
図 5は、 シーンチェンジ情報が挿入されるへッダ領域のフォーマツト例を示す 図である。 発明を実施するための最良の形態 以下、 本発明の実施の形態を図面を参照して説明する。
図 1は、 本発明の原理を説明するための原理図である。
以下の図 1の説明では、 入力された動画像デ一夕を符号化して動画像ストリ一 ムを生成するとともに、 この動画像ストリームに例として音声ス卜リ一ムを多重 化して出力することが可能な画像符号化装置に本発明を適用した場合について説 明する。 この図 1に示す画像符号化装置は、 符号化処理部 1、 第 1のカウンタ 2、 フレーム情報検出部 3、 フレーム情報保持部 4および多重化処理部 5を具備して いる。 また、 多重化処理部 5には、 ヘッダ情報挿入部 6および第 2のカウン夕 7 が設けられている。
符号化処理部 1は、 入力された動画像データを所定の符号化方式で圧縮符号化 し、 動画像ストリ一ムを生成する。 動画像ストリームでは、 1フレームまたは 1 フィールドごとに圧縮符号化されたデータがピクチャとして生成される。
第 1のカウンタ 2は、 符号化処理部 1において生成されたピクチャの枚数を力 ゥントする。 このときのカウント数は、 フレーム情報保持部 4に出力される。 フレーム情報検出部 3は、 入力された動画像データからフレーム情報を検出す る。 ここで、 フレーム情報とは、 動画像データ中のフレームに固有な情報を示す。 例えば、 対象とするフレームにおいてシーンチェンジが発生していることを示す 情報や、 垂直ブランキング期間 （V B I ： Vertical Blanking Interval) に格納 された V B I情報等を含めることができる。 このフレーム情報は、 例えば、 符号 化処理部 1の入力段に、 入力された動画像データが一時的に記憶されるフレーム メモリが設けられている場合には、 このフレームメモリに記憶されたデ一夕を用 いて検出することができる。
フレーム情報保持部 4には、 第 1のカウンタ 2からのカウント値に、 このとき にフレーム情報検出部 3において検出されたフレーム情報を関連付けて保持する。 多重化処理部 5は、 符号化処理部 1で符号化された動画像ス卜リームと、 音声 データを符号化した音声ス卜リームとを多重化して、 多重化ス卜リームを生成す る。 この多重化処理部 5において、 ヘッダ情報揷入部 6は、 符号化処理部 1から 受け取った動画像ストリームに、 所定のヘッダ情報を挿入する。
第 2のカウンタ 7は、 へッダ情報挿入部 6が受け取つた動画像ストリ一ム中の ピクチャの枚数をカウントし、 へッダ情報挿入部 6に出力する。
ここで、 ヘッダ情報揷入部 6は、 ヘッダ情報の挿入を行う際に、 フレーム情報 保持部 4を参照して、 第 2のカウン夕 7のカウント値と同一のカウント値に対応 づけられたフレーム情報を取得する。 そして、 このフレーム情報をこのとき受け 取ったピクチャの先頭データに対応するヘッダ情報内に書き込む。 例えば、 この 先頭デ一タを含むバケツトのバケツトヘッダに書き込む。
このような画像符号化装置では、 入力された動画像データが、 符号化処理部 1 において圧縮符号化され、 動画像ストリームとして多重化処理部 5に供給される。 多重化処理部 5では、 ヘッダ情報揷入部 6においてヘッダ情報が挿入され、 さら に音声ストリームと多重化されて、 多重化ストリームとして出力される。
また、 符号化処理部 1に入力される動画像デ一夕からは、 フレーム情報検出部
3によってフレーム情報が検出され、 このフレーム情報は、 フレーム情報保持部
4において、 第 1のカウンタ 2によるカウント値に対応づけて保持される。 これ により、 フレーム情報と、 その検出元となったフレームに対応するピクチャとが 対応づけられる。
ここで、 第 1のカウン夕 2は、 符号化処理部 1で生成されたピクチャの枚数を カウントし、 第 2のカウンタ 7は、 ヘッダ情報挿入部 6が受け取ったピクチャの 枚数をカウントしているので、 第 1のカウン夕 2および第 2のカウンタ 7が同一 カウント数のときには、 カウント対象とされたピクチャは同一のものとなる。 従 つて、 ヘッダ情報挿入部 6がピクチャを受け取ったときに、 このときの第 2の力 ゥンタ 7によるカウント値と同一の第 1のカウン夕 2によるカウント値に対応づ けられたフレーム情報を取得することで、 受け取つたピクチャに対応するフレー ム情報を確実に取得することができる。
ヘッダ情報揷入部 6では、 例えば、 符号化処理部 1からのピクチャの受信時に、 ピクチャの先頭部を識別して、 このとき第 2のカウン夕 7をインクリメントさせ、 このカウント値を用いてフレーム情報を取得することにより、 ピクチャの先頭デ 一夕に対応するヘッダ情報に、 取得したフレーム情報を容易に書き込むことがで きる。 従って、 多重化ストリーム内において、 フレーム情報とこれに対応するピ クチャのデータとの各書き込み位置を正確に一致させることができ、 この多重化 ストリームの再生時において、 再生画像に同期した正確なタイミングでフレーム 情報を抽出し、 利用することが可能となる。
次に、 本発明の実施の形態例について、 具体的に説明する。 以下の説明では、 入力されたビデオ信号を M P E G— 2方式で符号化する装置に対して本発明を適 用した場合を想定する。 また、 フレーム情報として、 シーンチェンジの発生を示 す情報を付加するものとする。
図 2は、 本発明の実施の形態に係る M P E G符号化装置の構成を示すプロック 図である。
図 2に示す M P E G符号化装置は、 入力されたビデオデ一夕およびオーディォ データを M P E G— 2方式で圧縮符号化して、 M P E Gストリームを生成する装 置である。 この M P E G符号化装置は、 フレームメモリ 1 0、 シーンチェンジ検 出回路 2 0、 ビデオエンコード部 3 0、 オーディオエンコーダ 4 0および多重化 部 5 0を具備する。
この M P E G符号化装置に入力されるビデオおよびオーディォ信号は、 例えば テレビチューナ等の外部機器からアナログ信号として入力される。 ビデオ信号は 例えばコンポジット信号として入力され、 図示しない YZ C分離器において輝度 信号および色差信号に分離された後、 さらに図示しない N T S C (National Television System Committee) デコーダで A Z D変換およびクロマエンコ一ド 処理されて、 デジタルデータとしてフレームメモリ 1 0に入力される。
フレームメモリ 1 0は、 複数フレーム分の容量を有する F I F O (First In First Out) 方式のバッファメモリであり、 入力されたビデオデ一夕を順次、 一 時的に記憶する。 そして、 記憶されたデータは、 ビデオエンコーダ 3 1およびシ —ンチェンジ検出回路 2 0により読み出される。
シーンチェンジ検出回路 2 0は、 ビデオエンコーダ 3 1によってフレームメモ リ 1 0から 1フレーム分のビデオデータが読み出されると、 読み出し対象となつ たフレームと、 その 1つ前にフレームメモリ 1 0に記憶されたフレームとを読み 出して、 シーンチェンジの検出を行う。 シ一ンチェンジの検出には、 例えば、 2 つのフレームに含まれる画素値を統計処理して、 フレーム間の差分をとる手法や、 フレーム間の相関係数をとる手法等を用いることができる。 これらの検出では、 例えば、 画素値として輝度信号のみ、 あるいは色差信号のみを用いればよい。 ま た、 シーンチェンジ検出回路 2 0は、 レジス夕 2 1を具備しており、 検出結果に 基づき、 シーンチェンジの発生の有無を示す情報をレジスタ 2 1に格納する。 ビデオエンコード部 3 0には、 ビデオエンコーダ 3 1， カウンタ 3 2およびシ —ンチェンジ情報処理回路 3 3が設けられている。 ビデオエンコーダ 3 1は、 フ レームメモリ 1 0に記憶されたビデオデータを 1フレームずつ読み出し、 M P E G - 2方式で圧縮符号化してピクチャを生成し、 ビデオ E S (Elementary Stream) として多重化部 5 0に出力する。 また、 ビデオエンコーダ 3 1は、 1 枚のピクチャを生成するごとに、 カウンタ 3 2のカウント値をインクリメントさ せるとともに、 ピクチャの生成をシーンチェンジ情報処理回路 3 3に対して通知 する。
カウンタ 3 2は、 ビデオエンコーダ 3 1において生成されたピクチャの枚数を カウン卜し、 カウント値をシーンチェンジ情報処理回路 3 3に出力する。 シーン チェンジ情報処理回路 3 3は、 ビデオエンコーダ 3 1からピクチャの生成の通知 を受けると、 インクリメントされたカウンタ 3 2のカウント値を取得するととも に、 シーンチェンジ検出回路 2 0のレジスタ 2 1を参照してシーンチェンジの有 無を判断し、 シーンチェンジの有無を示す情報を、 取得したカウント値とともに メモリ 3 4に記憶する。 メモリ 3 4では、 例えばシーンチェンジの有無をカウン ト値と対応づけたテ一ブルが記憶される。 あるいは、 シーンチェンジが発生して いたときのカウント値のみが順次記憶されてもよい。
一方、 入力されたアナログのオーディオ信号は、 図示しない A/D変換器によ つてデジタルデータに変換された後、 オーディオエンコーダ 4 0に入力される。 オーディオエンコーダ 4 0は、 入力されたオーディオデータを M P E Gオーディ ォ方式等で圧縮符号化し、 オーディオ E Sとして多重化部 5 0に出力する。 多重化部 5 0には、 ビデオ E Sバッファ 5 1、 オーディォ E Sバッファ 5 2、 MUX (Multiplexer) 5 3、 カウンタ 5 4および照合処理回路 5 5が設けられ ている。
ビデオ E Sバッファ 5 1およびオーディォ E Sバッファ 5 2は、 それぞれビデ ォエンコーダ 3 1からのビデオ E Sおよびオーディオエンコーダ 4 0からのォ一 ディォ E Sを順次記憶して、 MUX 5 3に対して出力する F I F O方式のバッフ ァメモリである。
MU X 5 3は、 ビデオ E Sバッファ 5 1およびオーディオ E Sバッファ 5 2か ら順次データを読み出し、 所定のシステム情報をヘッダ領域に書き込みながら多 重化して、 M P E Gストリームを生成する。 また、 MUX 5 3は、 ビデオ E Sバ ッファ 5 1からピクチヤの先頭部が読み出されると、 カウン夕 5 4をインクリメ ン卜するとともに、 ピクチャの読み出しを照合処理回路 5 5に通知する。 そして、 このピクチャにおいてシーンチェンジが発生しているか否かの判断結果を照合処 理回路 5 5から受け取り、 ピクチャの先頭データを格納するパケットのヘッダ内 に、 判断結果に応じたシーンチェンジ情報を書き込む。
カウンタ 5 4は、 MU X 5 3がビデオ E Sバッファ 5 1から読み出したピクチ ャの枚数をカウントし、 カウン卜値を照合処理回路 5 5に出力する。 照合処理回 路 5 5は、 MUX 5 3からピクチャの読み出しを通知する制御信号を受信すると、 カウン夕 5 4のカウント値を用いてメモリ 3 4を参照し、 同一カウント値につい てシーンチェンジが発生しているか否かを判定して、 その判定結果を MUX 5 3 に通知する。
この M P E G符号化装置における基本的な動作は、 以下のようになる。 入力さ れたビデオデータは、 フレームメモリ 1 0に順次格納される。 フレームメモリ 1 0では、 格納されたビデオデ一夕の各フレームに対してピクチャタイプが割り当 てられ、 各フレームのデ一夕がピクチャタイプに応じた符号ィヒ処理順にビデオェ ンコ一ダ 3 1によって読み出される。 ビデオエンコーダ 3 1は、 読み出した 1フ レーム分のデータをエンコードしてピクチャを生成し、 ピクチャのデ一夕をパケ ットに格納してビデオ E Sとして順次出力する。
生成されたビデオ E Sはビデオ E Sバッファ 5 1に一旦格納され、 MU X 5 3 から順次読み出される。 また、 オーディオエンコーダ 4 0において生成されたォ 一ディォ E Sもオーディオ E Sバッファ 5 2に一旦格納され、 MUX 5 3から順 次読み出される。 MUX 5 3は、 読み出したビデオ E Sおよびオーディオ E Sに、 必要なシステム情報を挿入しながら多重化し、 M P E Gストリームを生成して出 力する。 このとき、 ビデオパケットのヘッダのオプション領域に、 照合処理回路 5 5による判定結果に基づくシーンチェンジ情報が付加される。
次に、 M P E Gストリーム中にシーンチェンジ情報を挿入するための処理につ いて説明する。
まず、 シーンチェンジの発生は、 フレームメモリ 1 0に格納されたビデオデ一 夕を基にして、 シーンチェンジ検出回路 2 0によって検出される。 上述したよう に、 フレームメモリ 1 0からは、 各フレームのデ一夕が符号化処理順にビデオェ ンコーダ 3 1から読み出される。 シーンチェンジ検出回路 2 0は、 ビデオェンコ ーダ 3 1から 1フレーム分のデータが読み出されるごとに、 そのフレームのデー 夕とその 1つ前のフレームのデ一夕とからシ一ンチェンジの有無を検出し、 検出 結果をレジスタ 2 1に格納する。
ビデオエンコード部 3 0では、 ビデオエンコーダ 3 1がフレームメモリから 1 フレーム分のデ一夕を読み出して 1つのピクチャを生成するごとに、 カウン夕 3 2のカウント値がィンクリメン卜されるとともに、 シーンチェンジ情報処理回路 3 3がレジス夕 2 1を参照してシーンチェンジの有無を判定し、 メモリ 3 4に書 き込みを行う。
図 3は、 ビデオエンコード部 3 0における処理の流れを示すフローチヤ一トで ある。 以下、 このフローチヤ一トを用いて、 ビデオエンコード部 3 0における処 理をステツプ番号に沿つて説明する。
ステップ S 3 0 1において、 ビデオエンコーダ 3 1は、 フレームメモリ 1 0か ら 1フレーム分のビデオデータを読み出す。 そして、 ステップ S 3 0 2において、 読み出したデータを M P E G— 2方式に従つて圧縮符号化処理し、 1つのピクチ ャを生成する。 なお、 生成されたピクチャのデータは図示しない出力バッファに 一旦記憶された後、 多重化部 5 0のビデオ E Sバッファ 5 1に出力される。
ステップ S 3 0 3において、 ビデオエンコーダ 3 1からの制御信号に従って、 カウンタ 3 2のカウント値がインクリメントされる。 これとともに、 ステップ S 3 0 4において、 シーンチェンジ情報処理回路 3 3はレジスタ 2 1を参照して、 シーンチェンジの有無を判定する。 ステップ S 3 0 5において、 シーンチェンジ 情報処理回路 3 3は、 判定結果をカウン夕 3 2のカウント値に対応づけて、 メモ リ 3 4に格納する。 ステップ S 3 0 6において、 処理を終了するか否かを判定し、 続行する場合は ステップ S 3 0 1に戻って、 次のフレームのビデオデ一夕を読み出し、 圧縮符号 化を行う。
以上の処理により、 メモリ 3 4には、 ビデオエンコーダ 3 1によって生成され た各ピクチャに割り当てられたカウント数と、 各ピクチャでシーンチェンジが発 生したか否かを示す情報とが保持される。 一方、 多重化部 5 0では、 MU X 5 3 がビデオ E Sバッファ 5 1から読み出したピクチャの枚数をカウンタ 5 4でカウ ン卜し、 そのカウント数をメモリ 3 4に保持されたカウント数と照合することで、 読み出したピクチャにおいてシーンチェンジが発生しているか否かを容易に認識 することができる。
図 4は、 多重化部 5 0における処理の流れを示すフローチャートである。 以下、 このフローチャートを用いて、 多重化部 5 0の処理をステップ番号に沿って説明 する。
ステップ S 4 0 1において、 MUX 5 3は、 ビデオ E Sバッファ 5 1に記憶さ れたデータを読み出す。 このとき、 例えば P E S (Packetized Elementary
Stream) パケット単位分のデータが読み出される。 ステップ S 4 0 2において、 MUX 5 3は、 読み出したデータにピクチャの先頭部が含まれるか否かを判定す る。 この判定は、 ピクチャレイヤのヘッダに記述されるピクチャ開始コード (Picture Start Code) を読み出すことで行われる。 先頭部が含まれる場合はス テツプ S 4 0 3に進み、 含まれない場合はステップ S 4 0 6に進む。
ステップ S 4 0 3において、 MUX 5 3からの制御信号に従って、 カウンタ 5 4がインクリメントされる。 ステップ S 4 0 4において、 照合処理回路 5 5は、 メモリ 3 4の記憶データを参照して、 インクリメントされたカウンタ 5 4のカウ ント値と同じ数値に対応づけられた情報を読み取り、 シーンチェンジの有無を判 定して MU X 5 3に通知する。 ステップ S 4 0 5において、 MUX 5 3は、 照合 処理回路 5 5による判定結果に基づいて、 シーンチェンジ情報を P E Sバケツト のヘッダ内のオプション領域に挿入する。 なお、 シーンチェンジ情報の挿入位置 については、 後の図 5において説明する。 .
ステップ S 4 0 6において、 MUX 5 3は、 オーディオ E Sバッファ 5 2から 読み出したデータを用いてオーディオパケットを生成し、 出力信号に多重化する。 ステップ S 4 0 7において、 MUX 5 3は、 その他の必要なシステム情報を所定 のヘッダ領域に挿入したビデオバケツトを生成し、 出力信号に多重化する。
ステップ S 4 0 8において、 処理を終了するか否かを判定し、 続行する場合は ステップ S 4 0 1に戻って、 ビデオ E Sバッファ 5 1から読み出されたデータが MUX 5 3において処理される。 以上の処理によって、 MU X 5 3からは、 シ一 ンチェンジ情報が付加された M P E G 2方式のシステムストリームが順次出力 される。
図 5は、 シーンチェンジ情報が揷入されるヘッダ領域のフォーマツト例を示す 図である。
MUX 5 3における多重化処理により、 ビデオ E Sバッファ 5 1から読み出さ れたデータは P E Sパケットに格納される。 また、 フレームの先頭デ一夕がペイ ロード内に含まれる P E Sバケツトではヘッダ領域が拡張され、 この拡張領域に は、 タイムスタンプ等の格納領域とともに、 P E Sプライベートデータと呼ばれ る 1 6パイト分のオプション領域が設けられている。 従って、 このオプション領 域にシーンチェンジ情報を揷入することにより、 再生時においてピクチャの再生 タイミングに同期してシーンチェンジ情報を正確に取り出すことが可能となる。 本実施の形態では、 この P E Sプライベートデータ領域に、 シーンチェンジの 有無とともに、 カウン夕 5 4によってカウントされたピクチャの枚数が記録され る。 例えば、 1バイト目に、 シーンチェンジの有無についての情報が記録される。 この領域には、 シ一ンチェンジが発生している場合は " 1 " 、 発生していない場 合は " 0 " を書き込む。 続いて、 2バイト目〜 5バイト目の領域には、 そのピク チヤが符号化の開始時から何枚目となるのかを示す情報が、 3 2ビットのデ一夕 で記録される。 これらの値は、 カウンタ 5 4のカウント数が用いられる。
以上の M P E G符号化装置では、 ビデオエンコーダ 3 1で生成された各ピクチ ャについて、 シーンチェンジの有無を示す情報が対応づけられてメモリ 3 4に格 納される。 そして、 多重化部 5 0では、 多重化処理時にピクチャの枚数をカウン 卜し、 メモリ 3 4を参照してカウント値を照合することによって、 そのピクチャ におけるシーンチェンジの有無が判定されて、 判定結果に応じたシーンチェンジ 情報が多重化ストリーム中に挿入される。
このように、 ピクチャの枚数を単位としてシーンチェンジの有無が認識される ことにより、 MUX 5 3では、 ピクチャのデ一夕の多重化処理に同期して正確に シーンチェンジ情報を挿入することができ、 その挿入位置がピクチャの先頭位置 からずれることがなくなる。 また、 その挿入位置を P E Sプライべ一卜データ領 域としたことで、 ピクチャとシーンチェンジ情報との同期を容易に正確に確保す ることができる。 従って、 生成された M P E Gストリームの再生時にシーンチェ ンジの発生タイミングを正確に抽出することができ、 例えば場面ごとの頭出しや サムネールの生成等が、 再生画像に正確に同期して行われる。
なお、 上記の実施の形態では、 ビデオデータをフレームごとに符号化する場合 について説明したが、 フィールドごとに符号化する場合にも適用することが可能 である。 この場合、 シーンチェンジ検出回路は、 ビデオエンコーダによってフレ —ムメモリから読み出されたフィールドと、 その 2つ前にフレームメモリに記憶 されたフィールドとからシ一ンチェンジを検出してもよい。
また、 上記では、 ピクチャの枚数を単位としてシーンチェンジの有無を識別し ていたが、 この識別を G O P (Group Of Picture) 単位で行ってもよい。 この場 合、 ビデオエンコーダでは、 G O Pの先頭ピクチャを生成するごとにカウン卜を 行い、 そのカウント数とシ一ンチェンジの有無を示す情報をメモリに書き込む。 そして、 多重化部でも同様に、 G O Pの先頭ピクチャを多重化する際に、 上記の メモリを参照してシ一ンチェンジの有無を判定する。 また、 シーンチェンジ情報 は G O Pヘッダを含む P E Sパケット内に挿入される。 このような場合には、 シ —ンチェンジ情報の書き込み位置は、 実際にシーンチェンジが発生した位置から 数フレーム分だけ遅延する場合があるが、 M P E G— 2方式の再生装置に通常設 けられている頭出し機能を流用して、 シーンチェンジの発生位置を特定すること ができる。
また、 ユーザによって録画の開始/停止動作が繰り返されたり、 あるいは複数 の番組がタイマー録画された場合等に、 録画の開始時にシーンチェンジ情報を揷 入することで、 新たに録画が開始されたタイミングを再生データから抽出するこ とが可能となる。 このような用途で使用される場合には、 シ一ンチェンジ情報を 2003/005311
14 例えばシーケンスへッダ直後のユーザデータ領域に挿入すればよい。
また、 M P E G— 1方式で符号化を行う符号化装置の場合には、 例えば、 フレ ームの先頭デ一夕を多重化する位置の直前に、 シーンチェンジ情報を格納したプ ライペートバケツトを揷入することで、 再生時にシーンチェンジの発生位置を正 確に抽出することができる。
以上説明したように、 本発明の画像符号化装置によれば、 符号化されたデータ にヘッダ情報が揷入される際に、 フレーム情報保持部を参照することで、 生成さ れたピクチャに対応するフレーム情報を取得することができる。 従って、 フレー ム情報をこのピクチャの先頭データに対応するへッダ情報内に確実に書き込むこ とができ、 書き込み位置のずれの発生が防止される。
また、 本発明の画像符号化方法によれば、 フレーム情報を第 1のピクチャ枚数 に対応づけて保持しておき、 符号化されたデータにヘッダ情報を挿入する際に、 受け取ったピクチャをカウントした第 2のピクチャ枚数と照合することで、 生成 されたピクチャに対応するフレ一ム情報を取得することができる。 従って、 フレ ーム情報をこのピクチャの先頭デ一夕に対応するヘッダ情報内に確実に書き込む ことができ、 書き込み位置のずれの発生が防止される。
上記については単に本発明の原理を示すものである。 さらに、 多数の変形、 変 更が当業者にとって可能であり、 本発明は上記に示し、 説明した正確な構成およ び応用例に限定されるものではなく、 対応するすべての変形例および均等物は、 添付の請求項およびその均等物による本発明の範囲とみなされる。

Claims

請 求 の 範 囲
1 . 動画像を符号化する画像符号化装置において、
入力された動画像データを圧縮符号化する符号化処理部と、
前記符号化処理部によつて生成されたピクチャの枚数をカウン卜する第 1の力 ゥン夕と、
入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、 前記第 1のカウンタによるカウント数に対応づけて保持するフレーム情報保持部 と、
前記符号化処理部によって生成されたピクチャを受け取って所定のヘッダ情報 を挿入するへッダ情報挿入部と、
前記へッダ情報挿入部が受け取ったピクチャの枚数をカウントする第 2のカウ ン夕と、
を有し、 前記ヘッダ情報揷入部は、 前記フレーム情報保持部を参照して、 前記 第 1および第 2のカウン夕による各カウント数が一致したときのピクチャに対応 する前記フレ一ム情報を、 当該ピクチャの先頭データに対応する前記ヘッダ情報 内に書き込むことを特徴とする画像符号化装置。
2 . 入力された前記動画像データから前記フレーム情報を検出するフレーム情 報検出部をさらに有し、 前記フレーム情報保持部は前記フレーム情報検出部から 前記フレーム情報を取得することを特徴とする請求の範囲第 1項記載の画像符号 化装置。
3 . 前記ヘッダ情報揷入部は、 前記符号化処理部によって生成された前記ピク チヤを含む動画像ストリームを他のデータストリームと多重化する多重化処理部 に設けられたことを特徴とする請求の範囲第 1項記載の画像符号化装置。
4 . 前記フレ一ム情報は、 対応するフレームにおいてシーンチェンジが発生し たことを示す情報を含むことを特徴とする請求の範囲第 1項記載の画像符号化装 置。
5 . 入力された前記動画像データを一時的に記憶するメモリと、
前記メモリに記憶されたフレームまたはフィールドのデータとそれ以前のフレ ームまたはフィ一ルドのデ一夕とから前記シーンチェンジの有無を検出するシー ンチェンジ検出部と、 '
をさらに有し、
前記フレーム情報保持部は前記シーンチェンジ検出部からの検出信号に基づい て前記シーンチェンジが発生したことを認識することを特徴とする請求の範囲第 4項記載の画像符号化装置。
6 . 前記符号化処理部は、 前記メモリからフレ一ムまたはフィ一ルドのデ一夕 を読み出すごとに圧縮符号化処理を行って前記ピクチャを生成し、
前記シ一ンチェンジ検出部は、 前記符号化処理部によって前記圧縮符号化処理 対象のフレームまたはフィールドのデータが前記メモリから読み出されると、 当 該フレームまたは当該フィールドについて前記シーンチェンジの検出を行うこと を特徴とする請求の範囲第 5項記載の画像符号化装置。
7 . 前記フレーム情報は、 入力された前記動画像デ一夕中の各フレームの垂直 プランキング期間に記録された情報を含むことを特徴とする請求の範囲第 1項記 載の画像符号化装置。
8 . 動画像を符号化する画像符号化装置において、
入力された動画像デー夕を圧縮符号化する符号化処理部と、
前記符号化処理部によって生成されたピクチャについて、 複数のピクチャをグ ル一プ化したダル一プ単位で力ゥントする第 1のカウンタと、
入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、 前記第 1のカウンタによるカウント数に対応づけて保持するフレーム情報保持部 と、
前記符号化処理部によって生成された前記ピクチャを受け取って所定のヘッダ 情報を挿入するへッダ情報揷入部と、
前記へッダ情報揷入部が受け取つたピクチャについて前記グループ単位で力ゥ ントする第 2のカウンタと、
を有し、 前記ヘッダ情報揷入部は、 前記フレーム情報保持部を参照して、 前記 第 1および第 2のカウンタによる各カウント数が一致する前記グループに対応す る前記フレーム情報を、 当該グループの先頭データに対応する前記ヘッダ情報内 に書き込むことを特徴とする画像符号化装置。
9 . 動画像を符号化するための画像符号化方法において、
入力された動画像データを圧縮符号化するとともに、 前記圧縮符号化処理によ つて生成されたピクチャの枚数を第 1のピクチャ枚数としてカウントし、
入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、 前記第 1のピクチャ枚数に対応づけて保持し、
前記圧縮符号化処理によって生成されたピクチャを受け取って所定のへッダ情 報を挿入する際に、 受け取ったピクチャの枚数を第 2のピクチャ枚数としてカウ ントし、 前記第 1および第 2のピクチャ枚数が一致したときのピクチャに対応す る前記フレーム情報を、 当該ピクチャの先頭データに対応する前記ヘッダ情報内 に書き込む、
ことを特徴とする画像符号化方法。
PCT/JP2003/005311 2003-04-24 2003-04-24 画像符号化装置および画像符号化方法 WO2004095844A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CNB038240637A CN100364335C (zh) 2003-04-24 2003-04-24 图像编码装置和图像编码方法
PCT/JP2003/005311 WO2004095844A1 (ja) 2003-04-24 2003-04-24 画像符号化装置および画像符号化方法
AU2003231503A AU2003231503A1 (en) 2003-04-24 2003-04-24 Image encoding device and image encoding method
JP2004571101A JP3923498B2 (ja) 2003-04-24 2003-04-24 画像符号化装置および画像符号化方法
US11/084,011 US8428117B2 (en) 2003-04-24 2005-03-21 Image encoder and image encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/005311 WO2004095844A1 (ja) 2003-04-24 2003-04-24 画像符号化装置および画像符号化方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/084,011 Continuation US8428117B2 (en) 2003-04-24 2005-03-21 Image encoder and image encoding method

Publications (1)

Publication Number Publication Date
WO2004095844A1 true WO2004095844A1 (ja) 2004-11-04

Family

ID=33307242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/005311 WO2004095844A1 (ja) 2003-04-24 2003-04-24 画像符号化装置および画像符号化方法

Country Status (4)

Country Link
JP (1) JP3923498B2 (ja)
CN (1) CN100364335C (ja)
AU (1) AU2003231503A1 (ja)
WO (1) WO2004095844A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742286B (zh) * 2008-11-11 2013-07-24 北京中星微电子有限公司 视频编、解码方法和视频编、解码装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241217A (ja) * 1995-03-07 1996-09-17 Hitachi Ltd 情報処理装置
JPH11262005A (ja) * 1998-03-06 1999-09-24 Nec Corp 映像符号化方式
JP2002033712A (ja) * 2000-07-17 2002-01-31 Matsushita Electric Ind Co Ltd パケット処理装置及びそのパケット出力方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115665A (ja) * 1998-10-06 2000-04-21 Canon Inc 画像記録装置及び方法並びに記憶媒体
KR100608454B1 (ko) * 1999-10-19 2006-08-02 삼성전자주식회사 키프레임을 이용한 동화상 기록 및/또는 재생장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241217A (ja) * 1995-03-07 1996-09-17 Hitachi Ltd 情報処理装置
JPH11262005A (ja) * 1998-03-06 1999-09-24 Nec Corp 映像符号化方式
JP2002033712A (ja) * 2000-07-17 2002-01-31 Matsushita Electric Ind Co Ltd パケット処理装置及びそのパケット出力方法

Also Published As

Publication number Publication date
JPWO2004095844A1 (ja) 2006-07-13
AU2003231503A1 (en) 2004-11-19
JP3923498B2 (ja) 2007-05-30
CN1689331A (zh) 2005-10-26
CN100364335C (zh) 2008-01-23

Similar Documents

Publication Publication Date Title
JP3197766B2 (ja) Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ
US7076156B2 (en) Recording apparatus and method, playback apparatus and method, and recording medium therefor
US7742687B2 (en) Digital television recorders and stream format conversion and methods thereof
US8233776B2 (en) After-recording apparatus
US8195024B2 (en) Stream generating apparatus, imaging apparatus, data processing apparatus and stream generating method
JP2005318502A (ja) 可変フレームレート記録のための映像記録装置、多重方法、映像符号化方法、プログラム、及び記録媒体
JP2009268129A (ja) 映像記録装置、多重方法、プログラム、及び記録媒体
JP3133630B2 (ja) Ｍｐｅｇシステムデコーダ
US8428117B2 (en) Image encoder and image encoding method
JP4288549B2 (ja) 記録装置および方法、並びに再生装置および方法
WO2004095844A1 (ja) 画像符号化装置および画像符号化方法
JP2002010254A (ja) 特徴点検出方法および記録再生装置
JP4254007B2 (ja) 再生装置および方法、並びに記録媒体
JP4284574B2 (ja) 記録装置および方法、並びに記録媒体
JP3897584B2 (ja) デジタル映像信号記録再生装置及び再生装置、並びに、デジタル映像信号記録再生方法及び再生方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004571101

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11084011

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20038240637

Country of ref document: CN

122 Ep: pct application non-entry in european phase