WO2005002224A1 - 字幕等の情報を含むビデオ信号の処理回路 - Google Patents

字幕等の情報を含むビデオ信号の処理回路 Download PDF

Info

Publication number
WO2005002224A1
WO2005002224A1 PCT/JP2003/008210 JP0308210W WO2005002224A1 WO 2005002224 A1 WO2005002224 A1 WO 2005002224A1 JP 0308210 W JP0308210 W JP 0308210W WO 2005002224 A1 WO2005002224 A1 WO 2005002224A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
video signal
additional information
data
digital video
Prior art date
Application number
PCT/JP2003/008210
Other languages
English (en)
French (fr)
Inventor
Tetsu Takahashi
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to CNB038256533A priority Critical patent/CN100397890C/zh
Priority to PCT/JP2003/008210 priority patent/WO2005002224A1/ja
Priority to JP2005503225A priority patent/JP4327796B2/ja
Priority to EP03736288A priority patent/EP1641262B1/en
Priority to DE60326015T priority patent/DE60326015D1/de
Publication of WO2005002224A1 publication Critical patent/WO2005002224A1/ja
Priority to US11/136,704 priority patent/US7460182B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00—Medicinal preparations containing organic active ingredients
    • A61K31/12—Ketones
    • A61K31/122—Ketones having the oxygen directly attached to a ring, e.g. quinones, vitamin K1, anthralin
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00—Medicinal preparations containing organic active ingredients
    • A61K31/28—Compounds containing heavy metals
    • A61K31/295—Iron group metal compounds
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00—Medicinal preparations containing organic active ingredients
    • A61K31/28—Compounds containing heavy metals
    • A61K31/30—Copper compounds
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00—Medicinal preparations containing organic active ingredients
    • A61K31/33—Heterocyclic compounds
    • A61K31/335—Heterocyclic compounds having oxygen as the only ring hetero atom, e.g. fungichromin
    • A61K31/365—Lactones
    • A61K31/375—Ascorbic acid, i.e. vitamin C; Salts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K33/00—Medicinal preparations containing inorganic active ingredients
    • A61K33/24—Heavy metals; Compounds thereof
    • A61K33/26—Iron; Compounds thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K33/00—Medicinal preparations containing inorganic active ingredients
    • A61K33/24—Heavy metals; Compounds thereof
    • A61K33/32—Manganese; Compounds thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K33/00—Medicinal preparations containing inorganic active ingredients
    • A61K33/24—Heavy metals; Compounds thereof
    • A61K33/34—Copper; Compounds thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K33/00—Medicinal preparations containing inorganic active ingredients
    • A61K33/40—Peroxides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K45/00—Medicinal preparations containing active ingredients not provided for in groups A61K31/00 - A61K41/00
    • A61K45/06—Mixtures of active ingredients without chemical characterisation, e.g. antiphlogistics and cardiaca
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Definitions

  • the present invention generally relates to a video signal processing circuit, and more particularly to a video signal processing circuit that encodes a video signal into which data such as subtitle information has been inserted.
  • Recent television signals include closed caption information such as closed captions, character broadcast information, program guide information, and copy guard signals.
  • closed caption information such as closed captions, character broadcast information, program guide information, and copy guard signals.
  • these pieces of information and signals are input to a plurality of horizontal line portions located above the image field, in the top field and the bottom field.
  • FIGS. 1A and 1B are diagrams showing the fields of the interlaced system in the NTSC system and the insertion positions of character information and the like.
  • FIG. 1A shows the top field
  • FIG. 1B shows the bottom field
  • the top field consists of horizontal tracks from line 1 to line 263. Of these 23 horizontal scanning lines, lines 1 to 21 at the top of the field are blanking periods that are not displayed on the screen corresponding to the vertical blanking period, and the vertical sync pulse is inserted here. You. During the blanking period, test signals, subtitle information, teletext information, program guide information, copy guard signals, etc. can be inserted.
  • the bottom field shown in Figure 1B consists of horizontal scan lines from line 26 4 to line 5 25, of which the top line from line 26 4 to line 28 4 is used during the blanking period. Yes, subtitle information etc. can be inserted here.
  • Character data of the closed caption method is input to the line 21 of the top field and the line 284 of the bottom field as 16-bit data in each field. Of these 16 bits, 2 bits are used as a knowledge bit You can. For each frame, for example, character data inserted for one character is extracted to form a group of subtitles consisting of multiple characters, and superimposed on video information for a period specified by control information to display subtitles such as movies. Can be created.
  • the video and audio signal when recording a video and audio signal supplied as an analog signal by television broadcasting as a digital signal, the video and audio signal is converted to a digital signal by an NTSC decoder and an audio DAC (digital analog converter). .
  • the converted digital signal is input to the MPEG2 codec and encoded to compress the stream into the MPEG2PS or MPEG2TS format.
  • the compressed stream is output from the stream dedicated port of the MPEG-2 codec, and is transferred by DMA to the recording device by the CPU and stored.
  • the character data inserted into the lines 21 and 284 of the video frame encoded by the MPEG2 codec is extracted by the MPEG2 codec and inserted into the stream.
  • the clock frequency of digital data output from the NTSC decoder that is, the supply speed of analog signals
  • the frequency of the operating clock of the MPEG2 codec that is, the speed of encoding
  • the digital data of each frame output from the NTSC decoder is temporarily stored in a buffer, and the frame data is sequentially read from the buffer and encoded. Is used. With such a buffer, the MPEG2 codec skips certain frames or repeats certain frames as necessary to absorb the difference between the data supply speed and the encoding speed as needed. Encoding.
  • Patent Literature 1 Japanese Patent Publication No. 9-501088
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2000-21049
  • Patent Literature 3 Japanese Patent Application Laid-Open No. 2000-01694939
  • Patent Document 2 Japanese Patent Application Laid-Open No. H11-17511 Disclosure of the Invention
  • a general object of the present invention is to provide a video signal processing circuit that solves one or more problems of the related art.
  • the present invention absorbs a difference between a signal supply speed and a processing speed without deteriorating the consistency of character information when processing a video signal in which character information or the like is inserted for each frame or each field. It is a further specific object to provide a video signal processing circuit capable of performing the following.
  • a video signal processing circuit comprises: a frame memory for receiving and storing at a first rate each frame of a digital video signal in which additional information is associated with each frame; A frame synchronization unit for reading out each frame of the digital video signal at a second rate; and without repeating the additional information when the frame synchronization unit repeatedly reads the same frame of the digital video signal, and A processing unit for associating the additional information with the digital video signal read by the frame synchronization unit without skipping the additional information when the frame synchronization unit skips and reads a certain frame of the digital video signal. It is characterized by the following.
  • the video signal processing circuit even if a frame is repeatedly read due to a difference between the first rate and the second rate, or even if a frame is skipped and read, character information and the like are read.
  • the additional information is processed so as to be associated with the video stream without being repeated or skipped. Therefore, the character
  • processing a video signal in which information or the like is inserted for each frame or for each field it is possible to absorb the difference between the signal supply speed and the processing speed without deteriorating the consistency of character information and the like.
  • FIG. 1A and 1B are diagrams showing each interlaced field and the insertion position of character information and the like.
  • FIG. 2 is a diagram illustrating an example of a video signal processing circuit to which the present invention is applied.
  • FIG. 3 is a block diagram showing a configuration of the MPEG2 codec and a connected memory.
  • FIG. 4 is a flowchart showing a process performed by the CPU on the CCD in accordance with the frame skip 'repeat process.
  • FIGS. 5A to 5E are diagrams showing a comparison between the present invention and the related art regarding correspondence between frames of video data and closed caption data.
  • FIG. 2 is a diagram illustrating an example of a video signal processing circuit to which the present invention is applied.
  • the video signal processing circuit 10 in Fig. 2 is composed of the MPEG2 codec 11, CPU & interface 12, data storage device 13, NTSC decoder 14, audio ADC 15, audio DAC 16, And NTSC encoder 17.
  • ADC is the analog-to-digital converter
  • DAC is the digital-to-analog converter.
  • an analog video signal and an analog audio signal supplied by a television broadcast are input to an NTSC decoder 14 and an audio ADC 15, respectively.
  • the NTSC decoder 14 converts an analog video signal into a digital video signal and supplies it to the MPEG2 codec 11.
  • Audio AD C 1 5 converts an analog audio signal into a digital audio signal and supplies it to the MPE G2 codec 11.
  • the MPEG 2 codec 11 temporarily stores a digital video signal in a frame memory according to a frame rate at which data is supplied.
  • the MPEG2 codec 11 reads one frame of data from the frame memory according to the frame rate requested by itself. By this operation, when the requested frame rate is higher than the supply frame rate, the same frame is repeatedly read, and when the requested frame rate is lower than the supply frame rate, the frame is skipped halfway. Become.
  • the MPEG2 codec 11 encodes the video data read from the frame memory, multiplexes it with audio data encoded by another path, and supplies it to the CPU & interface 12 as a compressed MPEG2 stream.
  • the CPU & interface 12 transfers the supplied stream to the data storage device 13.
  • the data storage device 13 is, for example, a node disk drive, a DVD drive, or the like, and stores a stream including video data and audio data in a storage medium.
  • the CPU & interface 12 reads a stream including video data and audio data from the data storage device 13, separates video data and audio data, and decodes each data.
  • the decoded audio data is converted by the audio DAC 16 into an analog audio signal.
  • the decoded video data is converted by the NTSC encoder 17 into an analog video signal.
  • FIG. 3 is a block diagram showing a configuration of the MPEG2 codec 11 and a connected memory.
  • the RAM 21 includes a frame memory 21A for storing video signals for each frame and a CCD table 21B for storing closed-caption data (CCD).
  • CCD closed-caption data
  • the MPEG2 codec 11 in Fig. 3 has a frame synchronizer 31, a CCD slicer 32, a CPU 33, an MPEG2 video encoder 34, and an MPEG1 audio And a MPEG2 multiplexer 36, an MPEG2 demultiplexer 37, a MPEG2 video decoder 38, and an MPEG1 audio decoder 39.
  • the frame sync port nitrogenizer 31 writes the input digital video signal to the frame memory 21 A of the RAM 21 via the CCD slicer 32.
  • the frame memory 21A has a two-bank configuration, and each puncture has a memory capacity for one frame and stores video data for one frame.
  • the frame synchronizer 31 writes the input video signal alternately to two banks of the frame memory 21A. When one frame of video data has been written to one bank, an interrupt is issued to CPU 33 (frame interrupt).
  • the frame synchronizer 31 reads one frame of video data from the frame memory 21A and transfers the read video data to the MPEG 2 video encoder 3. Transfer to 4. At this time, the transfer source bank from which one frame of video data is to be read is a bank to which time-old video data is written. Therefore, of the two frames stored in the frame memory 21A, the one stored first is always transferred first.
  • the video signal input from outside and the request of the MPEG2 video encoder 34 are not synchronized. Therefore, a slight difference may occur between the frame rate of the externally input video signal and the frame rate required by the MPEG2 video encoder 34. Even in this case, as described above, the frame synchronizer 31 operates in such a manner that the older one of the two frame data is always read out in response to the request of the MPEG 2 video encoder 34. Rate deviations are absorbed. That is, if the request rate of the MPEG2 video encoder 34 is high, a process of skipping frames (skip processing) is executed as a result, and if the request rate of the MPEG2 video encoder 34 is low, the result is Then, the same frame is transferred (repeat processing).
  • the frame synchronizer 31 detects that the skip processing or the repeat processing has been executed, and outputs data indicating which processing has been executed to the frame synchronizer 31. It is stored in the register inside the decoder at the start of frame transfer.
  • the frame synchronizer 31 interrupts the CPU 33 when the transfer of the head data of the frame is started (after skip / repeat, after register setting). Apply (encode start interrupt).
  • the CPU 33 can know which processing has been executed by reading data indicating the skip processing or the repeat processing from the register in response to this interrupt.
  • the CCD slicer 32 extracts a 16-bit CCD (closed caption data) from each field of the input video signal, and stores the extracted CCD in an internal register.
  • a register is also provided to indicate whether or not the force detected the CCD.
  • the CPU 33 extracts the CCD of the presence or absence of the CCD and the CCD of both fields and stores the CCD in the work memory of the CPU 33.
  • the CPU 33 performs predetermined processing on the CCD according to the frame skip / repeat processing, and then writes the CCD data into the CCD table 21B secured in a predetermined area of the RAM 21. Note that the timing of this writing is the timing of responding to the encoder start interrupt.
  • the MPEG2 video encoder 34 sequentially encodes the video data of each frame transferred from the frame memory 21A by the frame synchronizer 31, and generates an MPEG2 video stream.
  • the MPEG2 video encoder 34 further inserts the CCDs stored in the CCD table 21B into the MPEG2 video stream in order.
  • the MPEG1 audio encoder 35 encodes audio data supplied from the outside and supplies the encoded audio data to the MPEG2 multiplexer 36.
  • the MPEG 2 multiplexer 36 multiplexes the MP EG 2 video stream supplied from the MP EG 2 video encoder 34 with the MPEG 1 video stream supplied from the MPEG 1 audio encoder 35, and outputs the multiplexed MP EG 2 PSZTS stream. Output to
  • the MPEG2 demultiplexer 37 separates the MPEG2PSZTS stream input from the outside into a video stream and an audio stream, and supplies them to the MPEG2 video decoder 38 and the MPEG1 audio decoder 39.
  • M The PEG2 video decoder 38 decodes the video stream and supplies it to the outside as a video output.
  • the MPEG1 audio decoder 39 decodes the audio stream and supplies it as an audio output to the outside.
  • FIG. 4 is a flowchart showing processing performed by the CPU 33 on the CCD in accordance with the frame skip / repeat processing. This processing is executed when the CPU 33 writes the CCD data into the CCD table 21B as described above.
  • step ST1 of FIG. 4 the CPU 33 reads data indicating skip processing or repeat processing from a register (skip repeat register) in the frame synchronizer 31.
  • step ST2 the CPU 33 determines whether or not the content of the skip repeat register indicates a repetition process. Since this is a normal case other than the repeat process, the process proceeds to step ST4.
  • step ST4 the CPU 33 determines whether or not the content of the skip repeat register indicates a skip process. Since skip processing is a normal case, the process proceeds to step ST6.
  • step ST6 the CPU 33 determines whether or not N is 0 or more.
  • N has an initial value of 0, and is a force value that is incremented by 1 each time skip processing is performed (step ST5).
  • N is 0 or more will be described later.
  • step ST8 the CPU 33 writes data A to the CCD table 21B (CCD insertion register).
  • the data A is the oldest CCD held in the CPU work memory area.
  • step ST10 data A is deleted from the work memory area of the CPU 33.
  • the CCD is transferred from the work memory area of the CPU 33 to the CCD table 21B in the order of the frame.
  • the processing when the repeat processing is executed will be described.
  • step ST1 of FIG. 4 the CPU 33 reads data indicating skip processing or repeat processing from a register (skip repeat register) inside the frame sink opening niser 31.
  • step ST2 the CPU 33 determines whether or not the content of the skip repeat register indicates repeat processing. In this case, a repeat process is indicated, and the process proceeds to step ST3.
  • step ST3 the CPU 33 writes NULL (code indicating no data) in the CCD table 21B (CCD insertion register).
  • step ST10 the data A is deleted from the work memory area of the CPU 33.
  • NULL is written in the repeated frame instead of repeating the corresponding CCD. This can prevent the character data of the repeated frame from being repeatedly displayed.
  • the operation of writing NULL at the time of repeat processing does not necessarily need to be performed at the time of the frame where the repeat processing is executed.
  • the repeat processing is executed, the fact that the repeat processing has been executed is stored without writing anything, and NULL may be written at an appropriate timing in any of the subsequent frames. Even by such an operation, the correspondence between the frame shifted by the repeat processing and the character data can be returned to the correct timing relation.
  • extra NULL may be written in advance, and nothing may be written when the repeat processing is executed. In other words, stagger the timing in advance and repeat When executed, the timing may be returned to the correct timing. Regardless of which method is used, it is important that the same number of NULLs as the number of times of repeat processing is inserted at any time, so that the frame and the character data can be compared when viewed at long intervals. It is to keep the response right.
  • step ST1 of FIG. 4 the CPU 33 reads data indicating a skip process or a repeat process from a register (skip repeat register) in the frame synchronizer 31.
  • step ST2 the CPU 33 determines whether or not the content of the skip repeat register indicates a repeat process. Since this is a skip process other than the repeat process, the process proceeds to step ST4.
  • step ST4 the CPU 33 determines whether or not the content of the skip repeat register indicates skip processing. In this case, since the skip processing is performed, the process proceeds to step ST5.
  • step ST5 the count value N is increased by one.
  • N is an initial value of 0, and is a count value incremented by 1 each time skip processing is performed.
  • step ST6 the CPU 33 determines whether or not N is 0 or more. In this case, N is equal to or greater than 0, and the process proceeds to step ST7.
  • step ST7 the CPU 33 determines whether or not the data A that is the oldest CCD in the CPU work memory area is NULL.
  • the data A that is the oldest CCD in the CPU work memory area is NULL.
  • the CPU 33 writes data A to the CCD tape holder 21B (CCD insertion register).
  • step ST10 data A is deleted from the work memory area of the CPU 33.
  • step ST7 the data that is the oldest CCD in the CPU work memory area If A is determined to be NULL, N is decremented by 1 in step ST9, and data A is deleted in step ST10 without writing data A (NULL) to the CCD table 21B. Therefore, even when a frame is skipped, if the corresponding CCD is unnecessary data (NULL), the CCD is discarded to maintain the timing relationship between the frame and the CCD correctly. be able to.
  • step ST7 If the frame is skipped and the corresponding CCD is required data (N in step ST7), the CCD is written in step ST8. Therefore, the timing relationship between the frame and the CCD is shifted. In this case, N remains at a value of 0 or more because step ST9 is not executed. After that, when neither the skip process nor the repeat process is executed (when the frame is transferred as usual), N is set to 0 or more in step ST6, and step ST7 is executed. In step ST7, if it is determined that the data A, which is the oldest CCD in the work memory area, is NULL, it is possible to return the timing between the frame and the CCD to the correct relationship by discarding the CCD. it can. When skip processing is performed multiple times and N is a large number, the timing does not return to the correct relationship with one discard of CCD, but the timing is corrected only after multiple discards are repeated. Let's go back to the relationship.
  • 5A to 5E are diagrams showing a comparison between the present invention and the conventional technology.
  • FIG. 5A is a diagram showing a relationship between a frame “image” and closed caption data “CCD” of video data supplied from the outside as input.
  • CCD (A, B) is inserted in image 1
  • CCD (C, D) in image 2
  • CCD (E, F) in image 3
  • CCD (E) in image 4.
  • G, H) are inserted.
  • FIG. 5B is a diagram showing a video stream conventionally obtained when frame 2 is skipped. As shown in the figure, at the same time as image 2 is skipped, CC D (C, D) is also skipped, and subtitles that should be “ABCDEFGH”
  • FIG. 5C is a diagram showing a video stream obtained by the present invention when frame 2 is skipped. As shown in the figure, even if image 2 is skipped, the corresponding CCD (C, D) is retained without discarding the data, so subtitles that should originally be “ABCD EFGH” will be displayed correctly. .
  • FIG. 5D is a diagram showing a video stream conventionally obtained when frame 2 is repeated. As shown in the figure, at the same time as image 2 is repeated, CCD (C, D) is also repeated. As a result, the subtitle that should originally be “ABCDEFGH” becomes “ABCDCDEFGH”.
  • FIG. 5E is a diagram showing the video stream obtained by the present invention when the frame is subjected to S-power S-repeat. As shown in the figure, even if image 2 is repeated, the corresponding CCD (C, D) is processed without being repeated, so the subtitles that should originally be “ABCDE FGH” will be displayed correctly.
  • the present invention has been described based on the embodiments.
  • the present invention is not limited to the above embodiments, and various modifications can be made within the scope of the claims.
  • the skip processing and the repeat processing are detected by the hardware.
  • the number of frame interrupts and the number of encoding start interrupts are counted and compared, so that the skip processing and the repeat processing can be detected by the software processing by the CPU. Good.
  • the CCD is detected by hardware.
  • the CCD may be detected by software soft-processing by the CPU by directly reading the image data held in the frame memory.
  • the closed caption is described as an example, but the present invention is not limited to caption information, but also includes a test signal, teletext information, program guide information, a copy guard signal, etc.
  • the information to be inserted is generally applicable.
  • it is determined whether or not the additional data (CCD) of the skipped frame is NULL, and if NULL, the additional data is also skipped.
  • CCD additional data
  • a configuration may be adopted in which it is determined whether or not the additional data of the skipped frame is important, and if not, the additional data is also skipped.
  • Whether or not certain data is important depends on the type of additional information (type of program guide information, copy guard signal, etc.), so data that can be skipped in advance according to the type of additional information (data of low importance) It is only necessary to determine data that cannot be skipped (data with high importance).

Abstract

文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが可能なビデオ信号処理回路を提供することを目的とする。このビデオ信号処理回路は、フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第１のレートで受け取り格納するフレームメモリと、フレームメモリからデジタルビデオ信号の各フレームを第２のレートで読み出すフレーム同期ユニットと、フレーム同期ユニットがデジタルビデオ信号の同一のフレームを繰り返し読み出した場合に付加情報を繰り返すことなく、またフレーム同期ユニットがデジタルビデオ信号のあるフレームをスキップして読み出した場合に付加情報をスキップすることなく、付加情報をフレーム同期ユニットが読み出したデジタルビデオ信号に対応付ける処理ユニットを含むことを特徴とする。

Description

明 細 書 字幕等の情報を含むビデオ信号の処理回路 技術分野
本発明は、一般にビデオ信号処理回路に関し、詳しくは字幕情報等のデータが揷 入されたビデオ信号を符号化等するビデオ信号処理回路に関する。 背景技術
最近のテレビジョン信号には、クローズドキヤプション等の字幕情報や、文字放 送情報、 番組表情報、 更にはコピーガード信号等が含まれている。 これらの情報 及び信号は、 例えばィンターレース方式のビデオ信号であれば、 トップフィール ドとボトムフィールドとにおレ、て、 画像フィールド上部に位置する複数の水平ラ イン部分に揷入される。
図 1 A及び 1 Bは、 NT S C方式におけるインターレース方式の各フィールド と文字情報等の挿入位置を示す図である。
図 1 Aはトップフィールドを示し、 図 1 Bはボトムフィールドを示す。 図 1 A に示されるように、トップフィールドはライン 1からライン 2 6 3までの水平走 查線よりなる。 この 2 6 3本の水平走査線のうちでフィールド上部のライン 1か らライン 2 1までが、 垂直帰線期間に対応する画面に表示されないブランキング 期間であり、 ここに垂直同期パルスが挿入される。 ブランキング期間には更に、 テスト信号、字幕情報、文字放送情報、番組表情報、 コピーガード信号等を挿入で きる。 同様に、 図 1 Bに示されるボトムフィールドはライン 2 6 4からライン 5 2 5までの水平走査線よりなり、 このうちフィールド上部のライン 2 6 4からラ イン 2 8 4までがブランキング期間であり、 ここに字幕情報等を挿入することが できる。
クローズドキャプション方式の文字データは、 トップフィールドのライン 2 1 及びボトムフィールドのライン 2 8 4に、 各フィールド 1 6ビットのデータとし て揷入される。 この 1 6ビットのうちで、 2ビットはノ リティービットとして用 いられる。 各フレーム毎に例えば一文字分挿入されている文字データを抽出して 複数文字からなる一纏めの字幕とし、 制御情報により指定された期間、 映像情報 に重畳して表示することで、 映画等の字幕を作成することができる。
例えばテレビジョン放送によりアナログ信号として供給されたビデオ &オーデ ィォ信号をデジタル信号として録画する場合、ビデオ &オーディォ信号を N T S Cデコーダ及ぴオーディオ D AC (デジタル ·アナログ ·コンバータ) によって デジタル信号に変換する。 変換後のデジタル信号を、 MP E G 2コーデックに入 力して符号化することで、 MPEG 2 PS若しくは MPEG 2 TS方式のストリ ームに圧縮する。 圧縮されたストリームは、 MPEG 2コーデックのストリーム 専用ポートより出力され、 CPUにより録画デバイスへ DM A転送され格納され る。
この際、 MPEG2コーデックにより符号化されたビデオフレームのライン 2 1及ぴライン 284に揷入されている文字データは、 MP EG 2コーデックによ り抽出されて、 上記ストリーム中に挿入される。
一般に、 N T S Cデコーダから出力されるデジタルデータのクロック周波数 (即 ちアナログ信号の供給速度） と、 MP EG 2コーデックの動作クロックの周波数 (即ち符号ィ匕の速度） とには僅かながらずれがある。 このデータ供給速度と符号 ィ匕速度とのずれをなくすために、 NT SCデコーダから出力される各フレームの デジタルデータを一旦パッファに格納し、 バッファから順次フレームデータを読 み出して符号化する構成が用いられる。 このようにバッファを設けた上で、 デー タ供給速度と符号化速度の違いを随時吸収するために、 MP EG 2コーデックが 必要に応じてあるフレームをスキップしたり、 あるフレームをリピートしたりし て符号化する。
このようにして符号化処理で速度の違いを吸収するが、 文字データ等はビデオ 信号の各フィールドに順番に揷入されているために、 フレームがスキップされた りリピートされたりすると、 データが欠落したり同一データが 2個続いたりする ことになる。 即ちリピート処理された場合、 本来は 「TEST」 という字幕のは ずが、 同一データが 2個続くことにより例えば 「TEEST」 となってしまう。 またスキップ処理された 、 本来は 「TEST」 という字幕のはずが、 あるデ ータが欠落して例えば 「T E T」 となってしまう。
以上を鑑みて、 文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ 信号を処理する際に、 文字情報等の一貫性を損うことなく信号の供給速度と処理 速度の違いを吸収することが望ましい。
特許文献 1 特表平 9—5 0 1 8 0 8号公報
特許文献 2 特開 2 0 0 1— 2 4 9 8 3号公報
特許文献 3 特開 2 0 0 1—6 9 4 3 9号公報
特許文献 2 特開平 1 1一 7 5 1 1 3号公報 発明の開示
本発明は、 上記関連技術の一つ又は複数の問題点を解決するビデオ信号処理回 路を提供することを一般的な目的とする。
また本発明は、 文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ 信号を処理する際に、 文字情報等の一貫性を損うことなく信号の供給速度と処理 速度の違いを吸収することが可能なビデオ信号処理回路を提供することを更なる 具体的な目的とする。
上記目的を達成するために、 本発明によるビデオ信号処理回路は、 フレーム毎 に付加情報が対応付けられたデジタルビデオ信号の各フレームを第 1のレートで 受け取り格納するフレームメモリと、 該フレームメモリから該デジタルビデオ信 号の各フレームを第 2のレートで読み出すフレーム同期ュニットと、 該フレーム 同期ュニットが該デジタルビデオ信号の同一のフレームを繰り返し読み出した場 合に該付加情報を繰り返すことなく、 また該フレーム同期ュニットが該デジタル ビデオ信号のあるフレームをスキップして読み出した場合に該付加情報をスキッ プすることなく、 該付加情報を該フレーム同期ュニットが読み出した該デジタル ビデオ信号に対応付ける処理ュニットを含むことを特徴とする。
上記ビデオ信号処理回路によれば、 第 1のレートと第 2のレートとの違レヽによ りフレームが繰り返し読み出される場合又はフレームがスキップして読み出され る であっても、 文字情報等の付加情報については繰り返すことも又スキップ することもなくビデオストリームに対応付けるように処理される。 従って、 文字 情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、 文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収する ことが可能となる。 図面の簡単な説明
図 1 A及び 1 Bは、 インターレース方式の各フィールドと文字情報等の挿入位 置を示す図である。
図 2は、本発明を適用する対象となるビデオ信号処理回路の一例を示す図であ る。
図 3は、 MP E G 2コーデック及び接続されるメモリの構成を示すブロック図 である。
図 4は、 C P Uがフレームのスキップ'リピート処理に応じて C C Dに施す処理 を示すフローチャートである。
図 5 A乃至図 5 Eは、 ビデオデータのフレームとクローズドキヤプションデー タとの対応について本発明と従来技術との比較を示す図である。 発明を実施するための最良の形態
以下に、 本発明の実施例を添付の図面を用いて詳細に説明する。
図 2は、本発明を適用する対象となるビデオ信号処理回路の一例を示す図であ る。
図 2のビデオ信号処理回路 1 0は、 MP E G 2コーデック 1 1、 C P U&ィン ターフェース 1 2、 データ格納装置 1 3、 NT S Cデコーダ 1 4、 オーディオ A D C 1 5、 オーディオ D AC 1 6、 及び NT S Cエンコーダ 1 7を含む。 ここで AD Cはアナログ' トゥー ·デジタル変 βであり、 D ACはデジタル · トゥー' アナログ変換器である。
例えばテレビジョン放送により供給されたアナログ ·ビデオ信号とアナログ' オーディォ信号とが、 それぞれ NT S Cデコーダ 1 4とオーディォ AD C 1 5と に入力される。 NT S Cデコーダ 1 4は、アナログ'ビデオ信号をデジタル 'ビデ ォ信号に変換して、 MP E G 2コーデック 1 1に供給する。 オーディォ AD C 1 5は、アナログ'オーディォ信号をデジタル 'オーディォ信号に変換して、 MPE G 2コーデック 11に供給する。
MPEG 2コーデック 11は、 データが供給されるフレームレートに従ってデ ジタル'ビデオ信号をフレームメモリに一時的に格納する。また MP EG2コーデ ック 11は、 自らが要求するフレームレートに従ってフレームメモリから 1フレ ーム分のデータを読み出す。 この動作により、 要求フレームレートが供給フレー ムレートよりも速い場合には同一のフレームを繰り返し読み出すことになり、 ま た要求フレームレートが供給フレームレートよりも遅い場合には途中でフレーム がとばされることになる。
MPEG2コーデック 11は、 フレームメモリから読み出したビデオデータを 符号化し、 別経路で符号化されたオーディオデータと多重化し、 圧縮された MP EG2ストリームとして CPU&インターフェース 12に供糸合する。 CPU&ィ ンターフェース 12は、供給されたストリームをデータ格納装置 13に転送する。 データ格納装置 13は、 例えばノヽードディスクドライブや DVDドライブ等であ り、 ビデオデータ及ぴオーディォデータからなるストリームを記憶媒体に格納す る。
再生等の復号化時には、 CPU&インターフェース 12がデータ格納装置 13 からビデオデータ及ぴオーディォデータを含むストリームを読み出し、 ビデオデ ータ及びオーディオデータを分離し、 それぞれのデータを復号化する。 復号化さ れたオーディオデータはオーディオ D AC 16によりアナログ ·オーディオ信号 に変換される。 また復号化されたビデオデータは NTS Cエンコーダ 17により アナログ'ビデオ信号に変換される。
図 3は、 MP EG 2コーデック 1 1及び接続されるメモリの構成を示すブロッ ク図である。
図 3の MP EG 2コーデック 11は、 RAM 21に接続される。 RAM 21は、 ビデオ信号をフレーム毎に格納するフレームメモリ 21 A及ぴクローズドキヤプ シヨンデータ （CCD) を格納する CCDテーブル 21 Bを含む。
図 3の MP EG 2コーデック 11は、 フレームシンクロナイザ 31、 CCDス ライサ 32、 CPU33、 MPEG2ビデオエンコーダ 34、 MPEG1オーデ ィォエンコーダ 3 5、 M P E G 2マルチプレクサ 3 6、 M P E G 2デマルチプレ クサ 3 7、 MP E G 2ビデオデコーダ 3 8、 及び MP E G 1オーディォデコーダ 3 9を含む。
フレームシンク口ナイザ 3 1は、 入力されたデジタルビデオ信号を、 C C Dス ライサ 3 2を介して RAM 2 1のフレームメモリ 2 1 Aに書き込む。 フレームメ モリ 2 1 Aは 2バンク構成となっており、 各パンクは 1フレーム分のメモリ容量 を有し、 1フレーム分のビデオデータを格納する。 フレームシンクロナイザ 3 1 は、 入力ビデオ信号をフレームメモリ 2 1 Aの 2つのバンクに交互に書き込む。 1つのバンクに対する 1フレーム分のビデオデータの書き込みが終了すると、 C P U 3 3に対して割り込みを発行する （フレーム割り込み)。
またフレームシンクロナイザ 3 1は、 MP E G 2ビデオエンコーダ 3 4からの 要求に応答して、 フレームメモリ 2 1 Aからビデオデータを 1フレーム分読み出 して、 読み出したビデオデータを M P E G 2ビデオェンコーダ 3 4に転送する。 この際にビデオデータを 1フレーム分読み出す対象となる転送元のバンクは、 時 間的に古いビデオデータが書き込まれているバンクである。 従って、 フレームメ モリ 2 1 Aに格納されている 2つのフレームのうち、 先に格納されたものが常に 先に転送される。
外部から入力されるビデオ信号と、 M P E G 2ビデオェンコーダ 3 4の要求は 同期していなレ、。従つて、外部からの入力ビデオ信号のフレームレートと MP E G 2ビデオエンコーダ 3 4が要求するフレームレートとには、 若干のずれが生じる 場合がある。 この場合であっても、 上記のように、 フレームシンクロナイザ 3 1 が MP E G 2ビデオエンコーダ 3 4の要求に応答して 2つのフレームデータのう ち常に古い方を読み出すように動作することで、 フレームレートのずれは吸収さ れる。 即ち、 MP E G 2ビデオエンコーダ 3 4の要求レートが高い場合は、 結果 的にフレームをとばす処理 （スキップ処理） が実行され、 また MP E G 2ビデオ エンコーダ 3 4の要求レートが低い場合は、 結果的に同じフレームを転送する処 理 （リピート処理） が実行されることになる。
フレームシンクロナイザ 3 1は、 スキップ処理又はリピート処理が実行された ことを検知し、 何れの処理が実行されたかを示すデータを、 フレームシンクロナ ィザ内部のレジスタにフレーム転送開始時に格納する。 またフレームシンクロナ ィザ 31は、 MP EG 2ビデオエンコーダ 34にフレームを転送する際、 フレー ムの先頭データの転送を開始した時点 （スキップ · リピート時はレジスタセット 後） で、 C P U 33に割り込みをかける （ェンコード開始割り込み)。 C P U 33 は、 この割り込みに応答して上記レジスタからスキップ処理又はリピート処理を 示すデータを読むことにより、 何れの処理が実行されたかを知ることができる。
CCDスライサ 32は、 入力されたビデオ信号の各フィールドから 16ビット の CCD (クローズドキャプションデータ） を抽出し、 抽出した CCDを内部レ ジスタに保持する。 また、 CCDを検出できた力否かを示すレジスタも設けられ る。 CPU33は、 フレーム割り込みに応答してこれらのレジスタを読むことに より、 CCDの有無ゃ両フィールドの CCDを抽出し、 CPU33のワークメモ リ内に格納する。 CPU33は、 フレームのスキップ ' リピート処理に応じて C CDに所定の処理を施した後に、 RAM21の所定の領域に確保されている CC Dテーブル 21 Bに CCDデータを書き込む。なおこの書き込みのタイミングは、 ェンコ一ド開始割り込みに応答するタイミングとなる。
MPEG 2ビデオエンコーダ 34は、 フレームシンクロナイザ 31によりフレ ームメモリ 21 Aから転送される各フレームのビデオデータを順次符号化し、 M PEG2ビデオストリームを生成する。 また M PEG2ビデオエンコーダ 34は 更に、 CCDテーブル 21 Bに保持されている CCDを、 順に MPEG2ビデオ ストリーム中に挿入する。
MPEG 1オーディオエンコーダ 35は、 外部から供給されるオーディオデー タを符号化し、 M P E G 2マルチプレクサ 36に供給する。 M P E G 2マルチプレ クサ 36は、 MP EG 2ビデオエンコーダ 34から供給される MP EG 2ビデオ ストリームと MPEG 1オーディオエンコーダ 35から供給される MPEG 1ォ 一ディォストリームを多重化し、 MP EG 2 PSZTSストリームとして外部に 出力する。
MPEG 2デマルチプレクサ 37は、 外部から入力される MP EG 2 PSZT Sストリームをビデオストリームとオーディオストリームとに分離して、 MP E G 2ビデオデコーダ 38と MP E G 1オーディォデコーダ 39とに供給する。 M PEG2ビデオデコーダ 38は、 ビデオストリームを復号化して、 ビデオ出力と して外部に供給する。 MPEG 1オーディオデコーダ 39は、 オーディオストリ 一ムを復号化して、 オーディオ出力として外部に供給する。
図 4は、 CPU 33がフレームのスキップ'リピート処理に応じて CCDに施す 処理を示すフローチャートである。 この処理は、 上述のように CPU 33が CC Dテーブル 21 Bに CCDデータを書き込む際に実行される。
まずスキップ処理及ぴリピート処理の何れも実行されなかった場合 （通常通り にフレームが転送された場合） の処理について説明する。
図 4のステップ ST 1で、 CPU 33は、フレームシンクロナイザ 31内部のレ ジスタ （スキップリピートレジスタ） 力 らスキップ処理又はリピート処理を示す データを読み出す。
ステップ ST 2で、 CPU 33は、 スキップリピートレジスタの内容がリビー ト処理を示す力否かを判定する。 リピート処理ではない通常の場合であるので、 ステップ ST 4に進む。
ステップ ST4で、 CPU33は、 スキップリピートレジスタの内容がスキッ プ処理を示す力否かを判定する。 スキップ処理ではなレヽ通常の場合であるので、 ステップ ST 6に進む。
ステップ ST 6で、 CPU 33は、 Nが 0以上であるか否かを判定する。 ここで
Nは初期値が 0であり、スキップ処理される度に 1ずつィンクリメントされる力 ゥント値である （ステップ ST5)。 Nが 0以上の場合は後程説明することとし、 ここでは Nは 0であるとする。
ステップ ST8で、 CPU33は、 CCDテーブル 21 B (CCD挿入レジスタ） にデータ Aを書き込む。 ここでデ"タ Aとは、 CPUワークメモリ領域に保持さ れている最も古い CCDである。
次にステップ ST 10で、 CPU 33のワークメモリ領域からデータ Aを削除 する。
以上のようにして、 通常通りにフレームが転送された場合には、 フレームの順 番どおりに、 CCDが CPU33のワークメモリ領域から CCDテーブル 21 B に転送される。 次にリピート処理が実行された場合の処理について説明する。
図 4のステップ ST 1で、 CPU 33は、フレームシンク口ナイザ 31内部のレ ジスタ （スキップリピートレジスタ） からスキップ処理又はリピート処理を示す データを読み出す。
ステップ ST 2で、 CPU 33は、 スキップリピートレジスタの内容がリピ一 ト処理を示すカゝ否かを判定する。 これ場合はリピート処理を示すので、 ステップ ST 3に進む。
ステップ ST 3において、 CPU 33は、 CCDテーブル 21 B (CCD挿入 レジスタ） に NULL (データ無しを示すコード） を書き込む。
次にステップ ST 10で、 CPU 33のワークメモリ領域からデータ Aを削除 する。
以上のようにして、 あるフレームがリピートされた場合には、 リピートされた フレームについて対応する CCDをリピートするのではなく、 NULLを書き込 むこととする。 これによりリピートされたフレームの文字データが繰り返し表示 されることを避けることができる。
なおリピート処理時に NULLを書き込む動作は、 フレームと文字データとの 対応を正しいタイミング関係に保っために必要となる。 即ち、 リピート処理時に NUL Lを書き込んでおかないと、 本来は次のフレームに対応すべき文字データ 力 S、 リピート処理によって繰り返されたフレームに対応付けられることになつて しまう。 上記のようにリピート処理時に NULLを書き込むことで、 フレームと 文字データとの対 を正しく保つことができる。
ここで、 リピート処理時に NUL Lを書き込む動作は、 必ずしもリピート処理 を実行したフレームの時に行う必要は無い。 リピート処理を実行した時には何も 書き込むことなく、 リピート処理が実行された旨を記憶しておき、後続するフレ —ムの何れかにおいて適当なタイミングで NULLを書き込むようにしてもよレ、。 このような動作によっても、 リピート処理によりずれたフレームと文字データと の対応関係を正しいタイミング関係に戻すことができる。 また或いは、 予め余計 な NU L Lを書き込んでおいて、 リピート処理を実行した時には何も書き込まな いようにしてもよい。 即ち、 予めタイミングをずらしておいて、 リピート処理を 実行した時に正しいタイミングに戻すようにしてもよい。 何れの方法を取るにし ても、 重要なのはリピート処理の回数と同一の数の NULLを何れかのタイミン グで揷入することで、 長レ、時間間隔で見たときにフレームと文字データとの対応 を正しく保つことである。
次にスキップ処理が実行された場合の処理にっ 、て説明する。
図 4のステップ ST 1で、 CPU33は、フレームシンクロナイザ 31内部のレ ジスタ （スキップリピートレジスタ） 力 らスキップ処理又はリピート処理を示す データを読み出す。
ステップ ST2で、 CPU33は、 スキップリピートレジスタの内容がリビー ト処理を示す力否かを判定する。 リピート処理ではないスキップ処理の場合であ るので、 ステップ ST 4に進む。
ステップ ST 4で、 CPU 33は、 スキップリピートレジスタの内容がスキッ プ処理を示すか否かを判定する。 この場合はスキップ処理であるので、 ステップ ST 5に進む。
ステップ ST 5で、 カウント値 Nを 1だけ増加させる。 前述のように Nは初期 値が 0であり、スキップ処理される度に 1ずつインクリメントされるカウント値 である
ステップ ST 6で、 C PU 33は、 Nが 0以上であるか否かを判定する。 この場 合 Nは 0以上であり、ステップ ST7に進む。
ステップ ST 7で、 CPU33は、 C P Uワークメモリ領域の最も古い C CD であるデータ Aが NUL Lであるカゝ否かを判定する。 ここで例えば字幕データの 場合には、 C CDのデータレートは通常の会話の文字のデータレートよりも遥か に高いので、 あるフレームに附随する C CDは NU L Lデータであることが頻繁 にあると考えて良い。 NULLデータでない場合には、 ステップ ST 8に進む。 ステップ ST 8で、 CPU 33は、 CCDテープノレ 21 B (CCD挿入レジスタ） にデータ Aを書き込む。
次にステップ ST 10で、 CPU33のワークメモリ領域からデータ Aを削除 する。
なおステップ ST 7で CPUワークメモリ領域の最も古い CCDであるデータ Aが NUL Lであると判断された場合には、ステップ S T 9で Nが 1減少されて、 データ A (NULL) を CCDテーブル 21 Bに書き込むことなく、 ステップ S T 10でデータ Aを削除する。 従って、 フレームがスキップされた場合であって も、対応する CCDが不要なデータ （NULL) である場合には、その CCDを破 棄することにより、 フレームと CCDとのタイミング関係を正しい関係に保つこ とができる。
フレームがスキップされ、 対応する CCDが必要なデータである場合 （ステツ プ ST7で Nの場合）には、ステップ ST 8で CCDを書き込むことになる。従つ て、 フレームと CCDとのタイミング関係がずれることになる。 この場合には、 ステップ ST 9が実行されないので、 Nは 0以上の値に留まることになる。 その 後、スキップ処理及びリピート処理の何れも実行されなかった場合 (通常通りにフ レームが転送された場合） が発生すると、 ステップ ST6で Nが 0以上としてス テツプ ST 7が実行される。 ステップ ST 7において、 ワークメモリ領域の最も 古い CCDであるデータ Aが NULLであると判定される場合には、 その CCD を破棄することにより、 フレームと CCDとのタイミングを正しい関係に戻すこ とができる。 なお複数回スキップ処理が実行され Nが大きな数となっている場合 には、 1回の CCDの破棄でタイミングが正しい関係に戻るのではなく、複数回の 破棄が繰り返されて初めてタイミングが正しレ、関係に戻ることになる。
以上のようにして、 スキップ処理が実行された場合であっても、 必要な CCD をワークメモリ領域から CCDテーブル 21 Bに書き込むことで、 字幕の文字が 飛ばされることを防ぐことができる。 またフレームと CCDとのタイミングを考 慮しながら、 NULLデータを適宜スキップすることで、 フレームと CCDとの タイミングを正しい関係に維持或いは戻すことができる。
図 5 A乃至図 5 Eは、 本発明と従来技術との比較を示す図である。
図 5 Aは、 入力として外部から供給されるビデオデータのフレーム 「画像」 及 ぴクローズドキャプションデータ 「CCD」 との関係を示す図である。 図示され るように画像 1には CCD (A, B)が揷入されており、画像 2には CCD (C， D)、 画像 3には CCD (E， F)、 画像 4には CCD (G， H) が挿入されてい る。 図 5Bは、 フレーム 2がスキップされた に従来得られるビデオストリーム を示す図である。 図に示されるように、 画像 2がスキップされるのと同時に CC D (C, D) も飛ばされてしまい、 本来 「ABCDEFGH」 となるべき字幕が
「ABEFGH」 となってしまう。
図 5Cは、 フレーム 2がスキップされた場合に本発明により得られるビデオス トリームを示す図である。 図に示されるように、 画像 2をスキップしても、 対応 する CCD (C, D) を破棄することなくデータ保持するので、 本来 「ABCD EFGH」 となるべき字幕が正しく表示されることになる。
図 5 Dは、 フレーム 2がリピートされた場合に従来得られるビデオストリーム を示す図である。 図に示されるように、 画像 2がリピートされるのと同時に CC D (C, D) もリピートされてしまう。 この結果、 本来 「ABCDEFGH」 と なるべき字幕が 「ABCDCDEFGH」 となってしまう。
図 5 Eは、 フレーム 2力 Sリピートされた場合に本発明により得られるビデオス トリームを示す図である。 図に示されるように、 画像 2をリピートしても、 対応 する CCD (C, D) をリピートすることなく処理するので、 本来 「ABCDE FGH」 となるべき字幕が正しく表示されることになる。
以上、 本発明を実施例に基づいて説明したが、 本発明は上記実施例に限定され るものではなく、 特許請求の範囲に記載の範囲内で様々な変形が可能である。 例えば本実施例では、 スキップ処理及びリピート処理はノヽードウエアが検出す るものとしたが、 フレーム割り込みとエンコード開始割り込みの回数をカウント して比較することで、 CPUによるソフトフエア処理で検出してもよい。
また本実施例では、 CCDはハードウェアが検出しているが、 フレームメモリ 内に保持された画像データを CPUが直接読むことにより、 CPUによるソフト フェァ処理で検出してもよい。
また本実施例は、 クローズドキヤプションを例として説明したが、 本発明は字 幕情報だけでなく、テスト信号、文字放送情報、番組表情報、コピーガード信号等、 フレーム毎にブランキング期間等に挿入される情報一般に適用可能なものである。 また本実施例では、スキップされたフレームの付加データ（CCD)が NULL であるか否かを判断して、 NUL Lの場合には該付加データもスキップする構成 としたが、スキップされたフレームの付加データが重要であるか否かを判断して、 重要でない場合には該付加データもスキップする構成としてよい。 あるデータが 重要である力否かは、付加情報の種類（番組表情報、 コピーガード信号等の種類） に依存するので、 付加情報の種類に応じて予めスキップ可能なデータ （重要度の 低いデータ） 及ぴスキップ不可能なデータ （重要度の高いデータ） を決めておけ ばよい。

Claims

請 求 の 範 囲
1 . フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを 第 1のレートで受け取り格納するフレームメモリと、
該フレームメモリから該デジタルビデオ信号の各フレームを第 2のレートで読 み出すフレーム同期ュニットと、
該フレーム同期ュ-ットが該デジタルビデオ信号の同一のフレームを繰り返し 読み出した場合に該付加情報を繰り返すことなく、 また該フレーム同期ュ-ット が該デジタルビデオ信号のあるフレームをスキップして読み出した場合に該付加 情報をスキップすることなく、 該付加情報を該フレーム同期ュニットが読み出し た該デジタルビデオ信号に対応付ける処理ュニット
を含むことを特徴とするビデオ信号処理回路。
2. 該フレーム同期ュニットが該フレームメモリから読み出した該デジタルビデ ォ信号の各フレームを符号化するビデオエンコーダを更に含むことを特徴とする 請求項 1記載のビデオ信号処理回路。
3 . 該付加情報は文字情報であることを特徴とする請求項 1記載のビデオ信号処 理回路。
4.該処理ュニットは、該フレーム同期ュ-ットが該デジタルビデオ信号の同一の フレームを 2度続けて読み出した場合に、 該 2度目に読み出されたフレームに対 応する該付加情報を NU L Lデータで置き換えることを特徴とする請求項 3記載 のビデオ信号処理回路。
5 .該処理ュニットは、該フレーム同期ュニットが該デジタルビデオ信号のあるフ レームをスキップして読み出した場合に、 該スキップされたフレームに対応する 該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を 破棄し、 該対応する該付加情報が所定の重要度の低いデータでないときには該対 応する該付加情報を保持することを特徴とする請求項 1記載のビデオ信号処理回 路。
6 .該処理ュニットは、該デジタルビデオ信号のあるフレームがスキップされなが らも該付加情報をスキップしなレヽ場合に、 後のフレームにぉレヽて該付加情報が所 定の重要度の低いデータであることを検出すると、該後のフレームの該付加情報 をスキップすることを特徴とする請求項 1記載のビデオ信号処理回路。
7 . 該重要度の低レヽデータは NU L Lデータであることを特徴とする請求項 6記 載のビデオ信号処理回路。
8 . フレーム毎に付加情報が対応付けられたデジタルビデオ信号のフレームがリ ピートされた力或いはスキップされたかを検出し、
該検出結果に応じて該付加情報を処理する
各段階を含むことを特徴とするビデオ信号処理方法。
9 .該付加情報を処理する段階は、該デジタルビデオ信号の同一のフレームを 2度 続けることにより該リピートが検出された場合に、 該 2度目に謌み出されたフレ ームに対応する該付加情報を NU L Lデータで置き換える段階を含むことを特徴 とする請求項 8記載のビデオ信号処理方法。
1 0.該付加情報を処理する段階は、該デジタルビデオ信号のあるフレームがスキ ップされ該スキップが検出された場合に、 該スキップされたフレームに対応する 該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を 破棄し、 該対応する該付加情報が所定の重要度の低いデータでないときには該対 応する該付加情報を保持する段階を含むことを特徴とする請求項 8記載のビデオ 信号処理方法。
PCT/JP2003/008210 2003-06-27 2003-06-27 字幕等の情報を含むビデオ信号の処理回路 WO2005002224A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CNB038256533A CN100397890C (zh) 2003-06-27 2003-06-27 包含字幕等信息的视频信号的处理电路
PCT/JP2003/008210 WO2005002224A1 (ja) 2003-06-27 2003-06-27 字幕等の情報を含むビデオ信号の処理回路
JP2005503225A JP4327796B2 (ja) 2003-06-27 2003-06-27 字幕等の情報を含むビデオ信号の処理回路
EP03736288A EP1641262B1 (en) 2003-06-27 2003-06-27 Circuit for processing video signal containing information such as closed caption
DE60326015T DE60326015D1 (de) 2003-06-27 2003-06-27 Schaltung zur verarbeitung von einem videosignal mit informationen wie etwa geschlossenen untertiteln
US11/136,704 US7460182B2 (en) 2003-06-27 2005-05-25 Circuit for processing video signal including information such as caption

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/008210 WO2005002224A1 (ja) 2003-06-27 2003-06-27 字幕等の情報を含むビデオ信号の処理回路

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/136,704 Continuation US7460182B2 (en) 2003-06-27 2005-05-25 Circuit for processing video signal including information such as caption

Publications (1)

Publication Number Publication Date
WO2005002224A1 true WO2005002224A1 (ja) 2005-01-06

Family

ID=33549053

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/008210 WO2005002224A1 (ja) 2003-06-27 2003-06-27 字幕等の情報を含むビデオ信号の処理回路

Country Status (6)

Country Link
US (1) US7460182B2 (ja)
EP (1) EP1641262B1 (ja)
JP (1) JP4327796B2 (ja)
CN (1) CN100397890C (ja)
DE (1) DE60326015D1 (ja)
WO (1) WO2005002224A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9687255B2 (en) 2008-06-17 2017-06-27 Globus Medical, Inc. Device and methods for fracture reduction

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005074272A1 (ja) * 2004-01-30 2005-08-11 Fujitsu Limited エンコード中に抽出画像を外部に送信するビデオエンコーダ
WO2006054639A1 (ja) * 2004-11-19 2006-05-26 Pioneer Corporation 情報多重装置及び方法、並びにコンピュータプログラム
JP2006174363A (ja) * 2004-12-20 2006-06-29 Nec Electronics Corp フレームシンクロナイザ、光ディスク装置、情報記録／再生装置及び信号同期方法。
US8184660B2 (en) * 2005-09-15 2012-05-22 Lsi Corporation Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure
AU2009200990A1 (en) 2008-03-13 2009-10-01 Aristocrat Technologies Australia Pty Limited Method and system of distributing progressive gaming related information
US20100039558A1 (en) * 2008-08-12 2010-02-18 Richard Detore Real time high definition caption correction
US8724968B2 (en) * 2011-04-07 2014-05-13 Prime Image Delaware, Inc. Embedded ancillary data processing method and system with program duration alteration

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08181929A (ja) * 1994-12-22 1996-07-12 Sony Corp 映像記録再生装置
JPH10322669A (ja) * 1997-03-20 1998-12-04 Sony Corp 情報信号処理装置及び映像信号処理装置並びに情報信号処理方法
JP2000023119A (ja) * 1998-07-06 2000-01-21 Fujitsu Ltd 画像符号化・復号化装置及びその方法
JP2001148835A (ja) * 1999-11-18 2001-05-29 Nec Ic Microcomput Syst Ltd クローズドキャプション表示装置およびクローズドキャプション表示方法
JP2002034040A (ja) * 2000-07-18 2002-01-31 Sharp Corp 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置
JP2002290894A (ja) * 2001-03-26 2002-10-04 Mitsubishi Electric Corp ディジタルビデオデータ記録／再生装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2233192A (en) * 1989-06-16 1991-01-02 Philips Electronic Associated Teletext decoders
PL172562B1 (pl) 1993-08-20 1997-10-31 Thomson Consumer Electronics Urzadzenie do kompresji i transmisji cyfrowego sygnalu wizyjnego PL PL
US5699124A (en) * 1995-06-28 1997-12-16 General Instrument Corporation Of Delaware Bandwidth efficient communication of user data in digital television data stream
JPH0946630A (ja) 1995-07-28 1997-02-14 Matsushita Electric Ind Co Ltd 画像情報記録装置及び画像情報再生装置及び光ディスク
KR100426157B1 (ko) * 1995-08-04 2004-09-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 정보캐리어와화상정보수신/전송디바이스및화상정보전송방법
JPH09214904A (ja) * 1996-02-05 1997-08-15 Matsushita Electric Ind Co Ltd テレビ受信機，及び付加情報送信方法
US6369855B1 (en) * 1996-11-01 2002-04-09 Texas Instruments Incorporated Audio and video decoder circuit and system
JPH1175113A (ja) 1997-08-29 1999-03-16 Toshiba Corp 動画表示システム
US6553566B1 (en) * 1998-08-27 2003-04-22 X Out Corporation Viewer controlled multi-function system for processing television signals
JP2001024983A (ja) 1999-07-08 2001-01-26 Matsushita Electric Ind Co Ltd 映像信号多重化装置、映像信号多重化方法、映像信号記録装置、映像信号記録方法、及び映像記録媒体
JP2001069439A (ja) 1999-08-27 2001-03-16 Toshiba Corp 文字情報記録機能付き記録再生装置
JP2004320081A (ja) * 2003-04-10 2004-11-11 Sony Corp 映像信号記録装置及び方法、並びに、映像信号出力装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08181929A (ja) * 1994-12-22 1996-07-12 Sony Corp 映像記録再生装置
JPH10322669A (ja) * 1997-03-20 1998-12-04 Sony Corp 情報信号処理装置及び映像信号処理装置並びに情報信号処理方法
JP2000023119A (ja) * 1998-07-06 2000-01-21 Fujitsu Ltd 画像符号化・復号化装置及びその方法
JP2001148835A (ja) * 1999-11-18 2001-05-29 Nec Ic Microcomput Syst Ltd クローズドキャプション表示装置およびクローズドキャプション表示方法
JP2002034040A (ja) * 2000-07-18 2002-01-31 Sharp Corp 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置
JP2002290894A (ja) * 2001-03-26 2002-10-04 Mitsubishi Electric Corp ディジタルビデオデータ記録／再生装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1641262A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9687255B2 (en) 2008-06-17 2017-06-27 Globus Medical, Inc. Device and methods for fracture reduction
US10588646B2 (en) 2008-06-17 2020-03-17 Globus Medical, Inc. Devices and methods for fracture reduction

Also Published As

Publication number Publication date
CN1714571A (zh) 2005-12-28
EP1641262B1 (en) 2009-01-21
JPWO2005002224A1 (ja) 2006-08-10
EP1641262A1 (en) 2006-03-29
DE60326015D1 (de) 2009-03-12
US20050231646A1 (en) 2005-10-20
CN100397890C (zh) 2008-06-25
JP4327796B2 (ja) 2009-09-09
EP1641262A4 (en) 2006-07-26
US7460182B2 (en) 2008-12-02

Similar Documents

Publication Publication Date Title
JP2848326B2 (ja) Ｍｐｅｇ符号化画像復号装置
US7342967B2 (en) System and method for enhancing performance of personal video recording (PVR) functions on hits digital video streams
US6097877A (en) Digital recording and reproducing apparatus which multiplexes and records HDTV, SDTV and trick play data together on a magnetic tape
EP2057630B1 (en) Method and apparatus for receiving, storing, and presenting multimedia programming without indexing prior to storage
US6859612B2 (en) Decoder and reproducing unit
EP1143719B1 (en) Method and apparatus for concealing disk soft errors in recorded digital television signals
US6798839B2 (en) Image processing device, television receiver and image reproducing device
US6028632A (en) Management of multiple buffers and video decoders in progressive digital video decoder
JP2001346205A (ja) 信号の誤りを隠蔽する方法
US7460182B2 (en) Circuit for processing video signal including information such as caption
US8144791B2 (en) Apparatus, method, and medium for video synchronization
US6438318B2 (en) Method for regenerating the original data of a digitally coded video film, and apparatus for carrying out the method
JP2000331421A (ja) 情報記録装置及び情報再生装置
KR0183759B1 (ko) 영상복호화기에 있어서 고속재생시 화면떨림 방지장치
JP2002010254A (ja) 特徴点検出方法および記録再生装置
JP2000287172A (ja) 画像データ処理装置
US6459736B1 (en) Moving picture decoding apparatus and method
JP2009218934A (ja) 映像再生装置及び映像再生方法
JP3167590B2 (ja) ディジタル記録再生装置
JP2001223989A (ja) 画像再生装置
JP2001251585A (ja) 記録再生装置
JP2009071427A (ja) 画像処理装置、この画像処理装置の制御方法、及び、プログラム
JP2003087749A (ja) 画像データ再生装置および画像データ再生方法
JPH11136635A (ja) デジタルデータ記録再生装置
JP2004200798A (ja) Ｍｐｅｇトランスポートストリーム生成装置、ｍｐｅｇトランスポートストリーム記録再生装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005503225

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2003736288

Country of ref document: EP

Ref document number: 11136704

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20038256533

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2003736288

Country of ref document: EP