JP4327796B2 - 字幕等の情報を含むビデオ信号の処理回路 - Google Patents

字幕等の情報を含むビデオ信号の処理回路 Download PDF

Info

Publication number
JP4327796B2
JP4327796B2 JP2005503225A JP2005503225A JP4327796B2 JP 4327796 B2 JP4327796 B2 JP 4327796B2 JP 2005503225 A JP2005503225 A JP 2005503225A JP 2005503225 A JP2005503225 A JP 2005503225A JP 4327796 B2 JP4327796 B2 JP 4327796B2
Authority
JP
Japan
Prior art keywords
frame
video signal
additional information
data
register
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005503225A
Other languages
English (en)
Other versions
JPWO2005002224A1 (ja
Inventor
哲 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Publication of JPWO2005002224A1 publication Critical patent/JPWO2005002224A1/ja
Application granted granted Critical
Publication of JP4327796B2 publication Critical patent/JP4327796B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00Medicinal preparations containing organic active ingredients
    • A61K31/12Ketones
    • A61K31/122Ketones having the oxygen directly attached to a ring, e.g. quinones, vitamin K1, anthralin
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00Medicinal preparations containing organic active ingredients
    • A61K31/28Compounds containing heavy metals
    • A61K31/295Iron group metal compounds
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00Medicinal preparations containing organic active ingredients
    • A61K31/28Compounds containing heavy metals
    • A61K31/30Copper compounds
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00Medicinal preparations containing organic active ingredients
    • A61K31/33Heterocyclic compounds
    • A61K31/335Heterocyclic compounds having oxygen as the only ring hetero atom, e.g. fungichromin
    • A61K31/365Lactones
    • A61K31/375Ascorbic acid, i.e. vitamin C; Salts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K33/00Medicinal preparations containing inorganic active ingredients
    • A61K33/24Heavy metals; Compounds thereof
    • A61K33/26Iron; Compounds thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K33/00Medicinal preparations containing inorganic active ingredients
    • A61K33/24Heavy metals; Compounds thereof
    • A61K33/32Manganese; Compounds thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K33/00Medicinal preparations containing inorganic active ingredients
    • A61K33/24Heavy metals; Compounds thereof
    • A61K33/34Copper; Compounds thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K33/00Medicinal preparations containing inorganic active ingredients
    • A61K33/40Peroxides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K45/00Medicinal preparations containing active ingredients not provided for in groups A61K31/00 - A61K41/00
    • A61K45/06Mixtures of active ingredients without chemical characterisation, e.g. antiphlogistics and cardiaca
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Chemical & Material Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Inorganic Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、一般にビデオ信号処理回路に関し、詳しくは字幕情報等のデータが挿入されたビデオ信号を符号化等するビデオ信号処理回路に関する。
最近のテレビジョン信号には、クローズドキャプション等の字幕情報や、文字放送情報、番組表情報、更にはコピーガード信号等が含まれている。これらの情報及び信号は、例えばインターレース方式のビデオ信号であれば、トップフィールドとボトムフィールドとにおいて、画像フィールド上部に位置する複数の水平ライン部分に挿入される。
図1A及び1Bは、NTSC方式におけるインターレース方式の各フィールドと文字情報等の挿入位置を示す図である。
図1Aはトップフィールドを示し、図1Bはボトムフィールドを示す。図1Aに示されるように、トップフィールドはライン1からライン263までの水平走査線よりなる。この263本の水平走査線のうちでフィールド上部のライン1からライン21までが、垂直帰線期間に対応する画面に表示されないブランキング期間であり、ここに垂直同期パルスが挿入される。ブランキング期間には更に、テスト信号、字幕情報、文字放送情報、番組表情報、コピーガード信号等を挿入できる。同様に、図1Bに示されるボトムフィールドはライン264からライン525までの水平走査線よりなり、このうちフィールド上部のライン264からライン284までがブランキング期間であり、ここに字幕情報等を挿入することができる。
クローズドキャプション方式の文字データは、トップフィールドのライン21及びボトムフィールドのライン284に、各フィールド16ビットのデータとして挿入される。この16ビットのうちで、2ビットはパリティービットとして用いられる。各フレーム毎に例えば一文字分挿入されている文字データを抽出して複数文字からなる一纏めの字幕とし、制御情報により指定された期間、映像情報に重畳して表示することで、映画等の字幕を作成することができる。
例えばテレビジョン放送によりアナログ信号として供給されたビデオ&オーディオ信号をデジタル信号として録画する場合、ビデオ&オーディオ信号をNTSCデコーダ及びオーディオDAC(デジタル・アナログ・コンバータ)によってデジタル信号に変換する。変換後のデジタル信号を、MPEG2コーデックに入力して符号化することで、MPEG2PS若しくはMPEG2TS方式のストリームに圧縮する。圧縮されたストリームは、MPEG2コーデックのストリーム専用ポートより出力され、CPUにより録画デバイスへDMA転送され格納される。
この際、MPEG2コーデックにより符号化されたビデオフレームのライン21及びライン284に挿入されている文字データは、MPEG2コーデックにより抽出されて、上記ストリーム中に挿入される。
一般に、NTSCデコーダから出力されるデジタルデータのクロック周波数(即ちアナログ信号の供給速度)と、MPEG2コーデックの動作クロックの周波数(即ち符号化の速度)とには僅かながらずれがある。このデータ供給速度と符号化速度とのずれをなくすために、NTSCデコーダから出力される各フレームのデジタルデータを一旦バッファに格納し、バッファから順次フレームデータを読み出して符号化する構成が用いられる。このようにバッファを設けた上で、データ供給速度と符号化速度の違いを随時吸収するために、MPEG2コーデックが必要に応じてあるフレームをスキップしたり、あるフレームをリピートしたりして符号化する。
このようにして符号化処理で速度の違いを吸収するが、文字データ等はビデオ信号の各フィールドに順番に挿入されているために、フレームがスキップされたりリピートされたりすると、データが欠落したり同一データが2個続いたりすることになる。即ちリピート処理された場合、本来は「TEST」という字幕のはずが、同一データが2個続くことにより例えば「TEEST」となってしまう。またスキップ処理された場合、本来は「TEST」という字幕のはずが、あるデータが欠落して例えば「TET」となってしまう。
以上を鑑みて、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが望ましい。
特表平9−501808号公報 特開2001−24983号公報 特開2001−69439号公報 特開平11−75113号公報
本発明は、上記関連技術の一つ又は複数の問題点を解決するビデオ信号処理回路を提供することを一般的な目的とする。
また本発明は、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが可能なビデオ信号処理回路を提供することを更なる具体的な目的とする。
上記目的を達成するために、本発明によるビデオ信号処理回路は、フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第1のレートで外部から受け取り格納するフレームメモリと、該各フレームに対応する該付加情報を外部から受け取り格納するレジスタと、該フレームメモリから該デジタルビデオ信号のフレームを第2のレートで読み出すフレーム同期ユニットと、該フレーム同期ユニットが該デジタルビデオ信号の同一のフレームを該フレームメモリから繰り返し読み出した場合に対応して該付加情報にNULLデータを挿入して該レジスタに格納し、また該フレーム同期ユニットが該デジタルビデオ信号のあるフレームを該フレームメモリからスキップして読み出した場合に該付加情報を外部から受け取ってスキップすることなく該レジスタに格納し更に該レジスタから順次読み出した該付加情報を該フレーム同期ユニットが読み出した該デジタルビデオ信号に挿入する処理ユニットを含み、該処理ユニットは、該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した場合に、該スキップされたフレームに対応する該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を外部から受け取ってから該レジスタに格納することなく破棄し、該対応する該付加情報が所定の重要度の低いデータでないときには該対応する該付加情報を受け取りそのまま該レジスタに格納することを特徴とする。
上記ビデオ信号処理回路によれば、第1のレートと第2のレートとの違いによりフレームが繰り返し読み出される場合又はフレームがスキップして読み出される場合であっても、文字情報等の付加情報については繰り返すことも又スキップすることもなくビデオストリームに対応付けるように処理される。従って、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが可能となる。
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
図2は、本発明を適用する対象となるビデオ信号処理回路の一例を示す図である。
図2のビデオ信号処理回路10は、MPEG2コーデック11、CPU&インターフェース12、データ格納装置13、NTSCデコーダ14、オーディオADC15、オーディオDAC16、及びNTSCエンコーダ17を含む。ここでADCはアナログ・トゥー・デジタル変換器であり、DACはデジタル・トゥー・アナログ変換器である。
例えばテレビジョン放送により供給されたアナログ・ビデオ信号とアナログ・オーディオ信号とが、それぞれNTSCデコーダ14とオーディオADC15とに入力される。NTSCデコーダ14は、アナログ・ビデオ信号をデジタル・ビデオ信号に変換して、MPEG2コーデック11に供給する。オーディオADC15は、アナログ・オーディオ信号をデジタル・オーディオ信号に変換して、MPEG2コーデック11に供給する。
MPEG2コーデック11は、データが供給されるフレームレートに従ってデジタル・ビデオ信号をフレームメモリに一時的に格納する。またMPEG2コーデック11は、自らが要求するフレームレートに従ってフレームメモリから1フレーム分のデータを読み出す。この動作により、要求フレームレートが供給フレームレートよりも速い場合には同一のフレームを繰り返し読み出すことになり、また要求フレームレートが供給フレームレートよりも遅い場合には途中でフレームがとばされることになる。
MPEG2コーデック11は、フレームメモリから読み出したビデオデータを符号化し、別経路で符号化されたオーディオデータと多重化し、圧縮されたMPEG2ストリームとしてCPU&インターフェース12に供給する。CPU&インターフェース12は、供給されたストリームをデータ格納装置13に転送する。データ格納装置13は、例えばハードディスクドライブやDVDドライブ等であり、ビデオデータ及びオーディオデータからなるストリームを記憶媒体に格納する。
再生等の復号化時には、CPU&インターフェース12がデータ格納装置13からビデオデータ及びオーディオデータを含むストリームを読み出し、ビデオデータ及びオーディオデータを分離し、それぞれのデータを復号化する。復号化されたオーディオデータはオーディオDAC16によりアナログ・オーディオ信号に変換される。また復号化されたビデオデータはNTSCエンコーダ17によりアナログ・ビデオ信号に変換される。
図3は、MPEG2コーデック11及び接続されるメモリの構成を示すブロック図である。
図3のMPEG2コーデック11は、RAM21に接続される。RAM21は、ビデオ信号をフレーム毎に格納するフレームメモリ21A及びクローズドキャプションデータ(CCD)を格納するCCDテーブル21Bを含む。
図3のMPEG2コーデック11は、フレームシンクロナイザ31、CCDスライサ32、CPU33、MPEG2ビデオエンコーダ34、MPEG1オーディオエンコーダ35、MPEG2マルチプレクサ36、MPEG2デマルチプレクサ37、MPEG2ビデオデコーダ38、及びMPEG1オーディオデコーダ39を含む。
フレームシンクロナイザ31は、入力されたデジタルビデオ信号を、CCDスライサ32を介してRAM21のフレームメモリ21Aに書き込む。フレームメモリ21Aは2バンク構成となっており、各バンクは1フレーム分のメモリ容量を有し、1フレーム分のビデオデータを格納する。フレームシンクロナイザ31は、入力ビデオ信号をフレームメモリ21Aの2つのバンクに交互に書き込む。1つのバンクに対する1フレーム分のビデオデータの書き込みが終了すると、CPU33に対して割り込みを発行する(フレーム割り込み)。
またフレームシンクロナイザ31は、MPEG2ビデオエンコーダ34からの要求に応答して、フレームメモリ21Aからビデオデータを1フレーム分読み出して、読み出したビデオデータをMPEG2ビデオエンコーダ34に転送する。この際にビデオデータを1フレーム分読み出す対象となる転送元のバンクは、時間的に古いビデオデータが書き込まれているバンクである。従って、フレームメモリ21Aに格納されている2つのフレームのうち、先に格納されたものが常に先に転送される。
外部から入力されるビデオ信号と、MPEG2ビデオエンコーダ34の要求は同期していない。従って、外部からの入力ビデオ信号のフレームレートとMPEG2ビデオエンコーダ34が要求するフレームレートとには、若干のずれが生じる場合がある。この場合であっても、上記のように、フレームシンクロナイザ31がMPEG2ビデオエンコーダ34の要求に応答して2つのフレームデータのうち常に古い方を読み出すように動作することで、フレームレートのずれは吸収される。即ち、MPEG2ビデオエンコーダ34の要求レートが高い場合は、結果的にフレームをとばす処理(スキップ処理)が実行され、またMPEG2ビデオエンコーダ34の要求レートが低い場合は、結果的に同じフレームを転送する処理(リピート処理)が実行されることになる。
フレームシンクロナイザ31は、スキップ処理又はリピート処理が実行されたことを検知し、何れの処理が実行されたかを示すデータを、フレームシンクロナイザ内部のレジスタにフレーム転送開始時に格納する。またフレームシンクロナイザ31は、MPEG2ビデオエンコーダ34にフレームを転送する際、フレームの先頭データの転送を開始した時点(スキップ・リピート時はレジスタセット後)で、CPU33に割り込みをかける(エンコード開始割り込み)。CPU33は、この割り込みに応答して上記レジスタからスキップ処理又はリピート処理を示すデータを読むことにより、何れの処理が実行されたかを知ることができる。
CCDスライサ32は、入力されたビデオ信号の各フィールドから16ビットのCCD(クローズドキャプションデータ)を抽出し、抽出したCCDを内部レジスタに保持する。また、CCDを検出できたか否かを示すレジスタも設けられる。CPU33は、フレーム割り込みに応答してこれらのレジスタを読むことにより、CCDの有無や両フィールドのCCDを抽出し、CPU33のワークメモリ内に格納する。CPU33は、フレームのスキップ・リピート処理に応じてCCDに所定の処理を施した後に、RAM21の所定の領域に確保されているCCDテーブル21BにCCDデータを書き込む。なおこの書き込みのタイミングは、エンコード開始割り込みに応答するタイミングとなる。
MPEG2ビデオエンコーダ34は、フレームシンクロナイザ31によりフレームメモリ21Aから転送される各フレームのビデオデータを順次符号化し、MPEG2ビデオストリームを生成する。またMPEG2ビデオエンコーダ34は更に、CCDテーブル21Bに保持されているCCDを、順にMPEG2ビデオストリーム中に挿入する。
MPEG1オーディオエンコーダ35は、外部から供給されるオーディオデータを符号化し、MPEG2マルチプレクサ36に供給する。MPEG2マルチプレクサ36は、MPEG2ビデオエンコーダ34から供給されるMPEG2ビデオストリームとMPEG1オーディオエンコーダ35から供給されるMPEG1オーディオストリームを多重化し、MPEG2PS/TSストリームとして外部に出力する。
MPEG2デマルチプレクサ37は、外部から入力されるMPEG2PS/TSストリームをビデオストリームとオーディオストリームとに分離して、MPEG2ビデオデコーダ38とMPEG1オーディオデコーダ39とに供給する。MPEG2ビデオデコーダ38は、ビデオストリームを復号化して、ビデオ出力として外部に供給する。MPEG1オーディオデコーダ39は、オーディオストリームを復号化して、オーディオ出力として外部に供給する。
図4は、CPU33がフレームのスキップ・リピート処理に応じてCCDに施す処理を示すフローチャートである。この処理は、上述のようにCPU33がCCDテーブル21BにCCDデータを書き込む際に実行される。
まずスキップ処理及びリピート処理の何れも実行されなかった場合(通常通りにフレームが転送された場合)の処理について説明する。
図4のステップST1で、CPU33は、フレームシンクロナイザ31内部のレジスタ(スキップリピートレジスタ)からスキップ処理又はリピート処理を示すデータを読み出す。
ステップST2で、CPU33は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。リピート処理ではない通常の場合であるので、ステップST4に進む。
ステップST4で、CPU33は、スキップリピートレジスタの内容がスキップ処理を示すか否かを判定する。スキップ処理ではない通常の場合であるので、ステップST6に進む。
ステップST6で、CPU33は、Nが0以上であるか否かを判定する。ここでNは初期値が0であり、スキップ処理される度に1ずつインクリメントされるカウント値である(ステップST5)。Nが0以上の場合は後程説明することとし、ここではNは0であるとする。
ステップST8で、CPU33は、CCDテーブル21B(CCD挿入レジスタ)にデータAを書き込む。ここでデータAとは、CPUワークメモリ領域に保持されている最も古いCCDである。
次にステップST10で、CPU33のワークメモリ領域からデータAを削除する。
以上のようにして、通常通りにフレームが転送された場合には、フレームの順番どおりに、CCDがCPU33のワークメモリ領域からCCDテーブル21Bに転送される。
次にリピート処理が実行された場合の処理について説明する。
図4のステップST1で、CPU33は、フレームシンクロナイザ31内部のレジスタ(スキップリピートレジスタ)からスキップ処理又はリピート処理を示すデータを読み出す。
ステップST2で、CPU33は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。これ場合はリピート処理を示すので、ステップST3に進む。
ステップST3において、CPU33は、CCDテーブル21B(CCD挿入レジスタ)にNULL(データ無しを示すコード)を書き込む。
次にステップST10で、CPU33のワークメモリ領域からデータAを削除する。
以上のようにして、あるフレームがリピートされた場合には、リピートされたフレームについて対応するCCDをリピートするのではなく、NULLを書き込むこととする。これによりリピートされたフレームの文字データが繰り返し表示されることを避けることができる。
なおリピート処理時にNULLを書き込む動作は、フレームと文字データとの対応を正しいタイミング関係に保つために必要となる。即ち、リピート処理時にNULLを書き込んでおかないと、本来は次のフレームに対応すべき文字データが、リピート処理によって繰り返されたフレームに対応付けられることになってしまう。上記のようにリピート処理時にNULLを書き込むことで、フレームと文字データとの対応を正しく保つことができる。
ここで、リピート処理時にNULLを書き込む動作は、必ずしもリピート処理を実行したフレームの時に行う必要は無い。リピート処理を実行した時には何も書き込むことなく、リピート処理が実行された旨を記憶しておき、後続するフレームの何れかにおいて適当なタイミングでNULLを書き込むようにしてもよい。このような動作によっても、リピート処理によりずれたフレームと文字データとの対応関係を正しいタイミング関係に戻すことができる。また或いは、予め余計なNULLを書き込んでおいて、リピート処理を実行した時には何も書き込まないようにしてもよい。即ち、予めタイミングをずらしておいて、リピート処理を実行した時に正しいタイミングに戻すようにしてもよい。何れの方法を取るにしても、重要なのはリピート処理の回数と同一の数のNULLを何れかのタイミングで挿入することで、長い時間間隔で見たときにフレームと文字データとの対応を正しく保つことである。
次にスキップ処理が実行された場合の処理について説明する。
図4のステップST1で、CPU33は、フレームシンクロナイザ31内部のレジスタ(スキップリピートレジスタ)からスキップ処理又はリピート処理を示すデータを読み出す。
ステップST2で、CPU33は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。リピート処理ではないスキップ処理の場合であるので、ステップST4に進む。
ステップST4で、CPU33は、スキップリピートレジスタの内容がスキップ処理を示すか否かを判定する。この場合はスキップ処理であるので、ステップST5に進む。
ステップST5で、カウント値Nを1だけ増加させる。前述のようにNは初期値が0であり、スキップ処理される度に1ずつインクリメントされるカウント値である
ステップST6で、CPU33は、Nが0以上であるか否かを判定する。この場合Nは0以上であり、ステップST7に進む。
ステップST7で、CPU33は、CPUワークメモリ領域の最も古いCCDであるデータAがNULLであるか否かを判定する。ここで例えば字幕データの場合には、CCDのデータレートは通常の会話の文字のデータレートよりも遥かに高いので、あるフレームに附随するCCDはNULLデータであることが頻繁にあると考えて良い。NULLデータでない場合には、ステップST8に進む。
ステップST8で、CPU33は、CCDテーブル21B(CCD挿入レジスタ)にデータAを書き込む。
次にステップST10で、CPU33のワークメモリ領域からデータAを削除する。
なおステップST7でCPUワークメモリ領域の最も古いCCDであるデータAがNULLであると判断された場合には、ステップST9でNが1減少されて、データA(NULL)をCCDテーブル21Bに書き込むことなく、ステップST10でデータAを削除する。従って、フレームがスキップされた場合であっても、対応するCCDが不要なデータ(NULL)である場合には、そのCCDを破棄することにより、フレームとCCDとのタイミング関係を正しい関係に保つことができる。
フレームがスキップされ、対応するCCDが必要なデータである場合(ステップST7でNの場合)には、ステップST8でCCDを書き込むことになる。従って、フレームとCCDとのタイミング関係がずれることになる。この場合には、ステップST9が実行されないので、Nは0以上の値に留まることになる。その後、スキップ処理及びリピート処理の何れも実行されなかった場合(通常通りにフレームが転送された場合)が発生すると、ステップST6でNが0以上としてステップST7が実行される。ステップST7において、ワークメモリ領域の最も古いCCDであるデータAがNULLであると判定される場合には、そのCCDを破棄することにより、フレームとCCDとのタイミングを正しい関係に戻すことができる。なお複数回スキップ処理が実行されNが大きな数となっている場合には、1回のCCDの破棄でタイミングが正しい関係に戻るのではなく、複数回の破棄が繰り返されて初めてタイミングが正しい関係に戻ることになる。
以上のようにして、スキップ処理が実行された場合であっても、必要なCCDをワークメモリ領域からCCDテーブル21Bに書き込むことで、字幕の文字が飛ばされることを防ぐことができる。またフレームとCCDとのタイミングを考慮しながら、NULLデータを適宜スキップすることで、フレームとCCDとのタイミングを正しい関係に維持或いは戻すことができる。
図5A乃至図5Eは、本発明と従来技術との比較を示す図である。
図5Aは、入力として外部から供給されるビデオデータのフレーム「画像」及びクローズドキャプションデータ「CCD」との関係を示す図である。図示されるように画像1にはCCD(A,B)が挿入されており、画像2にはCCD(C,D)、画像3にはCCD(E,F)、画像4にはCCD(G,H)が挿入されている。
図5Bは、フレーム2がスキップされた場合に従来得られるビデオストリームを示す図である。図に示されるように、画像2がスキップされるのと同時にCCD(C,D)も飛ばされてしまい、本来「ABCDEFGH」となるべき字幕が「ABEFGH」となってしまう。
図5Cは、フレーム2がスキップされた場合に本発明により得られるビデオストリームを示す図である。図に示されるように、画像2をスキップしても、対応するCCD(C,D)を破棄することなくデータ保持するので、本来「ABCDEFGH」となるべき字幕が正しく表示されることになる。
図5Dは、フレーム2がリピートされた場合に従来得られるビデオストリームを示す図である。図に示されるように、画像2がリピートされるのと同時にCCD(C,D)もリピートされてしまう。この結果、本来「ABCDEFGH」となるべき字幕が「ABCDCDEFGH」となってしまう。
図5Eは、フレーム2がリピートされた場合に本発明により得られるビデオストリームを示す図である。図に示されるように、画像2をリピートしても、対応するCCD(C,D)をリピートすることなく処理するので、本来「ABCDEFGH」となるべき字幕が正しく表示されることになる。
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
例えば本実施例では、スキップ処理及びリピート処理はハードウエアが検出するものとしたが、フレーム割り込みとエンコード開始割り込みの回数をカウントして比較することで、CPUによるソフトフェア処理で検出してもよい。
また本実施例では、CCDはハードウエアが検出しているが、フレームメモリ内に保持された画像データをCPUが直接読むことにより、CPUによるソフトフェア処理で検出してもよい。
また本実施例は、クローズドキャプションを例として説明したが、本発明は字幕情報だけでなく、テスト信号、文字放送情報、番組表情報、コピーガード信号等、フレーム毎にブランキング期間等に挿入される情報一般に適用可能なものである。
また本実施例では、スキップされたフレームの付加データ(CCD)がNULLであるか否かを判断して、NULLの場合には該付加データもスキップする構成としたが、スキップされたフレームの付加データが重要であるか否かを判断して、重要でない場合には該付加データもスキップする構成としてよい。あるデータが重要であるか否かは、付加情報の種類(番組表情報、コピーガード信号等の種類)に依存するので、付加情報の種類に応じて予めスキップ可能なデータ(重要度の低いデータ)及びスキップ不可能なデータ(重要度の高いデータ)を決めておけばよい。
インターレース方式の各フィールドと文字情報等の挿入位置を示す図である。 本発明を適用する対象となるビデオ信号処理回路の一例を示す図である。 MPEG2コーデック及び接続されるメモリの構成を示すブロック図である。 CPUがフレームのスキップ・リピート処理に応じてCCDに施す処理を示すフローチャートである。 ビデオデータのフレームとクローズドキャプションデータとの対応について本発明と従来技術との比較を示す図である。
10 ビデオ信号処理回路

Claims (6)

  1. フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第1のレートで外部から受け取り格納するフレームメモリと、
    該各フレームに対応する該付加情報を外部から受け取り格納するレジスタと、
    該フレームメモリから該デジタルビデオ信号のフレームを第2のレートで読み出すフレーム同期ユニットと、
    該フレーム同期ユニットが該デジタルビデオ信号の同一のフレームを該フレームメモリから繰り返し読み出した場合に対応して該付加情報にNULLデータを挿入して該レジスタに格納し、また該フレーム同期ユニットが該デジタルビデオ信号のあるフレームを該フレームメモリからスキップして読み出した場合に該付加情報を外部から受け取ってスキップすることなく該レジスタに格納し更に該レジスタから順次読み出した該付加情報を該フレーム同期ユニットが読み出した該デジタルビデオ信号に挿入する処理ユニット
    を含み、
    該処理ユニットは、該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した場合に、該スキップされたフレームに対応する該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を外部から受け取ってから該レジスタに格納することなく破棄し、該対応する該付加情報が所定の重要度の低いデータでないときには該対応する該付加情報を受け取りそのまま該レジスタに格納することを特徴とするビデオ信号処理回路。
  2. 該フレーム同期ユニットが該フレームメモリから読み出した該デジタルビデオ信号の各フレームを符号化するビデオエンコーダを更に含むことを特徴とする請求項1記載のビデオ信号処理回路。
  3. 該付加情報は文字情報であることを特徴とする請求項1記載のビデオ信号処理回路。
  4. 該処理ユニットは、該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した際に該付加情報を外部から受け取ってスキップすることなく該レジスタに格納した場合に、後のフレームにおいて該付加情報が所定の重要度の低いデータであることを検出すると、該後のフレームの該付加情報をスキップすることを特徴とする請求項1記載のビデオ信号処理回路。
  5. 該重要度の低いデータはNULLデータであることを特徴とする請求項4記載のビデオ信号処理回路。
  6. フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第1のレートで外部から受け取り格納するフレームメモリと、該各フレームに対応する該付加情報を外部から受け取り格納するレジスタと、該フレームメモリから該デジタルビデオ信号のフレームを第2のレートで読み出すフレーム同期ユニットとを含むビデオ信号処理回路において、
    該フレーム同期ユニットが該デジタルビデオ信号のフレームを該フレームメモリから読み出す際にフレームがリピートされたか或いはスキップされたかを検出し、
    該検出結果が前記リピートを示す場合に対応して該付加情報にNULLデータを挿入して該レジスタに格納し、
    該検出結果が前記スキップを示す場合に該付加情報をスキップすることなく該レジスタに格納し、
    該レジスタから順次読み出した該付加情報を該フレーム同期ユニットが読み出した該デジタルビデオ信号に挿入する
    各段階を含み、
    該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出すことにより該スキップが検出された場合に、該スキップされたフレームに対応する該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を外部から受け取ってから該レジスタに格納することなく破棄し、該対応する該付加情報が所定の重要度の低いデータでないときには該対応する該付加情報を受け取りそのまま該レジスタに格納する段階を含む
    ことを特徴とするビデオ信号処理方法。
JP2005503225A 2003-06-27 2003-06-27 字幕等の情報を含むビデオ信号の処理回路 Expired - Fee Related JP4327796B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/008210 WO2005002224A1 (ja) 2003-06-27 2003-06-27 字幕等の情報を含むビデオ信号の処理回路

Publications (2)

Publication Number Publication Date
JPWO2005002224A1 JPWO2005002224A1 (ja) 2006-08-10
JP4327796B2 true JP4327796B2 (ja) 2009-09-09

Family

ID=33549053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005503225A Expired - Fee Related JP4327796B2 (ja) 2003-06-27 2003-06-27 字幕等の情報を含むビデオ信号の処理回路

Country Status (6)

Country Link
US (1) US7460182B2 (ja)
EP (1) EP1641262B1 (ja)
JP (1) JP4327796B2 (ja)
CN (1) CN100397890C (ja)
DE (1) DE60326015D1 (ja)
WO (1) WO2005002224A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1711010B1 (en) * 2004-01-30 2010-11-10 Fujitsu Semiconductor Limited Video encoder transmitting extracted image outside during encoding
US20070279524A1 (en) * 2004-11-19 2007-12-06 Pioneer Corporation Information Multiplexing Device And Method, And Computer Program
JP2006174363A (ja) * 2004-12-20 2006-06-29 Nec Electronics Corp フレームシンクロナイザ、光ディスク装置、情報記録/再生装置及び信号同期方法。
US8184660B2 (en) * 2005-09-15 2012-05-22 Lsi Corporation Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure
US9192397B2 (en) 2006-12-15 2015-11-24 Gmedelaware 2 Llc Devices and methods for fracture reduction
US9147312B2 (en) 2008-03-13 2015-09-29 Aristocrat Technologies Australia Pty Limited Method and system of distributing progressive gaming
US20100039558A1 (en) * 2008-08-12 2010-02-18 Richard Detore Real time high definition caption correction
US8724968B2 (en) * 2011-04-07 2014-05-13 Prime Image Delaware, Inc. Embedded ancillary data processing method and system with program duration alteration

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2233192A (en) * 1989-06-16 1991-01-02 Philips Electronic Associated Teletext decoders
CA2169167C (en) 1993-08-20 2004-04-06 Charles Bailey Neal Closed caption system for use with compressed digital video transmission
JP3536866B2 (ja) * 1994-12-22 2004-06-14 ソニー株式会社 映像記録再生装置および方法
US5699124A (en) * 1995-06-28 1997-12-16 General Instrument Corporation Of Delaware Bandwidth efficient communication of user data in digital television data stream
JPH0946630A (ja) 1995-07-28 1997-02-14 Matsushita Electric Ind Co Ltd 画像情報記録装置及び画像情報再生装置及び光ディスク
DE69624335T2 (de) * 1995-08-04 2003-06-18 Koninkl Philips Electronics Nv Verfahren zur übertragung von bildinformationen, informationsträger und vorrichtungen zum empfangen und senden von bildinformationen
JPH09214904A (ja) * 1996-02-05 1997-08-15 Matsushita Electric Ind Co Ltd テレビ受信機,及び付加情報送信方法
US6369855B1 (en) * 1996-11-01 2002-04-09 Texas Instruments Incorporated Audio and video decoder circuit and system
JP3948068B2 (ja) * 1997-03-20 2007-07-25 ソニー株式会社 情報信号処理装置及び情報信号処理方法
JPH1175113A (ja) 1997-08-29 1999-03-16 Toshiba Corp 動画表示システム
JP2000023119A (ja) * 1998-07-06 2000-01-21 Fujitsu Ltd 画像符号化・復号化装置及びその方法
US6553566B1 (en) * 1998-08-27 2003-04-22 X Out Corporation Viewer controlled multi-function system for processing television signals
JP2001024983A (ja) 1999-07-08 2001-01-26 Matsushita Electric Ind Co Ltd 映像信号多重化装置、映像信号多重化方法、映像信号記録装置、映像信号記録方法、及び映像記録媒体
JP2001069439A (ja) 1999-08-27 2001-03-16 Toshiba Corp 文字情報記録機能付き記録再生装置
JP2001148835A (ja) * 1999-11-18 2001-05-29 Nec Ic Microcomput Syst Ltd クローズドキャプション表示装置およびクローズドキャプション表示方法
JP3806289B2 (ja) * 2000-07-18 2006-08-09 シャープ株式会社 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置
JP2002290894A (ja) * 2001-03-26 2002-10-04 Mitsubishi Electric Corp ディジタルビデオデータ記録/再生装置
JP2004320081A (ja) * 2003-04-10 2004-11-11 Sony Corp 映像信号記録装置及び方法、並びに、映像信号出力装置及び方法

Also Published As

Publication number Publication date
JPWO2005002224A1 (ja) 2006-08-10
EP1641262A1 (en) 2006-03-29
EP1641262B1 (en) 2009-01-21
US7460182B2 (en) 2008-12-02
EP1641262A4 (en) 2006-07-26
CN100397890C (zh) 2008-06-25
WO2005002224A1 (ja) 2005-01-06
CN1714571A (zh) 2005-12-28
US20050231646A1 (en) 2005-10-20
DE60326015D1 (de) 2009-03-12

Similar Documents

Publication Publication Date Title
US5649047A (en) Picture reproduction apparatus and picture decoding apparatus
US6662329B1 (en) Processing errors in MPEG data as it is sent to a fixed storage device
US5914719A (en) Index and storage system for data provided in the vertical blanking interval
US7460182B2 (en) Circuit for processing video signal including information such as caption
JP3917363B2 (ja) 画像復号化装置及び画像復号化方法
JP2006197602A (ja) デジタル化ビデオ信号のための時間軸補正方法
US5883675A (en) Closed captioning processing architecture for providing text data during multiple fields of a video frame
JPH09233429A (ja) ビデオデータデコーダ及びデコーディング方法
CN100544413C (zh) 视频处理电路、多媒体播放系统及其译码子画面数据方法
US6438318B2 (en) Method for regenerating the original data of a digitally coded video film, and apparatus for carrying out the method
KR20010101929A (ko) 영상기록장치, 영상기록방법 및 영상레이트 조정장치
JP4515607B2 (ja) デジタルtv受像機の順次走査ビデオ信号処理におけるメモリ管理方法およびバッファリング・システム
JP3420210B2 (ja) 映像記録装置、映像記録方法
JP2006324739A (ja) 符号化データ再生装置
US20090092376A1 (en) Video reproduction apparatus
KR100746845B1 (ko) 향상된 해상도 디스플레이
US20030128968A1 (en) Method and apparatus for MPEG video processing
EP1467573A2 (en) Video recording
JP3171178B2 (ja) Mpeg動画像復号化装置
KR100525373B1 (ko) 비디오 플레이어 및 비디오 플레이어의 고속 감기제어 방법
JP2001223989A (ja) 画像再生装置
JP2001251585A (ja) 記録再生装置
JPH11136635A (ja) デジタルデータ記録再生装置
JP2000188718A (ja) 映像信号再生装置
JP2003087749A (ja) 画像データ再生装置および画像データ再生方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140619

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees