JP3948068B2 - Information signal processing apparatus and information signal processing method - Google Patents

Information signal processing apparatus and information signal processing method Download PDF

Info

Publication number
JP3948068B2
JP3948068B2 JP24565697A JP24565697A JP3948068B2 JP 3948068 B2 JP3948068 B2 JP 3948068B2 JP 24565697 A JP24565697 A JP 24565697A JP 24565697 A JP24565697 A JP 24565697A JP 3948068 B2 JP3948068 B2 JP 3948068B2
Authority
JP
Japan
Prior art keywords
character information
information
video
signal processing
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24565697A
Other languages
Japanese (ja)
Other versions
JPH10322669A (en
Inventor
義則 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP24565697A priority Critical patent/JP3948068B2/en
Publication of JPH10322669A publication Critical patent/JPH10322669A/en
Application granted granted Critical
Publication of JP3948068B2 publication Critical patent/JP3948068B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、少なくとも映像情報及び文字情報を含む情報信号、文字情報を付加された映像信号から文字情報を抽出して処理する情報信号処理装置及び情報信号処理方法に関する。
【0002】
【従来の技術】
従来、映像、音声等の情報信号をディスクの記録層に光学的に記録する光ディスクが提供されている。これら光ディスクとしては、例えば、アナログビデオディスク、ビデオCD、デジタルビデオディスク、いわゆるDVD等を挙げることができる。
【0003】
ここで、アナログディスクの一例としては、片面60分の映像と音声をアナログ方式で記録する直径30cmの光ディスクが知られている。ビデオCDとは、いわゆるCDをデジタル方式にて映像に対応するように拡張した直径12cmの光ディスクである。DVDとは、映像及び音声を、片面又は両面に備えられる1層又は2層の記録層に記録する直径12cmの光ディスクである。
【0004】
これらの光ディスクに記録されている映像には、字幕や他の説明文、テキスト等の文字情報に対応する文字コードが付加、即ち符号化されことがある。これらの文字情報は、該映像がテレビジョン受像器等において表示画面に表示される際に、画面の一部に表示されて種々の情報を提供する。このような文字情報又はクローズド・キャプション(Closed Caption; CC)と言われている。なお、この文字情報は、文字コードと制御コードを含む。上記文字コードの一例としては、いわゆるアスキーコードがある。
【0005】
ここで、文字情報は、光ディスクの種類に固有の態様にて記録されている。即ち、アナログディスクにおいては、文字情報は映像信号のブランク期間の第21ライン及び/又は第284ラインに各々2バイト含まれている。ビデオCDにおいては、文字情報はアナログディスクと同様に映像信号のブランク期間の第21ライン及び/又は第284ラインに含まれる場合と、映像信号とは別に文字情報として記録されている場合とがある。DVDにおいては、文字情報は映像情報とは別個に記録されている。
【0006】
文字情報が映像信号に含まれる場合の一例は、図15中の(a)に示すように、図15中の(b)に示す通常のラインとは異なり、文字C1及び文字C2がそれぞれ1バイトで符号化されている。
【0007】
一方、いわゆる文字多重機能を有するテレビジョン受像器が提供されている。このようなテレビジョン受像器は、映像信号のブランク期間の第21ライン及び/又は第284ラインに含まれている文字コードをデコードして、表示画面の一部に文字列として表示する機能を有する。
【0008】
ここで、図16によって、文字多重機能を有するテレビジョン受像器における文字情報の表示の態様の一例を示す。このテレビジョン受像器17においては、第21ラインL21及び/又は第284ラインL284に符号化された文字情報は、表示画面17a上の有効画面の第1行R1から第15行R15に表示されている。
【0009】
上記DVDあるいは一部のビデオCDのように、文字情報が映像信号とは別個に記録されている媒体から読み出した映像及び文字情報を上述の文字多重機能を有するテレビジョン装置に表示させるためには、該文字情報を映像信号に符号化する必要がある。
【0010】
そこで、DVD等から情報信号を読み出してこの情報信号に処理を行う情報信号処理装置において、第21ラインL21及び/又は第284ラインL284に映像に対応する文字情報を符号化した映像信号を供給している。
【0011】
他方、文字多重化機能を有するテレビジョン受像器においても、再生状態でしか文字情報を表示することができなかった。また、ランダムアクセスをした最初は、文字情報の表示が乱れることがあった。
【0012】
【発明が解決しようとする課題】
上述のように、文字情報は、映像信号のブランク期間の第21ラインL21及び/又は第284ラインL284に文字コードとして符号化されているので、プレイのように一連の映像が順に送られる再生の態様においては、文字情報は映像に対応して正常に表示される。
【0013】
しかし、例えばランダムアクセスにおいては、該映像に対応する文字情報の一部分や、直前に再生していた該映像に対応する文字情報の一部分が表示される。また、ポーズにおいては、該画像に対応する文字情報の一部分が繰り返して表示される。正方向スロー及び逆方向スローにおいても、文字情報の一部分が一定の回数繰り返して表示される。
【0014】
即ち、上記情報処理装置における、映像に対応する文字情報の文字コード符号化によると、ランダムアクセス、ポーズ、正方向スロー、逆方向スロー等の特殊再生の際に、文字情報が正常に表示されないといった問題があった。
【0015】
この発明は、上述の実情に鑑みて提案されるものであって、特殊再生の場合にも、文字情報を正常に表示する映像信号を与える情報信号処理装置及び情報信号処理方法を提供することを目的とする。
【0016】
【課題を解決するための手段】
上述の課題を解決するためにこの発明に係る情報信号処理装置は、少なくとも映像信号と文字情報とを含む情報信号から文字情報を抽出する抽出手段と、該文字情報を映像信号に付加する付加手段と、上記付加手段を制御し、特殊再生時には文字情報の文字コードを制御コードに書き換える制御手段とを備え、上記特殊再生が正方向スローの場合は、上記付加手段は、映像の同じフィールドを繰り返し送る際に該映像信号に1フィールドに対応する文字情報を初回のみ付加した後は、繰り返されるフィールドに対して非出力コードを付加するものである。
【0017】
また、上記情報信号処理装置においては、上記付加手段は、上記映像信号のブランキング期間内の第21ラインL21及び/又は第284ラインL284に上記文字情報を付加するものである。
【0018】
そして、上記情報信号処理装置においては、上記特殊再生がポーズの場合には、上記制御コードは非出力コードある。
【0019】
さらに、上記情報信号処理装置においては、該文字情報に制御コードが2個続いて現れる場合には、2番目の制御コードは送らず、上記特殊再生がランダムアクセスの場合には、上記付加手段は、バッファに蓄積された文字情報を消去する制御コードを付加するものである。
【0020】
上述の課題を解決するために、この発明に係る情報信号処理装置は、少なくとも映像信号と文字情報とを含む情報信号から文字情報を抽出する抽出手段と、該文字情報を映像信号に付加する付加手段と、上記付加手段を制御し、特殊再生時には文字情報の文字コードを制御コードに書き換える制御手段とを備え、上記特殊再生がランダムアクセスの場合には、該文字情報に制御コードが現れてから文字情報を映像信号に付加するものである。
【0021】
上述の課題を解決するために、この発明に係る映像信号処理方法は、少なくとも映像信号と文字情報とを含む情報信号から文字情報を抽出する工程と、該文字情報を映像信号に付加する工程と、特殊再生時には文字情報を制御コードに書き換える工程とを備え、上記特殊再生が正方向スローの場合は、上記付加工程では、映像の同じフィールドを繰り返し送る際に該映像信号に1フィールドに対応する文字情報を初回のみ付加した後は、繰り返されるフィールドに対して非出力コードを付加するものである。
【0022】
また、この発明に係る情報信号処理方法においては、上記付加手段は、上記映像信号のブランキング期間内の第21ラインL21及び/又は第284ラインL284に上記文字情報を付加するものである。
【0023】
そして、上記情報信号処理方法においては、上記特殊再生がポーズの場合には、上記制御コードは非出力コードであり、上記情報信号処理方法は、該文字情報に制御コードが2個続いて現れる場合には、2番目の制御コードは送らず、上記特殊再生がランダムアクセスの場合には、上記付加工程では、バッファに蓄積された文字情報を消去する制御コードを付加するものである。
【0024】
上述の課題を解決するために、この発明に係る映像信号処理方法は、少なくとも映像信号と文字情報とを含む情報信号から文字情報を抽出する工程と、該文字情報を映像信号に付加する工程と、特殊再生時には文字情報を制御コードに書き換える工程とを備え、上記特殊再生がランダムアクセスの場合には、該文字情報に制御コードが現れてから文字情報を映像信号に付加するものである。
【0025】
【発明の実施の形態】
以下、この発明に係る情報信号処理装置及び映像信号処理装置並びに情報信号処理方法の実施の形態を図面を参照して説明する。
【0026】
この発明に係る情報信号処理装置又は映像信号処理装置は、図1に示すように、光ディスク1からRF信号を再生するピックアップ2と、このピックアップ2により再生されたRF信号が供給されこのRF信号の2値化処理等をするRF回路3と、RF回路3からの再生データが供給されエラー訂正等のデコード処理をするデータデコーダ4と、データデコーダ4によりデコード処理がされた再生データを主映像圧縮データ,副映像圧縮データ及び音声圧縮データに振り分けるデマルチプレクサ5とを備える。
【0027】
また、この装置は、上記主映像圧縮データを伸張するビデオデコーダ6と、上記副映像圧縮データを伸張して主映像データと合成する副映像デコーダ7と、上記音声圧縮データを伸張するオーディオデコーダ8と、副映像デコーダ7からの主映像データと副映像データが合成された映像データが供給されNTSC信号又はPAL信号に変換するデジタル/NTSC,PAL変換回路(以下、単にNTSC変換回路という。)9と、オーディオデコーダ8からのオーディオデータが供給されアナログ信号に変換するデジタル/アナログ変換回路(以下、単にD/A変換回路という。)10とを備える。
【0028】
また、この装置は、ピックアップ2,RF回路3,データデコーダ4,デマルチプレクサ5,ビデオデコーダ6,副映像デコーダ7,オーディオデコーダ8,NTSC変換回路9及びA/D変換回路10を制御するコントローラ11と、このコントローラ11とユーザーの操作入力を媒介するユーザーインターフェース12と、コントローラ11のデータ記憶部となるメモリ13とを備える。
【0029】
この装置は、光ディスク1として再生専用,追記型,書換型等のDVDディスク及びDVD−VIDEOディスクを再生する。
【0030】
ピックアップ2は、光ディスク1からRF信号を再生してRF回路3に供給する。
【0031】
RF回路3は、このRF信号の波形等化及び2値化等をしてデジタルデータとその同期信号等を生成する。このRF回路3により生成されたデジタルデータ等は、データデコーダ4に供給される。
【0032】
データデコーダ4は、RF回路3により生成されたデジタルデータに基づきデータの復調や誤り訂正等の処理を行う。データデコーダ4により復調等がされたデジタルデータは、デマルチプレクサ5に供給される。
【0033】
また、このデータデコーダ4では、MPEG2のフォーマットにおけるシステムヘッダや、パックヘッダ等に含まれるパラメータ情報やDVDフォーマットにおけるナビゲーションパック(Navigation Pack;NV_PCK)に含まれる所定の情報等を検出する。この検出したパラメータ情報等は、データデコーダ4からコントローラ11に供給される。
【0034】
また、このデータデコーダ4は、デジタルデータの出力段にトラックバッファ4aを有している。このトラックバッファ4aによりデータデコーダ4とデマルチプレクサ5の処理速度の違いが吸収される。
【0035】
デマルチプレクサ5は、データデコーダ4によりエラー訂正のデコード処理等がされたデジタルデータを、主映像圧縮データと、副映像圧縮データと、音声圧縮データとに分割する。
【0036】
ここで、主映像圧縮データとは、MPEG2の方式で圧縮された映像データであり、例えばDVDのフォーマットにおけるビデオストリーム(Video stream)である。副映像圧縮データとは、主映像に合成される字幕画像等のデータであり、例えば、DVDのフォーマットにおけるサブピクチャストリーム(Sub-picture stream)である。音声圧縮データとは、MPEG2等の方式で圧縮等された音声データであり、DVDのフォーマットにおけるオーディオストリーム(Audio stream)である。
【0037】
デマルチプレクサ5は、主映像圧縮データをビデオデコーダ6に供給し、副映像圧縮データを副映像デコーダ7に供給し、音声圧縮データをオーディオデコーダ8に供給する。
【0038】
ビデオデコーダ6は、主映像圧縮データの復号処理を行い、この復号処理により伸張化された主映像データを生成する。このビデオデコーダ6は、復号処理を行うために3画面分のメモリを有している。すなわち、MPEG2のフォーマットにおけるIピクチャ(Intra 符号化画像),Pピクチャ(Predictive符号化画像),Bピクチャ(Bidirectionally 符号化画像)を復号してビデオデコーダ6のメモリに格納し、さらに、この復号された各ピクチャをこのメモリ上から出力する。なお、このメモリは、3画面分に限らず、これ以上の容量があってもよい。ビデオデコーダ6は、生成した主映像データを副映像デコーダ7に供給する。
【0039】
副映像デコーダ7は、副映像圧縮データの復号処理を行い、この復号処理をした副映像データをビデオデコーダ6から供給された主映像データに合成して、映像データを生成する。すなわち、副映像デコーダ7は、副映像データとして再生される字幕画像等を主映像と合成する。なお、この副映像デコーダ7は、副映像データが無い場合には、主映像データをそのまま映像データとして出力する。副映像デコーダ7は、生成した映像データをNTSC変換回路9に供給する。
【0040】
オーディオデコーダ8は、音声圧縮データの復号処理を行い、伸張した音声データを生成する。すなわち、オーディオデコーダ8は、音声圧縮データがMPEG2のフォーマットで圧縮されていれば、これに対応した伸張処理をして、音声データを生成する。なお、この音声データがこのMPEG2のフォーマットの他に、PCM等のフォーマットで符号化されたものであれば、これに対応した復号処理を行う。オーディオデコーダ8は、生成した音声データをA/D変換回路10に供給する。
【0041】
NTSC変換回路9は、映像データをデジタルデータからNTSCやPAL等のテレビジョン信号に変換して出力する。この出力をモニタ等に供給することにより、ユーザーが記録媒体1から再生した映像を視聴することができる。
【0042】
A/D変換回路10は、デジタルデータである音声データをアナログの音声データに変換して出力する。この出力をスピーカ等に供給することにより、ユーザーが記録媒体1から再生した映像を視聴することができる。
【0043】
コントローラ11は、ピックアップ2,RF回路3,データデコーダ4,デマルチプレクサ5,ビデオデコーダ6,副映像デコーダ7,オーディオデコーダ8,NTSC変換回路9及びA/D変換回路10の制御を行う。
【0044】
また、このコントローラ11には、操作パネルやリモートコントローラであるユーザーインターフェース12を介して操作入力がされ、この操作入力に基づき各回路の制御を行う。
【0045】
また、コントローラ11は、メモリ13に各制御データ等を記憶させ、メモリ13が記憶したデータに基づき各回路の制御を行う。
【0046】
DVD−VIDEOディスクでは、図2に示すように、ビデオオブジェクトセット(Video Object Set; VOBS)単位で主映像データ,副映像データ,音声データを管理する。このVOBSは、例えば、映画の1作品等の単位となる。このVOBSは、複数のビデオオブジェクト(Video Object;VOB)から構成されている。このVOBは、各データがディスク上に1群として記録されている単位である。また、このVOBSは、複数のセル(Cell)で構成されている。このCellは、例えば映画における1シーンや1カット等の単位となり、1つのCellが数分から10数分という時間の単位である。また、DVDでは、例えば、1つの映画を複数のストーリー展開で見ることができるマルチストーリといったフォーマットやいわゆるペアレンタルロック(parental lock )といわれる暴力シーンなどの教育上好ましくないシーンをとばしたりする機能を備えており、このような機能は、このCellの組み合わせにより作成される。
【0047】
Cellは、複数のビデオオブジェクトユニット(Video Object Unit;VOBU)により構成されている。このVOBUは、動画像で0.4から1.2秒の単位であり、このVOBUの中にMPEG2のフォーマットにおける複数のGOP(Group Of Pictures)が含まれることになる。
【0048】
このVOBUは、このVOBUの管理情報を有するパックであるナビゲーションパックNV_PCKと、主映像を有するパックであるビデオパック(Video Pack;V_PCK)と、音声データを有するパックであるオーディオパック(Audio Pack; A_PCK)と、副映像データを有するパックであるサブピクチャパック(SubPicture Pack;SP_PCK)とにより構成されている。このビデオパックV_PCK、オーディオパックA_PCK、サブピクチャパックSP_PCKは、それぞれMPEG2等のフォーマットで圧縮されて記録媒体1上に記録されている。
【0049】
次に、図3によって、映像と文字情報との対応関係を説明する。
テレビジョン受像器17の表示画面17aに表示される映像は、映像信号における図中F1〜F8で示されるフィールドに対応している。映像信号は、これら一連のフィールドから構成され、プレイのような通常の再生時においては、表示画面17aの映像は、フィールドを単位として順に表示されていく。
【0050】
映像信号のフィールドは、水平走査線等のラインによって構成されるが、このライン全てが有効画面に対応しているのではなく、一部は画面に表示されないブランク期間に対応している。
【0051】
上述の第21ラインL21は、このブランク期間に相当するので、このラインには映像以外の情報を書き込む余地がある。そこで、この第21ラインL21には、文字情報として2バイトの文字コードが符号化される。
【0052】
図中には、各フィールドに対応して各2バイトの該文字情報が表示されている。即ち、“Hi! Jon.”等は各1バイトのアスキー(ascii )コードであり、“Flip”は2バイトの制御コードである。この“Flip”の意味については後述する。
【0053】
これらの文字情報は、図4中の(a)における“Hi”、(b)における“Hi! ”、(c)おける“Hi! Jon.”に示されているように、映像信号の各フィールドについて、順に復号されてバッファに蓄積される。
【0054】
文字情報は、バッファに蓄積された後に、図5中の(a)に示すように、テレビジョン受像器17の表示画面17aの映像の一部に表示される。図中の文字情報は、一方の人物が他方の人物に“Hi! Jon.”と挨拶している場面である。
【0055】
また、文字情報は、図5中の(c)のウインドウ17b中に表示させ、さらにこのウインドウ17bを、図5中の(b)に示すように、表示画面17aに表示させることもできる。
【0056】
次に、ポーズの場合にテレビジョン受像器17の表示画面17aに映像に対応して文字情報を正常に表示させるような映像信号を生成する情報信号処理方法を説明する。
【0057】
図6中の(a)に示す、プレイのような通常の再生時においては、映像信号のフィールドは、F1、F2、F3と、順に送られていく。そして、各フィールドには、文字情報が符号化されている。
【0058】
これに対して、ポーズにおいては、図6中の(b)に示すように、途中で1コマ送られているのを除くと、同一のフィールドF1又はF2が繰り返して送られている。このような場合、各フィールドに対応する文字情報をそのまま符号化すると、これらのフィールドが繰り返し送られることに応じて該文字情報が繰り返し表示されることになる。
【0059】
このような不具合を防止するために、映像信号に符号化する文字情報に一定の処理を施すことが必要になる。即ち、フィールドに対応する文字情報を初回のみ符号化し、以後はフィールドが変更されない限り非出力コード“NOP”を送ることにする。
【0060】
ここで、図6中の(b)においては、非出力コード“NOP”は、2バイト(1ワード)分の幅を取っているが、1バイトのコードとすることもできる。
【0061】
一方、映像を1コマ進める場合には、即ちフィールドを1進める場合には、同じく図6中の(b)に示すように、変更されたフィールドに文字情報を符号化し、以後の同じフィールドが続く限り非出力コード“NOP”を符号化することにする。
【0062】
このような操作によって、映像を1コマ進める際、テレビジョン受像器17の表示画面17aに文字情報が重複して表示されることを回避することができる。
【0063】
続いて、正の方向に緩慢に映像を送る正方向スローについて説明する。
通常の再生であるプレイにおいては、図7中の(a)に示すように、映像信号のフィールドは順に1コマづつ送られる。
【0064】
これ対して、正方向スローは、図7中の(b)に示すように、同じフィールドが例えば4回繰り返されている。このような場合には、フィールドに対応する文字情報が繰り返して表示されることがないように、2回目以降の該フィールドの文字情報には非出力コード“NOP”を符号化している。
【0065】
ところで、文字情報の表示制御等を行わせるための制御コードは、2バイトであり、1フィールドに1つの制御コードが送られる。このような制御コードは、フォーマットにより2回連続して送ってもよいとされているが、文字多重デコーダの例では、2回目の制御コードは無視するようになっている。
【0066】
ところが、スローの場合に、1回目の制御コードの後に、非出力コードを出力し、その後に2回目の制御コードを出力すると、誤動作が生じる虞れがある。そこで、2回目の制御コード、正確には偶数番目の制御コードは送らないようにする。
【0067】
これは、連続する同一制御コードでは、2番目の制御コードはデコーダでは無視されるようになっているので、一旦非出力コード“NOP”をエンコードしているので、連続する同一制御コードとデコーダは認識しないためである。
【0068】
一方、ランダムアクセス時においては、一連の文字情報の途中から表示されるので、表示が乱れる虞れがある。そこで、バッファのメモリをクリアすると共に、新たな制御コードが送られるまで、文字情報の表示を禁止している。
【0069】
即ち、第1チャンネル及び第2チャンネル共に、“表示メモリ消去”制御コードを第21ラインL21及び/又は第284ラインL284に符号化する。続いて、第1チャンネル及び第2チャンネル共に“非表示メモリ消去”制御コードを第21ラインL21及び/又は第284ラインL284に符号化する。そして、第1チャンネル及び第2チャンネル共に、“テキスト再スタート”制御コードを第21ラインL21及び/又は第284ラインL284に符号化する。上記チャンネルについては後述する。
【0070】
ランダムアクセス後は、各フィールド毎にいずれかのチャンネルの制御コードが発見されるまで、第21ラインL21及び/又は第284ラインL284にエンコードしないようにする。こうすることにより不完全な表示をさせないようにする。
【0071】
また、ランダムアクセス時においては、該文字情報に制御コードが現れてから文字情報を映像信号に付加、即ち符号化することにより、不完全な乱れた表示を防止することができる。
【0072】
ここで、映像信号のフィールドと、このフィールドに符号化される文字情報のチャンネルについて説明する。
【0073】
映像信号に含まれる映像は上述したフィールドを単位とし、このフィールドの2個(以下、第1のフィールド、第2のフィールドという。)一組で1フレームとなる。このフレームは、映像信号の1周期に対応している。
【0074】
文字情報が符号化される第21ラインL21と、第284ラインL284は、それぞれ上記第1のフィールド及び第2のフィールドのブランク期間に対応している。
【0075】
これまでは、説明を簡略化するために、一連の文字情報が毎フィールド送られるものとして説明したが、実際の文字多重フォーマットにおいては、第1のフィールドと第2のフィールドとで異なるチャンネルの文字情報を転送している。即ち、フィールドと文字情報との関係は、図8に示すようになる。
【0076】
即ち、文字情報は、F1、F3、F5等の第1のフィールドに対応する第21ラインL21と、F2、F4、F6等の第2のフィールドに対応する第284ラインL284に対して独立に符号化することができる。また、例えば第1のフィールドであっても、フィールドによって文字情報CC1、文字情報CC2のような異なったチャンネルの文字情報を符号化することができる。
【0077】
ここで、上記第1のフィールド及び第2のフィールドに符号化できる文字情報等のチャンネルについて説明する。
【0078】
第1のフィールドに対応する第1のチャンネルとしては、図9に示すように、文字情報CC1、文字情報CC2、テキストT1、テキストT2の内から2個を選択することができる。第2のフィールドに対応する第2のチャンネルとしては、文字情報CC3、文字情報CC4、テキストT3、テキストT4、拡張データEDSの内から2個を選択することができる。
【0079】
このように、各フィールドに文字情報及びテキストがマルチプレクスされて構成されている。そして各チャンネルの識別子を持った制御コードの後に続く実際の文字データは、そのチャンネルのデータであり、それは別のチャンネルの制御コードが現れるまで続く。
【0080】
もし、文字情報CC1、文字情報CC2、テキストT1、テキストT2の中で使用されることのないことが予め分かっている場合は、消去のための制御コードをエンコードする順番を変えて、その使われることのないチャンネルの制御コードのエンコードを最後に行うことでも、同様に不完全な表示をさせないようにすることができる。
【0081】
逆にすべてのチャンネルに消去のための制御コードをエンコードする場合、それぞれの制御コードのエンコードはどのような順番で行ってもよい。
【0082】
ここで、テキストとは文字列をバッファに蓄積せずに順に表示する態様である。ランダムアクセスの際にはテキストの表示が乱れないように、再スタートコード(Start Text command)が与えられる。この再スタートコードが与えられると、表示されているテキストは一旦消去される。
【0083】
また、拡張データとはアスキー(ascii )コード等の通常のコード以外に拡張されたデータである。
【0084】
上述したように、文字情報は一旦バッファに蓄えられた後で、表示画面17aに表示される。この装置には、上記の4チャンネルの文字情報に対応して、文字情報を納めるバッファも、図10に示すように、4チャンネル備えられている。
【0085】
図中、バッファ21は文字情報CC1に、バッファ22は文字情報CC2に、バッファ23は文字情報CC3に、バッファ24は文字情報CC4にそれぞれ対応している。
【0086】
これらのバッファは、それぞれ2個のバッファから構成されている。これらの2個のバッファは、一方がバッファの内容が表示画面17aに表示される表示バッファとなり、他方は、表示されない非表示バッファとなっている。
【0087】
非表示バッファには、文字情報が順に蓄積されていて、この蓄積が終わると、非表示バッファは表示バッファに切り換えられる。この切り換えは、制御コード“Flip”にてなされる。
【0088】
続いて、ポーズ時における上述のような文字情報に係る方法信号処理の一連の工程を、図11のフローチャートを参照して説明する。
【0089】
ステップS101においては、ユーザインターフェース12から、ポーズ命令がコントローラ11に発行される。即ち、ユーザが与えるポーズの指示は、ユーザインターフェース12を経由してコントローラ1に伝えられる。この作業が終了すると、ステップS102に進む。
【0090】
次のステップS102においては、コントローラ11は、ビデオデコーダ6、副映像デコーダ7、オーディオデコーダ8をポーズさせる。これにより、映像情報等の流れが停止する。この作業が終了すると、ステップS103に進む。
【0091】
次のステップS103においては、各デコーダのポーズしたことが確認されたら、コントローラ11は、NTSCエンコーダ9の文字情報をエンコードブロックへ、第21ラインL21、第284ラインL284とともに非出力コードを与える。これにより、文字情報の表示は実質的に抑制される。これらの作業が終了すると、ステップS104に進む。
【0092】
次のステップS104においては、文字情報エンコードブロックは、第21ラインL21と第284ラインL284に非出力コードをエンコード(符号化)する。これによって、映像信号の1周期が生成された。この作業が終了すると、この一連の工程を終了する。
【0093】
以上述べたように、ポーズ時においては、映像情報等の流れが停止され、映像情報には非出力コードが符号化される。
【0094】
次に、1コマ送り際の情報信号処理の一連の工程を、図12に示すフローチャートを参照して説明する。
【0095】
ステップS201においては、ユーザインターフェース12から、1コマ送り命令がコントローラ11に発行される。即ち、ユーザの指示は、ユーザインターフェース12を経由してコントローラ1に伝えられる。そして、次のステップS202に進む。
【0096】
次のステップS202においては、コントローラ11は、ビデオデコーダ6、副映像デコーダ7、オーディオデコーダ8を1コマ分進ませる。即ち、映像信号の1フィールドに対応する作業が行われ、これに続くステップS203に進む。
【0097】
次のステップS203においては、次に第21ラインL21にエンコードさせるデータが、直前に第21ラインL21にエンコードしたデータであり、かつ、それらはコントロールコード(制御コード)であるという条件によって分岐する。この条件を満たす場合には、“YES”としてステップS205に進み、この条件を満足しない場合には“NO”としてステップS204に進む。
【0098】
ステップS204においては、コントローラ11は、NTSCエンコーダ9の文字情報エンコードブロックへ次に表示させるデータを与え、次のステップS206に進む。
【0099】
ステップS205においては、コントローラ11は、NTSCエンコーダ9の文字情報エンコードブロックへの非出力コードを与える。そして、次のステップS204に進む。
【0100】
ステップS206においては、次に第284ラインL286にエンコード(符号化)させるデータが直前に第284ラインL284にエンコードしたデータと同じであり、かつ、それらは制御コードであるという条件によって分岐する。この条件を満たす場合には、“YES”としてステップS207に進み、この条件を満足しない場合には、“NO”としてステップS208に進む。
【0101】
ステップS207においては、コントローラ11はNTSCエンコーダ9の文字情報エンコードブロックへ次に出力させるデータを与え、この一連の工程を終了する。
【0102】
ステップS208においては、コントローラ11は、NTSCエンコーダ9の文字情報エンコードブロックへの非出力コードを与える。そして、ステップS207に進む。
【0103】
以上述べたように、この1コマ送りの一連の工程においては、第21ラインL21及び第284ラインL284に直前に符号化した文字情報が制御コードである場合に二重に送らないようにしている。そして、これ以外の場合には文字情報を送っている。
【0104】
ここで、正方向スローに係る一連の工程を、図13に示すフローチャートを参照して説明する。
【0105】
ステップS301においては、1コマ送りするときの処理を行う。この処理を終えると、ステップS302に進む。
【0106】
ステップS302においては、正方向スローを続けるという条件によって分岐する。そして、この条件を満たす場合には、“YES”として、ステップS303に進む。この条件を満足しない場合には、“NO”として、この一連の工程を終了する。
【0107】
ステップS303においては、一定時間待つ。そして、この一定時間が経過すると、ステップS301に進む。
【0108】
このように、正方向スローにおいては、通常のプレイに一定時間待つステップS303が加わったことが異なっている。
【0109】
次に、ランダムアクセス後に通常の再生であるプレイを開始した場合の、情報信号処理方法に係る一連の工程を、図14に示すフローチャートを参照して説明する。
【0110】
ステップS401においては、コントローラ11は、NTSCエンコーダ9にCC1、CC2、CC3、CC4、T1、T2、T3、T4の文字情報を消去するそれぞれの制御コードを加える。そして、次のステップS402に進む。
【0111】
ステップS402においては、最初の文字情報データは第21ラインL21用のデータであるという条件によって分岐する。即ち、この条件を満たす場合には、“YES”としてステップS403に進む。この条件を満足しない場合には、“NO”としてステップS406に進む。
【0112】
ステップS403においては、第21ラインL21用文字情報データにおいて、ランダムアクセス後における再生開始以来制御コードはなく、かつ、つぎにエンコード(符号化)すべきデータは制御コードでないという条件によって分岐する。即ち、この条件を満たす場合には、“YES”としてステップS404に進む。この条件を満足しない場合には、“NO”としてステップS405に進む。
【0113】
ステップS404においては、コントローラ11は、NTSCエンコーダ9に非出力コードを与える。この作業が終了すると、ステップS406に進む。
【0114】
ステップS404においては、コントローラ11は、NTSCエンコーダ9に次にエンコードすべきデータを与える。この作業が終了すると、ステップS406に進む。
【0115】
ステップS406においては、第284ラインL284用文字情報データにおいて、ランダムアクセス後における再生開始以来制御コードはなく、かつ、つぎにエンコードすべきデータは制御コードでないという条件によって分岐する。即ち、この条件を満たす場合には、“YES”としてステップS407に進む。この条件を満足しない場合には、“NO”としてステップS408に進む。
【0116】
ステップS407においては、コントローラ11は、NTSCエンコーダ9に非出力コードを与える。この作業が終了すると、ステップS403に進む。
【0117】
ステップS408においては、コントローラ11は、NTSCエンコーダ9に次にエンコードすべきデータを与える。この作業が終了すると、ステップS403に進む。
【0118】
以上述べたように、この再生開始時の一連の手順においては、文字情報が中途から表示されると脈絡がなくなることがあるので、文字情報の区切りとなる制御コードが現れてから、文字情報を出力するものである。
【0119】
ところで、本発明は、上述したようなディジタル映像情報信号の場合のみならず、アナログ映像信号にも適用することができる。
【0120】
すなわち、文字情報が付加されたアナログ映像信号を処理する映像信号処理装置に本発明を適用する場合には、上記文字情報を書き換える文字情報書き換え手段と、上記文字情報書き換え手段を制御し、特殊再生時には文字情報の文字コードを制御コードに書き換える制御手段を備えるようにすればよい。
【0121】
ここで、上記付加手段は、上記映像信号のブランキング期間内の第21ラインL21及び/又は第284ラインL284上に文字情報を付加するものである。
【0122】
上記特殊再生がポーズの場合には、上記制御コードは非出力コードとする。上記特殊再生が正方向スローの場合は、上記付加手段は、映像を1コマ送る際に該映像信号に文字情報を1ワード付加した後は、非出力コードを付加するようにする。該文字情報に制御コードが2個続いて現れる場合には、2番目の制御コードは送らない。さらに、上記特殊再生がランダムアクセスの場合には、上記付加手段は、バッファに蓄積された文字情報を消去する制御コードを付加し、該文字情報の制御コードが現れるまでは、非出力コードを付加するものである。
【0123】
【発明の効果】
上述したように、本発明に係る情報信号処理装置及び映像信号処理装置並びに情報信号処理方法は、通常の再生時のみならず、スロー、ポーズ、ランダムアクセス等の特殊再生時においても、文字多重機能を有するテレビジョン受像器の表示画面に、映像に対応する文字情報が正常に表示されるような映像信号を供給する。
【0124】
従って、この情報信号処理装置は、該映像に対応する文字情報を表示しながら特殊再生を行うことができるので、操作者の負担を軽減し、作業の効率を向上させる。
【図面の簡単な説明】
【図1】情報処理装置又は映像信号処理装置の概略的な構成を示すブロック図である。
【図2】上記装置に情報信号を供給する媒体の一例であるDVD−VIDEOディスクのデータ構造を示すデータ構造図である。
【図3】上記情報信号の映像情報のフィールドと文字情報との関係を示すタイミングチャートである。
【図4】上記文字情報がバッファに蓄積される状態を模式的に示す図である。
【図5】上記装置の備えるテレビジョン受像器の表示画面に表示される、文字情報が重畳された映像を示す図である。
【図6】ポーズ状態における上記フィールドと文字情報との関係を示すタイミングチャートである。
【図7】正方向スロー状態における上記フィールドと文字情報との関係を示すタイミングチャートである。
【図8】上記映像信号のフィールドと各種文字情報との関係を示すタイミングチャートである。
【図9】上記装置に係る映像信号にエンコードされた文字情報の種類を示す図である。
【図10】文字情報を格納するバッファを模式的に示す図である。
【図11】ポーズ状態における情報信号処理方法の一連の手順を示すフローチャートである。
【図12】映像を1コマ進める場合における情報信号処理方法の一連の手順を示すフローチャートである。
【図13】正方向スロー状態における情報信号処理方法の一連の手順を示すフローチャートである。
【図14】再生開始時における情報信号処理方法の一連の手順を示すフローチャートである。
【図15】映像信号のラインを示すタイミングチャートである。
【図16】映像信号のラインと、テレビジョン受像器の表示画面に表示されるテキスト又は文字情報との関係を模式的に示す図である。
【符号の説明】
1 光ディスク、5 デマルチプレクサ、6 ビデオデコーダ、7 副映像デコーダ、8 オーディオデコーダ、9 ディジタル/NTSC,PAL変換回路、17 テレビジョン受像器
[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an information signal processing apparatus that extracts and processes character information from an information signal including at least video information and character information and a video signal to which character information is added.as well asThe present invention relates to an information signal processing method.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an optical disc that optically records information signals such as video and audio on a recording layer of the disc has been provided. Examples of these optical disks include analog video disks, video CDs, digital video disks, so-called DVDs, and the like.
[0003]
Here, as an example of an analog disk, an optical disk with a diameter of 30 cm for recording video and audio for 60 minutes on one side in an analog manner is known. A video CD is an optical disk having a diameter of 12 cm obtained by expanding a so-called CD so as to correspond to an image by a digital method. A DVD is an optical disc having a diameter of 12 cm that records video and audio on one or two recording layers provided on one or both sides.
[0004]
Character images corresponding to character information such as subtitles, other explanatory texts, and texts may be added to the video recorded on these optical disks, that is, encoded. These character information is displayed on a part of the screen to provide various information when the video is displayed on a display screen in a television receiver or the like. Such character information or Closed Caption (CC) is said. This character information includes a character code and a control code. An example of the character code is a so-called ASCII code.
[0005]
Here, the character information is recorded in a mode unique to the type of the optical disc. That is, in the analog disk, character information is included in 2 bytes each in the 21st line and / or the 284th line of the blank period of the video signal. In a video CD, character information may be included in the 21st line and / or 284th line of the blank period of the video signal as in the case of the analog disc, and may be recorded as character information separately from the video signal. . In DVD, character information is recorded separately from video information.
[0006]
An example of the case where the character information is included in the video signal is, as shown in FIG. 15A, unlike the normal line shown in FIG. 15B, the character C1 and the character C2 are each 1 byte. It is encoded with.
[0007]
On the other hand, a television receiver having a so-called character multiplexing function is provided. Such a television receiver has a function of decoding a character code included in the 21st line and / or the 284th line of the blank period of the video signal and displaying it as a character string on a part of the display screen. .
[0008]
Here, FIG. 16 shows an example of a display mode of character information in a television receiver having a character multiplexing function. In the television receiver 17, the character information encoded in the 21st line L21 and / or the 284th line L284 is displayed in the first line R1 to the 15th line R15 of the effective screen on the display screen 17a. Yes.
[0009]
To display video and character information read from a medium in which character information is recorded separately from a video signal, such as the above-mentioned DVD or some video CDs, on a television device having the above-described character multiplexing function. Therefore, it is necessary to encode the character information into a video signal.
[0010]
Therefore, in an information signal processing apparatus that reads an information signal from a DVD or the like and processes the information signal, a video signal that encodes character information corresponding to the video is supplied to the 21st line L21 and / or the 284th line L284. ing.
[0011]
  On the other hand, even in a television receiver having a character multiplexing function, character information can be displayed only in a reproduction state. Also, at the beginning of random access, the display of character information may be disturbed.
[0012]
[Problems to be solved by the invention]
As described above, the character information is encoded as the character code in the 21st line L21 and / or the 284th line L284 in the blank period of the video signal. In the aspect, the character information is normally displayed corresponding to the video.
[0013]
However, for example, in random access, a part of the character information corresponding to the video and a part of the character information corresponding to the video reproduced immediately before are displayed. In the pause, a part of the character information corresponding to the image is repeatedly displayed. A part of the character information is repeatedly displayed a fixed number of times in both the forward direction throw and the reverse direction throw.
[0014]
That is, according to the character code encoding of the character information corresponding to the video in the information processing apparatus, the character information is not normally displayed during special reproduction such as random access, pause, forward slow, reverse slow, etc. There was a problem.
[0015]
  The present invention is proposed in view of the above-described circumstances, and is an information signal processing device that provides a video signal for displaying character information normally even in special reproduction.as well asAn object is to provide an information signal processing method.
[0016]
[Means for Solving the Problems]
  In order to solve the above-described problems, an information signal processing apparatus according to the present invention includes an extracting unit that extracts character information from an information signal including at least a video signal and character information, and an adding unit that adds the character information to the video signal. And control means for controlling the additional means and rewriting the character code of the character information to the control code at the time of special reproduction.When the special reproduction is slow forward, the adding means adds the character information corresponding to one field to the video signal for the first time when the same field of the video is repeatedly sent. Add non-output codeIs.
[0017]
In the information signal processing apparatus, the adding means adds the character information to the 21st line L21 and / or the 284th line L284 within the blanking period of the video signal.
[0018]
  In the information signal processing apparatus, when the special reproduction is paused, the control code is a non-output code.sois there.
[0019]
Further, in the information signal processing apparatus, when two control codes appear in the character information in succession, the second control code is not sent, and when the special reproduction is random access, the adding means A control code for erasing character information stored in the buffer is added.
[0020]
  In order to solve the above-described problems, the present invention relates toinformationThe signal processing deviceExtracting means for extracting character information from an information signal including at least a video signal and character information; an adding means for adding the character information to the video signal; and controlling the adding means. Control means for rewriting the control code, and when the special reproduction is random access, the character information is added to the video signal after the control code appears in the character information.Is.
[0021]
  In order to solve the above problems, a video signal processing method according to the present invention includes a step of extracting character information from an information signal including at least a video signal and character information, and a step of adding the character information to the video signal. And a process of rewriting character information into control codes during special playbackWhen the special playback is forward slow, the adding process adds the character information corresponding to one field to the video signal for the first time when the same field of the video is repeatedly sent. Add non-output codeIs.
[0022]
In the information signal processing method according to the present invention, the adding means adds the character information to the 21st line L21 and / or the 284th line L284 within the blanking period of the video signal.
[0023]
  In the information signal processing method, when the special reproduction is paused, the control code is a non-output code,In the information signal processing method, when two control codes appear in succession in the character information, the second control code is not sent, and when the special reproduction is random access, in the additional step, in the buffer. A control code for deleting the stored character information is added.
[0024]
  In order to solve the above problems, a video signal processing method according to the present invention includes a step of extracting character information from an information signal including at least a video signal and character information, and a step of adding the character information to the video signal. A step of rewriting character information into a control code at the time of special reproduction. When the special reproduction is random access, the character information is added to the video signal after the control code appears in the character information.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an information signal processing device, a video signal processing device, and an information signal processing method according to the present invention will be described below with reference to the drawings.
[0026]
As shown in FIG. 1, an information signal processing apparatus or video signal processing apparatus according to the present invention is supplied with a pickup 2 for reproducing an RF signal from an optical disc 1 and an RF signal reproduced by the pickup 2, and An RF circuit 3 that performs binarization processing, a data decoder 4 that is supplied with playback data from the RF circuit 3 and performs decoding processing such as error correction, and the playback data that has been decoded by the data decoder 4 is compressed into the main video And a demultiplexer 5 that distributes data, sub-picture compressed data, and audio compressed data.
[0027]
The apparatus also includes a video decoder 6 that decompresses the main video compressed data, a sub video decoder 7 that decompresses the sub video compressed data and combines it with the main video data, and an audio decoder 8 that decompresses the audio compressed data. A digital / NTSC / PAL conversion circuit (hereinafter simply referred to as an NTSC conversion circuit) 9 is supplied with video data obtained by synthesizing main video data and sub-video data from the sub-video decoder 7 and converts the video data into an NTSC signal or PAL signal. And a digital / analog conversion circuit (hereinafter simply referred to as a D / A conversion circuit) 10 which is supplied with audio data from the audio decoder 8 and converts it into an analog signal.
[0028]
This device also includes a controller 11 for controlling the pickup 2, RF circuit 3, data decoder 4, demultiplexer 5, video decoder 6, sub-picture decoder 7, audio decoder 8, NTSC conversion circuit 9 and A / D conversion circuit 10. And the controller 11, a user interface 12 that mediates user operation input, and a memory 13 that serves as a data storage unit of the controller 11.
[0029]
This apparatus reproduces a read-only, write-once, and rewritable DVD disc and a DVD-VIDEO disc as the optical disc 1.
[0030]
The pickup 2 reproduces an RF signal from the optical disc 1 and supplies it to the RF circuit 3.
[0031]
The RF circuit 3 equalizes and binarizes the waveform of the RF signal to generate digital data and its synchronization signal. Digital data or the like generated by the RF circuit 3 is supplied to the data decoder 4.
[0032]
The data decoder 4 performs processing such as data demodulation and error correction based on the digital data generated by the RF circuit 3. The digital data demodulated by the data decoder 4 is supplied to the demultiplexer 5.
[0033]
The data decoder 4 detects system information in the MPEG2 format, parameter information included in a pack header, etc., predetermined information included in a navigation pack (Navigation Pack; NV_PCK) in the DVD format, and the like. The detected parameter information and the like are supplied from the data decoder 4 to the controller 11.
[0034]
The data decoder 4 has a track buffer 4a at the digital data output stage. The track buffer 4a absorbs the difference in processing speed between the data decoder 4 and the demultiplexer 5.
[0035]
The demultiplexer 5 divides the digital data subjected to the error correction decoding process or the like by the data decoder 4 into main video compressed data, sub video compressed data, and audio compressed data.
[0036]
Here, the main video compressed data is video data compressed by the MPEG2 method, and is, for example, a video stream in a DVD format. The sub-picture compressed data is data such as a caption image synthesized with the main video, and is, for example, a sub-picture stream in the DVD format. The audio compression data is audio data compressed by a method such as MPEG2, and is an audio stream in the DVD format.
[0037]
The demultiplexer 5 supplies the main video compressed data to the video decoder 6, supplies the sub video compressed data to the sub video decoder 7, and supplies the audio compressed data to the audio decoder 8.
[0038]
The video decoder 6 performs decoding processing of the main video compressed data, and generates main video data expanded by the decoding processing. The video decoder 6 has a memory for three screens in order to perform a decoding process. That is, an I picture (Intra encoded image), a P picture (Predictive encoded image), and a B picture (Bidirectionally encoded image) in the MPEG2 format are decoded and stored in the memory of the video decoder 6 and further decoded. Each picture is output from this memory. Note that this memory is not limited to three screens and may have more capacity. The video decoder 6 supplies the generated main video data to the sub video decoder 7.
[0039]
The sub-picture decoder 7 performs a decoding process on the sub-picture compressed data, and synthesizes the decoded sub-picture data with the main picture data supplied from the video decoder 6 to generate video data. That is, the sub video decoder 7 synthesizes a subtitle image or the like reproduced as sub video data with the main video. The sub video decoder 7 outputs the main video data as it is as video data when there is no sub video data. The sub video decoder 7 supplies the generated video data to the NTSC conversion circuit 9.
[0040]
The audio decoder 8 decodes the audio compression data to generate decompressed audio data. That is, if the audio compressed data is compressed in the MPEG2 format, the audio decoder 8 performs an expansion process corresponding to this and generates audio data. If the audio data is encoded in a format such as PCM in addition to the MPEG2 format, a decoding process corresponding to this is performed. The audio decoder 8 supplies the generated audio data to the A / D conversion circuit 10.
[0041]
The NTSC conversion circuit 9 converts the video data from digital data into a television signal such as NTSC or PAL and outputs it. By supplying this output to a monitor or the like, the user can view the video reproduced from the recording medium 1.
[0042]
The A / D conversion circuit 10 converts audio data that is digital data into analog audio data and outputs the analog audio data. By supplying this output to a speaker or the like, it is possible to view the video reproduced from the recording medium 1 by the user.
[0043]
The controller 11 controls the pickup 2, RF circuit 3, data decoder 4, demultiplexer 5, video decoder 6, sub-picture decoder 7, audio decoder 8, NTSC conversion circuit 9 and A / D conversion circuit 10.
[0044]
The controller 11 receives an operation input via an operation panel or a user interface 12 which is a remote controller, and controls each circuit based on the operation input.
[0045]
The controller 11 stores each control data in the memory 13 and controls each circuit based on the data stored in the memory 13.
[0046]
As shown in FIG. 2, a DVD-VIDEO disc manages main video data, sub-video data, and audio data in units of video object sets (VOBS). This VOBS is a unit of, for example, one movie work. This VOBS is composed of a plurality of video objects (VOB). This VOB is a unit in which each data is recorded as a group on the disc. The VOBS is composed of a plurality of cells. This cell is a unit of one scene or one cut in a movie, for example, and one cell is a unit of time from several minutes to several tens of minutes. Also, with DVD, for example, a function such as a multi-story format that allows one movie to be viewed in multiple story developments or a function that skips unfavorable educational scenes such as a so-called parental lock violent scene. This function is created by the combination of the cells.
[0047]
The cell is composed of a plurality of video object units (VOBU). This VOBU is a unit of 0.4 to 1.2 seconds in a moving image, and a plurality of GOPs (Group Of Pictures) in the MPEG2 format are included in this VOBU.
[0048]
The VOBU includes a navigation pack NV_PCK which is a pack having management information of the VOBU, a video pack (Video Pack; V_PCK) which is a pack having main video, and an audio pack (Audio Pack; A_PCK which is a pack having audio data). ) And a sub-picture pack (SP_PCK) that is a pack having sub-picture data. The video pack V_PCK, audio pack A_PCK, and sub-picture pack SP_PCK are each compressed on a recording medium 1 after being compressed in a format such as MPEG2.
[0049]
Next, the correspondence between the video and the character information will be described with reference to FIG.
The video displayed on the display screen 17a of the television receiver 17 corresponds to the fields indicated by F1 to F8 in the figure in the video signal. The video signal is composed of a series of these fields, and during normal playback such as play, the video on the display screen 17a is sequentially displayed in units of fields.
[0050]
The field of the video signal is composed of lines such as horizontal scanning lines, but not all of these lines correspond to the effective screen, and a part corresponds to a blank period that is not displayed on the screen.
[0051]
Since the above-mentioned 21st line L21 is equivalent to this blank period, there is room for writing information other than video in this line. Therefore, a 2-byte character code is encoded in the 21st line L21 as character information.
[0052]
In the figure, each 2 bytes of the character information is displayed corresponding to each field. That is, “Hi! Jon.” Is an ASCII code of 1 byte each, and “Flip” is a 2-byte control code. The meaning of “Flip” will be described later.
[0053]
These character information is stored in each field of the video signal as shown in “Hi” in (a), “Hi!” In (b), and “Hi! Jon.” In (c) in FIG. Are sequentially decoded and stored in the buffer.
[0054]
After the character information is accumulated in the buffer, it is displayed on a part of the video on the display screen 17a of the television receiver 17, as shown in FIG. The character information in the figure is a scene in which one person greets the other person with “Hi! Jon.”.
[0055]
Further, the character information can be displayed in the window 17b of FIG. 5C, and further this window 17b can be displayed on the display screen 17a as shown in FIG. 5B.
[0056]
Next, an information signal processing method for generating a video signal that normally displays character information corresponding to the video on the display screen 17a of the television receiver 17 in the case of a pause will be described.
[0057]
In normal reproduction such as play as shown in (a) of FIG. 6, the field of the video signal is sent in order of F1, F2, and F3. In each field, character information is encoded.
[0058]
  On the other hand, in the pause, as shown in FIG. 6B, the same field F1 or F2 is repeatedly sent except that one frame is sent halfway. In such a case, if the character information corresponding to each field is encoded as it is, the character information is repeatedly displayed according to the repeated sending of these fields.
[0059]
In order to prevent such a problem, it is necessary to perform certain processing on the character information encoded into the video signal. That is, the character information corresponding to the field is encoded only for the first time, and thereafter, the non-output code “NOP” is sent unless the field is changed.
[0060]
Here, in FIG. 6B, the non-output code “NOP” has a width of 2 bytes (1 word), but may be a 1-byte code.
[0061]
On the other hand, when the video is advanced by one frame, that is, when the field is advanced by 1, the character information is encoded in the changed field as shown in FIG. As long as the non-output code “NOP” is encoded.
[0062]
By such an operation, when the video is advanced by one frame, it is possible to avoid the redundant display of the character information on the display screen 17a of the television receiver 17.
[0063]
Subsequently, a forward direction throw in which an image is slowly transmitted in the positive direction will be described.
In a play that is a normal reproduction, as shown in FIG. 7A, the field of the video signal is sequentially sent one frame at a time.
[0064]
On the other hand, in the forward throw, as shown in FIG. 7B, the same field is repeated, for example, four times. In such a case, the non-output code “NOP” is encoded in the character information of the field after the second time so that the character information corresponding to the field is not repeatedly displayed.
[0065]
By the way, a control code for performing display control of character information or the like is 2 bytes, and one control code is sent to one field. Such a control code may be sent twice consecutively depending on the format. However, in the example of the character multiplex decoder, the second control code is ignored.
[0066]
However, in the case of a slow motion, if a non-output code is output after the first control code and a second control code is output after that, there is a risk of malfunction. Therefore, the second control code, more precisely, the even-numbered control code is not sent.
[0067]
This is because the second control code is ignored by the decoder in the same continuous control code, so the non-output code “NOP” is once encoded. It is because it does not recognize.
[0068]
On the other hand, at the time of random access, since it is displayed from the middle of a series of character information, there is a possibility that the display is disturbed. Therefore, the buffer memory is cleared and display of character information is prohibited until a new control code is sent.
[0069]
That is, the “display memory erase” control code is encoded into the 21st line L21 and / or the 284th line L284 for both the first channel and the second channel. Subsequently, the “non-display memory erase” control code is encoded into the 21st line L21 and / or the 284th line L284 for both the first channel and the second channel. Then, the “text restart” control code is encoded into the 21st line L21 and / or the 284th line L284 for both the first channel and the second channel. The channel will be described later.
[0070]
After random access, encoding is not performed on the 21st line L21 and / or the 284th line L284 until a control code of any channel is found for each field. This prevents incomplete display.
[0071]
Further, at the time of random access, by adding character information to the video signal after the control code appears in the character information, that is, encoding, it is possible to prevent incomplete disordered display.
[0072]
Here, the video signal field and the character information channel encoded in the field will be described.
[0073]
The video included in the video signal has the above-described field as a unit, and one set of two of these fields (hereinafter referred to as a first field and a second field) constitutes one frame. This frame corresponds to one period of the video signal.
[0074]
The 21st line L21 and the 284th line L284 in which the character information is encoded correspond to the blank period of the first field and the second field, respectively.
[0075]
So far, in order to simplify the explanation, a series of character information has been explained as being sent every field. However, in an actual character multiplex format, characters in different channels are used in the first field and the second field. Information is being transferred. That is, the relationship between the field and the character information is as shown in FIG.
[0076]
That is, the character information is independently encoded for the 21st line L21 corresponding to the first field such as F1, F3, F5 and the 284th line L284 corresponding to the second field such as F2, F4, F6. Can be For example, even in the first field, character information of different channels such as character information CC1 and character information CC2 can be encoded depending on the field.
[0077]
Here, a channel for character information or the like that can be encoded in the first field and the second field will be described.
[0078]
As the first channel corresponding to the first field, two of character information CC1, character information CC2, text T1, and text T2 can be selected as shown in FIG. As the second channel corresponding to the second field, two of character information CC3, character information CC4, text T3, text T4, and extension data EDS can be selected.
[0079]
In this way, character information and text are multiplexed in each field. The actual character data following the control code having the identifier of each channel is the data of that channel, which continues until the control code of another channel appears.
[0080]
If it is known in advance that it will not be used in the character information CC1, character information CC2, text T1, text T2, it is used by changing the order of encoding the control codes for erasure. Even if the control code of a channel that does not occur is finally encoded, it is possible to prevent imperfect display.
[0081]
Conversely, when erasing control codes are encoded in all channels, the control codes may be encoded in any order.
[0082]
Here, text is a mode in which character strings are displayed in order without being stored in a buffer. In the case of random access, a restart code (Start Text command) is given so as not to disturb the display of the text. When this restart code is given, the displayed text is once erased.
[0083]
The extended data is data that is extended to other than ordinary codes such as ASCII code.
[0084]
As described above, the character information is once stored in the buffer and then displayed on the display screen 17a. This apparatus is also provided with a buffer for storing character information corresponding to the above-described four-channel character information as shown in FIG.
[0085]
In the figure, buffer 21 corresponds to character information CC1, buffer 22 corresponds to character information CC2, buffer 23 corresponds to character information CC3, and buffer 24 corresponds to character information CC4.
[0086]
Each of these buffers is composed of two buffers. One of these two buffers is a display buffer in which the contents of the buffer are displayed on the display screen 17a, and the other is a non-display buffer that is not displayed.
[0087]
Character information is sequentially stored in the non-display buffer, and when this storage ends, the non-display buffer is switched to the display buffer. This switching is performed by the control code “Flip”.
[0088]
Next, a series of process steps of the method signal processing relating to the character information as described above at the time of pause will be described with reference to the flowchart of FIG.
[0089]
In step S <b> 101, a pause command is issued from the user interface 12 to the controller 11. In other words, a pause instruction given by the user is transmitted to the controller 1 via the user interface 12. When this operation ends, the process proceeds to step S102.
[0090]
In the next step S102, the controller 11 pauses the video decoder 6, the sub video decoder 7, and the audio decoder 8. This stops the flow of video information and the like. When this operation ends, the process proceeds to step S103.
[0091]
In the next step S103, when it is confirmed that each decoder has paused, the controller 11 gives the character information of the NTSC encoder 9 to the encoding block together with the 21st line L21 and the 284th line L284, and a non-output code. Thereby, the display of character information is substantially suppressed. When these operations are completed, the process proceeds to step S104.
[0092]
In the next step S104, the character information encoding block encodes the non-output code in the 21st line L21 and the 284th line L284. As a result, one cycle of the video signal was generated. When this operation is finished, this series of steps is finished.
[0093]
As described above, at the time of a pause, the flow of video information and the like is stopped, and a non-output code is encoded in the video information.
[0094]
Next, a series of information signal processing steps for sending one frame will be described with reference to a flowchart shown in FIG.
[0095]
In step S <b> 201, a one-frame advance command is issued from the user interface 12 to the controller 11. That is, a user instruction is transmitted to the controller 1 via the user interface 12. Then, the process proceeds to the next step S202.
[0096]
In the next step S202, the controller 11 advances the video decoder 6, the sub video decoder 7, and the audio decoder 8 by one frame. That is, work corresponding to one field of the video signal is performed, and the process proceeds to step S203.
[0097]
In the next step S203, the data to be encoded in the 21st line L21 is the data encoded in the 21st line L21 immediately before, and the data branches according to the condition that they are control codes (control codes). If this condition is satisfied, “YES” is selected and the process proceeds to step S205. If this condition is not satisfied, “NO” is determined and the process proceeds to step S204.
[0098]
In step S204, the controller 11 gives data to be displayed next to the character information encoding block of the NTSC encoder 9, and proceeds to the next step S206.
[0099]
In step S205, the controller 11 gives a non-output code to the character information encoding block of the NTSC encoder 9. Then, the process proceeds to the next step S204.
[0100]
In step S206, the process branches based on the condition that the data to be encoded (encoded) in the 284th line L286 is the same as the data encoded in the 284th line L284 immediately before and is a control code. If this condition is satisfied, “YES” is selected and the process proceeds to step S207. If this condition is not satisfied, “NO” is determined and the process proceeds to step S208.
[0101]
In step S207, the controller 11 gives data to be output next to the character information encoding block of the NTSC encoder 9, and this series of steps is completed.
[0102]
In step S208, the controller 11 gives a non-output code to the character information encoding block of the NTSC encoder 9. Then, the process proceeds to step S207.
[0103]
As described above, in the series of steps for sending one frame, when the character information encoded immediately before in the 21st line L21 and the 284th line L284 is a control code, it is not sent twice. . In other cases, character information is sent.
[0104]
Here, a series of steps related to the forward throw will be described with reference to a flowchart shown in FIG.
[0105]
In step S301, processing for sending one frame is performed. When this process ends, the process proceeds to step S302.
[0106]
In step S302, the process branches depending on the condition that the forward slow is continued. If this condition is satisfied, “YES” is determined, and the process proceeds to step S303. If this condition is not satisfied, "NO" is determined and this series of steps is terminated.
[0107]
In step S303, the process waits for a predetermined time. And when this fixed time passes, it will progress to step S301.
[0108]
In this way, in the forward direction throw, the difference is that step S303 waiting for a certain time is added to the normal play.
[0109]
Next, a series of steps according to the information signal processing method when a play that is a normal reproduction is started after random access will be described with reference to a flowchart shown in FIG.
[0110]
In step S401, the controller 11 adds each control code for erasing the character information of CC1, CC2, CC3, CC4, T1, T2, T3, and T4 to the NTSC encoder 9. Then, the process proceeds to next Step S402.
[0111]
In step S402, the process branches depending on the condition that the first character information data is data for the 21st line L21. That is, when this condition is satisfied, “YES” is determined and the process proceeds to step S403. If this condition is not satisfied, "NO" is determined and the process proceeds to step S406.
[0112]
In step S403, the character information data for the 21st line L21 branches based on the condition that there is no control code since the start of reproduction after random access, and that the data to be encoded next is not the control code. That is, when this condition is satisfied, “YES” is determined and the process proceeds to step S404. If this condition is not satisfied, "NO" is determined and the process proceeds to step S405.
[0113]
In step S404, the controller 11 gives a non-output code to the NTSC encoder 9. When this operation is completed, the process proceeds to step S406.
[0114]
In step S404, the controller 11 provides the NTSC encoder 9 with data to be encoded next. When this operation is completed, the process proceeds to step S406.
[0115]
In step S406, the character information data for the 284th line L284 branches off under the condition that there is no control code since the start of reproduction after random access, and the data to be encoded next is not a control code. That is, when this condition is satisfied, “YES” is determined and the process proceeds to step S407. If this condition is not satisfied, "NO" is determined and the process proceeds to step S408.
[0116]
In step S407, the controller 11 gives a non-output code to the NTSC encoder 9. When this operation is completed, the process proceeds to step S403.
[0117]
In step S408, the controller 11 gives the NTSC encoder 9 data to be encoded next. When this operation is completed, the process proceeds to step S403.
[0118]
As described above, in the series of procedures at the start of playback, there is a possibility that the context disappears when the character information is displayed halfway, so the character information is not displayed after the control code for separating the character information appears. Output.
[0119]
By the way, the present invention can be applied not only to the digital video information signal as described above but also to an analog video signal.
[0120]
That is, when the present invention is applied to a video signal processing apparatus that processes an analog video signal to which character information is added, the character information rewriting means for rewriting the character information and the character information rewriting means are controlled to perform special reproduction. In some cases, control means for rewriting the character code of the character information into a control code may be provided.
[0121]
Here, the adding means adds character information on the 21st line L21 and / or the 284th line L284 within the blanking period of the video signal.
[0122]
When the special reproduction is paused, the control code is a non-output code. When the special reproduction is slow forward, the adding means adds a non-output code after adding one word of character information to the video signal when sending one frame of video. When two control codes appear successively in the character information, the second control code is not sent. Furthermore, when the special reproduction is random access, the adding means adds a control code for erasing the character information stored in the buffer, and adds a non-output code until the control code for the character information appears. To do.
[0123]
【The invention's effect】
As described above, the information signal processing apparatus, the video signal processing apparatus, and the information signal processing method according to the present invention are not limited to normal reproduction but also in special reproduction such as slow, pause, random access, etc. A video signal is displayed so that character information corresponding to the video is normally displayed on the display screen of the television receiver having the above.
[0124]
Therefore, the information signal processing apparatus can perform special reproduction while displaying character information corresponding to the video, thereby reducing the burden on the operator and improving the work efficiency.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an information processing apparatus or a video signal processing apparatus.
FIG. 2 is a data structure diagram showing a data structure of a DVD-VIDEO disc which is an example of a medium for supplying an information signal to the device.
FIG. 3 is a timing chart showing the relationship between video information fields of the information signal and character information.
FIG. 4 is a diagram schematically showing a state in which the character information is accumulated in a buffer.
FIG. 5 is a diagram showing an image on which character information is superimposed and displayed on a display screen of a television receiver included in the apparatus.
FIG. 6 is a timing chart showing the relationship between the field and character information in a pause state.
FIG. 7 is a timing chart showing the relationship between the field and character information in the forward direction slow state.
FIG. 8 is a timing chart showing the relationship between the field of the video signal and various character information.
FIG. 9 is a diagram showing types of character information encoded in a video signal according to the apparatus.
FIG. 10 is a diagram schematically showing a buffer for storing character information.
FIG. 11 is a flowchart showing a series of procedures of an information signal processing method in a pause state.
FIG. 12 is a flowchart showing a series of procedures of an information signal processing method when an image is advanced by one frame.
FIG. 13 is a flowchart showing a series of procedures of the information signal processing method in the forward direction slow state.
FIG. 14 is a flowchart showing a series of procedures of an information signal processing method at the start of reproduction.
FIG. 15 is a timing chart showing video signal lines;
FIG. 16 is a diagram schematically illustrating a relationship between video signal lines and text or character information displayed on a display screen of a television receiver.
[Explanation of symbols]
  1 optical disc, 5 demultiplexer, 6 video decoder, 7 sub-picture decoder, 8 audio decoder, 9 digital / NTSC, PAL conversion circuit, 17 television receiver

Claims (12)

少なくとも映像信号と文字情報とを含む情報信号から文字情報を抽出する抽出手段と、
該文字情報を映像信号に付加する付加手段と、
上記付加手段を制御し、特殊再生時には文字情報の文字コードを制御コードに書き換える制御手段とを備え、
上記特殊再生が正方向スローの場合は、上記付加手段は、映像の同じフィールドを繰り返し送る際に該映像信号に1フィールドに対応する文字情報を初回のみ付加した後は、繰り返されるフィールドに対して非出力コードを付加することを特徴とする情報信号処理装置。
Extracting means for extracting character information from an information signal including at least a video signal and character information;
Adding means for adding the character information to the video signal;
Control means for controlling the additional means, and rewriting the character code of the character information into a control code at the time of special reproduction,
If the special playback is forward slow, the addition means can be obtained by adding the character information corresponding to one field video signal in sending repeat the same field of the video only the first time, for the field to be repeated An information signal processing apparatus characterized by adding a non-output code.
上記付加手段は、上記映像信号のブランキング期間内の第21ライン及び/又は第284ライン上に文字情報を付加することを特徴とする請求項1記載の情報信号処理装置。  2. The information signal processing apparatus according to claim 1, wherein the adding means adds character information on the 21st line and / or the 284th line within the blanking period of the video signal. 上記特殊再生がポーズの場合には、上記制御コードは非出力コードであることを特徴とする請求項1記載の情報信号処理装置。  2. The information signal processing apparatus according to claim 1, wherein when the special reproduction is a pause, the control code is a non-output code. 該文字情報に制御コードが2個続いて現れる場合には、2番目の制御コードは送らないことを特徴とする請求項1記載の情報信号処理装置。  2. The information signal processing apparatus according to claim 1, wherein when two control codes appear successively in the character information, the second control code is not sent. 上記特殊再生がランダムアクセスの場合には、上記付加手段は、バッファに蓄積された文字情報を消去する制御コードを付加することを特徴とする請求項1記載の情報信号処理装置。  2. The information signal processing apparatus according to claim 1, wherein when the special reproduction is random access, the adding means adds a control code for deleting character information stored in the buffer. 少なくとも映像信号と文字情報とを含む情報信号から文字情報を抽出する抽出手段と、
該文字情報を映像信号に付加する付加手段と、
上記付加手段を制御し、特殊再生時には文字情報の文字コードを制御コードに書き換える制御手段とを備え、
上記特殊再生がランダムアクセスの場合には、該文字情報に制御コードが現れてから文字情報を映像信号に付加することを特徴とする情報信号処理装置。
Extracting means for extracting character information from an information signal including at least a video signal and character information;
Adding means for adding the character information to the video signal;
Control means for controlling the additional means, and rewriting the character code of the character information into a control code at the time of special reproduction,
Above for special playback is random access, the information signal processing apparatus characterized by adding the control code appears in the character information character information into a video signal.
少なくとも映像信号と文字情報とを含む情報信号から文字情報を抽出する工程と、
該文字情報を映像信号に付加する工程と、
特殊再生時には文字情報を制御コードに書き換える工程とを備え、
上記特殊再生が正方向スローの場合は、上記付加工程では、映像の同じフィールドを繰り返し送る際に該映像信号に1フィールドに対応する文字情報を初回のみ付加した後は、繰り返されるフィールドに対して非出力コードを付加することを特徴とする情報信号処理方法。
Extracting character information from an information signal including at least a video signal and character information;
Adding the character information to the video signal;
A step of rewriting the character information into a control code during special playback,
If the special playback is forward slow, in the addition step, after adding the character information corresponding to one field video signal in sending repeat the same field of the video only the first time, to the field to be repeated And a non-output code is added to the information signal processing method.
上記映像信号のブランキング期間内の第21ライン及び/又は第284ラインに文字情報を付加することを特徴とする請求項記載の情報信号処理方法。8. The information signal processing method according to claim 7 , wherein character information is added to the 21st line and / or the 284th line within the blanking period of the video signal. 上記特殊再生がポーズの場合には、上記制御コードは非出力コードであることを特徴とする請求項記載の情報信号処理方法。8. The information signal processing method according to claim 7 , wherein when the special reproduction is a pause, the control code is a non-output code. 該文字情報に制御コードが2個続いて現れる場合には、2番目の制御コードは送らないことを特徴とする請求項記載の情報信号処理方法。8. The information signal processing method according to claim 7, wherein when two control codes appear successively in the character information, the second control code is not sent. 上記特殊再生がランダムアクセスの場合には、上記付加手段は、バッファに蓄積された文字情報を消去する制御コードを付加することを特徴とする請求項記載の情報信号処理方法。8. The information signal processing method according to claim 7 , wherein, when the special reproduction is random access, the adding means adds a control code for erasing character information stored in the buffer. 少なくとも映像信号と文字情報とを含む情報信号から文字情報を抽出する工程と、
該文字情報を映像信号に付加する工程と、
特殊再生時には文字情報を制御コードに書き換える工程とを備え、
上記特殊再生がランダムアクセスの場合には、該文字情報に制御コードが現れてから文字情報を映像信号に付加することを特徴とする情報信号処理方法。
Extracting character information from an information signal including at least a video signal and character information;
Adding the character information to the video signal;
A step of rewriting the character information into a control code during special playback,
Above for special playback is random access, the information signal processing method characterized by adding character information on the video signal from the control code to the text information appears.
JP24565697A 1997-03-20 1997-09-10 Information signal processing apparatus and information signal processing method Expired - Fee Related JP3948068B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24565697A JP3948068B2 (en) 1997-03-20 1997-09-10 Information signal processing apparatus and information signal processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9-85933 1997-03-20
JP8593397 1997-03-20
JP24565697A JP3948068B2 (en) 1997-03-20 1997-09-10 Information signal processing apparatus and information signal processing method

Publications (2)

Publication Number Publication Date
JPH10322669A JPH10322669A (en) 1998-12-04
JP3948068B2 true JP3948068B2 (en) 2007-07-25

Family

ID=26426946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24565697A Expired - Fee Related JP3948068B2 (en) 1997-03-20 1997-09-10 Information signal processing apparatus and information signal processing method

Country Status (1)

Country Link
JP (1) JP3948068B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358217A (en) * 1999-06-14 2000-12-26 Matsushita Electric Ind Co Ltd Digital broadcasting system and digital video recording and reproducing device
WO2005002224A1 (en) * 2003-06-27 2005-01-06 Fujitsu Limited Circuit for processing video signal containing information such as closed caption

Also Published As

Publication number Publication date
JPH10322669A (en) 1998-12-04

Similar Documents

Publication Publication Date Title
EP0876063B1 (en) Signal reproducing apparatus and methods
JP2009064546A (en) Recording medium, recording unit, reproducing unit, and recording method
EP1110223B1 (en) Data allocation in dvd recording
US7039298B1 (en) Extraction of audio/visual segment from digital versatile disk content
JP3861362B2 (en) Digital signal reproduction method and apparatus
JP4658277B2 (en) Method and apparatus for recording and playback of transmitted program works
JP2005312022A (en) Audio-visual recording/reproducing apparatus and digital video camera
US7830421B2 (en) Reproducing apparatus
JP3793145B2 (en) Video data conversion apparatus and video data conversion method
JP3948068B2 (en) Information signal processing apparatus and information signal processing method
JP2002290895A (en) Optical disk reproducer
JPH10341412A (en) Signal reproducing device and method
US5809203A (en) Selected screen reproducing method for video compact disc reproducing system and apparatus thereof
WO2004061846A1 (en) Optical disc recording device and method
JPH11275517A (en) Image signal reproducing device and its method
US20060008253A1 (en) Data structure, recording medium, information reproducing apparatus, and information reproducing method
JP3890655B2 (en) Digital signal reproduction method and apparatus
US20070229674A1 (en) Recording apparatus
KR100291280B1 (en) How to record and play back angle screens
JP2001266459A (en) Reproducing unit and method for storage medium
JP4334789B2 (en) DVD video apparatus and menu screen data generation apparatus
JP3823426B2 (en) Information signal processing apparatus and method
JP3769863B2 (en) Information signal reproducing apparatus and method
JP4305082B2 (en) Video recording / playback device
JPH10125046A (en) Recording medium, recorder/reproducer and recording/ reproducing method for data on/from recording medium

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070409

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees