JPWO2006009105A1 - 映像処理装置およびその方法 - Google Patents

Abstract

入力される映像ストリーム（Ｓｖｃ）に組み込まれた文字情報（Ｉｃ）に選択的に処理を施す映像処理方法において、映像ストリーム（Ｓｖｃ）をフレーム単位で輝度情報（ＶＹ）を示す輝度フレーム（Ｙ）と、色差情報（ＶＣｂ、ＶＣｒ）を示す複数の色差フレーム（Ｃｂ、Ｃｒ）とに分離され、輝度情報（ＶＹ）および輝度情報（Ｖｃｂ、ＶＣｒ）の少なくとも何れかに基づいて組み込まれた文字情報（Ｉｃ）を認識され、認識された文字情報（Ｉｃ）に対して消去、移動、および拡倍の少なくとも何れかの処理が施される。

Description

本発明は、例えばテレビジョン放送における緊急ニュースなどの映像ストリームに含まれる字幕に代表される文字情報を、抽出或いは加工する映像処理装置およびその方法に関する。

通常のテレビジョン放送において放送されている番組の録画中に、緊急ニュースなどの文字情報が放送中の番組の画面中に付加されて放送されることがある。このような場合、ユーザは番組の録画を欲しているが、基本的に緊急ニュース自体の録画は望まない。つまり、映像ストリームに含まれる緊急放送などの文字情報は、リアルタイムで視聴する場合は意味を持つが、録画したストリームを視聴する場合（即ち時間が経過した場合）には文字情報が必要でない場合が多い。また、映像ストリームを集中して視聴したい視聴者にとっては、文字情報は快適な視聴の妨げとなる。
そのために、放送されている番組に付加されている文字情報を消去する技術が従来提案されている。そのような技術の例として、放送側で、本来の映像信号とは別に補間信号を入力して映像ストリームを生成しておき、必要に応じて、受信側で映像ストリームから映像信号のみを再生する技術が提案されている（特許技術文献１）。
特開平９−２００６８４号公報

しかしながら、上述の方法においては、映像ストリームとは別に補間信号を挿入して、映像ストリームを作成しておくために、放送の前に、補間信号を用意しておかなければならず、緊急時に即応してニュースを放送するという目的を実質上果たすことができない。それゆえに、緊急時にも直ちに、放送中の番組に文字情報を付加できると共に、必要に応じて付加した番組の画面から文字情報を消去できると言う相反する要望を満たす映像処理方法が必要とされている。
よって、本発明は、放送側で映像信号とは別に補間信号を用意して映像ストリームを生成する必要が無く、受信側で文字放送が付加された映像ストリームから文字情報を精度良く抽出し、消去や移動といった必要な加工を施し、視聴者が望むような映像ストリームを生成できる映像処理方法およびその装置を提供することを目的とする。

本発明は、入力される映像ストリームに組み込まれた文字情報に選択的に処理を施す映像処理方法であって、
前記映像ストリームをフレーム単位で輝度情報を示す輝度フレームと、色差情報を示す複数の色差フレームとに分離する映像ストリーム分離ステップと、
前記輝度情報および前記輝度情報の少なくとも何れかに基づいて、前記組み込まれた文字情報を認識する文字認識ステップと、
前記認識された文字情報に対して、消去、移動、および拡倍の少なくとも何れかの処理を施す文字加工ステップとを備える。

本発明に係る映像処理方法は、例えば緊急ニュースなどの文字情報が含まれる映像ストリームから、文字情報を加工した映像ストリームを生成できる。例えば、ＤＶＤレコーダなどの録画機を用いて録画したテレビ番組に文字情報が含まれていた場合、この再生に本発明を適用することによって、文字情報を消去した映像ストリームを再生でき、視聴者の要望にあった快適な視聴環境を提供できる。

図１は、本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。 図２は、図１に示した映像処理装置において処理対象である映像ストリームのフレーム画像の一例を表す図である。 図３は、図１に示した映像処理装置の主な文字認識動作を表すフローチャートである。 図４は、図３に示した検索範囲指定サブルーチンにおける検索範囲指定の説明図である。 図５は、図３に示した検索範囲指定サブルーチンにおける動作を表すフローチャートである。 図６は、図３に示した高輝度値画素検索サブルーチンにおける高輝度検索の説明図である。 図７は、図３に示した文字認識サブルーチンにおける動作を表すフローチャートである。 図８は、図３に示した同一色検索サブルーチンにおける同一色検索の説明図である。 図９は、図３に示した同一色検索サブルーチン動作を表すフローチャートである。 図１０は、図３に示した文字表示領域認識サブルーチンにおける文字表示領域認識の説明図である。 図１１は、図３に示した文字表示領域認識サブルーチンにおける動作を表すフローチャートである。 図１２は、図３に示した文字線幅認識サブルーチンにおける文字線幅認識の説明図である。 図１３は、図３に示した文字線幅認識サブルーチンにおける動作を表すフローチャートである。 図１４は、図３に示した文字縁取り認識サブルーチンにおける文字縁取り認識の説明図である。 図１５は、図３に示した文字縁取り認識サブルーチンにおける動作を表すフローチャートである。 図１６は、図３に示した点滅表示認識サブルーチンにおける点滅表示認識の説明図である。 図１７は、図３に示した点滅表示認識サブルーチンにおける動作を表すフローチャートである。 図１８は、図３に示した移動表示認識サブルーチンにおける移動表示認識の説明図である。 図１９は、図３に示した移動表示認識サブルーチンにおける動作を表すフローチャートである。 図２０は、図１に示した映像処理装置の主な文字加工動作を表すフローチャートである。 図２１は、図２０に示した文字情報消去サブルーチンにおける文字消去の説明図である。 図２２は、図２０に示した文字情報消去サブルーチンにおける動作を表すフローチャートである。 図２３は、図２０に示した文字情報移動サブルーチンにおける動作を表すフローチャートである。 図２４は、図２０に示した文字情報拡倍サブルーチンにおける動作を表すフローチャートである。 図２５は、図２０に示した注目領域回避サブルーチンにおける動作を表すフローチャートである。 図２６は、本発明の実施の形態に係る映像処理装置における記録装置の構造を示すブロック図である。 図２７は、本発明の実施の形態に係る映像処理装置における再生表示装置の構造を示すブロック図である。

符号の説明

Ａｖｐ 映像処理装置
Ａｒ 記録装置
Ａｐ 再生装置
００２ 前処理器
００３ 入力用メモリ
００４ 出力用メモリ
００５ 輝度フレームメモリ
００６ 色差Ｃｂフレームメモリ
００７ 色差Ｃｒフレームメモリ
００８ 被処理輝度フレームメモリ
００９ 被処理色差Ｃｂフレームメモリ
０１０ 被処理色差Ｃｒフレームメモリ
０１１ 文字認識器
０１２ 文字加工器
０１３ 文字表示画素テーブル記憶メモリ
０１４ 文字表示フレームテーブル記憶メモリ
０１５ 後処理器
０１６ エンコーダ
０１７ 記録部
０１８ 記録コントローラ
０１９ 記録媒体
０２０ 再生部
０２１ 表示部
０２２ 再生コントローラ
０３０ システムコントローラ
０４０ メモリ

先ず、図１を参照して、本発明に係る映像処理装置について説明する。映像処理装置Ａｖｐは、前処理器００２、入力用メモリ００３、文字認識器０１１、文字加工器０１２、文字表示画素テーブル記憶メモリ０１３、文字表示フレームテーブル記憶メモリ０１４、出力用メモリ００４、および後処理器０１５を含む。映像処理装置Ａｖｐは、さらに、全体の動作を制御するシステムコントローラ０３０および、制御に必要なデータを記憶するメモリ４０を含む。

前処理器００２は、外部から入力される元々のストリームＳｖ（図示せず）に、文字情報Ｉｃ（図２）が組み込まれた映像ストリームＳｖｃを、フレーム毎に、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒに分離して、入力用メモリ００３に出力する。なお、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒは、それぞれ、図面においては、Ｙ、Ｃｂ、およびＣｒと表示されている。また、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号をフレーム信号と総称する。

入力用メモリ００３は、映像処理装置Ａｖｐが映像ストリーム中のある任意のＮフレーム目のフレーム信号に対して処理を行う際に、Ｎフレーム目の前後のある一定時間幅の映像ストリーム量を格納できる容量を持つ記憶領域である。なお、入力用メモリ００３は、輝度フレームメモリ００５、色差Ｃｂフレームメモリ００６、および色差Ｃｒフレームメモリ００７を含む。前処理器００２よって分離された、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号はそれぞれ、輝度フレームメモリ００５、色差Ｃｂフレームメモリ００６、および色差Ｃｒフレームメモリ００７に格納される。

文字認識器０１１は、輝度フレームメモリ００５、色差Ｃｂフレームメモリ００６、および色差Ｃｒフレームメモリ００７のそれぞれから供給される輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号に文字情報Ｉｃが含まれるかどうかを判定する。文字認識器０１１は、さらに、フレーム内のどの画素が文字情報Ｉｃを示す文字画素かを認識して、文字画素の座標位置を表す文字画素座標情報Ｃｐを生成して、文字表示画素テーブル記憶メモリ０１３に出力する。本明細書においては、説明の便宜上、映像ストリームが表す画面画像を構成する画素を画素Ｐと呼び、画面画素において文字情報Ｉｃを表す画素を文字画素Ｐｃと呼んでそれぞれを識別する。

画面画像は、ラスタスキャンの順番に配置された無数の画素で構成される。そして画素のそれぞれは、水平方向の位置と垂直方向の位置のそれぞれに対応する座標（ｘ，ｙ）によって識別される。つまり、画素Ｐおよび文字画素Ｐｃのそれぞれを識別する場合には、画素Ｐ（ｘ，ｙ）および文字画素Ｐｃ（ｘ，ｙ）と表現される。本明細書においては、必要に応じて、個々の画素Ｐおよび文字画素Ｐｃを、それぞれ画素Ｐ（ｘ，ｙ）および文字画素Ｐｃ（ｘ，ｙ）と識別するものとする。

文字表示画素テーブル記憶メモリ０１３はさらに、文字情報Ｉｃを表すと認識された（輝度信号Ｙ、色差Ｃｂ信号、色差Ｃｒ信号の少なくとも何れかと）画素Ｐを、文字画素Ｐｃとして表す文字画素座標情報Ｃｐを生成して、文字表示画素テーブル記憶メモリ０１３に出力する。文字画素座標情報Ｃｐは文字画素Ｐｃを特定する、いわば画面画像における文字画素Ｐｃの座標（ｘ，ｙ）を表すデータである。つまり、文字画素Ｐｃ（ｘ，ｙ）のデータが文字表示画素テーブル記憶メモリ０１３において、テーブル状に記録されることより、文字画素座標情報Ｃｐを文字表示画素テーブルと呼ぶことができる。

文字表示フレームテーブル記憶メモリ０１４は、文字画素座標情報Ｃｐに基づいて、文字情報Ｉｃが発見されたフレームを登録する。文字フレーム情報Ｆｃはフレームテーブルを構成するデータであり、この意味において文字フレーム情報Ｆｃを文字表示フレームテーブルと呼ぶことができる。なお、文字フレーム情報Ｆｃは、フレーム番号などの通常フレームの識別に用いられているもので良い。文字認識器０１１は、文字認識処理後に、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号を文字加工器０１２に出力する。なお、後ほど、図２〜図１９を参照して、文字認識器０１１について詳述する。

文字表示画素テーブル記憶メモリ０１３は、文字画素座標Ｃｐを文字加工器０１２に供給する。同様に、文字表示フレームテーブル記憶メモリ０１４は、文字画素Ｐｃを文字加工器０１２に供給する。文字表示画素テーブル記憶メモリ０１３は、文字画素座標Ｃｐおよび文字フレーム情報Ｆｃに基づいて、文字認識器０１１から入力された輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号に含まれる文字情報成分に対して、移動、各倍、および消去に代表される加工処理を施した後に出力用メモリ００４に出力する。この加工処理が施された、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号をそれぞれ、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴと識別する。図面においては、それぞれ、ＹＴ、ＣｂＴ、およびＣｒＴと表示されている。なお、文字表示画素テーブル記憶メモリ０１３については、後ほど図２０〜図２５を参照して詳述する。

出力用メモリ００４は、被処理輝度フレームメモリ００８、被処理色差Ｃｂフレームメモリ００９、および被処理色差Ｃｒフレームメモリ０１０を含む（図面では、それぞれ、Ｙフレームメモリ、Ｃｂフレームメモリ、Ｃｒフレームメモリと表示）。なお、出力用メモリ００４は、入力用メモリ００３と同様に、Ｎフレーム目の前後の一定時間幅の映像ストリーム量を格納できる容量を持つ記憶領域である。輝度フレームメモリ００５、色差Ｃｂフレームメモリ００６、および被処理色差Ｃｒフレームメモリ０１０には、それぞれ、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが一時的に格納される。

出力用メモリ００４は所定時間だけ、被処理輝度信号ＹＴ、色差Ｃｂ信号、および色差Ｃｒ信号を保持した後に後処理器０１５に出力する。後処理器０１５は、被処理輝度信号ＹＴ、被処理色差ＣｂＴ信号、および被処理色差ＣｒＴ信号をＹ／Ｃ合成して映像ストリームＳｖｔを生成して出力する。なお、映像ストリームＳｖＹは、映像ストリームＳｖｃに含まれている文字情報Ｉｃが処理を受けている点を除いては、基本的に映像ストリームＳｖｃと同一である。このようにして、映像処理装置Ａｖｐに対して、文字情報Ｉｃを含む映像ストリームＳｖｃが入力されると、文字情報Ｉｃに対して、移動や各倍や消去などの加工が施された映像ストリームＳｖｔが生成されて出力される。

次に、図２〜図１９を参照して、文字認識器０１１について説明する。図２に、映像ストリームＳｖｃの表す任意のＮフレーム目の画面画像Ｉの一例を示す。なお、画面画像Ｉは、Ｈ×Ｖ個の画素Ｐ（ｘ，ｙ）で構成される。なお、ＨおよびＶはそれぞれ、規格ごとに定められている所定の整数値である。なお、ｘは水平（Ｈ）方向の位置を示し、ｙは垂直方向の位置を示す。

同例においては、画面画像Ｉの大部分は、地面Ｅと建物Ｂと空Ｓとで構成されている。そして、画面画像Ｉの上部の空Ｓの部分に「ＡＢＣＤＥＦＧＨＩ」が表示されている。つまり、この「ＡＢＣＤＥＦＧＨＩ」が映像ストリームＳｖに組み込まれた文字情報Ｉｃであり、文字情報Ｉｃ以外の画像が元の映像ストリームＳｖである。つまり、文字認識器０１１は、映像ストリームＳｖｃの各フレームに含まれる「ＡＢＣＤＥＦＧＨＩ」（文字情報Ｉｃ）を認識する。本例においては、「ＡＢＣＤＥＦＧＨＩ」を表す画素Ｐが文字画素Ｐｃである。

図３に、文字認識器０１１の文字認識動作を表すフローチャートを示す。文字認識器０１１による文字認識は、検索範囲指定サブルーチン＃１００、高輝度値画素検索サブルーチン＃２００、同一色検索サブルーチン＃３００、文字表示領域認識サブルーチン＃４００、文字線幅認識サブルーチン＃５００、文字縁取り認識サブルーチン＃６００、点滅表示認識サブルーチン＃７００、および移動表示認識サブルーチン＃８００を含む。

前処理器００２によってＹ／Ｃ分離された映像ストリームＳｖｃのフレーム信号である、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号が文字認識器０１１に入力された時点で、文字認識動作が開始される。
まず、検索範囲指定サブルーチン＃１００において、画面上における文字情報Ｉｃの検索範囲が予め指定される。一般的に、緊急ニュースなどの文字情報Ｉｃは画面の上下左右の端部に表示されることが多い。よって、画面画像Ｉにおいて、文字情報Ｉｃを探索する対象範囲である探索範囲Ｒｓを任意の範囲に限定しておくことで、文字情報Ｉｃの誤検出の低減を図る。図２に例示する画面画像Ｉでは、文字情報Ｉｃは画面の上部に表示されているので、探索範囲Ｒｓは画面の上部に設定される。

次に、図４を参照して、映像ストリームＳｖｃに、後から組み込まれた文字情報Ｉｃとは別に、元の映像ストリームにも文字情報が含まれている場合の探索範囲Ｒｓについて説明する。図４に示す画面画像Ｉは、図３に示した画面画像Ｉと類似しているが、画像の中央部の空Ｓの部分にも、表示されている建物Ｂの説明として「１９７０年 建 築」との文字が表示されている。この「１９７０年 建 築」は、画像の説明のためのキャプションＣｓであって、映像ストリームＳｖに組み込まれた文字情報Ｉｃではない。同図に示すように、画像の説明のためにキャプションＣｓは、文字情報Ｉｃとは異なる場所に表示されることが多い。なお、図２および図４に示す例では、文字情報Ｉｃは画面の上部に表示されているが、映画の字幕などの場合は、画像の下部に表示されることが多い。何れにしても、映像ストリームＳｖに後から組み込まれる文字情報Ｉｃは、画面画像Ｉにおいて、画像作成者の意図をできるだけ損なわないような部分に表示されることが多い。

このように、文字情報ＩｃとキャプションＣｓが混在する可能性があり、さらに文字情報Ｉｃの存在する場所の特定が困難な場合には、探索範囲Ｒｓを指定する変わりに、文字情報Ｉｃが存在し得ない領域を非探索範囲Ｒｓｃとして指定する。結果、探索範囲Ｒｓを指定する場合に比べては劣るもの、文字認識処理の負荷を低減すると共に、文字情報Ｉｃの誤検出の確率を防止あるいは、誤検出を防止できる。つまり、探索範囲Ｒｓあるいは非探索範囲Ｒｓｃの指定を行わなくとも、処理負荷が増大および文字情報Ｉｃの誤検出の確率の増大を除けば、本サブルーチンの有無は文字認識処理に影響を与えない。

図５を参照して、検索範囲指定サブルーチン＃１００における動作の詳細について説明する。検索範囲指定サブルーチン＃１００においては、先ず
ステップＳ１０２において、ユーザに対して、入力される映像ストリームＳｖｃに対して、文字画素Ｐｃを探す範囲である探索範囲Ｒｓ又は、文字画素Ｐｃを探さない非探索範囲Ｒｓｃの何れかを設定するか否かが問い合わされる。この問い合わせは、テレビなどの映像ストリームＳｖｃの画像を表示するモニタ（図示せず）に、メッセージを表示するようにしても良いし、音声で行っても良い。この問い合わせに対して、ユーザはリモコンやマウスなどの入力手段を用いて、Ｙｅｓ或いはＮｏの回答を入力する。ユーザがＹｅｓを入力した場合、制御は次のステップＳ１０４に進む。

ステップＳ１０４においては、ユーザは探索範囲Ｒｓ又は非探索範囲Ｒｓｃを指定する。好ましくは、ユーザは、上述のモニタに表示される映像ストリームＳｖｃの画面画像Ｉに対して、マウスなどの入力手段を用いて、探索範囲Ｒｓ或いは非探索範囲Ｒｓｃを指定する。なお、指定された探索範囲Ｒｓ或いは非探索範囲Ｒｓｃは、画像を構成する画素Ｐの座標（ｘ，ｙ）の集合を表す情報として、文字認識器０１１に入力される。そして、検索範囲指定サブルーチン＃１００が終了する。なお、ステップＳ１０２において、ユーザがＮｏを回答した場合には、制御は上述のステップＳ１０４をスキップして、検索範囲指定サブルーチン＃１００が終了する。

次に、図６を参照して、高輝度値画素検索サブルーチン＃２００における動作について説明する。高輝度値画素検索サブルーチン＃２００は、緊急ニュースなどの文字情報Ｉｃは、一般的に、画面上に高輝度で表示される特徴に基づいて、文字情報Ｉｃを表示する画素を抽出する。図６に、入力用輝度Ｙフレームメモリ００５に格納されている輝度信号Ｙであって、図４の画像における文字情報Ｉｃの「Ａ」を含む部分の輝度画面画像ＩＹを部分的に拡大して示すと共に、同輝度画面画像ＩＹの水平方向のラインＬｎ上の輝度分布ＤＹを示している。なお、輝度画面画像ＩＹは、Ｈ×Ｖ個の輝度画素ＰＹ（ｘ，ｙ）で構成される。図６において、一つ一つの升目が、輝度画素ＰＹ（ｘ，ｙ）を示している。なお、輝度画素ＰＹ（ｘ，ｙ）も特に個々を識別する必要のない場合には、単に輝度画素ＰＹと呼ぶ。

また、輝度分布ＤＹにおいて、縦軸はラインＬｎ上の輝度画素ＰＹ（ｘ，ｙ）の輝度値ＶＹを示し、横軸はラインＬｎ上の輝度画素ＰＹ（ｘ，ｙ）を示している。なお、説明の便宜上、必要に応じて、輝度画面画像ＩＹにおいて、文字情報Ｉｃを表示する輝度画素ＰＹを文字輝度画素ＰＹｃと呼び、ストリームＳｖを表示する画素をストリーム輝度画素ＰＹｓと呼び、それぞれを識別する。同様に、文字輝度画素ＰＹｃおよびストリーム輝度画素ＰＹｓの輝度値ＶＹをそれぞれ、文字輝度値ＶＹｃおよびストリーム輝度値ＶＹｓと識別する。

本例においては、ラインＬｎは文字情報Ｉｃの「Ａ」の上部を横切っている。このように、輝度画面画像ＩＹにおいて、文字情報Ｉｃの文字を構成する文字輝度画素ＰＹｃの文字輝度値ＶＹｃは、映像ストリームＳｖを表示しているストリーム輝度画素ＰＹｓのストリーム輝度値ＶＹｓより大きい。よって、本発明においては、文字輝度値ＶＹｃとストリーム輝度値ＶＹｓを峻別する輝度閾値Ｖｔｈを予め設定しておき、輝度閾値Ｖｔｈより大きな輝度値ＶＹを有する輝度画素ＰＹを文字輝度値ＰＹｃとして抽出する。なお、このような輝度画面画像ＩＹを構成する個々の輝度画素ＰＹ（ｘ，ｙ）の輝度値ＶＹを、予定の輝度閾値Ｖｔｈと比較するには、好ましくは、ラスタスキャンの順番に行われる。

つまり、高輝度値画素検索サブルーチン＃２００においては、上述の文字輝度値ＰＹｃの抽出処理が、検索範囲指定サブルーチン＃１００で定められた検索範囲内の全ての画素Ｐに対して施される。文字情報Ｉｃであるとして抽出された文字輝度画素ＰＹｃの座標（ｘ，ｙ）を表す文字画素座標情報Ｃｐが生成される。そして、文字表示画素テーブル記憶メモリ０１３は、文字画素座標情報Ｃｐに基づいて、抽出された文字輝度画素ＰＹｃの座標（ｘ，ｙ）を登録する。また、文字輝度画素ＰＹｃが抽出されたフレームを表す文字フレーム情報Ｆｃが生成される。文字表示フレームテーブル記憶メモリ０１４は、文字フレーム情報Ｆｃに基づいて、文字輝度画素ＰＹｃが抽出されたフレームを登録する。言い換えれば、文字画素座標情報Ｃｐは文字表示画素テーブル記憶メモリ０１３に格納され、文字フレーム情報Ｆｃは文字表示フレームテーブル記憶メモリ０１４に格納される。

次に、図７を参照して、上述の高輝度値画素検索サブルーチン＃２００における動作を詳細に説明する。高輝度値画素検索サブルーチン＃２００が開始すると、先ず、
ステップＳ２０２において、上述の輝度閾値Ｖｔｈが設定される。好ましくは、ユーザがリモコンなどの入力手段を用いて、適切な値を入力する。しかしながら、映像ストリームＳｖｃの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め決めておいた輝度閾値Ｖｔｈを格納しておく手段から、供給されるように構成しても良い（図１）。そして、制御は次のステップＳ２０４に進む。

ステップＳ２０４において、映像ストリームＳｖｃの輝度信号Ｙの全ての輝度画素ＰＹ（ｘ，ｙ）に対して、文字輝度画素ＰＹｃであるかを判別する文字輝度画素検出処理を施す順番が決定されると共に、決定された順番に処理を施す輝度画素ＰＹ（ｘ，ｙ）が１つずつ選択される。好ましくは、選択された輝度画素ＰＹ（ｘ，ｙ）毎に、文字輝度画素検出処理が終了するたびに、ｘおよびｙの値をラスタスキャンの順番にカウントアップして、検索対象を更新する。そして、制御は次のステップＳ２０６に進む。

ステップＳ２０６において、輝度画素ＰＹ（ｘ，ｙ）の座標値（ｘ，ｙ）を、上述のステップＳ１０４において指定された探索範囲Ｒｓ或いは非探索範囲Ｒｓｃを表す座標値（ｘ，ｙ）と比較して、輝度画素ＰＹが探索範囲Ｒｓ内或いは非探索範囲Ｒｓｃ内であるか否かが判断される。Ｙｅｓの場合、制御は次のステップＳ２０８に進む。

ステップＳ２０８において、輝度画素ＰＹ（ｘ，ｙ）の輝度値ＶＹが輝度閾値Ｖｔｈより大きいか否かが判断される。Ｙｅｓ、つまり輝度画素ＰＹ（ｘ，ｙ）が文字輝度画素ＰＹｃであると判断される場合、制御は次のステップＳ２１０に進む。

ステップＳ２１０において、文字輝度画素ＰＹｃであると判断された輝度画素ＰＹ（ｘ，ｙ）の座標（ｘ，ｙ）に基づいて、文字画素座標情報Ｃｐが生成される。そして、制御は次のステップＳ２１２に進む。

ステップＳ２１２において、文字輝度画素ＰＹｃと判断された輝度画素ＰＹ（ｘ，ｙ）が含まれるフレームの識別子に基づいて、文字フレーム情報Ｆｃが生成される。そして、制御は次のステップＳ２１４に進む。

なお、上述のステップＳ２０６およびステップＳ２０８においてＮｏと判断される場合は、制御は、ステップＳ２０８、Ｓ２１０、およびＳ２１２の処理をスキップして、直接ステップＳ２１４に進む。

ステップＳ２１４において、ステップＳ２０４において、検索対象として設定された全ての輝度画素ＰＹ（ｘ，ｙ）のうちで、検索がされていないものが残っているか否かが判断される。具体的には、現在の検索対象の輝度画素ＰＹのｘ、ｙ座標の値が、ステップＳ２０４で設定された最大値より小さいか否かが判断される。Ｙｅｓの場合、制御はステップＳ２０４に戻って、次のラスタスキャン順位にある輝度画素ＰＹが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。

ステップＳ２１４でＹｅｓ、つまり、現フレームの輝度信号Ｙに対して文字輝度画素ＰＹｃの認識が完了した時点で、制御は次のステップＳ２１６に進む。

ステップＳ２１６において、ステップＳ２１０およびステップＳ２１２において、全輝度画素ＰＹに関して生成された、認識された文字輝度画素ＰＹｃを表す文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃがそれぞれ文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４に記録される。すなわち、文字輝度画素ＰＹｃが文字表示画素テーブル記憶メモリ０１３に登録され、そのフレームが文字表示フレームテーブル記憶メモリ０１４に登録される。そして、高輝度値画素検索サブルーチン＃２００を終了して、制御は同一色検索サブルーチン＃３００に進む。

なお、上述のように、フレームの全ての輝度画素ＰＹに対する文字輝度画素検出処理の完了後に、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃを完成させて登録するのではなく、文字輝度画素ＰＹｃが検出される毎に、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃとして文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４に登録しても良い。

同一色検索サブルーチン＃３００は、一般的に緊急ニュースなどの文字情報Ｉｃは同一色で表示される特徴に基づいて、高輝度値画素検索サブルーチン＃２００における輝度閾値Ｖｔｈに基づいて検出した文字輝度画素ＰＹｃに対して、同一色（色差の程度）というフィルタを適用して、文字情報Ｉｃの認識精度を上げるものである。なお、本発明においては、同一色であるか否かは、色差Ｃｂ信号および色差Ｃｒ信号の何れに基づいても同様に、判断される。よって、冗長をさけるために、本明細書においては、色差Ｃｂ信号に基づく説明をもって、色差Ｃｒ信号に基づく説明を省略する。

図８を参照して、同一色検索サブルーチン＃３００に処理について、具体的に説明する。図８は、色差Ｃｂフレームメモリ００６に格納されている色差Ｃｂ信号であって、図４の画像における文字情報Ｉｃの「Ａ」を含む部分の色差Ｃｂ画面画像Ｉｃｂを拡大して示すと共に、色差Ｃｂ画面画像Ｉｃｂの水平方向のラインＬｎ上の色差Ｃｂ分布Ｄｃｂを示している。

色差Ｃｂ画面画像Ｉｃｂは、基づく信号が色差Ｃｂ信号である点を除いて、上述の輝度画面画像ＩＹと同様に構成されている。つまり、色差Ｃｂ画面画像Ｉｃｂにおいて、一つ一つの升目が、色差Ｃｂ画面画像Ｉｃｂの色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）を示している。ｘおよびｙは、それぞれ色差Ｃｂ画面画像Ｉｃｂにおける水平方向の座標、および垂直方向の座標を示す。

また、色差Ｃｂ分布Ｄｃｂにおいて、縦軸はラインＬｎ上の色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）の色差Ｃｂ値Ｖｃｂを示し、横軸はラインＬｎ上の色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）を示している。なお、説明の便宜上、必要に応じて、文字情報Ｉｃを表示する色差Ｃｂ画素を色差Ｃｂ文字画素ＰｃｂＣと呼び、ストリームＳｖを表示する色差Ｃｂ画素を色差Ｃｂストリーム画素ＰｃｂＳと呼び、それぞれを識別すると共に、両者を色差Ｃｂ画素ＰＣｂと総称する。同様に、色差Ｃｂ文字画素ＰｃｂＣおよび色差Ｃｂストリーム画素ＰＣｂＳの色差値Ｖｃｂをそれぞれ、文字色差Ｃｂ値ＶｃｂＣおよびストリーム色差Ｃｂ値ＶｃｂＳと識別する。

本例においては、ラインＬｎは文字情報Ｉｃの「Ａ」の上部を横切っている。文字情報Ｉｃが同一色で表示されているとすれば、ステップ＃２００で登録された文字輝度画素ＰＹｃに対応する色差Ｃｂ画素Ｐｃｂの色差Ｃｂ値ＶｃｂＣの平均値は、文字表示色とほぼ同様の値を持つ。よって、文字の表示色は、高輝度値画素検索サブルーチン＃２００で登録された、全ての色差Ｃｂ画素ＰｃｂのＣｂ色差値Ｖｃｂの平均値±誤差αの範囲内に収まるはずであるので、この範囲外となった、色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）に対応する文字輝度画素ＰＹｃ（ｘ，ｙ）を文字表示画素テーブル記憶メモリ０１３から登録削除する。なお、αは任意の許容量であり、入力される映像ストリームＳｖｃや映像処理装置Ａｖｐに関して、適切に決定される。このようにして、高輝度値画素検索サブルーチン＃２００による文字輝度画素ＰＹｃの検出に基づく、文字情報Ｉｃの認識精度の向上を図っている。しかしながら、本高輝度値画素検索サブルーチン＃２００の処理が、本発明における文字情報Ｉｃ認識に不可欠と言う訳ではない。

次に、図９を参照して、上述の同一色検索サブルーチン＃３００における動作について、色差Ｃｂフレーム画像を例に詳細に説明する。なお、色差Ｃｒフレーム画像の場合も、色差Ｃｂフレーム画像の場合と同様であるので、説明を省く。

同一色検索サブルーチン＃３００が開始すると、先ず、
ステップＳ３０２において、同一色検索を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「同一色検索を行うか」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームＳｖｃの種類と文字情報Ｉｃの種類の組み合わせにおいて、同一色検索を行うか否かを予め決めておいても良い。そして、制御は次のステップＳ３０４に進む。

ステップＳ３０４において、文字表示画素テーブル記憶メモリ０１３から文字画素座標情報Ｃｐが読み出され、色差Ｃｂ画面画像Ｉｃｂにおいて、文字画素座標情報Ｃｐに記録されている文字画素Ｐｃ輝度信号Ｙ（ｘ，ｙ）に対応する色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）が特定される。そして、制御は次のステップＳ３０６に進む。

ステップＳ３０６において、特定された全ての色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）のＣｂ色差値Ｖｃｂが検出される。そして、検出されたＣｂ色差値Ｖｃｂの平均値である平均Ｃｂ色差値Ｖｃｂ（ｍｅａｎ）が算出される。そして、制御は次のステップＳ３０８に進む。

ステップＳ３０８において、上述の誤差αに基づいて、２つの同一色差Ｃｂ閾値Ｖｃｂ１、およびＶｃｂ２が次式（１）および（２）に従って生成される。
Ｖｃｂ１＝Ｖｃｂ（ｍｅａｎ）−α ・・・・（１）
Ｖｃｂ２＝Ｖｃｂ（ｍｅａｎ）＋α ・・・・（２）
そして、制御は次のステップＳ３１０に進む。

ステップＳ３１０において、ステップＳ３０４で特定された全ての色差Ｃｂ画素Ｐｃｂに対して、同一色であるかを判断する同一色判定処理を施す順番が決定されると共に、決定された順番に色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）が１つずつ選択される。好ましくは、設定された色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）毎に、同一色判定処理が終了するたびに、ｘおよびｙの値をラスタスキャンの順番にカウントアップして、検索対象が選択される。そして、制御は次のステップＳ３１２に進む。

ステップＳ３１２において、ステップＳ３１０で選択された色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）のＣｂ色差値Ｖｃｂが、同一色差Ｃｂ閾値Ｖｃｂ１より大きく、且つ同一色差Ｃｂ閾値Ｖｃｂ２より小さいか否かが判断される。Ｎｏ、つまり、当該色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）は、文字情報Ｉｃを表す色差Ｃｂ文字画素ＰｃｂＣではないと判断場合、制御は次のステップＳ３１４に進む。

ステップＳ３１４において、文字画素座標情報Ｃｐが補正される。具体的には、文字画素座標情報ＣｐからステップＳ３１２において、色差Ｃｂ文字画素ＰｃｂＣではないと判断された色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）に相当する文字輝度画素ＰＹｃの（ｘ，ｙ）座標が文字画素座標情報Ｃｐから削除されるように、文字画素座標情報Ｃｐが補正せれる。そして、制御は次のステップＳ３１６に進む。

ステップＳ３１６において、ステップＳ３０４において、検索対象として特定された全ての色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）のうちで、検索がされていないものが残っているか否かが判断される。具体的には、現在の検索対象の色差Ｃｂ画素Ｐｃｂの（ｘ，ｙ）座標の値が、ステップＳ３０４で設定された最大値より小さいか否かが判断される。Ｙｅｓの場合、制御はステップＳ３１２に戻って、次のラスタスキャン順位にある色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）が選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。

ステップＳ３１６でＹｅｓ、つまり、現フレームの色差Ｃｂ信号に対して同一色検索処理が完了した時点で、制御は次のステップＳ３１８に進む。

ステップＳ３１８において、ステップＳ３１６で補正された文字画素座標情報Ｃｐに基づいて、必要であれば、文字フレーム情報Ｆｃが補正される。具体的には、色差Ｃｂ文字画素ＰｃｂＣではないと判断された色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）に対応する文字輝度画素ＰＹｃの削除により、文字フレーム情報Ｆｃに登録されているフレームに含まれる文字輝度画素ＰＹｃが文字画素座標情報Ｃｐに登録されなくなった時に、当該フレームが文字フレーム情報Ｆｃから登録削除される。そして、同一色検索サブルーチン＃３００の処理が終了する。

一方、上述のステップＳ３０２において、Ｎｏと判断される場合には、制御は上述のステップＳ３０２〜Ｓ３１８をスキップして、つまり同一色検索サブルーチン＃３００にお同一色判定処理を実行することなく、次の文字表示領域認識サブルーチン＃４００に進む。

また、ステップＳ３１２においてＹｅｓ、つまり、色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）は、色差Ｃｂ文字画素ＰｃｂＣであると判断される場合、制御は文字画素座標情報Ｃｐを補正するステップＳ３１４をスキップしてステップＳ３１６に進む。そして、ステップＳ３１８を経て、同一色検索サブルーチン＃３００の処理を終了して、制御は文字表示領域認識サブルーチン＃４００に進む。

文字表示領域認識サブルーチン＃４００は、一般的に緊急ニュースなどの文字情報Ｉｃは画面上である限定された領域に密集して表示される特徴に基づいて、さらに文字情報Ｉｃの認識精度の向上を図るものである。簡単に言えば、上述の処理において、文字画素Ｐｃとして検出された画素Ｐの内で、他の文字画素Ｐｃと相対的に離れた位置に存在する画素を抽出して、文字画素座標情報Ｃｐから文字画素としての登録を削除するものである。なお、ここでいう文字画素Ｐｃとは、高輝度値画素検索サブルーチン＃２００で登録された文字輝度画素ＰＹｃおよび、同一色検索サブルーチン＃３００で登録された色差Ｃｂ文字画素ＰｃｂＣの何れであっても良い。

よって、今後、特に対象文字画素Ｐｃの種類に限定する必要が内場合には、文字表示画素テーブル記憶メモリ０１３に登録されている文字情報Ｉｃを表す画素Ｐを、全て文字画素Ｐｃと総称して説明する。つまり、本例においては、文字表示画素テーブル記憶メモリ０１３に登録されている文字輝度画素ＰＹｃおよび色差Ｃｂ文字画素ＰｃｂＣ（ＰｃｒＣ）を文字画素Ｐｃと総称する。

図１０を参照して、文字表示領域認識サブルーチン＃４００における処理の基本的な考え方について説明する。図１０は、文字情報Ｉｃが「ＡＢＣＤＥＦＧＨＩ」ではなく、「ＡＢＣＤＥＦＧＨＩＪＫＬＭＮ」と「ＯＰＱＲＳＴＵＶＷＸＹＺ」とが２段に表示されていると共に、ノイズＮが表示されている点を除いて、基本的に図２に例示した画面画像Ｉと同じである。なお、文字情報Ｉｃが表示されている範囲を、文字表示領域Ｒｉｃと呼ぶ。このような画面画像Ｉにおいて、ノイズＮの輝度値ＶＹが輝度閾値Ｖｔｈ大きい場合（ステップＳ２０８でＹｅｓ）、さらにＣｂ色差値ＶｃｂおよびＣｒ色差値Ｖｃｒが所定閾値内である場合（ステップＳ３１２でＹｅｓ）の場合には、ノイズＮは文字情報Ｉｃとして誤認識されてしまう。つまり、ノイズＮを構成する画素Ｐは、文字画素Ｐｃとして誤って文字表示画素テーブル記憶メモリ０１３、および／或いは文字表示フレームテーブル記憶メモリ０１４に登録されてしまう。文字表示領域認識サブルーチン＃４００では、このような誤認識を以下のようにして防止する。

ノイズＮと文字情報Ｉｃとは、以下のようにして識別される。つまり、文字表示画素テーブル記憶メモリ０１３に登録されている全ての文字画素Ｐｃ（文字輝度画素ＰＹｃ、色差Ｃｂ文字画素ＰｃｂＣ）の内の１つと、他の全ての文字画素Ｐｃとの距離の総和“Ｌ”を算出する。このＬを個々の文字画素Ｐｃの他画素間総距離Ｌと呼ぶ。この他画素間総距離Ｌに基づいて、特定の文字画素Ｐｃが文字表示領域Ｒｉｃに対してどの程度離れた位置に表示されているかを判定する。次に、他画素間総距離Ｌの平均値である平均他画素間総距離Ｌ（ｍｅａｎ）に比べて極端に大きな値の他画素間総距離Ｌを持つ文字画素Ｐｃは、文字情報Ｉｃを表すものではないとして、文字表示画素テーブル記憶メモリ０１３に格納されている文字フレーム情報Ｆｃから削除される。

次に、図１１を参照して、文字表示領域認識サブルーチン＃４００における動作を詳細に説明する。文字表示領域認識サブルーチン＃４００が開始すると、先ず、
ステップＳ４０２において、文字表示領域認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「文字表示領域認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め文字表示領域認識を行うか否かを決めておいても良い。そして、制御は次のステップＳ４０４に進む。

ステップＳ４０４において、文字表示画素テーブル記憶メモリ０１３から文字画素座標情報Ｃｐが読み出され、同文字画素座標情報Ｃｐに基づいて、文字画素Ｐｃ（ｘ，ｙ）が特定される。そして、制御は次の本ステップＳ４０６に進む。

ステップＳ４０６において、ステップＳ４０４で特定された全ての文字画素Ｐｃ（ｘ，ｙ）に対して、他画素間総距離Ｌを求める順番が決定されると共に、決定された順番に文字画素Ｐｃを１つずつ選択される。そして、制御は次のステップＳ４０８に進む。

ステップＳ４０８において、ステップＳ４０６で選択された文字画素Ｐｃに関して他ｒ画素間総距離Ｌが算出される。そして、制御は次のステップＳ４１０に進む。

ステップＳ４１０において、ステップＳ４０４において、領域確認対象として特定された全ての文字画素Ｐｃのうちで、他画素間総距離Ｌが算出されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ４０６に戻って、次の文字画素Ｐｃが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての文字画素Ｐｃに関して、他画素間総距離Ｌが算出された時点で、制御は次のステップＳ４１２に進む。

ステップＳ４１２において、平均他画素間総距離Ｌ（ｍｅａｎ）が算出される。そして、制御は次のステップＳ４１４に進む。

ステップＳ４１４において、ステップＳ４０６におけるのと同様に、他画素間総距離Ｌを平均他画素間総距離Ｌ（ｍｅａｎ）と比較する文字画素Ｐｃが選択される。そして、制御は次のステップＳ４１６に進む。

ステップＳ４１６において、他画素間総距離Ｌが平均他画素間総距離Ｌ（ｍｅａｎ）より、所定距離γだけ小さいか否かが判断される。なお、γは、映像ストリームＳＶｃの画質等によって適宜決められる距離である。Ｎｏ、つまり文字画素Ｐｃは文字情報Ｉｃでは無いと判断される場合、制御は次のステップＳ４１８に進む。

ステップＳ４１８において、文字画素座標情報Ｃｐが補正される。具体的には、文字画素座標情報ＣｐからステップＳ４１６において、文字情報Ｉｃではないと判断された文字画素Ｐｃの（ｘ，ｙ）座標が、文字画素座標情報Ｃｐから削除される。そして、制御は次のステップＳ４２０に進む。

ステップＳ４２０において、ステップＳ４１０におけるのと同様に、ステップＳ４１４において、比較として選択される全ての文字画素Ｐｃのうちで、平均他画素間総距離Ｌ（ｍｅａｎ）との比較が行われていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ４１４に戻って、次の文字画素Ｐｃが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての文字画素Ｐｃに関して、平均他画素間総距離Ｌ（ｍｅａｎ）との比較が行われた時点で、制御は次のステップＳ４２２に進む。

ステップＳ４２２において、ステップＳ４１８において補正されて文字画素座標情報Ｃｐに基づいて、必要であれば、上述のステップＳ３１６におけるのと同様に文字フレーム情報Ｆｃが補正される。そして、文字表示領域認識サブルーチン＃４００の処理が終了する。

次に、図１２を参照して、文字線幅認識サブルーチン＃５００における処理の基本的な考え方について説明する。文字線幅認識サブルーチン＃５００は、一般的に文字は一定の文字線幅で描かれる特徴に基づいて、文字画素Ｐｃの水平および垂直方向への出現の連続性から文字の線幅を抽出し、極端にかけ離れた連続値を持つ文字画素Ｐｃを文字情報Ｉｃではないと判断して、文字画素座標情報Ｃｐから登録削除することで、文字認識の精度のなおさらなる向上をはかるものである。

図１２に、図４に示した画面画像Ｉにおける文字情報Ｉｃの「Ｄ」を含む限定領域Ｒｃが拡大表示されていると共に、文字画素Ｐｃの連続値分布Ｄｃを示す。同図に示されるように文字はある一定の文字線幅Ｃｗｌで描画される。よって、水平または垂直方向への文字登録画素の連続値分布Ｄｃは、文字線幅Ｃｗｌの値の付近に集中する。仮に連続値Ｃが文字線幅Ｃｗｌより大きい場合でも、文字は一文字一文字独立しているので、文字サイズ幅Ｃｗ以上となることはない。また、この文字サイズ幅Ｃｗはフォントにもよるが、一般的に文字線幅Ｃｗｌの数倍〜数十倍程度である。よって、連続値Ｃが文字線幅Ｃｗｌより極端に大きな連続値Ｃを持つ文字画素Ｐｃは文字情報Ｉｃでないと判断して、文字画素座標情報Ｃｐから登録削除する。

図１３に示すフローチャートを参照して、文字線幅認識サブルーチン＃５００における動作の詳細を説明する。文字線幅認識サブルーチン＃５００が開始すると、先ず、
ステップＳ５０２において、文字線幅認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「文字線幅認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームＳｖｃの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め文字線幅認識を行うか否かを決めておいても良い。そして、制御は次のステップＳ５０４に進む。

ステップＳ５０４において、文字表示画素テーブル記憶メモリ０１３から文字画素座標情報Ｃｐが読み出され、同文字画素座標情報Ｃｐに基づいて、文字画素Ｐｃが特定される。そして、制御は次の本ステップＳ５０６に進む。

ステップＳ５０６において、ステップＳ５０４で特定された文字画素Ｐｃに対して、文字線幅認識処理を施す順番が決定されると共に、決定された順番に文字画素Ｐｃを１つずつ選択される。好ましくは、設定された文字画素Ｐｃ毎に、同一色判定処理が終了するたびに、ｘおよびｙの値をラスタスキャンの順番にカウントアップして、検索対象が選択される。そして、制御は次のステップＳ５０８に進む。

ステップＳ５０８において、ステップＳ５０６で選択された文字画素Ｐｃに対して、水平方向の連続値Ｃｈをカウントする。そして、制御は次のステップＳ５１０に進む。

ステップＳ５１０において、ステップＳ５０６で選択された文字画素Ｐｃに対して、垂直方向の連続値Ｃｖがカウントされる。そして、制御は次のステップＳ５１２に進む。

ステップＳ５１２において、ステップＳ５０４において、特定された全ての文字画素Ｐｃのうちで、連続値Ｃｈおよび連続値Ｃｖがカウントされていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ５０６に戻って、次の文字画素Ｐｃが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての文字画素Ｐｃに関して、連続値Ｃｈおよび連続値Ｃｖがカウントされた時点で、制御は次のステップＳ５１４に進む。

ステップＳ５１４において、ステップＳ５０８でカウントされた連続値Ｃｈの平均をとって、文字サイズ幅Ｃｗｌが求められる。そして、制御は次のステップＳ５１６に進む。

ステップＳ５１６において、ステップＳ５１０でカウントされた連続値Ｃｖの平均をとって、文字サイズ幅Ｃｗが求められる。そして、制御は次のステップＳ５１８に進む。

ステップＳ５１８において、連続値Ｃｈが文字線幅Ｃｗｌより極端に大きいか否かが判断される。なお、この極端の程度は、映像ストリームＳＶｃおよび文字情報Ｉｃに基づいて、適宜決定される。Ｙｅｓ、つまり文字画素Ｐｃは、文字サイズ幅Ｃｗｌの観点からみれば文字情報Ｉｃに対応するものでは無いと判断される場合、制御は次のステップＳ５２０に進む。

ステップＳ５２０において、文字画素Ｐｃが文字画素座標情報Ｃｐから登録削除される。そして、制御はステップＳ５２２に進む。

ステップＳ５２２において、連続値Ｃｖが文字サイズ幅Ｃｗより極端に大きいか否かが判断される。なお、この極端の程度は、映像ストリームＳＶｃおよび文字情報Ｉｃに基づいて、適宜決定される。Ｙｅｓ、つまり文字画素Ｐｃは文字線幅Ｃｗｌおよび文字サイズ幅Ｃｗの両方の観点から、文字情報Ｉｃに対応するものでは無いと判断される場合、制御は次のステップＳ５２４に進む。

ステップＳ５２４において、文字画素Ｐｃが文字画素座標情報Ｃｐから登録削除される。なお、本ステップにおいて削除される前に、ステップＳ５２０において、文字画素Ｐｃは既に文字画素座標情報Ｃｐから削除されているので、処理の重複を避ける為に本ステップは省略しても良い。しかしながら、当該文字画素Ｐｃに対する文字線幅確認の精度を確保する為には、本ステップを残すことにより、文字画素Ｐｃが文字線幅Ｃｗｌおよび文字サイズ幅Ｃｗの両方の観点から文字情報Ｉｃに対応するものでは無いとの判定結果を文字画素座標情報Ｃｐに記録することによって、より高精度な文字情報Ｉｃの認識および加工を可能にする。そして、制御はステップＳ５３０に進む。

上述のステップＳ５２２においてＮｏ、つまり文字画素Ｐｃは、文字線幅Ｃｗｌの観点からは文字情報Ｉｃに対応するものと判断さ、文字サイズ幅Ｃｗの観点からも文字情報Ｉｃに対応するものであると判断される場合、制御はステップＳ５２４をスキップして、ステップＳ５３０に進む。

また、上述のステップＳ５１８においてＮｏ、つまり文字画素Ｐｃは文字サイズ幅Ｃｗｌの観点からみれば文字情報Ｉｃに対応するものであると判断される場合、制御はステップＳ５２６に進む。

ステップＳ５２６において、ステップＳ５２２におけるのと同様に、連続値Ｃｖが文字サイズ幅Ｃｗより極端に大きいか否かが判断される。Ｙｅｓ、つまり文字画素Ｐｃは、文字線幅Ｃｗｌの観点からみれば文字情報Ｉｃと判断されるが、文字サイズ幅Ｃｗの観点からは、文字情報Ｉｃでは無いと判断される場合、制御は次のステップＳ５２８に進む。

ステップＳ５２８において、文字画素座標情報Ｃｐから文字画素Ｐｃが文字画素座標情報Ｃｐから登録削除される。なお、本ステップにおいては、文字画素座標情報Ｃｐには文字画素Ｐｃが、文字線幅Ｃｗｌの観点からは文字情報Ｉｃであると判断されるが、文字サイズ幅Ｃｗの観点からは文字情報Ｉｃではないと判断されることも記録することによって、より高精度な文字情報Ｉｃの認識および加工を可能にする。

ステップＳ５３０において、上述のステップＳ５２０、Ｓ５２４、およびＳ５３０のぞれぞれで補正された文字画素座標情報Ｃｐに基づいて、文字フレーム情報Ｆｃが補正される。そして、文字線幅認識サブルーチン＃５００の処理は終了する。なお、上述のステップＳ５０２においてＮｏの場合は、制御はステップＳ５０２〜Ｓ５３０をスキップして、文字線幅認識処理を行わないで、文字縁取り認識サブルーチン＃６００に進む。

次に、図１４および図１５を参照して、文字縁取り認識サブルーチン＃６００における処理について説明する。文字縁取り認識サブルーチン＃６００は、文字の表示方法として頻繁に用いられる一定色で、各文字が縁取られて表示される文字情報Ｉｃを認識するものである。図１４に、図４に示した文字情報Ｉｃの「Ｃ」を含む限定領域を拡大して示す。同図に例示するように、一般的に文字を縁取りする際に、その縁取り画素Ｐｏの色は同一である。即ち、縁取り部分に位置する画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差Ｃｂおよび色差Ｃｒのそれぞれの値は同一である。いいかえれば、輝度値ＶＹ、色差Ｃｂおよび色差Ｃｒのそれぞれの値が同一の画素Ｐ（ｘ，ｙ）は、縁取り画素Ｐｏの可能性が非常に高い。

よって、文字表示画素テーブル記憶メモリ０１３に登録されている文字画素Ｐｃの周辺に位置する画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒの値がそれぞれ同一であるかどうかを判定し、ある一定割合以上の周辺画素Ｐ（ｘ，ｙ）が同一の輝度値ＶＹ、色差Ｃｂ、色差Ｃｒを持つ場合は、文字が縁取り表示されていると認識する。なお、周辺に位置する画素Ｐ（ｘ，ｙ）とは、文字画素Ｐｃの水平そして垂直方向の正負方向に、それぞれ最も近接する文字画素Ｐｃではない４つの画素Ｐ（ｘ，ｙ）を言う。

そして、文字表示画素テーブル記憶メモリ０１３に、文字の表示方法として縁取りが用いられている事を記憶する。この場合、好ましくは、検出された縁取り画素Ｐｏの座標（ｘ，ｙ）も文字画素座標情報Ｃｐの一部として記録される。抽出された縁取り画素Ｐｏの縁取り色で周辺画素が描画されていない文字画素Ｐｃの登録を削除することで文字情報Ｉｃの認識精度をさらに向上させる。文字画素の誤検出を低減させる。

図１５を参照して、文字縁取り認識サブルーチン＃６００における詳細な動作について説明する。文字縁取り認識サブルーチン＃６００が開始すると、先ず、
ステップＳ６０２において、文字の縁取認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「文字の縁取認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め文字縁取確認を行うか否かを決めておいても良い。そして、制御は次のステップＳ６０４に進む。

ステップＳ６０４において、文字表示画素テーブル記憶メモリ０１３から文字画素座標情報Ｃｐが読み出され、同文字画素座標情報Ｃｐに基づいて、文字画素Ｐｃが特定される。そして、制御は次の本ステップＳ６０６に進む。

ステップＳ６０６において、ステップＳ６０４において特定された文字画素Ｐｃの周辺画素Ｐｐの座標（ｘ，ｙ）が特定される。さらに、特定された周辺画素Ｐｐの総数Ｎｐｐが算出される共にカウンタＣｔがゼロにセットされる。なお、上述のように、本例においては、文字画素Ｐｃの水平そして垂直方向の正負方向に、それぞれ最も近接する文字画素Ｐｃではない４つの画素Ｐ（ｘ，ｙ）が周辺画素Ｐｐとして特定される。そして、制御は次のステップＳ６０８に進む。

ステップＳ６０８において、ステップＳ６０６で特定された周辺画素Ｐｐに対して、縁度認識処理を施す順番が決定されると共に、決定された順番に周辺画素Ｐｐが１つずつ選択される。好ましくは、設定された周辺画素Ｐｐ毎に、縁取認識処理が終了するたびに、ｘおよびｙの値をラスタスキャンの順番にカウントアップして、次の周辺画素Ｐｐが選択される。そして、制御は次のステップＳ６１０に進む。

ステップＳ６１０において、周辺画素Ｐｐの輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒが検出さられる。そして、制御は次のステップＳ６１２に進む。

ステップＳ６１２において、ステップＳ６０６において、特定された全ての周辺画素Ｐｐのうちで、輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒが検出されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ６０８に戻って、次の周辺画素Ｐｐが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての文字画素Ｐｃに関して、連続値Ｃｈおよび連続値Ｃｖがカウントされた時点で、制御は次のステップＳ６１４に進む。

ステップＳ６１４において、求められた全ての輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒそれぞれの平均をとって、平均輝度値ＶＹ（ｍｅａｎ）、平均色差値ＶＣｂ（ｍｅａｎ）、および平均色差値ＶＣｒ（ｍｅａｎ）が求められる。そして、制御は次のステップＳ６１５に進む。

ステップＳ６１５において、ステップＳ６０８におけるのと同様に、但し、周辺画素Ｐｐが同一色で表示されているか否かを判断する順番が決定されると共に、決定された順番に周辺画素Ｐｐが１つずつ選択される。そして、制御は次のステップＳ６１６に進む。

ステップＳ６１６において、ステップＳ６１５において選択された周辺画素Ｐｐに関して、輝度値ＶＹ、色差Ｃｂ値信号、および色差値ＶＣｒのそれぞれが、平均輝度値ＶＹ（ｍｅａｎ）、平均色差値ＶＣｂ（ｍｅａｎ）、および平均色差値ＶＣｒ（ｍｅａｎ）と同程度の値を有するか否かが判断される。なお、同程度の度合いは、映像ストリームＳＶｃおよび文字情報Ｉｃ、さらに縁取に応じて、適宜決められる。Ｙｅｓ、つまり当該周辺画素Ｐｐは縁取り画素Ｐｏであると判断される場合、制御は次のステップＳ６１８に進む。

ステップＳ６１８において、カウンタＣｔが１だけインクリメントされる。そして、制御は次のステップＳ６２０に進む。

ステップＳ６２０において、ステップＳ６１２におけるように、但し、ステップＳ６１５において選択された周辺画素Ｐｐのうちで、縁取り画素Ｐｏであるかの判断が下されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ６１５に戻って、次の周辺画素Ｐｐが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての周辺画素Ｐｐが縁取り画素Ｐｏであるか否かの判断が成された時点で、制御は次のステップＳ６１８に進む。

一方、上述のステップＳ６１６においてＮｏ、つまり当該周辺画素Ｐｐは縁取り画素Ｐｏでないと判断される場合、ステップＳ６１８およびステップＳ６２０をスキップして、制御はステップＳ６１５に戻る。

ステップＳ６２２において、ステップＳ６１８で求められたカウンタＣｔの値を、周辺画素Ｐｐの総数Ｎｐｐで除算して、同一色で表示されている周辺画素Ｐｐの同一色割合Ｄを求める。そして、制御は次のステップＳ６２４に進む。

ステップＳ６２４において、ステップＳ６１５におけると同様に、但し、周辺画素Ｐｐが縁取画素であるか否かを判断する順番が決定されると共に、決定された順番に周辺画素Ｐｐが１つずつ選択される。そして、制御は次のステップＳ６２６に進む。

ステップＳ６２６において、ステップＳ６２２で求められた同一色割合Ｄが、割合閾値Ｄｔｈより小さいか否かが判断される。なお、割合閾値Ｄｔｈは、映像ストリームＳＶｃ、文字情報Ｉｃ、および縁取りの状態に応じて、適宜決められる。そして、制御は次のステップＳ６２８に進む。Ｙｅｓ、つまり周辺画素Ｐｐは縁取り画素Ｐｏでは無いと判断される場合、制御は次のステップＳ６２８に進む。

ステップＳ６２８において、当該周辺画素Ｐｐに対応する周辺画素Ｐｐが、文字画素座標情報Ｃｐから登録削除される。そして、制御は次のステップＳ６３０に進む。

ステップＳ６３０において、周辺画素Ｐｐが文字画素座標情報Ｃｐとして文字表示画素テーブル記憶メモリ０１３に登録される。そして、制御は次のステップＳ６３２に進む。

ステップＳ６３２において、文字画素座標情報Ｃｐに基づいて、文字フレーム情報Ｆｃが適宜補正される。そして、制御は次のステップＳ６３４に進む。

ステップＳ６３４において、ステップＳ６２４において選択される、全ての周辺画素Ｐｐで縁取画素であるか否かが判断されていないものが残っているか否かが判断される。Ｎｏの場合制御は、ステップＳ６２４にも戻る。

上述のステップＳ６２６でＮｏと判断される場合、制御はステップＳ６２８、Ｓ６３０、Ｓ６３２、およびＳ６３４をスキップして、ステップＳ６２４に戻る。

ステップＳ６３４において、Ｎｏと判断されたときに文字縁取り認識サブルーチン＃６００の処理は終了する。

次に、図１６および図１７を参照して、点滅表示認識サブルーチン＃７００における処理について説明する。点滅表示認識サブルーチン＃７００は文字の表示方法として頻繁に用いられる、消去と表示を一定時間毎に繰り返して、各文字が点滅表示される文字情報Ｉｃを認識するものである。図１６に、左か右へと時間の経過と共に、３つの画面画像Ｉｂ１、Ｉｂ２、およびＩｂ３が示されている。画面画像Ｉｂ１には文字情報Ｉｃが表示されており、画面画像Ｉｂ２には文字情報Ｉｃが表示されておらず、画面画像Ｉｂ３には画面画像Ｉｂ１と同様に文字情報Ｉｃが表示されている。点滅表示では時間軸方向に対して、画面画像Ｉｂ１および画面画像Ｉｂ２のように文字情報Ｉｃが表示さる文字表示区間Ｐ１と文字消去区間Ｐ２とが交互に出現し、且つ時間軸上のどこにおいても文字表示区間Ｐ１と文字消去区間Ｐ２との時間的長さ、つまり期間はそれぞれ一定である。

図１７に示すフローチャートを参照して、点滅表示認識サブルーチン＃７００の動作の詳細を説明する。点滅表示認識サブルーチン＃７００が開始すると、先ず、
ステップＳ７０２において、点滅表示認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「点滅表意認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め点滅表意認識を行うか否かを決めておいても良い。そして、制御は、次のステップＳ７０４に進む。

ステップＳ７０４において、文字表示フレームテーブル記憶メモリ０１４から文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ７０６に進む。

ステップＳ７０６において、文字フレーム情報Ｆｃに基づいて、文字表示フレームテーブル記憶メモリ０１４に登録されたフレームの連続性から、文字表示区間Ｐ１が検出される。そして制御は、次のステップＳ７０８に進む。

ステップＳ７０８において、文字フレーム情報Ｆｃに基づいて、文字表示フレームテーブル記憶メモリ０１４に登録されたフレームの連続性が途切れている間の時間から文字消去区間Ｐ２が検出される。そして制御は、次のステップＳ７１０に進む。

ステップＳ７１０において、文字情報Ｉｃは点滅表示であるか否かが判断される。具体的には、ステップＳ７０６とステップＳ７０８においてそれぞれ検出された文字表示区間Ｐ１と文字消去区間Ｐ２が所定値を持っている場合、点滅表示と判断される。そして、制御は、次のステップＳ７１２に進む。

ステップＳ７１２において、文字情報Ｉｃは点滅表示であることが文字フレーム情報Ｆｃに記憶される。そして制御は、点滅表示認識サブルーチン＃７００の処理が終了する。

なお、ステップＳ７１０において、文字情報Ｉｃは点滅表示ではないと判断される場合、制御はステップＳ７１２をスキップして、点滅表示認識サブルーチン＃７００の処理が終了する。同様に、ステップＳ７０２においてＮｏの場合、制御はステップＳ７０４〜Ｓ７１０をスキップして、点滅表示認識サブルーチン＃７００の処理が終了する。

次に、図１８および図１９を参照して、移動表示認識サブルーチン＃８００について説明する。移動表示認識サブルーチン＃８００は、文字の表示方法として頻繁に用いられる、文字情報Ｉｃが一定の速度で水平または垂直方向に移動する移動表示を認識する処理である。図１８に、移動表示であるフレームで表示された文字画素が時間軸の進行方向に対し水平に移動して表示される様子を示す。すなわち、ある時間におけるフレームＮ上の文字情報Ｉｃは、フレームＮ±β（βは任意の正の整数）における文字画素Ｐｃを水平または垂直方向にβフレーム分移動させたものに一致するはずである。

すなわち、文字表示画素テーブル記憶メモリ０１３に登録されているフレームＮの文字画素Ｐｃの分布と、文字表示画素テーブル記憶メモリ０１３に登録されたフレームＮ±βにおける文字画素Ｐｃの位置を水平または垂直方向にβフレーム分ずらしたものの分布が一致する場合、文字情報Ｉｃは移動表示されていると認識すると共に、文字情報Ｉｃがβフレーム分移動表示されていることを文字表示画素テーブル記憶メモリ０１３に記憶する。

次に、図１９を参照して、移動表示認識サブルーチン＃８００の動作について詳細に説明する。移動表示認識サブルーチン＃８００の動作が開始すると、先ず、
ステップＳ８０２において、移動表示認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「移動表示認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め移動表示認識を行うか否かを決めておいても良い。Ｙｅｓの場合、制御は次のステップＳ８０４に進む。

ステップＳ８０４において、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃがそれぞれ文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から読み出される。そして、制御は、次のステップＳ８０６に進む。

ステップＳ８０６において、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃに基づいて、フレームＮ（Ｎは任意の正の整数）の、文字画素Ｐｃの画面画像Ｉにおける画素分布Ｄｎを求める。そして、制御は次のステップＳ８０８に進む。

ステップＳ８０８において、フレームＮ±βにおける文字画素Ｐｃの画面画像Ｉにおける画素分布Ｄβを求める。正確に言えば、フレームＮに対してβフレーム分だけ前の画素分布Ｄβ−と、フレームＮに対してβフレーム分だけ後の画素分布Ｄβ＋の２種類が存在するが、紙面および説明の便宜上、画素分布Ｄβ−と画素分布Ｄβ＋とを画素分布Ｄβと総称する。そして、制御は次のステップＳ８１０に進む。

ステップＳ８１０において、次式（３）に基づいて、フレームＮにおける画面画像Ｉｎにおける文字情報Ｉｃが最大動き得る量を表す移動係数ｄが算出される。
ｄ ＝ − ρ ＋ △ρ ・・・・（３）
移動量ρは、画面画像Ｉｎにおける画素解像度に対応する移動量、Δρは、画面画像Ｉｎにおける画素解像度に対応する最小移動量。そして、制御は次のステップＳ８１２に進む。

ステップＳ８１２において、ステップＳ８０４で求めた画素分布Ｄｎに基づいて、フレームＮに対して移動係数ｄだけ移動した時の画素分布Ｄｎ（ｄ）が算出される。そして制御は、次のステップＳ８１４に進む。

ステップＳ８１４において、ステップＳ８１２で求めた画素分布Ｄｎ（ｄ）がステップＳ８０８で求められた画素分布Ｄβと一致するか否かが判断される。具体的には、画素分布Ｄβから画素分布Ｄｄを減じた値が０になるか否かが判断される。Ｙｅｓ、つまり一致する（減算結果が０の）場合、制御は次のステップＳ８１６に進む。

ステップＳ８１６において、文字情報Ｉｃが移動表示であることを、文字フレーム情報Ｆｃおよび文字画素座標情報Ｃｐに書き込む。そして、制御は次のステップＳ８１８に進む。

一方、上述のステップＳ８１４でＮｏ、つまり、画素分布Ｄｎ（ｄ）は画素分布Ｄβと一致しないと判断される場合、制御はステップＳ８１６をスキップして、ステップＳ８１８に進む。

ステップＳ８１８において、ステップＳ８１０でΔρずつインクリメントされた移動係数ｄが移動量ρ以上であるか否かが判断される。Ｎｏ、つまり、画面画像Ｉｎにおける文字情報Ｉｃの最大移動可能範囲に対する画素分布Ｄｎ（ｄ）に関して、画素分布Ｄβと一致の判断が終わっていないことを意味するので、制御は上述のステップＳ８１０に戻る。

Ｙｅｓの場合、画面画像Ｉｎにおける文字情報Ｉｃの最大移動可能範囲に対する画素分布Ｄｎ（ｄ）に関して、画素分布Ｄβと一致の判断が終わっていることを意味するので、移動表示認識サブルーチン＃８００を終了する。

なお、上述の同一色検索サブルーチン＃３００、文字表示領域認識サブルーチン＃４００、文字認識サブルーチン＃５００、文字縁取り認識サブルーチン＃６００、点滅表示認識サブルーチン＃７００、および移動表示認識サブルーチン＃８００は、事前に文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが生成されていれば良い。よって、この意味において、本例においては、先行する高輝度値画素検索サブルーチン＃２００の後であれば、同一色検索サブルーチン＃３００、文字表示領域認識サブルーチン＃４００、文字認識サブルーチン＃５００、文字縁取り認識サブルーチン＃６００、点滅表示認識サブルーチン＃７００、および移動表示認識サブルーチン＃８００のそれぞれを実施する順番は、必要に応じて変更しても良い。さらに、認識対象である文字情報Ｉｃの種類に応じて、同一色検索サブルーチン＃３００、文字表示領域認識サブルーチン＃４００、文字認識サブルーチン＃５００、文字縁取り認識サブルーチン＃６００、点滅表示認識サブルーチン＃７００、および移動表示認識サブルーチン＃８００の内で適当なものを選択して実施しても良い。

次に、図２０および図２１を参照して、文字加工器０１２について説明する。文字加工器０１２は、文字認識器０１１によって認識された文字情報Ｉｃの文字画素Ｐｃに関する情報に基づいて、映像ストリームＳＶｃから文字情報Ｉｃに対して種々の処理を施す機能を有する。文字加工器０１２は、文字情報Ｉｃを消去する文字情報消去機能、文字情報Ｉｃが点滅表示時に文字情報Ｉｃを消去する文字情報消去機能、文字情報Ｉｃが移動表示時に文字情報Ｉｃを削除する文字情報消去機能、文字情報Ｉｃを移動させる文字情報移動機能、文字情報Ｉｃを拡大／縮小表示させる文字情報拡倍機能、および文字情報Ｉｃを特定の注目領域以外の領域に移動表示させる注目領域回避機能を有する。

図２０を参照して、文字加工器０１２の文字加工の主な動作について説明する。文字認識器０１１における上述の認識処理を経て、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号が文字加工器０１２に入力された時点で、文字加工器０１２の文字加工処理が開始する。なお、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４には、上述の認識処理結果を反映した状態の文字フレーム情報Ｆｃおよｂ文字画素Ｐｃが格納されている。

先ず、ステップＳ１００２において、映像ストリームＳＶｃに対して、文字情報Ｉｃを消去する文字消去処理を実施するか否かがユーザに対して問い合わされる。好ましくは、ユーザに対して、モニタに「文字情報消去処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、制御は次のステップＳ１００４に進む。

ステップＳ１００４において、映像ストリームＳＶｃは、文字情報Ｉｃが点滅表示されているか否かが判断される。具体的には、文字フレーム情報Ｆｃおよび文字画素座標情報Ｃｐに、文字情報Ｉｃが点滅表示である旨の記録があるか否かに基づいて、判断される。Ｎｏと判断される場合、次のステップＳ１００６に進む。一方、Ｙｅｓの場合、制御は次の点滅表示時文字情報消去サブルーチン＃１１００に進む。

点滅表示時文字情報消去サブルーチン＃１１００において、点滅表示されている文字情報Ｉｃが映像ストリームＳＶｃから消去される。これについては、後ほど詳述する。点滅表示時文字情報消去サブルーチン＃１１００の処理の後、文字加工器０１２による文字加工処理が終了する。

ステップＳ１００６において、映像ストリームＳＶｃは、文字情報Ｉｃが移動表示されているか否かが判断される。具体的には、文字フレーム情報Ｆｃおよび文字画素座標情報Ｃｐに、文字情報Ｉｃが移動表示である旨の記録があるか否かに基づいて、判断される。Ｎｏの場合、制御は文字消去サブルーチン＃１３００に進む。一方、Ｙｅｓの場合、制御は次の移動表示時文字情報消去サブルーチン＃１２００に進む。

移動表示時文字情報消去サブルーチン＃１２００において、移動表示されている文字情報Ｉｃが映像ストリームＳＶｃから消去される。これについては、後ほど図？を参照して詳述する。移動表示時文字情報消去サブルーチン＃１２００の処理の後、文字加工器０１２による文字加工処理が終了する。

文字消去サブルーチン＃１３００において、文字情報Ｉｃが映像ストリームＳＶｃから消去される。これについては、後ほど詳述する。文字消去サブルーチン＃１３００の処理の後、文字加工器０１２による文字加工処理が終了する。

上述のステップＳ１００２においてＮｏ、つまり文字消去処理は実施されない場合、逝去はステップＳ１００８に進む。
ステップＳ１００８において、映像ストリームＳＶｃに対して、文字情報Ｉｃを移動する文字移動処理を実施するか否かがユーザに対して問い合わされる。好ましくは、ユーザに対して、モニタに「文字情報移動処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。さらに、好ましくは、ユーザが所望の移動量Ｓを入力するように構成される。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、文字情報拡倍サブルーチン＃１４００に進む。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、制御は文字情報移動サブルーチン＃１４００に進む。

文字情報移動サブルーチン＃１４００において、文字情報Ｉｃが映像ストリームＳＶｃにおいて、その表示場所が変更、つまり文字情報Ｉｃが画面画像Ｉにおいて移動させられる。これについては、後ほど図２３を参照して詳述する。文字情報移動サブルーチン＃１４００の処理の後、文字加工器０１２による文字加工処理が終了する。

上述のステップＳ１００８においてＮｏ、つまり文字情報移動処理が行われない場合に、制御はステップＳ１０１０に進む。

ステップＳ１０１０において、映像ストリームＳＶｃに対して、文字情報Ｉｃを拡大／縮小表示させる文字情報拡倍処理を実施するか否かがユーザに対して問い合わされる。好ましくは、ユーザに対して、モニタに「文字情報拡倍処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。さらに、好ましくは、ユーザが所望の拡倍率Ｍを入力するように構成される。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、制御は文字情報拡倍サブルーチン＃１５００に進む。

文字情報拡倍サブルーチン＃１５００において、文字情報Ｉｃが映像ストリームＳＶｃにおいて、拡大表示される。これについては、後ほど図２４を参照して詳述する。文字情報拡倍サブルーチン＃１５００の処理の後、文字加工器０１２による文字加工処理が終了する。

上述のステップＳ１０１０においてＮｏ、つまり、文字情報Ｉｃの拡大表示処理が行われない場合、制御はステップＳ１０１２に進む。
ステップＳ１０１２において、文字情報Ｉｃにおける注目領域以外の領域に文字情報Ｉｃを移動表示させるか否かが判断される。好ましくは、ユーザに対して、モニタに「注目領域回避処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、注目領域回避サブルーチン＃１６００に進む。

注目領域回避サブルーチン＃１６００において、文字情報Ｉｃが映像ストリームＳＶｃにおいて、画面画像Ｉの視聴者が注目し易い領域から、視聴者の気にならない領域に移動させられる。これについては、後ほど図２５を参照して詳述する。注目領域回避サブルーチン＃１６００の処理の後、文字加工器０１２による文字加工処理が終了する

このように、文字消去を行う場合に、点滅表示認識サブルーチン＃７００において点滅表示と認識されている場合は、点滅表示時文字情報消去サブルーチン＃１１００において文字情報Ｉｃが消去される。移動表示認識サブルーチン＃８００において移動表示と認識されている場合は、移動表示時文字情報消去サブルーチン＃１２００において文字情報Ｉｃが消去される。その他の場合は、文字情報消去サブルーチン＃１３００において文字情報Ｉｃが消去される。

また、文字移動を行う場合には、文字情報移動サブルーチン＃１４００において文字情報Ｉｃが移動される。また、文字拡倍を行う場合には、文字情報拡倍サブルーチン＃１５００において文字情報Ｉｃが拡倍される。また、注目領域回避を行う場合には、注目領域回避サブルーチン＃１６００において非注目領域に文字情報Ｉｃが移動されて表示される。

次に、図２１および図２２を参照して、文字情報消去サブルーチン＃１３００の動作について説明する。図２１に、画面画像Ｉにおける文字画素Ｐｃを示す。同図において文字画素Ｐｃ（ｘ，ｙ）を消去する方法について述べる。文字画素Ｐｃ（ｘ，ｙ）の水平または垂直方向の正負方向に最も近傍する、文字画素Ｐｃおよび縁取り画素Ｐｏの何れでもない４つの画素Ｐに基づいて、文字画素Ｐｃ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒを線形補間することで文字情報Ｉｃを消去する。なお、文字画素Ｐｃ（ｘ，ｙ）が縁取り画素Ｐｏの場合であっても同様にして、近傍の画素Ｐに基づいて消去する縁取り画素Ｐｏの輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒを補間して消去する。なお、この文字画素Ｐｃ或いは縁取り画素Ｐｏの補間処理は、文字表示画素テーブル記憶メモリ０１３に登録されている文字画素座標情報Ｃｐに基づいて行われて、文字情報Ｉｃの補間値が算出される。

つまり、文字加工器０１２は、００１１から入力される輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号のそれぞれに対して、求めた補間値を上書きして、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴを生成して出力する。被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴは、それぞれ、出力用メモリ００４の被処理輝度フレームメモリ００８、被処理色差Ｃｂフレームメモリ００９、および被処理色差Ｃｒフレームメモリ０１０に一旦保持された後、後処理器０１５で映像ストリームＳＶｔに合成される。なお、映像ストリームＳＶｔにおいては、映像ストリームＳＶｃに組み込まれていた文字情報Ｉｃは、消去されている。

図２２を参照して、文字消去サブルーチン＃１３００の動作について詳述する。図２０に示すフローチャートにおいて、ステップＳ１００６においてＮｏと判断された時点で、文字消去サブルーチン＃１３００の動作が開始される。
先ず、ステップＳ１３０２において、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ１３０４に進む。

ステップＳ１３０４において、文字画素座標情報Ｃｐに基づいて、フレーム単位で補間処理をする文字画素Ｐｃ（ｘ，ｙ）が選択される。そして、制御は次のステップＳ１３０６に進む。

ステップＳ１３０６において、上述の方法にて、ステップＳ１３０４で選択された文字画素Ｐｃに対する補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、および補間色差値ＶＣｒｔが求められる。そして、制御は次のステップＳ１３０８に進む。

ステップＳ１３０８において、当該文字画素Ｐｃ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒがそれぞれ、ステップＳ１３０６において求められた補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、および色差値ＶＣｒｔで上書きされる。そして、制御は次のステップＳ１３１０に進む。

ステップＳ１３１０において、ステップＳ１３０２において読み出された文字画素座標情報Ｃｐで規定される、補正対象の文字画素Ｐｃ（ｘ，ｙ）の内で、補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、および補間色差値ＶＣｒｔが求められていないものが残っているか否かが判断される。Ｙｅｓの場合、制御は上述のステップＳ１３０４に戻り、ステップＳ１３０４〜ステップＳ１３０８における処理が繰り返されて、当該フレームのおける全ての文字画素Ｐｃ（ｘ，ｙ）が補間輝度値ＶＹｔ、色差値ＶＣｒｔ、および補間色差値ＶＣｂｔによって上書きされて、文字情報Ｉｃが画面画像Ｉから消去される。

このように、文字画素Ｐｃ（ｘ，ｙ）が処理された輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号を、それぞれ被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、被処理色差Ｃｒ信号ＣｒＴと呼ぶ。本ステップにおいてＮｏと判断された時点で、制御は次のステップＳ１３１２に進む。

ステップＳ１３１２において、画素値が書き換えられた文字画素Ｐｃ（ｘ，ｙ）に値王する被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが出力用メモリ００４に出力される。なお、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴは、後処理器０１５によって、映像ストリームＳＶｔに合成される。そして、映像ストリームＳＶｔには、映像ストリームＳＶｃにおいて組み込まれていた文字情報Ｉｃが消去されていることは上述の通りである。なお、ステップＳ１３０６における補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、および色差値ＶＣｒｔの算出の方法を除けば、文字消去サブルーチン＃１３００は基本的に、点滅表示時文字情報消去サブルーチン＃１１００および移動表示時文字情報消去サブルーチン＃１２００にも適用できる。これについては、以下に述べる。

点滅表示時文字情報消去サブルーチン＃１１００は、点滅表示認識サブルーチン＃７００によって文字情報Ｉｃの表示方法が点滅表示であると認識されている場合のみに選択され得る処理である。文字消去の対象である文字画素Ｐｃまたは縁取り画素Ｐｏの輝度値ＶＹと色差値ＶＣｂと色差値ＶＣｒのそれぞれの補間値として、時間的に最も近接する文字消去区間Ｐ２内のフレームにおいて対応する画素Ｐ（ｘ，ｙ）の値が用いられる。この処理を文字表示画素テーブル記憶メモリ０１３に登録された文字画素Ｐｃおよび／或いは、縁取り画素Ｐｏにたいして施すことで文字情報Ｉｃの補間値（補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、色差値ＶＣｒｔ）が算出される。

補間値を求める対象が同一フレームではなく、時間的近接フレームである点を除いて、点滅表示時文字情報消去サブルーチン＃１１００の動作は、上述の文字情報消去サブルーチン＃１３００における動作と同様である。また、文字情報消去サブルーチン＃１３００においても、ステップＳ１３０８において、文字情報消去サブルーチン＃１３００におけるのと同様に、同一フレームではなく、時間的近接フレームから補間値を求めても良い。

文字加工器０１２によって、文字認識器０１１から出力された輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号に対して、この算出された補間値（補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、色差値ＶＣｒｔ）を上書きして、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴを生成して、出力用メモリ００４を介して後処理器０１５に出力される。そして、後処理器０１５は処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴを合成して、映像ストリームＳＶｔを生成する。この映像ストリームＳＶｔの画面画像Ｉには、映像ストリームＳＶｃで点滅表示されていた文字情報Ｉｃが消去されている。

移動表示時文字情報消去サブルーチン＃１２００は、移動表示認識サブルーチン＃８００によって文字情報Ｉｃの表示方法が移動表示であると判定された場合のみに選択され得る処理である。文字消去の対象となる文字画素Ｐｃまたは縁取り画素Ｐｏの輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒそれぞれの補間値として、対象となる画素が文字画素Ｐｃとして登録されていないフレームのうち、時間的に最も近接するフレームにおいて対応する画素Ｐ（ｘ，ｙ）の値が用いられる。以降の動作は、上述の文字消去サブルーチン＃１３００および点滅表示時文字情報消去サブルーチン＃１１００におけるのと同様である。結果、後処理器０１５から出力される映像ストリームＳＶｔの画面画像Ｉには、映像ストリームＳＶｃで移動表示されていた文字情報Ｉｃが消去されている。

以下に、図２３を参照して、文字情報移動サブルーチン＃１４００の動作の詳細について説明する。文字情報移動サブルーチン＃１４００は、文字情報Ｉｃを映像ストリームＳｖｃにおける位置から別の位置に移動させる文字加工器０１２による処理である。つまり、消去対象とする文字情報Ｉｃが点滅表示であっても、移動表示であっても構わない。

先ずステップＳ１４０２において、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ１４０４に進む。

ステップＳ１４０４において、移動させる文字画素Ｐｃ（ｘ，ｙ）が選択される。そして、制御は次のステップＳ１４０６に進む。

ステップＳ１４０６において、当該文字画素Ｐｃ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒが注意出される。なお、説明の便宜上、本ステップで抽出されて文字画素Ｐｃ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒをそれぞれ、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）と識別する。すなわち、本ステップにおいては、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出される。そして、制御は次のステップＳ１４０８に進む。

ステップＳ１４０８において、移動対象である文字画素Ｐｃ（ｘ，ｙ）の内で、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御は上述のステップＳ１４０４に戻り、ステップＳ１４０４〜ステップＳ１４０６における処理が繰り返されて、移動対象である全ての文字画素Ｐｃ（ｘ，ｙ）の文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出された後に、本ステップでＮｏと判断される。そして、制御は次の文字消去サブルーチン＃１０００に進む。

文字消去サブルーチン＃１０００は、図２２に示した文字消去サブルーチン＃１３００から、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃを読み出すステップＳ１３０２を削除したものである。なお、文字消去サブルーチン＃１０００においては、削除されたステップＳ１３０２の変わりに、上述のステップＳ１４０２で読み出された文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃに基づいて、文字削除処理を行う。移動させる文字画素Ｐｃ（ｘ，ｙ）が消去された、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが生成される（Ｓ１３１２）。そして、制御は次のステップＳ１４１０に進む。

ステップＳ１４１０において、文字情報Ｉｃの移動先である画素Ｐ（ｘ，ｙ）が選択される。この移動先の画素Ｐ（ｘ，ｙ）は、ステップＳ１４０４で選択されえた移動元の文字画素Ｐｃ（ｘ，ｙ）を所定距離分だけ移動させたものに対応する。そして、制御は次のステップＳ１４１２に進む。

ステップＳ１４１２において、ステップＳ１４１０で選択された画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒがそれぞれ、ステップＳ１４０６において求められた文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きされる。そして、制御は次のステップＳ１４１４に進む。

ステップＳ１４１４において、移動先である画素Ｐ（ｘ，ｙ）の内で、輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒが文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）に上書きされていないものが残っているか否かが判断される。Ｙｅｓの場合、制御は上述のステップＳ１４１０に戻り、ステップＳ１４１０〜ステップＳ１４１４における処理が繰り返されて、全ての移動先画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒがそれぞれ文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きされた後に、本ステップでＮｏと判断される。そして、制御は次のステップＳ１４１６に進む。

ステップＳ１４１６において、上述のステップＳ１３１２において生成されて、出力用メモリ００４に格納されている被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが、ステップＳ１４１２で書き換えられた輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒで更新される。そして、更新された被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが後処理器０１５によって合成されて、文字情報Ｉｃが移動した映像ストリームＳＶｔが生成される。

次に、図２４を参照して、文字情報拡倍サブルーチン＃１５００の動作について説明する。文字情報拡倍サブルーチン＃１５００は、文字加工器０１２による文字加工処理として文字情報Ｉｃを映像ストリームＳＶｃに含まれていた状態から拡大／縮小させて表示する拡倍処理である。

先ずステップＳ１５０２において、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ１５０４に進む。

ステップＳ１５０４において、拡倍させる文字画素Ｐｃ（ｘ，ｙ）が選択される。そして、制御は次のステップＳ１５０６に進む。

ステップＳ１５０６において、当該文字画素Ｐｃ（ｘ，ｙ）の文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出される。そして、制御は次のステップＳ１５０８に進む。

ステップＳ１５０８において、拡倍対象である文字画素Ｐｃ（ｘ，ｙ）の内で、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御は上述のステップＳ１５０４に戻り、ステップＳ１５０４〜ステップＳ１５０６における処理が繰り返されて、全ての拡倍対象である文字画素Ｐｃ（ｘ，ｙ）の文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出された後に、本ステップでＮｏと判断される。そして、制御は次の文字消去サブルーチン＃１０００に進む。

文字消去サブルーチン＃１０００において、拡倍させる文字画素Ｐｃ（ｘ，ｙ）が消去された、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが生成される（Ｓ１３１２）。そして、制御は次のステップＳ１５１０に進む。

ステップＳ１５１０において、拡倍された後の文字情報Ｉｃに対応する文字画素Ｐｃ（ｘ，ｙ）を求める。具体的には、文字情報Ｉｃを構成する文字画素Ｐｃ（ｘ，ｙ）の座標（ｘ，ｙ）に拡倍量Ｍを乗算して、拡倍後の文字画素Ｐｃ（ｘ×Ｍ、ｙ×Ｍ）を求める。なお、拡倍量Ｍは、０より大きな任意の整数である。つまり、拡倍処理によって、拡倍後の文字情報Ｉｃの大きさかは、拡倍前より大きくても小さくても良い。そして、制御は次のステップＳ１５１２に進む。

ステップＳ１５１２において、文字画素Ｐｃ（ｘ×Ｍ、ｙ×Ｍ）に相当する画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）を特定する。そして、制御は次のステップＳ１５１４に進む。

ステップＳ１５１４において、ステップＳ１５１２において特定された画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）の全てに対して、拡倍処理を施す順番を決定すると共に、その順番にしたがって１つずつ選択する。そして、制御は次のステップＳ１５１６に進む。

ステップＳ１５１６において、ステップＳ１５１４において選択された画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒのそれぞれをステップＳ１５０６において抽出された文字画素Ｐｃ（ｘ，ｙ）の文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きする。このようにして、元の文字画素Ｐｃ（ｘ，ｙ）と同じ輝度および色差を有する画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）によって、文字情報Ｉｃが拡大される。そして、制御は次のステップＳ１５１８に進む。

ステップＳ１５１８において、ステップＳ１５１２で特定された画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）の内で、その輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒのそれぞれが、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きされていないものが残っていないかが判断される。全ての画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）が上書きされて、文字情報Ｉｃが拡大された後に制御は次のステップＳ１５２０に進む。

ステップＳ１５２０において、上述のステップＳ１３１２において生成されて、出力用メモリ００４に格納されている被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが、ステップＳ１５１６で書き換えられた輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒによって更新される。そして、更新された被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが後処理器０１５によって合成されて、文字情報Ｉｃが移動した映像ストリームＳＶｔが生成される。

なお、拡倍量Ｍが１より小さい場合には、拡倍処理によって、１つ以上の文字画素Ｐｃ（ｘ，ｙ）が、１つの画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）で表現される。よって、文字情報Ｉｃのみならず、線幅も縮小される。一方、拡倍量Ｍが１より大きい場合には、隣接する複数の文字画素Ｐｃ（ｘ，ｙ）によって表現されていた線が、拡倍量Ｍによっては、数個の画素Ｐ（ｘ，ｙ）分だけ離間した画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）によって表現される。このような場合、本来１本として表される線が互いに離間した複数の細線或いは、互いに離間した点の集まりとして表現されて、見難いものとになる。このような事態を避けるために、ステップＳ１５１８とステップＳ１５２０の間に、画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）の間に位置する画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒのそれぞれを文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きするステップを設けてれば良い。

次に、図２５を参照して、注目領域回避サブルーチン＃１６００の動作について説明する。注目領域回避サブルーチン＃１６００は、文字加工器０１２による文字加工処理として、画面画像Ｉにおいて人間が注目する注目領域と、人間が注目しない背景などの動きの少ない非注目領域を自動的に判別して、非注目領域に文字情報Ｉｃを移動させる処理である。なお、文字情報Ｉｃの移動は、上述の文字情報移動サブルーチン＃１４００を利用して行われる。すなわち映像ストリームＳｖｃにおけるそれぞれのフレーム毎に、算出された非注目領域と現在の文字情報Ｉｃ領域の距離を算出し、算出された距離だけ文字情報Ｉｃを移動させる。

注目領域回避サブルーチン＃１６００が開始すると、先ず、
ステップＳ１６０２において、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ１６０４に進む。

ステップＳ１６０４において、入力用メモリ００３から出力される輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号に基づいて、映像ストリームＳＶｃのフレーム毎に非注目領域が認識される。そして、制御は次のステップＳ１６０６に進む。

ステップＳ１６０６において、ステップＳ１６０４において認識された非注目領域の範囲が算出される。好ましくは、非注目領域は、４点で規定される矩形として認識される。そして、この４点に対応する画素Ｐ（ｘ，ｙ）の座標と共に、非注目領域の中心に対応する画素Ｐ（ｘ，ｙ）が求められる。なお、説明の便宜上、この非注目領域の中心に対応する画素Ｐ（ｘ，ｙ）を非注目領域中心画素Ｐｎｎと呼ぶ。そして、制御は次のステップＳ１６０８に進む。

ステップＳ１６０８において、文字画素座標情報Ｃｐに登録されている全ての文字画素Ｐｃ（ｘ，ｙ）と非注目領域中心画素Ｐｎｎとの水平方向距離および垂直方向距離のそれぞれの平均値である非注目領域水平移動距離Ｌｈｎおよび非注目領域垂直移動距離Ｌｖｎが算出される。なお、上述の移動量Ｓは、非注目領域水平移動距離Ｌｈｎおよび非注目領域垂直移動距離Ｌｖｎで決定される量である。そして、制御は次の文字情報移動サブルーチン＃１４００Ｒに進む。

文字情報移動サブルーチン＃１４００Ｒ、図２３に示した文字情報移動サブルーチン＃１４００から、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃを読み出すステップＳ１４０２を削除したものである。なお、文字情報移動サブルーチン＃１４００Ｒにおいては、削除されたステップＳ１４０２の変わりに、上述のステップＳ１６０２で読み出された文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃと、移動量Ｓ１６０８において求められた移動量Ｓに基づいて、文字情報Ｉｃは非注目領域に移動される。

図２６を参照して、本発明の実施の形態に係る映像処理装置における記録装置について説明する。記録装置Ａｒは、上述の映像処理装置Ａｖｐにより生成された映像ストリームＳｖｔを、記録媒体０１９に記録する機能を実現する為に、エンコーダ０１６、記録部０１７、記録コントローラ０１８を含む。エンコーダ０１６は、上述の後処理器０１５より入力される映像ストリームＳｖｔを記録媒体０１９への記録に適したデータ形式になるようにエンコードして、記録用映像ストリームＳｖｔｒを生成する。記録部０１７は記録用映像ストリームＳｖｔｒを記録媒体０１９に記録する。なお、記録コントローラ０１８は、記録装置Ａｒの全体（エンコーダ０１６および記録部０１７）の動作を制御する。

この場合、記録コントローラ０１８は、映像処理装置Ａｖｐの後処理器０１５から映像ストリームＳｖｔを出力させるために、後処理器０１５の動作を制御しても良い。また、記録装置Ａｒは映像処理装置Ａｖｐと一体的に構成することもできる。この場合、記録コントローラ０１８の機能はシステムコントローラ０３０に兼任させても良い。

次に、図２７を参照して、本発明の実施の形態に係る映像処理装置における再生表示装置について説明する。再生表示装置Ａｐは、上述の映像処理装置Ａｖｐにより生成された映像ストリームＳｖｔを映音像として提示する為に、再生部０２０、表示部０２１、および再生コントローラ０２２を含む。再生部０２０は後処理器０１５から入力される映像ストリームＳｖｔに基づいて、表示部０２１による画像表示および発声に適した形式の映音像信号Ｓａｖを生成する。表示部０２１は再生部０２０から入力される映音像信号Ｓａｖによって、映像或いは音声を提示する。再生コントローラ０２２は、再生装置Ａｐの全体（再生部０２０および表示部０２１）の動作を制御する。

この場合、再生コントローラ０２２は、映像処理装置Ａｖｐの後処理器０１５から映像ストリームＳｖｔを出力させるために、後処理器０１５の動作を制御しても良い。また、再生装置Ａｐは映像処理装置Ａｖｐと一体的に構成することもできる。この場合、再生コントローラ０２２の機能はシステムコントローラ０３０に兼任させても良い

本発明に係る映像処理装置は、映像ストリームに組み込まれた緊急ニュースなどの文字情報の消去、移動、及び拡倍などの加工に用いることができ、さらにＤＶＤレコーダなどの記録装置やモニタなどの表示装置にも適用できる。

本発明は、例えばテレビジョン放送における緊急ニュースなどの映像ストリームに含まれる字幕に代表される文字情報を、抽出或いは加工する映像処理装置およびその方法に関する。

通常のテレビジョン放送において放送されている番組の録画中に、緊急ニュースなどの文字情報が放送中の番組の画面中に付加されて放送されることがある。このような場合、ユーザは番組の録画を欲しているが、基本的に緊急ニュース自体の録画は望まない。つまり、映像ストリームに含まれる緊急放送などの文字情報は、リアルタイムで視聴する場合は意味を持つが、録画したストリームを視聴する場合（即ち時間が経過した場合）には文字情報が必要でない場合が多い。また、映像ストリームを集中して視聴したい視聴者にとっては、文字情報は快適な視聴の妨げとなる。
そのために、放送されている番組に付加されている文字情報を消去する技術が従来提案されている。そのような技術の例として、放送側で、本来の映像信号とは別に補間信号を入力して映像ストリームを生成しておき、必要に応じて、受信側で映像ストリームから映像信号のみを再生する技術が提案されている（特許技術文献１）。
特開平９−２００６８４号公報

しかしながら、上述の方法においては、映像ストリームとは別に補間信号を挿入して、映像ストリームを作成しておくために、放送の前に、補間信号を用意しておかなければならず、緊急時に即応してニュースを放送するという目的を実質上果たすことができない。それゆえに、緊急時にも直ちに、放送中の番組に文字情報を付加できると共に、必要に応じて付加した番組の画面から文字情報を消去できると言う相反する要望を満たす映像処理方法が必要とされている。
よって、本発明は、放送側で映像信号とは別に補間信号を用意して映像ストリームを生成する必要が無く、受信側で文字放送が付加された映像ストリームから文字情報を精度良く抽出し、消去や移動といった必要な加工を施し、視聴者が望むような映像ストリームを生成できる映像処理方法およびその装置を提供することを目的とする。

本発明は、入力される映像ストリームに組み込まれた文字情報に選択的に処理を施す映像処理方法であって、
前記映像ストリームをフレーム単位で輝度情報を示す輝度フレームと、色差情報を示す複数の色差フレームとに分離する映像ストリーム分離ステップと、
前記輝度情報および前記輝度情報の少なくとも何れかに基づいて、前記組み込まれた文字情報を認識する文字認識ステップと、
前記認識された文字情報に対して、消去、移動、および拡倍の少なくとも何れかの処理を施す文字加工ステップとを備える。

本発明に係る映像処理方法は、例えば緊急ニュースなどの文字情報が含まれる映像ストリームから、文字情報を加工した映像ストリームを生成できる。例えば、ＤＶＤレコーダなどの録画機を用いて録画したテレビ番組に文字情報が含まれていた場合、この再生に本発明を適用することによって、文字情報を消去した映像ストリームを再生でき、視聴者の要望にあった快適な視聴環境を提供できる。

先ず、図１を参照して、本発明に係る映像処理装置について説明する。映像処理装置Ａｖｐは、前処理器００２、入力用メモリ００３、文字認識器０１１、文字加工器０１２、文字表示画素テーブル記憶メモリ０１３、文字表示フレームテーブル記憶メモリ０１４、出力用メモリ００４、および後処理器０１５を含む。映像処理装置Ａｖｐは、さらに、全体の動作を制御するシステムコントローラ０３０および、制御に必要なデータを記憶するメモリ０４０を含む。

前処理器００２は、外部から入力される元々のストリームＳｖ（図示せず）に、文字情報Ｉｃ（図２）が組み込まれた映像ストリームＳｖｃを、フレーム毎に、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒに分離して、入力用メモリ００３に出力する。なお、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒは、それぞれ、図面においては、Ｙ、Ｃｂ、およびＣｒと表示されている。また、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号をフレーム信号と総称する。

入力用メモリ００３は、映像処理装置Ａｖｐが映像ストリーム中のある任意のＮフレーム目のフレーム信号に対して処理を行う際に、Ｎフレーム目の前後のある一定時間幅の映像ストリーム量を格納できる容量を持つ記憶領域である。なお、入力用メモリ００３は、輝度フレームメモリ００５、色差Ｃｂフレームメモリ００６、および色差Ｃｒフレームメモリ００７を含む。前処理器００２よって分離された、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号はそれぞれ、輝度フレームメモリ００５、色差Ｃｂフレームメモリ００６、および色差Ｃｒフレームメモリ００７に格納される。

文字認識器０１１は、輝度フレームメモリ００５、色差Ｃｂフレームメモリ００６、および色差Ｃｒフレームメモリ００７のそれぞれから供給される輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号に文字情報Ｉｃが含まれるかどうかを判定する。文字認識器０１１は、さらに、フレーム内のどの画素が文字情報Ｉｃを示す文字画素かを認識して、文字画素の座標位置を表す文字画素座標情報Ｃｐを生成して、文字表示画素テーブル記憶メモリ０１３に出力する。本明細書においては、説明の便宜上、映像ストリームが表す画面画像を構成する画素を画素Ｐと呼び、画面画素において文字情報Ｉｃを表す画素を文字画素Ｐｃと呼んでそれぞれを識別する。

画面画像は、ラスタスキャンの順番に配置された無数の画素で構成される。そして画素のそれぞれは、水平方向の位置と垂直方向の位置のそれぞれに対応する座標（ｘ，ｙ）によって識別される。つまり、画素Ｐおよび文字画素Ｐｃのそれぞれを識別する場合には、画素Ｐ（ｘ，ｙ）および文字画素Ｐｃ（ｘ，ｙ）と表現される。本明細書においては、必要に応じて、個々の画素Ｐおよび文字画素Ｐｃを、それぞれ画素Ｐ（ｘ，ｙ）および文字画素Ｐｃ（ｘ，ｙ）と識別するものとする。

文字表示画素テーブル記憶メモリ０１３はさらに、文字情報Ｉｃを表すと認識された（輝度信号Ｙ、色差Ｃｂ信号、色差Ｃｒ信号の少なくとも何れかと）画素Ｐを、文字画素Ｐｃとして表す文字画素座標情報Ｃｐを生成して、文字表示画素テーブル記憶メモリ０１３に出力する。文字画素座標情報Ｃｐは文字画素Ｐｃを特定する、いわば画面画像における文字画素Ｐｃの座標（ｘ，ｙ）を表すデータである。つまり、文字画素Ｐｃ（ｘ，ｙ）のデータが文字表示画素テーブル記憶メモリ０１３において、テーブル状に記録されることより、文字画素座標情報Ｃｐを文字表示画素テーブルと呼ぶことができる。

文字表示フレームテーブル記憶メモリ０１４は、文字画素座標情報Ｃｐに基づいて、文字情報Ｉｃが発見されたフレームを登録する。文字フレーム情報Ｆｃはフレームテーブルを構成するデータであり、この意味において文字フレーム情報Ｆｃを文字表示フレームテーブルと呼ぶことができる。なお、文字フレーム情報Ｆｃは、フレーム番号などの通常フレームの識別に用いられているもので良い。文字認識器０１１は、文字認識処理後に、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号を文字加工器０１２に出力する。なお、後ほど、図２〜図１９を参照して、文字認識器０１１について詳述する。

文字表示画素テーブル記憶メモリ０１３は、文字画素座標Ｃｐを文字加工器０１２に供給する。同様に、文字表示フレームテーブル記憶メモリ０１４は、文字画素Ｐｃを文字加工器０１２に供給する。文字表示画素テーブル記憶メモリ０１３は、文字画素座標Ｃｐおよび文字フレーム情報Ｆｃに基づいて、文字認識器０１１から入力された輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号に含まれる文字情報成分に対して、移動、各倍、および消去に代表される加工処理を施した後に出力用メモリ００４に出力する。この加工処理が施された、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号をそれぞれ、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴと識別する。図面においては、それぞれ、ＹＴ、ＣｂＴ、およびＣｒＴと表示されている。なお、文字表示画素テーブル記憶メモリ０１３については、後ほど図２０〜図２５を参照して詳述する。

出力用メモリ００４は、被処理輝度フレームメモリ００８、被処理色差Ｃｂフレームメモリ００９、および被処理色差Ｃｒフレームメモリ０１０を含む（図面では、それぞれ、Ｙフレームメモリ、Ｃｂフレームメモリ、Ｃｒフレームメモリと表示）。なお、出力用メモリ００４は、入力用メモリ００３と同様に、Ｎフレーム目の前後の一定時間幅の映像ストリーム量を格納できる容量を持つ記憶領域である。輝度フレームメモリ００５、色差Ｃｂフレームメモリ００６、および被処理色差Ｃｒフレームメモリ０１０には、それぞれ、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが一時的に格納される。

出力用メモリ００４は所定時間だけ、被処理輝度信号ＹＴ、色差Ｃｂ信号、および色差Ｃｒ信号を保持した後に後処理器０１５に出力する。後処理器０１５は、被処理輝度信号ＹＴ、被処理色差ＣｂＴ信号、および被処理色差ＣｒＴ信号をＹ／Ｃ合成して映像ストリームＳｖｔを生成して出力する。なお、映像ストリームＳｖＹは、映像ストリームＳｖｃに含まれている文字情報Ｉｃが処理を受けている点を除いては、基本的に映像ストリームＳｖｃと同一である。このようにして、映像処理装置Ａｖｐに対して、文字情報Ｉｃを含む映像ストリームＳｖｃが入力されると、文字情報Ｉｃに対して、移動や各倍や消去などの加工が施された映像ストリームＳｖｔが生成されて出力される。

次に、図２〜図１９を参照して、文字認識器０１１について説明する。図２に、映像ストリームＳｖｃの表す任意のＮフレーム目の画面画像Ｉの一例を示す。なお、画面画像Ｉは、Ｈ×Ｖ個の画素Ｐ（ｘ，ｙ）で構成される。なお、ＨおよびＶはそれぞれ、規格ごとに定められている所定の整数値である。なお、ｘは水平（Ｈ）方向の位置を示し、ｙは垂直方向の位置を示す。

同例においては、画面画像Ｉの大部分は、地面Ｅと建物Ｂと空Ｓとで構成されている。そして、画面画像Ｉの上部の空Ｓの部分に「ＡＢＣＤＥＦＧＨＩ」が表示されている。つまり、この「ＡＢＣＤＥＦＧＨＩ」が映像ストリームＳｖに組み込まれた文字情報Ｉｃであり、文字情報Ｉｃ以外の画像が元の映像ストリームＳｖである。つまり、文字認識器０１１は、映像ストリームＳｖｃの各フレームに含まれる「ＡＢＣＤＥＦＧＨＩ」（文字情報Ｉｃ）を認識する。本例においては、「ＡＢＣＤＥＦＧＨＩ」を表す画素Ｐが文字画素Ｐｃである。

図３に、文字認識器０１１の文字認識動作を表すフローチャートを示す。文字認識器０１１による文字認識は、検索範囲指定サブルーチン＃１００、高輝度値画素検索サブルーチン＃２００、同一色検索サブルーチン＃３００、文字表示領域認識サブルーチン＃４００、文字線幅認識サブルーチン＃５００、文字縁取り認識サブルーチン＃６００、点滅表示認識サブルーチン＃７００、および移動表示認識サブルーチン＃８００を含む。

前処理器００２によってＹ／Ｃ分離された映像ストリームＳｖｃのフレーム信号である、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号が文字認識器０１１に入力された時点で、文字認識動作が開始される。
まず、検索範囲指定サブルーチン＃１００において、画面上における文字情報Ｉｃの検索範囲が予め指定される。一般的に、緊急ニュースなどの文字情報Ｉｃは画面の上下左右の端部に表示されることが多い。よって、画面画像Ｉにおいて、文字情報Ｉｃを探索する対象範囲である探索範囲Ｒｓを任意の範囲に限定しておくことで、文字情報Ｉｃの誤検出の低減を図る。図２に例示する画面画像Ｉでは、文字情報Ｉｃは画面の上部に表示されているので、探索範囲Ｒｓは画面の上部に設定される。

次に、図４を参照して、映像ストリームＳｖｃに、後から組み込まれた文字情報Ｉｃとは別に、元の映像ストリームにも文字情報が含まれている場合の探索範囲Ｒｓについて説明する。図４に示す画面画像Ｉは、図３に示した画面画像Ｉと類似しているが、画像の中央部の空Ｓの部分にも、表示されている建物Ｂの説明として「１９７０年 建 築」との文字が表示されている。この「１９７０年 建 築」は、画像の説明のためのキャプションＣｓであって、映像ストリームＳｖに組み込まれた文字情報Ｉｃではない。同図に示すように、画像の説明のためにキャプションＣｓは、文字情報Ｉｃとは異なる場所に表示されることが多い。なお、図２および図４に示す例では、文字情報Ｉｃは画面の上部に表示されているが、映画の字幕などの場合は、画像の下部に表示されることが多い。何れにしても、映像ストリームＳｖに後から組み込まれる文字情報Ｉｃは、画面画像Ｉにおいて、画像作成者の意図をできるだけ損なわないような部分に表示されることが多い。

このように、文字情報ＩｃとキャプションＣｓが混在する可能性があり、さらに文字情報Ｉｃの存在する場所の特定が困難な場合には、探索範囲Ｒｓを指定する変わりに、文字情報Ｉｃが存在し得ない領域を非探索範囲Ｒｓｃとして指定する。結果、探索範囲Ｒｓを指定する場合に比べては劣るもの、文字認識処理の負荷を低減すると共に、文字情報Ｉｃの誤検出の確率を防止あるいは、誤検出を防止できる。つまり、探索範囲Ｒｓあるいは非探索範囲Ｒｓｃの指定を行わなくとも、処理負荷が増大および文字情報Ｉｃの誤検出の確率の増大を除けば、本サブルーチンの有無は文字認識処理に影響を与えない。

図５を参照して、検索範囲指定サブルーチン＃１００における動作の詳細について説明する。検索範囲指定サブルーチン＃１００においては、先ず、
ステップＳ１０２において、ユーザに対して、入力される映像ストリームＳｖｃに対して、文字画素Ｐｃを探す範囲である探索範囲Ｒｓ又は、文字画素Ｐｃを探さない非探索範囲Ｒｓｃの何れかを設定するか否かが問い合わされる。この問い合わせは、テレビなどの映像ストリームＳｖｃの画像を表示するモニタ（図示せず）に、メッセージを表示するようにしても良いし、音声で行っても良い。この問い合わせに対して、ユーザはリモコンやマウスなどの入力手段を用いて、Ｙｅｓ或いはＮｏの回答を入力する。ユーザがＹｅｓを入力した場合、制御は次のステップＳ１０４に進む。

ステップＳ１０４においては、ユーザは探索範囲Ｒｓ又は非探索範囲Ｒｓｃを指定する。好ましくは、ユーザは、上述のモニタに表示される映像ストリームＳｖｃの画面画像Ｉに対して、マウスなどの入力手段を用いて、探索範囲Ｒｓ或いは非探索範囲Ｒｓｃを指定する。なお、指定された探索範囲Ｒｓ或いは非探索範囲Ｒｓｃは、画像を構成する画素Ｐの座標（ｘ，ｙ）の集合を表す情報として、文字認識器０１１に入力される。そして、検索範囲指定サブルーチン＃１００が終了する。なお、ステップＳ１０２において、ユーザがＮｏを回答した場合には、制御は上述のステップＳ１０４をスキップして、検索範囲指定サブルーチン＃１００が終了する。

次に、図６を参照して、高輝度値画素検索サブルーチン＃２００における動作について説明する。高輝度値画素検索サブルーチン＃２００は、緊急ニュースなどの文字情報Ｉｃは、一般的に、画面上に高輝度で表示される特徴に基づいて、文字情報Ｉｃを表示する画素を抽出する。図６に、入力用輝度Ｙフレームメモリ００５に格納されている輝度信号Ｙであって、図４の画像における文字情報Ｉｃの「Ａ」を含む部分の輝度画面画像ＩＹを部分的に拡大して示すと共に、同輝度画面画像ＩＹの水平方向のラインＬｎ上の輝度分布ＤＹを示している。なお、輝度画面画像ＩＹは、Ｈ×Ｖ個の輝度画素ＰＹ（ｘ，ｙ）で構成される。図６において、一つ一つの升目が、輝度画素ＰＹ（ｘ，ｙ）を示している。なお、輝度画素ＰＹ（ｘ，ｙ）も特に個々を識別する必要のない場合には、単に輝度画素ＰＹと呼ぶ。

また、輝度分布ＤＹにおいて、縦軸はラインＬｎ上の輝度画素ＰＹ（ｘ，ｙ）の輝度値ＶＹを示し、横軸はラインＬｎ上の輝度画素ＰＹ（ｘ，ｙ）を示している。なお、説明の便宜上、必要に応じて、輝度画面画像ＩＹにおいて、文字情報Ｉｃを表示する輝度画素ＰＹを文字輝度画素ＰＹｃと呼び、ストリームＳｖを表示する画素をストリーム輝度画素ＰＹｓと呼び、それぞれを識別する。同様に、文字輝度画素ＰＹｃおよびストリーム輝度画素ＰＹｓの輝度値ＶＹをそれぞれ、文字輝度値ＶＹｃおよびストリーム輝度値ＶＹｓと識別する。

本例においては、ラインＬｎは文字情報Ｉｃの「Ａ」の上部を横切っている。このように、輝度画面画像ＩＹにおいて、文字情報Ｉｃの文字を構成する文字輝度画素ＰＹｃの文字輝度値ＶＹｃは、映像ストリームＳｖを表示しているストリーム輝度画素ＰＹｓのストリーム輝度値ＶＹｓより大きい。よって、本発明においては、文字輝度値ＶＹｃとストリーム輝度値ＶＹｓを峻別する輝度閾値Ｖｔｈを予め設定しておき、輝度閾値Ｖｔｈより大きな輝度値ＶＹを有する輝度画素ＰＹを文字輝度値ＰＹｃとして抽出する。なお、このような輝度画面画像ＩＹを構成する個々の輝度画素ＰＹ（ｘ，ｙ）の輝度値ＶＹを、予定の輝度閾値Ｖｔｈと比較するには、好ましくは、ラスタスキャンの順番に行われる。

つまり、高輝度値画素検索サブルーチン＃２００においては、上述の文字輝度値ＰＹｃの抽出処理が、検索範囲指定サブルーチン＃１００で定められた検索範囲内の全ての画素Ｐに対して施される。文字情報Ｉｃであるとして抽出された文字輝度画素ＰＹｃの座標（ｘ，ｙ）を表す文字画素座標情報Ｃｐが生成される。そして、文字表示画素テーブル記憶メモリ０１３は、文字画素座標情報Ｃｐに基づいて、抽出された文字輝度画素ＰＹｃの座標（ｘ，ｙ）を登録する。また、文字輝度画素ＰＹｃが抽出されたフレームを表す文字フレーム情報Ｆｃが生成される。文字表示フレームテーブル記憶メモリ０１４は、文字フレーム情報Ｆｃに基づいて、文字輝度画素ＰＹｃが抽出されたフレームを登録する。言い換えれば、文字画素座標情報Ｃｐは文字表示画素テーブル記憶メモリ０１３に格納され、文字フレーム情報Ｆｃは文字表示フレームテーブル記憶メモリ０１４に格納される。

次に、図７を参照して、上述の高輝度値画素検索サブルーチン＃２００における動作を詳細に説明する。高輝度値画素検索サブルーチン＃２００が開始すると、先ず、
ステップＳ２０２において、上述の輝度閾値Ｖｔｈが設定される。好ましくは、ユーザがリモコンなどの入力手段を用いて、適切な値を入力する。しかしながら、映像ストリームＳｖｃの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め決めておいた輝度閾値Ｖｔｈを格納しておく手段から、供給されるように構成しても良い（図１）。そして、制御は次のステップＳ２０４に進む。

ステップＳ２０４において、映像ストリームＳｖｃの輝度信号Ｙの全ての輝度画素ＰＹ（ｘ，ｙ）に対して、文字輝度画素ＰＹｃであるかを判別する文字輝度画素検出処理を施す順番が決定されると共に、決定された順番に処理を施す輝度画素ＰＹ（ｘ，ｙ）が１つずつ選択される。好ましくは、選択された輝度画素ＰＹ（ｘ，ｙ）毎に、文字輝度画素検出処理が終了するたびに、ｘおよびｙの値をラスタスキャンの順番にカウントアップして、検索対象を更新する。そして、制御は次のステップＳ２０６に進む。

ステップＳ２０６において、輝度画素ＰＹ（ｘ，ｙ）の座標値（ｘ，ｙ）を、上述のステップＳ１０４において指定された探索範囲Ｒｓ或いは非探索範囲Ｒｓｃを表す座標値（ｘ，ｙ）と比較して、輝度画素ＰＹが探索範囲Ｒｓ内或いは非探索範囲Ｒｓｃ内であるか否かが判断される。Ｙｅｓの場合、制御は次のステップＳ２０８に進む。

ステップＳ２０８において、輝度画素ＰＹ（ｘ，ｙ）の輝度値ＶＹが輝度閾値Ｖｔｈより大きいか否かが判断される。Ｙｅｓ、つまり輝度画素ＰＹ（ｘ，ｙ）が文字輝度画素ＰＹｃであると判断される場合、制御は次のステップＳ２１０に進む。

ステップＳ２１０において、文字輝度画素ＰＹｃであると判断された輝度画素ＰＹ（ｘ，ｙ）の座標（ｘ，ｙ）に基づいて、文字画素座標情報Ｃｐが生成される。そして、制御は次のステップＳ２１２に進む。

ステップＳ２１２において、文字輝度画素ＰＹｃと判断された輝度画素ＰＹ（ｘ，ｙ）が含まれるフレームの識別子に基づいて、文字フレーム情報Ｆｃが生成される。そして、制御は次のステップＳ２１４に進む。

なお、上述のステップＳ２０６およびステップＳ２０８においてＮｏと判断される場合は、制御は、ステップＳ２０８、Ｓ２１０、およびＳ２１２の処理をスキップして、直接ステップＳ２１４に進む。

ステップＳ２１４において、ステップＳ２０４において、検索対象として設定された全ての輝度画素ＰＹ（ｘ，ｙ）のうちで、検索がされていないものが残っているか否かが判断される。具体的には、現在の検索対象の輝度画素ＰＹのｘ、ｙ座標の値が、ステップＳ２０４で設定された最大値より小さいか否かが判断される。Ｙｅｓの場合、制御はステップＳ２０４に戻って、次のラスタスキャン順位にある輝度画素ＰＹが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。

ステップＳ２１４でＹｅｓ、つまり、現フレームの輝度信号Ｙに対して文字輝度画素ＰＹｃの認識が完了した時点で、制御は次のステップＳ２１６に進む。

ステップＳ２１６において、ステップＳ２１０およびステップＳ２１２において、全輝度画素ＰＹに関して生成された、認識された文字輝度画素ＰＹｃを表す文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃがそれぞれ文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４に記録される。すなわち、文字輝度画素ＰＹｃが文字表示画素テーブル記憶メモリ０１３に登録され、そのフレームが文字表示フレームテーブル記憶メモリ０１４に登録される。そして、高輝度値画素検索サブルーチン＃２００を終了して、制御は同一色検索サブルーチン＃３００に進む。

なお、上述のように、フレームの全ての輝度画素ＰＹに対する文字輝度画素検出処理の完了後に、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃを完成させて登録するのではなく、文字輝度画素ＰＹｃが検出される毎に、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃとして文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４に登録しても良い。

同一色検索サブルーチン＃３００は、一般的に緊急ニュースなどの文字情報Ｉｃは同一色で表示される特徴に基づいて、高輝度値画素検索サブルーチン＃２００における輝度閾値Ｖｔｈに基づいて検出した文字輝度画素ＰＹｃに対して、同一色（色差の程度）というフィルタを適用して、文字情報Ｉｃの認識精度を上げるものである。なお、本発明においては、同一色であるか否かは、色差Ｃｂ信号および色差Ｃｒ信号の何れに基づいても同様に、判断される。よって、冗長をさけるために、本明細書においては、色差Ｃｂ信号に基づく説明をもって、色差Ｃｒ信号に基づく説明を省略する。

図８を参照して、同一色検索サブルーチン＃３００に処理について、具体的に説明する。図８は、色差Ｃｂフレームメモリ００６に格納されている色差Ｃｂ信号であって、図４の画像における文字情報Ｉｃの「Ａ」を含む部分の色差Ｃｂ画面画像Ｉｃｂを拡大して示すと共に、色差Ｃｂ画面画像Ｉｃｂの水平方向のラインＬｎ上の色差Ｃｂ分布Ｄｃｂを示している。

色差Ｃｂ画面画像Ｉｃｂは、基づく信号が色差Ｃｂ信号である点を除いて、上述の輝度画面画像ＩＹと同様に構成されている。つまり、色差Ｃｂ画面画像Ｉｃｂにおいて、一つ一つの升目が、色差Ｃｂ画面画像Ｉｃｂの色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）を示している。ｘおよびｙは、それぞれ色差Ｃｂ画面画像Ｉｃｂにおける水平方向の座標、および垂直方向の座標を示す。

また、色差Ｃｂ分布Ｄｃｂにおいて、縦軸はラインＬｎ上の色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）の色差Ｃｂ値Ｖｃｂを示し、横軸はラインＬｎ上の色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）を示している。なお、説明の便宜上、必要に応じて、文字情報Ｉｃを表示する色差Ｃｂ画素を色差Ｃｂ文字画素ＰｃｂＣと呼び、ストリームＳｖを表示する色差Ｃｂ画素を色差Ｃｂストリーム画素ＰｃｂＳと呼び、それぞれを識別すると共に、両者を色差Ｃｂ画素ＰＣｂと総称する。同様に、色差Ｃｂ文字画素ＰｃｂＣおよび色差Ｃｂストリーム画素ＰＣｂＳの色差値Ｖｃｂをそれぞれ、文字色差Ｃｂ値ＶｃｂＣおよびストリーム色差Ｃｂ値ＶｃｂＳと識別する。

本例においては、ラインＬｎは文字情報Ｉｃの「Ａ」の上部を横切っている。文字情報Ｉｃが同一色で表示されているとすれば、ステップ＃２００で登録された文字輝度画素ＰＹｃに対応する色差Ｃｂ画素Ｐｃｂの色差Ｃｂ値ＶｃｂＣの平均値は、文字表示色とほぼ同様の値を持つ。よって、文字の表示色は、高輝度値画素検索サブルーチン＃２００で登録された、全ての色差Ｃｂ画素ＰｃｂのＣｂ色差値Ｖｃｂの平均値±誤差αの範囲内に収まるはずであるので、この範囲外となった、色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）に対応する文字輝度画素ＰＹｃ（ｘ，ｙ）を文字表示画素テーブル記憶メモリ０１３から登録削除する。なお、αは任意の許容量であり、入力される映像ストリームＳｖｃや映像処理装置Ａｖｐに関して、適切に決定される。このようにして、高輝度値画素検索サブルーチン＃２００による文字輝度画素ＰＹｃの検出に基づく、文字情報Ｉｃの認識精度の向上を図っている。しかしながら、本高輝度値画素検索サブルーチン＃２００の処理が、本発明における文字情報Ｉｃ認識に不可欠と言う訳ではない。

次に、図９を参照して、上述の同一色検索サブルーチン＃３００における動作について、色差Ｃｂフレーム画像を例に詳細に説明する。なお、色差Ｃｒフレーム画像の場合も、色差Ｃｂフレーム画像の場合と同様であるので、説明を省く。

同一色検索サブルーチン＃３００が開始すると、先ず、
ステップＳ３０２において、同一色検索を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「同一色検索を行うか」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームＳｖｃの種類と文字情報Ｉｃの種類の組み合わせにおいて、同一色検索を行うか否かを予め決めておいても良い。そして、制御は次のステップＳ３０４に進む。

ステップＳ３０４において、文字表示画素テーブル記憶メモリ０１３から文字画素座標情報Ｃｐが読み出され、色差Ｃｂ画面画像Ｉｃｂにおいて、文字画素座標情報Ｃｐに記録されている文字画素Ｐｃ輝度信号Ｙ（ｘ，ｙ）に対応する色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）が特定される。そして、制御は次のステップＳ３０６に進む。

ステップＳ３０６において、特定された全ての色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）のＣｂ色差値Ｖｃｂが検出される。そして、検出されたＣｂ色差値Ｖｃｂの平均値である平均Ｃｂ色差値Ｖｃｂ（ｍｅａｎ）が算出される。そして、制御は次のステップＳ３０８に進む。

ステップＳ３０８において、上述の誤差αに基づいて、２つの同一色差Ｃｂ閾値Ｖｃｂ１、およびＶｃｂ２が次式（１）および（２）に従って生成される。
Ｖｃｂ１＝Ｖｃｂ（ｍｅａｎ）−α ・・・・（１）
Ｖｃｂ２＝Ｖｃｂ（ｍｅａｎ）＋α ・・・・（２）
そして、制御は次のステップＳ３１０に進む。

ステップＳ３１０において、ステップＳ３０４で特定された全ての色差Ｃｂ画素Ｐｃｂに対して、同一色であるかを判断する同一色判定処理を施す順番が決定されると共に、決定された順番に色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）が１つずつ選択される。好ましくは、設定された色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）毎に、同一色判定処理が終了するたびに、ｘおよびｙの値をラスタスキャンの順番にカウントアップして、検索対象が選択される。そして、制御は次のステップＳ３１２に進む。

ステップＳ３１２において、ステップＳ３１０で選択された色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）のＣｂ色差値Ｖｃｂが、同一色差Ｃｂ閾値Ｖｃｂ１より大きく、且つ同一色差Ｃｂ閾値Ｖｃｂ２より小さいか否かが判断される。Ｎｏ、つまり、当該色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）は、文字情報Ｉｃを表す色差Ｃｂ文字画素ＰｃｂＣではないと判断場合、制御は次のステップＳ３１４に進む。

ステップＳ３１４において、文字画素座標情報Ｃｐが補正される。具体的には、文字画素座標情報ＣｐからステップＳ３１２において、色差Ｃｂ文字画素ＰｃｂＣではないと判断された色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）に相当する文字輝度画素ＰＹｃの（ｘ，ｙ）座標が文字画素座標情報Ｃｐから削除されるように、文字画素座標情報Ｃｐが補正される。そして、制御は次のステップＳ３１６に進む。

ステップＳ３１６において、ステップＳ３０４において、検索対象として特定された全ての色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）のうちで、検索がされていないものが残っているか否かが判断される。具体的には、現在の検索対象の色差Ｃｂ画素Ｐｃｂの（ｘ，ｙ）座標の値が、ステップＳ３０４で設定された最大値より小さいか否かが判断される。Ｙｅｓの場合、制御はステップＳ３１２に戻って、次のラスタスキャン順位にある色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）が選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。

ステップＳ３１６でＹｅｓ、つまり、現フレームの色差Ｃｂ信号に対して同一色検索処理が完了した時点で、制御は次のステップＳ３１８に進む。

ステップＳ３１８において、ステップＳ３１６で補正された文字画素座標情報Ｃｐに基づいて、必要であれば、文字フレーム情報Ｆｃが補正される。具体的には、色差Ｃｂ文字画素ＰｃｂＣではないと判断された色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）に対応する文字輝度画素ＰＹｃの削除により、文字フレーム情報Ｆｃに登録されているフレームに含まれる文字輝度画素ＰＹｃが文字画素座標情報Ｃｐに登録されなくなった時に、当該フレームが文字フレーム情報Ｆｃから登録削除される。そして、同一色検索サブルーチン＃３００の処理が終了する。

一方、上述のステップＳ３０２において、Ｎｏと判断される場合には、制御は上述のステップＳ３０２〜Ｓ３１８をスキップして、つまり同一色検索サブルーチン＃３００にお同一色判定処理を実行することなく、次の文字表示領域認識サブルーチン＃４００に進む。

また、ステップＳ３１２においてＹｅｓ、つまり、色差Ｃｂ画素Ｐｃｂ（ｘ，ｙ）は、色差Ｃｂ文字画素ＰｃｂＣであると判断される場合、制御は文字画素座標情報Ｃｐを補正するステップＳ３１４をスキップしてステップＳ３１６に進む。そして、ステップＳ３１８を経て、同一色検索サブルーチン＃３００の処理を終了して、制御は文字表示領域認識サブルーチン＃４００に進む。

文字表示領域認識サブルーチン＃４００は、一般的に緊急ニュースなどの文字情報Ｉｃは画面上である限定された領域に密集して表示される特徴に基づいて、さらに文字情報Ｉｃの認識精度の向上を図るものである。簡単に言えば、上述の処理において、文字画素Ｐｃとして検出された画素Ｐの内で、他の文字画素Ｐｃと相対的に離れた位置に存在する画素を抽出して、文字画素座標情報Ｃｐから文字画素としての登録を削除するものである。なお、ここでいう文字画素Ｐｃとは、高輝度値画素検索サブルーチン＃２００で登録された文字輝度画素ＰＹｃおよび、同一色検索サブルーチン＃３００で登録された色差Ｃｂ文字画素ＰｃｂＣの何れであっても良い。

よって、今後、特に対象文字画素Ｐｃの種類に限定する必要が内場合には、文字表示画素テーブル記憶メモリ０１３に登録されている文字情報Ｉｃを表す画素Ｐを、全て文字画素Ｐｃと総称して説明する。つまり、本例においては、文字表示画素テーブル記憶メモリ０１３に登録されている文字輝度画素ＰＹｃおよび色差Ｃｂ文字画素ＰｃｂＣ（ＰｃｒＣ）を文字画素Ｐｃと総称する。

図１０を参照して、文字表示領域認識サブルーチン＃４００における処理の基本的な考え方について説明する。図１０は、文字情報Ｉｃが「ＡＢＣＤＥＦＧＨＩ」ではなく、「ＡＢＣＤＥＦＧＨＩＪＫＬＭＮ」と「ＯＰＱＲＳＴＵＶＷＸＹＺ」とが２段に表示されていると共に、ノイズＮが表示されている点を除いて、基本的に図２に例示した画面画像Ｉと同じである。なお、文字情報Ｉｃが表示されている範囲を、文字表示領域Ｒｉｃと呼ぶ。このような画面画像Ｉにおいて、ノイズＮの輝度値ＶＹが輝度閾値Ｖｔｈ大きい場合（ステップＳ２０８でＹｅｓ）、さらにＣｂ色差値ＶｃｂおよびＣｒ色差値Ｖｃｒが所定閾値内である場合（ステップＳ３１２でＹｅｓ）の場合には、ノイズＮは文字情報Ｉｃとして誤認識されてしまう。つまり、ノイズＮを構成する画素Ｐは、文字画素Ｐｃとして誤って文字表示画素テーブル記憶メモリ０１３、および／或いは文字表示フレームテーブル記憶メモリ０１４に登録されてしまう。文字表示領域認識サブルーチン＃４００では、このような誤認識を以下のようにして防止する。

ノイズＮと文字情報Ｉｃとは、以下のようにして識別される。つまり、文字表示画素テーブル記憶メモリ０１３に登録されている全ての文字画素Ｐｃ（文字輝度画素ＰＹｃ、色差Ｃｂ文字画素ＰｃｂＣ）の内の１つと、他の全ての文字画素Ｐｃとの距離の総和“Ｌ”を算出する。このＬを個々の文字画素Ｐｃの他画素間総距離Ｌと呼ぶ。この他画素間総距離Ｌに基づいて、特定の文字画素Ｐｃが文字表示領域Ｒｉｃに対してどの程度離れた位置に表示されているかを判定する。次に、他画素間総距離Ｌの平均値である平均他画素間総距離Ｌ（ｍｅａｎ）に比べて極端に大きな値の他画素間総距離Ｌを持つ文字画素Ｐｃは、文字情報Ｉｃを表すものではないとして、文字表示画素テーブル記憶メモリ０１３に格納されている文字フレーム情報Ｆｃから削除される。

次に、図１１を参照して、文字表示領域認識サブルーチン＃４００における動作を詳細に説明する。文字表示領域認識サブルーチン＃４００が開始すると、先ず、
ステップＳ４０２において、文字表示領域認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「文字表示領域認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め文字表示領域認識を行うか否かを決めておいても良い。そして、制御は次のステップＳ４０４に進む。

ステップＳ４０４において、文字表示画素テーブル記憶メモリ０１３から文字画素座標情報Ｃｐが読み出され、同文字画素座標情報Ｃｐに基づいて、文字画素Ｐｃ（ｘ，ｙ）が特定される。そして、制御は次の本ステップＳ４０６に進む。

ステップＳ４０６において、ステップＳ４０４で特定された全ての文字画素Ｐｃ（ｘ，ｙ）に対して、他画素間総距離Ｌを求める順番が決定されると共に、決定された順番に文字画素Ｐｃを１つずつ選択される。そして、制御は次のステップＳ４０８に進む。

ステップＳ４０８において、ステップＳ４０６で選択された文字画素Ｐｃに関して他ｒ画素間総距離Ｌが算出される。そして、制御は次のステップＳ４１０に進む。

ステップＳ４１０において、ステップＳ４０４において、領域確認対象として特定された全ての文字画素Ｐｃのうちで、他画素間総距離Ｌが算出されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ４０６に戻って、次の文字画素Ｐｃが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての文字画素Ｐｃに関して、他画素間総距離Ｌが算出された時点で、制御は次のステップＳ４１２に進む。

ステップＳ４１２において、平均他画素間総距離Ｌ（ｍｅａｎ）が算出される。そして、制御は次のステップＳ４１４に進む。

ステップＳ４１４において、ステップＳ４０６におけるのと同様に、他画素間総距離Ｌを平均他画素間総距離Ｌ（ｍｅａｎ）と比較する文字画素Ｐｃが選択される。そして、制御は次のステップＳ４１６に進む。

ステップＳ４１６において、他画素間総距離Ｌが平均他画素間総距離Ｌ（ｍｅａｎ）より、所定距離γだけ小さいか否かが判断される。なお、γは、映像ストリームＳＶｃの画質等によって適宜決められる距離である。Ｎｏ、つまり文字画素Ｐｃは文字情報Ｉｃでは無いと判断される場合、制御は次のステップＳ４１８に進む。

ステップＳ４１８において、文字画素座標情報Ｃｐが補正される。具体的には、文字画素座標情報ＣｐからステップＳ４１６において、文字情報Ｉｃではないと判断された文字画素Ｐｃの（ｘ，ｙ）座標が、文字画素座標情報Ｃｐから削除される。そして、制御は次のステップＳ４２０に進む。

ステップＳ４２０において、ステップＳ４１０におけるのと同様に、ステップＳ４１４において、比較として選択される全ての文字画素Ｐｃのうちで、平均他画素間総距離Ｌ（ｍｅａｎ）との比較が行われていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ４１４に戻って、次の文字画素Ｐｃが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての文字画素Ｐｃに関して、平均他画素間総距離Ｌ（ｍｅａｎ）との比較が行われた時点で、制御は次のステップＳ４２２に進む。

ステップＳ４２２において、ステップＳ４１８において補正されて文字画素座標情報Ｃｐに基づいて、必要であれば、上述のステップＳ３１６におけるのと同様に文字フレーム情報Ｆｃが補正される。そして、文字表示領域認識サブルーチン＃４００の処理が終了する。

次に、図１２を参照して、文字線幅認識サブルーチン＃５００における処理の基本的な考え方について説明する。文字線幅認識サブルーチン＃５００は、一般的に文字は一定の文字線幅で描かれる特徴に基づいて、文字画素Ｐｃの水平および垂直方向への出現の連続性から文字の線幅を抽出し、極端にかけ離れた連続値を持つ文字画素Ｐｃを文字情報Ｉｃではないと判断して、文字画素座標情報Ｃｐから登録削除することで、文字認識の精度のなおさらなる向上をはかるものである。

図１２に、図４に示した画面画像Ｉにおける文字情報Ｉｃの「Ｄ」を含む限定領域Ｒｃが拡大表示されていると共に、文字画素Ｐｃの連続値分布Ｄｃを示す。同図に示されるように文字はある一定の文字線幅Ｃｗｌで描画される。よって、水平または垂直方向への文字登録画素の連続値分布Ｄｃは、文字線幅Ｃｗｌの値の付近に集中する。仮に連続値Ｃが文字線幅Ｃｗｌより大きい場合でも、文字は一文字一文字独立しているので、文字サイズ幅Ｃｗ以上となることはない。また、この文字サイズ幅Ｃｗはフォントにもよるが、一般的に文字線幅Ｃｗｌの数倍〜数十倍程度である。よって、連続値Ｃが文字線幅Ｃｗｌより極端に大きな連続値Ｃを持つ文字画素Ｐｃは文字情報Ｉｃでないと判断して、文字画素座標情報Ｃｐから登録削除する。

図１３に示すフローチャートを参照して、文字線幅認識サブルーチン＃５００における動作の詳細を説明する。文字線幅認識サブルーチン＃５００が開始すると、先ず、
ステップＳ５０２において、文字線幅認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「文字線幅認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームＳｖｃの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め文字線幅認識を行うか否かを決めておいても良い。そして、制御は次のステップＳ５０４に進む。

ステップＳ５０４において、文字表示画素テーブル記憶メモリ０１３から文字画素座標情報Ｃｐが読み出され、同文字画素座標情報Ｃｐに基づいて、文字画素Ｐｃが特定される。そして、制御は次の本ステップＳ５０６に進む。

ステップＳ５０６において、ステップＳ５０４で特定された文字画素Ｐｃに対して、文字線幅認識処理を施す順番が決定されると共に、決定された順番に文字画素Ｐｃを１つずつ選択される。好ましくは、設定された文字画素Ｐｃ毎に、同一色判定処理が終了するたびに、ｘおよびｙの値をラスタスキャンの順番にカウントアップして、検索対象が選択される。そして、制御は次のステップＳ５０８に進む。

ステップＳ５０８において、ステップＳ５０６で選択された文字画素Ｐｃに対して、水平方向の連続値Ｃｈをカウントする。そして、制御は次のステップＳ５１０に進む。

ステップＳ５１０において、ステップＳ５０６で選択された文字画素Ｐｃに対して、垂直方向の連続値Ｃｖがカウントされる。そして、制御は次のステップＳ５１２に進む。

ステップＳ５１２において、ステップＳ５０４において、特定された全ての文字画素Ｐｃのうちで、連続値Ｃｈおよび連続値Ｃｖがカウントされていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ５０６に戻って、次の文字画素Ｐｃが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての文字画素Ｐｃに関して、連続値Ｃｈおよび連続値Ｃｖがカウントされた時点で、制御は次のステップＳ５１４に進む。

ステップＳ５１４において、ステップＳ５０８でカウントされた連続値Ｃｈの平均をとって、文字サイズ幅Ｃｗｌが求められる。そして、制御は次のステップＳ５１６に進む。

ステップＳ５１６において、ステップＳ５１０でカウントされた連続値Ｃｖの平均をとって、文字サイズ幅Ｃｗが求められる。そして、制御は次のステップＳ５１８に進む。

ステップＳ５１８において、連続値Ｃｈが文字線幅Ｃｗｌより極端に大きいか否かが判断される。なお、この極端の程度は、映像ストリームＳＶｃおよび文字情報Ｉｃに基づいて、適宜決定される。Ｙｅｓ、つまり文字画素Ｐｃは、文字サイズ幅Ｃｗｌの観点からみれば文字情報Ｉｃに対応するものでは無いと判断される場合、制御は次のステップＳ５２０に進む。

ステップＳ５２０において、文字画素Ｐｃが文字画素座標情報Ｃｐから登録削除される。そして、制御はステップＳ５２２に進む。

ステップＳ５２２において、連続値Ｃｖが文字サイズ幅Ｃｗより極端に大きいか否かが判断される。なお、この極端の程度は、映像ストリームＳＶｃおよび文字情報Ｉｃに基づいて、適宜決定される。Ｙｅｓ、つまり文字画素Ｐｃは文字線幅Ｃｗｌおよび文字サイズ幅Ｃｗの両方の観点から、文字情報Ｉｃに対応するものでは無いと判断される場合、制御は次のステップＳ５２４に進む。

ステップＳ５２４において、文字画素Ｐｃが文字画素座標情報Ｃｐから登録削除される。なお、本ステップにおいて削除される前に、ステップＳ５２０において、文字画素Ｐｃは既に文字画素座標情報Ｃｐから削除されているので、処理の重複を避ける為に本ステップは省略しても良い。しかしながら、当該文字画素Ｐｃに対する文字線幅確認の精度を確保する為には、本ステップを残すことにより、文字画素Ｐｃが文字線幅Ｃｗｌおよび文字サイズ幅Ｃｗの両方の観点から文字情報Ｉｃに対応するものでは無いとの判定結果を文字画素座標情報Ｃｐに記録することによって、より高精度な文字情報Ｉｃの認識および加工を可能にする。そして、制御はステップＳ５３０に進む。

上述のステップＳ５２２においてＮｏ、つまり文字画素Ｐｃは、文字線幅Ｃｗｌの観点からは文字情報Ｉｃに対応するものと判断さ、文字サイズ幅Ｃｗの観点からも文字情報Ｉｃに対応するものであると判断される場合、制御はステップＳ５２４をスキップして、ステップＳ５３０に進む。

また、上述のステップＳ５１８においてＮｏ、つまり文字画素Ｐｃは文字サイズ幅Ｃｗｌの観点からみれば文字情報Ｉｃに対応するものであると判断される場合、制御はステップＳ５２６に進む。

ステップＳ５２６において、ステップＳ５２２におけるのと同様に、連続値Ｃｖが文字サイズ幅Ｃｗより極端に大きいか否かが判断される。Ｙｅｓ、つまり文字画素Ｐｃは、文字線幅Ｃｗｌの観点からみれば文字情報Ｉｃと判断されるが、文字サイズ幅Ｃｗの観点からは、文字情報Ｉｃでは無いと判断される場合、制御は次のステップＳ５２８に進む。

ステップＳ５２８において、文字画素座標情報Ｃｐから文字画素Ｐｃが文字画素座標情報Ｃｐから登録削除される。なお、本ステップにおいては、文字画素座標情報Ｃｐには文字画素Ｐｃが、文字線幅Ｃｗｌの観点からは文字情報Ｉｃであると判断されるが、文字サイズ幅Ｃｗの観点からは文字情報Ｉｃではないと判断されることも記録することによって、より高精度な文字情報Ｉｃの認識および加工を可能にする。

ステップＳ５３０において、上述のステップＳ５２０、Ｓ５２４、およびＳ５３０のぞれぞれで補正された文字画素座標情報Ｃｐに基づいて、文字フレーム情報Ｆｃが補正される。そして、文字線幅認識サブルーチン＃５００の処理は終了する。なお、上述のステップＳ５０２においてＮｏの場合は、制御はステップＳ５０２〜Ｓ５３０をスキップして、文字線幅認識処理を行わないで、文字縁取り認識サブルーチン＃６００に進む。

次に、図１４および図１５を参照して、文字縁取り認識サブルーチン＃６００における処理について説明する。文字縁取り認識サブルーチン＃６００は、文字の表示方法として頻繁に用いられる一定色で、各文字が縁取られて表示される文字情報Ｉｃを認識するものである。図１４に、図４に示した文字情報Ｉｃの「Ｃ」を含む限定領域を拡大して示す。同図に例示するように、一般的に文字を縁取りする際に、その縁取り画素Ｐｏの色は同一である。即ち、縁取り部分に位置する画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差Ｃｂおよび色差Ｃｒのそれぞれの値は同一である。いいかえれば、輝度値ＶＹ、色差Ｃｂおよび色差Ｃｒのそれぞれの値が同一の画素Ｐ（ｘ，ｙ）は、縁取り画素Ｐｏの可能性が非常に高い。

よって、文字表示画素テーブル記憶メモリ０１３に登録されている文字画素Ｐｃの周辺に位置する画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒの値がそれぞれ同一であるかどうかを判定し、ある一定割合以上の周辺画素Ｐ（ｘ，ｙ）が同一の輝度値ＶＹ、色差Ｃｂ、色差Ｃｒを持つ場合は、文字が縁取り表示されていると認識する。なお、周辺に位置する画素Ｐ（ｘ，ｙ）とは、文字画素Ｐｃの水平そして垂直方向の正負方向に、それぞれ最も近接する文字画素Ｐｃではない４つの画素Ｐ（ｘ，ｙ）を言う。

そして、文字表示画素テーブル記憶メモリ０１３に、文字の表示方法として縁取りが用いられている事を記憶する。この場合、好ましくは、検出された縁取り画素Ｐｏの座標（ｘ，ｙ）も文字画素座標情報Ｃｐの一部として記録される。抽出された縁取り画素Ｐｏの縁取り色で周辺画素が描画されていない文字画素Ｐｃの登録を削除することで文字情報Ｉｃの認識精度をさらに向上させる。文字画素の誤検出を低減させる。

図１５を参照して、文字縁取り認識サブルーチン＃６００における詳細な動作について説明する。文字縁取り認識サブルーチン＃６００が開始すると、先ず、
ステップＳ６０２において、文字の縁取認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「文字の縁取認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め文字縁取確認を行うか否かを決めておいても良い。そして、制御は次のステップＳ６０４に進む。

ステップＳ６０４において、文字表示画素テーブル記憶メモリ０１３から文字画素座標情報Ｃｐが読み出され、同文字画素座標情報Ｃｐに基づいて、文字画素Ｐｃが特定される。そして、制御は次の本ステップＳ６０６に進む。

ステップＳ６０６において、ステップＳ６０４において特定された文字画素Ｐｃの周辺画素Ｐｐの座標（ｘ，ｙ）が特定される。さらに、特定された周辺画素Ｐｐの総数Ｎｐｐが算出される共にカウンタＣｔがゼロにセットされる。なお、上述のように、本例においては、文字画素Ｐｃの水平そして垂直方向の正負方向に、それぞれ最も近接する文字画素Ｐｃではない４つの画素Ｐ（ｘ，ｙ）が周辺画素Ｐｐとして特定される。そして、制御は次のステップＳ６０８に進む。

ステップＳ６０８において、ステップＳ６０６で特定された周辺画素Ｐｐに対して、縁度認識処理を施す順番が決定されると共に、決定された順番に周辺画素Ｐｐが１つずつ選択される。好ましくは、設定された周辺画素Ｐｐ毎に、縁取認識処理が終了するたびに、ｘおよびｙの値をラスタスキャンの順番にカウントアップして、次の周辺画素Ｐｐが選択される。そして、制御は次のステップＳ６１０に進む。

ステップＳ６１０において、周辺画素Ｐｐの輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒが検出さられる。そして、制御は次のステップＳ６１２に進む。

ステップＳ６１２において、ステップＳ６０６において、特定された全ての周辺画素Ｐｐのうちで、輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒが検出されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ６０８に戻って、次の周辺画素Ｐｐが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての文字画素Ｐｃに関して、連続値Ｃｈおよび連続値Ｃｖがカウントされた時点で、制御は次のステップＳ６１４に進む。

ステップＳ６１４において、求められた全ての輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒそれぞれの平均をとって、平均輝度値ＶＹ（ｍｅａｎ）、平均色差値ＶＣｂ（ｍｅａｎ）、および平均色差値ＶＣｒ（ｍｅａｎ）が求められる。そして、制御は次のステップＳ６１５に進む。

ステップＳ６１５において、ステップＳ６０８におけるのと同様に、但し、周辺画素Ｐｐが同一色で表示されているか否かを判断する順番が決定されると共に、決定された順番に周辺画素Ｐｐが１つずつ選択される。そして、制御は次のステップＳ６１６に進む。

ステップＳ６１６において、ステップＳ６１５において選択された周辺画素Ｐｐに関して、輝度値ＶＹ、色差Ｃｂ値信号、および色差値ＶＣｒのそれぞれが、平均輝度値ＶＹ（ｍｅａｎ）、平均色差値ＶＣｂ（ｍｅａｎ）、および平均色差値ＶＣｒ（ｍｅａｎ）と同程度の値を有するか否かが判断される。なお、同程度の度合いは、映像ストリームＳＶｃおよび文字情報Ｉｃ、さらに縁取に応じて、適宜決められる。Ｙｅｓ、つまり当該周辺画素Ｐｐは縁取り画素Ｐｏであると判断される場合、制御は次のステップＳ６１８に進む。

ステップＳ６１８において、カウンタＣｔが１だけインクリメントされる。そして、制御は次のステップＳ６２０に進む。

ステップＳ６２０において、ステップＳ６１２におけるように、但し、ステップＳ６１５において選択された周辺画素Ｐｐのうちで、縁取り画素Ｐｏであるかの判断が下されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御はステップＳ６１５に戻って、次の周辺画素Ｐｐが選択される。以降、本ステップでＮｏと判断されるまで、上述の処理が繰り返される。そして、Ｎｏ、つまり全ての周辺画素Ｐｐが縁取り画素Ｐｏであるか否かの判断が成された時点で、制御は次のステップＳ６１８に進む。

一方、上述のステップＳ６１６においてＮｏ、つまり当該周辺画素Ｐｐは縁取り画素Ｐｏでないと判断される場合、ステップＳ６１８およびステップＳ６２０をスキップして、制御はステップＳ６１５に戻る。

ステップＳ６２２において、ステップＳ６１８で求められたカウンタＣｔの値を、周辺画素Ｐｐの総数Ｎｐｐで除算して、同一色で表示されている周辺画素Ｐｐの同一色割合Ｄを求める。そして、制御は次のステップＳ６２４に進む。

ステップＳ６２４において、ステップＳ６１５におけると同様に、但し、周辺画素Ｐｐが縁取画素であるか否かを判断する順番が決定されると共に、決定された順番に周辺画素Ｐｐが１つずつ選択される。そして、制御は次のステップＳ６２６に進む。

ステップＳ６２６において、ステップＳ６２２で求められた同一色割合Ｄが、割合閾値Ｄｔｈより小さいか否かが判断される。なお、割合閾値Ｄｔｈは、映像ストリームＳＶｃ、文字情報Ｉｃ、および縁取りの状態に応じて、適宜決められる。そして、制御は次のステップＳ６２８に進む。Ｙｅｓ、つまり周辺画素Ｐｐは縁取り画素Ｐｏでは無いと判断される場合、制御は次のステップＳ６２８に進む。

ステップＳ６２８において、当該周辺画素Ｐｐに対応する周辺画素Ｐｐが、文字画素座標情報Ｃｐから登録削除される。そして、制御は次のステップＳ６３０に進む。

ステップＳ６３０において、周辺画素Ｐｐが文字画素座標情報Ｃｐとして文字表示画素テーブル記憶メモリ０１３に登録される。そして、制御は次のステップＳ６３２に進む。

ステップＳ６３２において、文字画素座標情報Ｃｐに基づいて、文字フレーム情報Ｆｃが適宜補正される。そして、制御は次のステップＳ６３４に進む。

ステップＳ６３４において、ステップＳ６２４において選択される、全ての周辺画素Ｐｐで縁取画素であるか否かが判断されていないものが残っているか否かが判断される。Ｎｏの場合制御は、ステップＳ６２４にも戻る。

上述のステップＳ６２６でＮｏと判断される場合、制御はステップＳ６２８、Ｓ６３０、Ｓ６３２、およびＳ６３４をスキップして、ステップＳ６２４に戻る。

ステップＳ６３４において、Ｎｏと判断されたときに文字縁取り認識サブルーチン＃６００の処理は終了する。

次に、図１６および図１７を参照して、点滅表示認識サブルーチン＃７００における処理について説明する。点滅表示認識サブルーチン＃７００は 文字の表示方法として頻繁に用いられる、消去と表示を一定時間毎に繰り返して、各文字が点滅表示される文字情報Ｉｃを認識するものである。図１６に、左か右へと時間の経過と共に、３つの画面画像Ｉｂ１、Ｉｂ２、およびＩｂ３が示されている。画面画像Ｉｂ１には文字情報Ｉｃが表示されており、画面画像Ｉｂ２には文字情報Ｉｃが表示されておらず、画面画像Ｉｂ３には画面画像Ｉｂ１と同様に文字情報Ｉｃが表示されている。点滅表示では時間軸方向に対して、画面画像Ｉｂ１および画面画像Ｉｂ２のように文字情報Ｉｃが表示さる文字表示区間Ｐ１と文字消去区間Ｐ２とが交互に出現し、且つ時間軸上のどこにおいても文字表示区間Ｐ１と文字消去区間Ｐ２との時間的長さ、つまり期間はそれぞれ一定である。

図１７に示すフローチャートを参照して、点滅表示認識サブルーチン＃７００の動作の詳細を説明する。点滅表示認識サブルーチン＃７００が開始すると、先ず、
ステップＳ７０２において、点滅表示認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「点滅表意認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め点滅表意認識を行うか否かを決めておいても良い。そして、制御は、次のステップＳ７０４に進む。

ステップＳ７０４において、文字表示フレームテーブル記憶メモリ０１４から文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ７０６に進む。

ステップＳ７０６において、文字フレーム情報Ｆｃに基づいて、文字表示フレームテーブル記憶メモリ０１４に登録されたフレームの連続性から、文字表示区間Ｐ１が検出される。そして制御は、次のステップＳ７０８に進む。

ステップＳ７０８において、文字フレーム情報Ｆｃに基づいて、文字表示フレームテーブル記憶メモリ０１４に登録されたフレームの連続性が途切れている間の時間から文字消去区間Ｐ２が検出される。そして制御は、次のステップＳ７１０に進む。

ステップＳ７１０において、文字情報Ｉｃは点滅表示であるか否かが判断される。具体的には、ステップＳ７０６とステップＳ７０８においてそれぞれ検出された文字表示区間Ｐ１と文字消去区間Ｐ２が所定値を持っている場合、点滅表示と判断される。そして、制御は、次のステップＳ７１２に進む。

ステップＳ７１２において、文字情報Ｉｃは点滅表示であることが文字フレーム情報Ｆｃに記憶される。そして制御は、点滅表示認識サブルーチン＃７００の処理が終了する。

なお、ステップＳ７１０において、文字情報Ｉｃは点滅表示ではないと判断される場合、制御はステップＳ７１２をスキップして、点滅表示認識サブルーチン＃７００の処理が終了する。同様に、ステップＳ７０２においてＮｏの場合、制御はステップＳ７０４〜Ｓ７１０をスキップして、点滅表示認識サブルーチン＃７００の処理が終了する。

次に、図１８および図１９を参照して、移動表示認識サブルーチン＃８００について説明する。移動表示認識サブルーチン＃８００は、文字の表示方法として頻繁に用いられる、文字情報Ｉｃが一定の速度で水平または垂直方向に移動する移動表示を認識する処理である。図１８に、移動表示であるフレームで表示された文字画素が時間軸の進行方向に対し水平に移動して表示される様子を示す。すなわち、ある時間におけるフレームＮ上の文字情報Ｉｃは、フレームＮ±β（βは任意の正の整数）における文字画素Ｐｃを水平または垂直方向にβフレーム分移動させたものに一致するはずである。

すなわち、文字表示画素テーブル記憶メモリ０１３に登録されているフレームＮの文字画素Ｐｃの分布と、文字表示画素テーブル記憶メモリ０１３に登録されたフレームＮ±βにおける文字画素Ｐｃの位置を水平または垂直方向にβフレーム分ずらしたものの分布が一致する場合、文字情報Ｉｃは移動表示されていると認識すると共に、文字情報Ｉｃがβフレーム分移動表示されていることを文字表示画素テーブル記憶メモリ０１３に記憶する。

次に、図１９を参照して、移動表示認識サブルーチン＃８００の動作について詳細に説明する。移動表示認識サブルーチン＃８００の動作が開始すると、先ず、
ステップＳ８０２において、移動表示認識を行うか否かが判断される。好ましくは、ユーザに対して、モニタに「移動表示認識を行うか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、映像ストリームの種類と文字情報Ｉｃの種類の組み合わせにおいて、予め移動表示認識を行うか否かを決めておいても良い。Ｙｅｓの場合、制御は次のステップＳ８０４に進む。

ステップＳ８０４において、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃがそれぞれ文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から読み出される。そして、制御は、次のステップＳ８０６に進む。

ステップＳ８０６において、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃに基づいて、フレームＮ（Ｎは任意の正の整数）の、文字画素Ｐｃの画面画像Ｉにおける画素分布Ｄｎを求める。そして、制御は次のステップＳ８０８に進む。

ステップＳ８０８において、フレームＮ±βにおける文字画素Ｐｃの画面画像Ｉにおける画素分布Ｄβを求める。正確に言えば、フレームＮに対してβフレーム分だけ前の画素分布Ｄβ−と、フレームＮに対してβフレーム分だけ後の画素分布Ｄβ＋の２種類が存在するが、紙面および説明の便宜上、画素分布Ｄβ−と画素分布Ｄβ＋とを画素分布Ｄβと総称する。そして、制御は次のステップＳ８１０に進む。

ステップＳ８１０において、次式（３）に基づいて、フレームＮにおける画面画像Ｉｎにおける文字情報Ｉｃが最大動き得る量を表す移動係数ｄが算出される。
ｄ ＝ − ρ ＋ △ρ ・・・・ （３）
移動量ρは、画面画像Ｉｎにおける画素解像度に対応する移動量、Δρは、画面画像Ｉｎにおける画素解像度に対応する最小移動量。そして、制御は次のステップＳ８１２に進む。

ステップＳ８１２において、ステップＳ８０４で求めた画素分布Ｄｎに基づいて、フレームＮに対して移動係数ｄだけ移動した時の画素分布Ｄｎ（ｄ）が算出される。そして制御は、次のステップＳ８１４に進む。

ステップＳ８１４において、ステップＳ８１２で求めた画素分布Ｄｎ（ｄ）がステップＳ８０８で求められた画素分布Ｄβと一致するか否かが判断される。具体的には、画素分布Ｄβから画素分布Ｄｄを減じた値が０になるか否かが判断される。Ｙｅｓ、つまり一致する（減算結果が０の）場合、制御は次のステップＳ８１６に進む。

ステップＳ８１６において、文字情報Ｉｃが移動表示であることを、文字フレーム情報Ｆｃおよび文字画素座標情報Ｃｐに書き込む。そして、制御は次のステップＳ８１８に進む。

一方、上述のステップＳ８１４でＮｏ、つまり、画素分布Ｄｎ（ｄ）は画素分布Ｄβと一致しないと判断される場合、制御はステップＳ８１６をスキップして、ステップＳ８１８に進む。

ステップＳ８１８において、ステップＳ８１０でΔρずつインクリメントされた移動係数ｄが移動量ρ以上であるか否かが判断される。Ｎｏ、つまり、画面画像Ｉｎにおける文字情報Ｉｃの最大移動可能範囲に対する画素分布Ｄｎ（ｄ）に関して、画素分布Ｄβと一致の判断が終わっていないことを意味するので、制御は上述のステップＳ８１０に戻る。

Ｙｅｓの場合、画面画像Ｉｎにおける文字情報Ｉｃの最大移動可能範囲に対する画素分布Ｄｎ（ｄ）に関して、画素分布Ｄβと一致の判断が終わっていることを意味するので、移動表示認識サブルーチン＃８００を終了する。

なお、上述の同一色検索サブルーチン＃３００、文字表示領域認識サブルーチン＃４００、文字認識サブルーチン＃５００、文字縁取り認識サブルーチン＃６００、点滅表示認識サブルーチン＃７００、および移動表示認識サブルーチン＃８００は、事前に文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが生成されていれば良い。よって、この意味において、本例においては、先行する高輝度値画素検索サブルーチン＃２００の後であれば、同一色検索サブルーチン＃３００、文字表示領域認識サブルーチン＃４００、文字認識サブルーチン＃５００、文字縁取り認識サブルーチン＃６００、点滅表示認識サブルーチン＃７００、および移動表示認識サブルーチン＃８００のそれぞれを実施する順番は、必要に応じて変更しても良い。さらに、認識対象である文字情報Ｉｃの種類に応じて、同一色検索サブルーチン＃３００、文字表示領域認識サブルーチン＃４００、文字認識サブルーチン＃５００、文字縁取り認識サブルーチン＃６００、点滅表示認識サブルーチン＃７００、および移動表示認識サブルーチン＃８００の内で適当なものを選択して実施しても良い。

次に、図２０および図２１を参照して、文字加工器０１２について説明する。文字加工器０１２は、文字認識器０１１によって認識された文字情報Ｉｃの文字画素Ｐｃに関する情報に基づいて、映像ストリームＳＶｃから文字情報Ｉｃに対して種々の処理を施す機能を有する。文字加工器０１２は、文字情報Ｉｃを消去する文字情報消去機能、文字情報Ｉｃが点滅表示時に文字情報Ｉｃを消去する文字情報消去機能、文字情報Ｉｃが移動表示時に文字情報Ｉｃを削除する文字情報消去機能、文字情報Ｉｃを移動させる文字情報移動機能、文字情報Ｉｃを拡大／縮小表示させる文字情報拡倍機能、および文字情報Ｉｃを特定の注目領域以外の領域に移動表示させる注目領域回避機能を有する。

図２０を参照して、文字加工器０１２の文字加工の主な動作について説明する。文字認識器０１１における上述の認識処理を経て、輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号が文字加工器０１２に入力された時点で、文字加工器０１２の文字加工処理が開始する。なお、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４には、上述の認識処理結果を反映した状態の文字フレーム情報Ｆｃおよｂ文字画素Ｐｃが格納されている。

先ず、ステップＳ１００２において、映像ストリームＳＶｃに対して、文字情報Ｉｃを消去する文字消去処理を実施するか否かがユーザに対して問い合わされる。好ましくは、ユーザに対して、モニタに「文字情報消去処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、制御は次のステップＳ１００４に進む。

ステップＳ１００４において、映像ストリームＳＶｃは、文字情報Ｉｃが点滅表示されているか否かが判断される。具体的には、文字フレーム情報Ｆｃおよび文字画素座標情報Ｃｐに、文字情報Ｉｃが点滅表示である旨の記録があるか否かに基づいて、判断される。 Ｎｏと判断される場合、次のステップＳ１００６に進む。一方、Ｙｅｓの場合、制御は次の点滅表示時文字情報消去サブルーチン＃１１００に進む。

点滅表示時文字情報消去サブルーチン＃１１００において、点滅表示されている文字情報Ｉｃが映像ストリームＳＶｃから消去される。これについては、後ほど詳述する。点滅表示時文字情報消去サブルーチン＃１１００の処理の後、文字加工器０１２による文字加工処理が終了する。

ステップＳ１００６において、映像ストリームＳＶｃは、文字情報Ｉｃが移動表示されているか否かが判断される。具体的には、文字フレーム情報Ｆｃおよび文字画素座標情報Ｃｐに、文字情報Ｉｃが移動表示である旨の記録があるか否かに基づいて、判断される。Ｎｏの場合、制御は文字消去サブルーチン＃１３００に進む。一方、Ｙｅｓの場合、制御は次の移動表示時文字情報消去サブルーチン＃１２００に進む。

移動表示時文字情報消去サブルーチン＃１２００において、移動表示されている文字情報Ｉｃが映像ストリームＳＶｃから消去される。これについては、後ほど詳述する。移動表示時文字情報消去サブルーチン＃１２００の処理の後、文字加工器０１２による文字加工処理が終了する。

文字消去サブルーチン＃１３００において、文字情報Ｉｃが映像ストリームＳＶｃから消去される。これについては、後ほど詳述する。文字消去サブルーチン＃１３００の処理の後、文字加工器０１２による文字加工処理が終了する。

上述のステップＳ１００２においてＮｏ、つまり文字消去処理は実施されない場合、逝去はステップＳ１００８に進む。
ステップＳ１００８において、映像ストリームＳＶｃに対して、文字情報Ｉｃを移動する文字移動処理を実施するか否かがユーザに対して問い合わされる。好ましくは、ユーザに対して、モニタに「文字情報移動処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。さらに、好ましくは、ユーザが所望の移動量Ｓを入力するように構成される。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、文字情報拡倍サブルーチン＃１４００に進む。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、制御は文字情報移動サブルーチン＃１４００に進む。

文字情報移動サブルーチン＃１４００において、文字情報Ｉｃが映像ストリームＳＶｃにおいて、その表示場所が変更、つまり文字情報Ｉｃが画面画像Ｉにおいて移動させられる。これについては、後ほど図２３を参照して詳述する。文字情報移動サブルーチン＃１４００の処理の後、文字加工器０１２による文字加工処理が終了する。

上述のステップＳ１００８においてＮｏ、つまり文字情報移動処理が行われない場合に、制御はステップＳ１０１０に進む。

ステップＳ１０１０において、映像ストリームＳＶｃに対して、文字情報Ｉｃを拡大／縮小表示させる文字情報拡倍処理を実施するか否かがユーザに対して問い合わされる。好ましくは、ユーザに対して、モニタに「文字情報拡倍処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。さらに、好ましくは、ユーザが所望の拡倍率Ｍを入力するように構成される。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、制御は文字情報拡倍サブルーチン＃１５００に進む。

文字情報拡倍サブルーチン＃１５００において、文字情報Ｉｃが映像ストリームＳＶｃにおいて、拡大表示される。これについては、後ほど図２４を参照して詳述する。文字情報拡倍サブルーチン＃１５００の処理の後、文字加工器０１２による文字加工処理が終了する。

上述のステップＳ１０１０においてＮｏ、つまり、文字情報Ｉｃの拡大表示処理が行われない場合、制御はステップＳ１０１２に進む。
ステップＳ１０１２において、文字情報Ｉｃにおける注目領域以外の領域に文字情報Ｉｃを移動表示させるか否かが判断される。好ましくは、ユーザに対して、モニタに「注目領域回避処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、文字画素Ｐｃおよび文字フレーム情報Ｆｃに基づいて、自動的に判断されるようにしても良い。Ｙｅｓの場合、注目領域回避サブルーチン＃１６００に進む。

注目領域回避サブルーチン＃１６００において、文字情報Ｉｃが映像ストリームＳＶｃにおいて、画面画像Ｉの視聴者が注目し易い領域から、視聴者の気にならない領域に移動させられる。これについては、後ほど図２５を参照して詳述する。注目領域回避サブルーチン＃１６００の処理の後、文字加工器０１２による文字加工処理が終了する

このように、文字消去を行う場合に、点滅表示認識サブルーチン＃７００において点滅表示と認識されている場合は、点滅表示時文字情報消去サブルーチン＃１１００において文字情報Ｉｃが消去される。移動表示認識サブルーチン＃８００において移動表示と認識されている場合は、移動表示時文字情報消去サブルーチン＃１２００において文字情報Ｉｃが消去される。その他の場合は、文字情報消去サブルーチン＃１３００において文字情報Ｉｃが消去される。

また、文字移動を行う場合には、文字情報移動サブルーチン＃１４００において文字情報Ｉｃが移動される。また、文字拡倍を行う場合には、文字情報拡倍サブルーチン＃１５００において文字情報Ｉｃが拡倍される。また、注目領域回避を行う場合には、注目領域回避サブルーチン＃１６００において非注目領域に文字情報Ｉｃが移動されて表示される。

次に、図２１および図２２を参照して、文字情報消去サブルーチン＃１３００の動作について説明する。図２１に、画面画像Ｉにおける文字画素Ｐｃを示す。同図において文字画素Ｐｃ（ｘ，ｙ）を消去する方法について述べる。文字画素Ｐｃ（ｘ，ｙ）の水平または垂直方向の正負方向に最も近傍する、文字画素Ｐｃおよび縁取り画素Ｐｏの何れでもない４つの画素Ｐに基づいて、文字画素Ｐｃ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒを線形補間することで文字情報Ｉｃを消去する。なお、文字画素Ｐｃ（ｘ，ｙ）が縁取り画素Ｐｏの場合であっても同様にして、近傍の画素Ｐに基づいて消去する縁取り画素Ｐｏの輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒを補間して消去する。なお、この文字画素Ｐｃ或いは縁取り画素Ｐｏの補間処理は、文字表示画素テーブル記憶メモリ０１３に登録されている文字画素座標情報Ｃｐに基づいて行われて、文字情報Ｉｃの補間値が算出される。

つまり、文字加工器０１２は、００１１から入力される輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号のそれぞれに対して、求めた補間値を上書きして、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴを生成して出力する。 被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴは、それぞれ、出力用メモリ００４の被処理輝度フレームメモリ００８、被処理色差Ｃｂフレームメモリ００９、および被処理色差Ｃｒフレームメモリ０１０に一旦保持された後、後処理器０１５で映像ストリームＳＶｔに合成される。なお、映像ストリームＳＶｔにおいては、映像ストリームＳＶｃに組み込まれていた文字情報Ｉｃは、消去されている。

図２２を参照して、文字消去サブルーチン＃１３００の動作について詳述する。図２０に示すフローチャートにおいて、ステップＳ１００６においてＮｏと判断された時点で、文字消去サブルーチン＃１３００の動作が開始される。
先ず、ステップＳ１３０２において、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ１３０４に進む。

ステップＳ１３０４において、文字画素座標情報Ｃｐに基づいて、フレーム単位で補間処理をする文字画素Ｐｃ（ｘ，ｙ）が選択される。そして、制御は次のステップＳ１３０６に進む。

ステップＳ１３０６において、上述の方法にて、ステップＳ１３０４で選択された文字画素Ｐｃに対する補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、および補間色差値ＶＣｒｔが求められる。そして、制御は次のステップＳ１３０８に進む。

ステップＳ１３０８において、当該文字画素Ｐｃ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒがそれぞれ、ステップＳ１３０６において求められた補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、および色差値ＶＣｒｔで上書きされる。そして、制御は次のステップＳ１３１０に進む。

ステップＳ１３１０において、ステップＳ１３０２において読み出された文字画素座標情報Ｃｐで規定される、補正対象の文字画素Ｐｃ（ｘ，ｙ）の内で、補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、および補間色差値ＶＣｒｔが求められていないものが残っているか否かが判断される。Ｙｅｓの場合、制御は上述のステップＳ１３０４に戻り、ステップＳ１３０４〜ステップＳ１３０８における処理が繰り返されて、当該フレームのおける全ての文字画素Ｐｃ（ｘ，ｙ）が補間輝度値ＶＹｔ、色差値ＶＣｒｔ、および補間色差値ＶＣｂｔによって上書きされて、文字情報Ｉｃが画面画像Ｉから消去される。

このように、文字画素Ｐｃ（ｘ，ｙ）が処理された輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号を、それぞれ被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、被処理色差Ｃｒ信号ＣｒＴと呼ぶ。本ステップにおいてＮｏと判断された時点で、制御は次のステップＳ１３１２に進む。

ステップＳ１３１２において、画素値が書き換えられた文字画素Ｐｃ（ｘ，ｙ）に値王する被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが出力用メモリ００４に出力される。なお、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴは、後処理器０１５によって、映像ストリームＳＶｔに合成される。そして、映像ストリームＳＶｔには、映像ストリームＳＶｃにおいて組み込まれていた文字情報Ｉｃが消去されていることは上述の通りである。なお、ステップＳ１３０６における補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、および色差値ＶＣｒｔの算出の方法を除けば、文字消去サブルーチン＃１３００は基本的に、点滅表示時文字情報消去サブルーチン＃１１００および移動表示時文字情報消去サブルーチン＃１２００にも適用できる。これについては、以下に述べる。

点滅表示時文字情報消去サブルーチン＃１１００は、点滅表示認識サブルーチン＃７００によって文字情報Ｉｃの表示方法が点滅表示であると認識されている場合のみに選択され得る処理である。文字消去の対象である文字画素Ｐｃまたは縁取り画素Ｐｏの輝度値ＶＹと色差値ＶＣｂと色差値ＶＣｒのそれぞれの補間値として、時間的に最も近接する文字消去区間Ｐ２内のフレームにおいて対応する画素Ｐ（ｘ，ｙ）の値が用いられる。この処理を文字表示画素テーブル記憶メモリ０１３に登録された文字画素Ｐｃおよび／或いは、縁取り画素Ｐｏにたいして施すことで文字情報Ｉｃの補間値（補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、色差値ＶＣｒｔ）が算出される。

補間値を求める対象が同一フレームではなく、時間的近接フレームである点を除いて、点滅表示時文字情報消去サブルーチン＃１１００の動作は、上述の文字情報消去サブルーチン＃１３００における動作と同様である。また、文字情報消去サブルーチン＃１３００においても、ステップＳ１３０８において、文字情報消去サブルーチン＃１３００におけるのと同様に、同一フレームではなく、時間的近接フレームから補間値を求めても良い。

文字加工器０１２によって、文字認識器０１１から出力された輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号に対して、この算出された補間値（補間輝度値ＶＹｔ、補間色差値ＶＣｂｔ、色差値ＶＣｒｔ）を上書きして、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴを生成して、出力用メモリ００４を介して後処理器０１５に出力される。そして、後処理器０１５は処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴを合成して、映像ストリームＳＶｔを生成する。この映像ストリームＳＶｔの画面画像Ｉには、映像ストリームＳＶｃで点滅表示されていた文字情報Ｉｃが消去されている。

移動表示時文字情報消去サブルーチン＃１２００は、移動表示認識サブルーチン＃８００によって文字情報Ｉｃの表示方法が移動表示であると判定された場合のみに選択され得る処理である。文字消去の対象となる文字画素Ｐｃまたは縁取り画素Ｐｏの輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒそれぞれの補間値として、対象となる画素が文字画素Ｐｃとして登録されていないフレームのうち、時間的に最も近接するフレームにおいて対応する画素Ｐ（ｘ，ｙ）の値が用いられる。以降の動作は、上述の文字消去サブルーチン＃１３００および点滅表示時文字情報消去サブルーチン＃１１００におけるのと同様である。結果、後処理器０１５から出力される映像ストリームＳＶｔの画面画像Ｉには、映像ストリームＳＶｃで移動表示されていた文字情報Ｉｃが消去されている。

以下に、図２３を参照して、文字情報移動サブルーチン＃１４００の動作の詳細について説明する。文字情報移動サブルーチン＃１４００は、文字情報Ｉｃを映像ストリームＳｖｃにおける位置から別の位置に移動させる文字加工器０１２による処理である。つまり、消去対象とする文字情報Ｉｃが点滅表示であっても、移動表示であっても構わない。

先ずステップＳ１４０２において、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ１４０４に進む。

ステップＳ１４０４において、移動させる文字画素Ｐｃ（ｘ，ｙ）が選択される。そして、制御は次のステップＳ１４０６に進む。

ステップＳ１４０６において、当該文字画素Ｐｃ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒが注意出される。なお、説明の便宜上、本ステップで抽出されて文字画素Ｐｃ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒをそれぞれ、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）と識別する。すなわち、本ステップにおいては、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出される。そして、制御は次のステップＳ１４０８に進む。

ステップＳ１４０８において、移動対象である文字画素Ｐｃ（ｘ，ｙ）の内で、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御は上述のステップＳ１４０４に戻り、ステップＳ１４０４〜ステップＳ１４０６における処理が繰り返されて、移動対象である全ての文字画素Ｐｃ（ｘ，ｙ）の文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出された後に、本ステップでＮｏと判断される。そして、制御は次の文字消去サブルーチン＃１０００に進む。

文字消去サブルーチン＃１０００は、図２２に示した文字消去サブルーチン＃１３００から、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃを読み出すステップＳ１３０２を削除したものである。なお、文字消去サブルーチン＃１０００においては、削除されたステップＳ１３０２の変わりに、上述のステップＳ１４０２で読み出された文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃに基づいて、文字削除処理を行う。移動させる文字画素Ｐｃ（ｘ，ｙ）が消去された、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが生成される（Ｓ１３１２）。そして、制御は次のステップＳ１４１０に進む。

ステップＳ１４１０において、文字情報Ｉｃの移動先である画素Ｐ（ｘ，ｙ）が選択される。この移動先の画素Ｐ（ｘ，ｙ）は、ステップＳ１４０４で選択されえた移動元の文字画素Ｐｃ（ｘ，ｙ）を所定距離分だけ移動させたものに対応する。そして、制御は次のステップＳ１４１２に進む。

ステップＳ１４１２において、ステップＳ１４１０で選択された画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒがそれぞれ、ステップＳ１４０６において求められた文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きされる。そして、制御は次のステップＳ１４１４に進む。

ステップＳ１４１４において、移動先である画素Ｐ（ｘ，ｙ）の内で、輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒが文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）に上書きされていないものが残っているか否かが判断される。Ｙｅｓの場合、制御は上述のステップＳ１４１０に戻り、ステップＳ１４１０〜ステップＳ１４１４における処理が繰り返されて、全ての移動先画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒがそれぞれ文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きされた後に、本ステップでＮｏと判断される。そして、制御は次のステップＳ１４１６に進む。

ステップＳ１４１６において、上述のステップＳ１３１２において生成されて、出力用メモリ００４に格納されている被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが、ステップＳ１４１２で書き換えられた輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒで更新される。そして、更新された被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが後処理器０１５によって合成されて、文字情報Ｉｃが移動した映像ストリームＳＶｔが生成される。

次に、図２４を参照して、文字情報拡倍サブルーチン＃１５００の動作について説明する。文字情報拡倍サブルーチン＃１５００は、文字加工器０１２による文字加工処理として文字情報Ｉｃを映像ストリームＳＶｃに含まれていた状態から拡大／縮小させて表示する拡倍処理である。

先ずステップＳ１５０２において、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ１５０４に進む。

ステップＳ１５０４において、拡倍させる文字画素Ｐｃ（ｘ，ｙ）が選択される。そして、制御は次のステップＳ１５０６に進む。

ステップＳ１５０６において、当該文字画素Ｐｃ（ｘ，ｙ）の文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出される。そして、制御は次のステップＳ１５０８に進む。

ステップＳ１５０８において、拡倍対象である文字画素Ｐｃ（ｘ，ｙ）の内で、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出されていないものが残っているか否かが判断される。Ｙｅｓの場合、制御は上述のステップＳ１５０４に戻り、ステップＳ１５０４〜ステップＳ１５０６における処理が繰り返されて、全ての拡倍対象である文字画素Ｐｃ（ｘ，ｙ）の文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）が抽出された後に、本ステップでＮｏと判断される。そして、制御は次の文字消去サブルーチン＃１０００に進む。

文字消去サブルーチン＃１０００において、拡倍させる文字画素Ｐｃ（ｘ，ｙ）が消去された、被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが生成される（Ｓ１３１２）。そして、制御は次のステップＳ１５１０に進む。

ステップＳ１５１０において、拡倍された後の文字情報Ｉｃに対応する文字画素Ｐｃ（ｘ，ｙ）を求める。具体的には、文字情報Ｉｃを構成する文字画素Ｐｃ（ｘ，ｙ）の座標（ｘ，ｙ）に拡倍量Ｍを乗算して、拡倍後の文字画素Ｐｃ（ｘ×Ｍ、ｙ×Ｍ）を求める。なお、拡倍量Ｍは、０より大きな任意の整数である。つまり、拡倍処理によって、拡倍後の文字情報Ｉｃの大きさかは、拡倍前より大きくても小さくても良い。そして、制御は次のステップＳ１５１２に進む。

ステップＳ１５１２において、文字画素Ｐｃ（ｘ×Ｍ、ｙ×Ｍ）に相当する画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）を特定する。そして、制御は次のステップＳ１５１４に進む。

ステップＳ１５１４において、ステップＳ１５１２において特定された画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）の全てに対して、拡倍処理を施す順番を決定すると共に、その順番にしたがって１つずつ選択する。そして、制御は次のステップＳ１５１６に進む。

ステップＳ１５１６において、ステップＳ１５１４において選択された画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒのそれぞれをステップＳ１５０６において抽出された文字画素Ｐｃ（ｘ，ｙ）の文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きする。このようにして、元の文字画素Ｐｃ（ｘ，ｙ）と同じ輝度および色差を有する画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）によって、文字情報Ｉｃが拡大される。そして、制御は次のステップＳ１５１８に進む。

ステップＳ１５１８において、ステップＳ１５１２で特定された画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）の内で、その輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒのそれぞれが、文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きされていないものが残っていないかが判断される。全ての画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）が上書きされて、文字情報Ｉｃが拡大された後に制御は次のステップＳ１５２０に進む。

ステップＳ１５２０において、上述のステップＳ１３１２において生成されて、出力用メモリ００４に格納されている被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが、ステップＳ１５１６で書き換えられた輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒによって更新される。そして、更新された被処理輝度信号ＹＴ、被処理色差Ｃｂ信号ＣｂＴ、および被処理色差Ｃｒ信号ＣｒＴが後処理器０１５によって合成されて、文字情報Ｉｃが移動した映像ストリームＳＶｔが生成される。

なお、拡倍量Ｍが１より小さい場合には、拡倍処理によって、１つ以上の文字画素Ｐｃ（ｘ，ｙ）が、１つの画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）で表現される。よって、文字情報Ｉｃのみならず、線幅も縮小される。一方、拡倍量Ｍが１より大きい場合には、隣接する複数の文字画素Ｐｃ（ｘ，ｙ）によって表現されていた線が、拡倍量Ｍによっては、数個の画素Ｐ（ｘ，ｙ）分だけ離間した画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）によって表現される。このような場合、本来１本として表される線が互いに離間した複数の細線或いは、互いに離間した点の集まりとして表現されて、見難いものとになる。このような事態を避けるために、ステップＳ１５１８とステップＳ１５２０の間に、画素Ｐ（ｘ×Ｍ、ｙ×Ｍ）の間に位置する画素Ｐ（ｘ，ｙ）の輝度値ＶＹ、色差値ＶＣｂ、および色差値ＶＣｒのそれぞれを文字輝度値ＶＹ（ｃ）、文字色差値ＶＣｂ（ｃ）、および文字色差値ＶＣｒ（ｃ）で上書きするステップを設けてれば良い。

次に、図２５を参照して、注目領域回避サブルーチン＃１６００の動作について説明する。注目領域回避サブルーチン＃１６００は、文字加工器０１２による文字加工処理として、画面画像Ｉにおいて人間が注目する注目領域と、人間が注目しない背景などの動きの少ない非注目領域を自動的に判別して、非注目領域に文字情報Ｉｃを移動させる処理である。なお、文字情報Ｉｃの移動は、上述の文字情報移動サブルーチン＃１４００を利用して行われる。すなわち映像ストリームＳｖｃにおけるそれぞれのフレーム毎に、算出された非注目領域と現在の文字情報Ｉｃ領域の距離を算出し、算出された距離だけ文字情報Ｉｃを移動させる。

注目領域回避サブルーチン＃１６００が開始すると、先ず、
ステップＳ１６０２において、文字表示画素テーブル記憶メモリ０１３および文字表示フレームテーブル記憶メモリ０１４から文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃが読み出される。そして、制御は次のステップＳ１６０４に進む。

ステップＳ１６０４において、入力用メモリ００３から出力される輝度信号Ｙ、色差Ｃｂ信号、および色差Ｃｒ信号に基づいて、映像ストリームＳＶｃのフレーム毎に非注目領域が認識される。そして、制御は次のステップＳ１６０６に進む。

ステップＳ１６０６において、ステップＳ１６０４において認識された非注目領域の範囲が算出される。好ましくは、非注目領域は、４点で規定される矩形として認識される。そして、この４点に対応する画素Ｐ（ｘ，ｙ）の座標と共に、非注目領域の中心に対応する画素Ｐ（ｘ，ｙ）が求められる。なお、説明の便宜上、この非注目領域の中心に対応する画素Ｐ（ｘ，ｙ）を非注目領域中心画素Ｐｎｎと呼ぶ。そして、制御は次のステップＳ１６０８に進む。

ステップＳ１６０８において、文字画素座標情報Ｃｐに登録されている全ての文字画素Ｐｃ（ｘ，ｙ）と非注目領域中心画素Ｐｎｎとの水平方向距離および垂直方向距離のそれぞれの平均値である非注目領域水平移動距離Ｌｈｎおよび非注目領域垂直移動距離Ｌｖｎが算出される。なお、上述の移動量Ｓは、非注目領域水平移動距離Ｌｈｎおよび非注目領域垂直移動距離Ｌｖｎで決定される量である。そして、制御は次の文字情報移動サブルーチン＃１４００Ｒに進む。

文字情報移動サブルーチン＃１４００Ｒ、図２３に示した文字情報移動サブルーチン＃１４００から、文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃを読み出すステップＳ１４０２を削除したものである。なお、文字情報移動サブルーチン＃１４００Ｒにおいては、削除されたステップＳ１４０２の変わりに、上述のステップＳ１６０２で読み出された文字画素座標情報Ｃｐおよび文字フレーム情報Ｆｃと、ステップＳ１６０８において求められた移動量Ｓに基づいて、文字情報Ｉｃは非注目領域に移動される。

図２６を参照して、本発明の実施の形態に係る映像処理装置における記録装置について説明する。記録装置Ａｒは、上述の映像処理装置Ａｖｐにより生成された映像ストリームＳｖｔを、記録媒体０１９に記録する機能を実現する為に、エンコーダ０１６、記録部０１７、記録コントローラ０１８を含む。エンコーダ０１６は、上述の後処理器０１５より入力される映像ストリームＳｖｔを記録媒体０１９への記録に適したデータ形式になるようにエンコードして、記録用映像ストリームＳｖｔｒを生成する。記録部０１７は記録用映像ストリームＳｖｔｒを記録媒体０１９に記録する。なお、記録コントローラ０１８は、記録装置Ａｒの全体（エンコーダ０１６および記録部０１７）の動作を制御する。

この場合、記録コントローラ０１８は、映像処理装置Ａｖｐの後処理器０１５から映像ストリームＳｖｔを出力させるために、後処理器０１５の動作を制御しても良い。また、記録装置Ａｒは映像処理装置Ａｖｐと一体的に構成することもできる。この場合、記録コントローラ０１８の機能はシステムコントローラ０３０に兼任させても良い。

次に、図２７を参照して、本発明の実施の形態に係る映像処理装置における再生表示装置について説明する。再生表示装置Ａｐは、上述の映像処理装置Ａｖｐにより生成された映像ストリームＳｖｔを映音像として提示する為に、再生部０２０、表示部０２１、および再生コントローラ０２２を含む。再生部０２０は後処理器０１５から入力される映像ストリームＳｖｔに基づいて、表示部０２１による画像表示および発声に適した形式の映音像信号Ｓａｖを生成する。表示部０２１は再生部０２０から入力される映音像信号Ｓａｖによって、映像或いは音声を提示する。再生コントローラ０２２は、再生装置Ａｐの全体（再生部０２０および表示部０２１）の動作を制御する。

この場合、再生コントローラ０２２は、映像処理装置Ａｖｐの後処理器０１５から映像ストリームＳｖｔを出力させるために、後処理器０１５の動作を制御しても良い。また、再生装置Ａｐは映像処理装置Ａｖｐと一体的に構成することもできる。この場合、再生コントローラ０２２の機能はシステムコントローラ０３０に兼任させても良い

本発明に係る映像処理装置は、映像ストリームに組み込まれた緊急ニュースなどの文字情報の消去、移動、及び拡倍などの加工に用いることができ、さらにＤＶＤレコーダなどの記録装置やモニタなどの表示装置にも適用できる。

本発明の実施の形態に係る映像処理装置の構成を示すブロック図 図１に示した映像処理装置において処理対象である映像ストリームのフレーム画像の一例を表す図 図１に示した映像処理装置の主な文字認識動作を表すフローチャート 図３に示した検索範囲指定サブルーチンにおける検索範囲指定の説明図 図３に示した検索範囲指定サブルーチンにおける動作を表すフローチャート 図３に示した高輝度値画素検索サブルーチンにおける高輝度検索の説明図 図３に示した文字認識サブルーチンにおける動作を表すフローチャート 図３に示した同一色検索サブルーチンにおける同一色検索の説明図 図３に示した同一色検索サブルーチン動作を表すフローチャート 図３に示した文字表示領域認識サブルーチンにおける文字表示領域認識の説明図 図３に示した文字表示領域認識サブルーチンにおける動作を表すフローチャート 図３に示した文字線幅認識サブルーチンにおける文字線幅認識の説明図 図３に示した文字線幅認識サブルーチンにおける動作を表すフローチャート 図３に示した文字縁取り認識サブルーチンにおける文字縁取り認識の説明図 図３に示した文字縁取り認識サブルーチンにおける動作を表すフローチャート 図３に示した点滅表示認識サブルーチンにおける点滅表示認識の説明図 図３に示した点滅表示認識サブルーチンにおける動作を表すフローチャート 図３に示した移動表示認識サブルーチンにおける移動表示認識の説明図 図３に示した移動表示認識サブルーチンにおける動作を表すフローチャート 図１に示した映像処理装置の主な文字加工動作を表すフローチャート 図２０に示した文字情報消去サブルーチンにおける文字消去の説明図 図２０に示した文字情報消去サブルーチンにおける動作を表すフローチャート 図２０に示した文字情報移動サブルーチンにおける動作を表すフローチャート 図２０に示した文字情報拡倍サブルーチンにおける動作を表すフローチャート 図２０に示した注目領域回避サブルーチンにおける動作を表すフローチャート 本発明の実施の形態に係る映像処理装置における記録装置の構造を示すブロック図 本発明の実施の形態に係る映像処理装置における再生表示装置の構造を示すブロック図

符号の説明

Ａｖｐ 映像処理装置
Ａｒ 記録装置
Ａｐ 再生装置
００２ 前処理器
００３ 入力用メモリ
００４ 出力用メモリ
００５ 輝度フレームメモリ
００６ 色差Ｃｂフレームメモリ
００７ 色差Ｃｒフレームメモリ
００８ 被処理輝度フレームメモリ
００９ 被処理色差Ｃｂフレームメモリ
０１０ 被処理色差Ｃｒフレームメモリ
０１１ 文字認識器
０１２ 文字加工器
０１３ 文字表示画素テーブル記憶メモリ
０１４ 文字表示フレームテーブル記憶メモリ
０１５ 後処理器
０１６ エンコーダ
０１７ 記録部
０１８ 記録コントローラ
０１９ 記録媒体
０２０ 再生部
０２１ 表示部
０２２ 再生コントローラ
０３０ システムコントローラ
０４０ メモリ

Claims (39)

1. 入力される映像ストリーム（Ｓｖｃ）に組み込まれた文字情報（Ｉｃ）に選択的に処理を施す映像処理方法であって、
   前記映像ストリーム（Ｓｖｃ）をフレーム単位で輝度情報（ＶＹ）を示す輝度フレーム（Ｙ）と、色差情報（ＶＣｂ、ＶＣｒ）を示す複数の色差フレーム（Ｃｂ、Ｃｒ）とに分離する映像ストリーム分離ステップ（００３）と、
   前記輝度情報（ＶＹ）および前記輝度情報（ＶＣｂ、ＶＣｒ）の少なくとも何れかに基づいて、前記組み込まれた文字情報（Ｉｃ）を認識する文字認識ステップ（０１１；＃１００〜＃８００）と、
   前記認識された文字情報（Ｉｃ）に対して、消去、移動、および拡倍の少なくとも何れかの処理を施す文字加工ステップ（０１２；＃１１００〜＃１６００）とを備える映像処理方法（Ａｖｐ）。
2. 前記文字認識ステップ（０１１；＃１００〜＃８００）は、
   前記輝度フレーム（Ｙ）における画素（Ｐ）の輝度値（ＶＹ）を閾値（Ｖｔｈ）と比較する輝度値判定ステップ（Ｓ２０８）と、
   前記閾値（Ｖｔｈ）より大きな輝度値（ＶＹ）を有する画素（Ｐ）を前記文字情報（Ｉｃ）を表す文字画素（Ｐｃ）として認識する文字画素認識ステップ（Ｓ２０８、Ｓ２１０）と、
   前記認識された文字画素（Ｐｃ）を文字表示画素テーブル（０１３；Ｃｐ）に登録する文字画素登録ステップ（Ｓ２１６）と、
   前記認識された文字画素（Ｐｃ）が一つ以上存在するフレームを前記文字情報（Ｉｃ）が含まれるフレームとして文字表示フレームテーブル（０１４；Ｆｃ）に登録する文字情報フレーム登録ステップ（Ｓ２１２、Ｓ２１６）とを備える、請求項１に記載の映像処理方法（＃２００）。
3. 前記文字認識ステップ（０１１；＃１００〜＃８００）は、さらに、
   前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の色差値（Ｖｃｂ、Ｖｃｒ）が所定範囲内（Ｖｃｂ１＜Ｖｃｂ＜Ｖｃｂ２、Ｖｃｒ１＜Ｖｃｒ＜Ｖｃｒ２）であるかを判定する色差値判定ステップ（Ｓ３１２）と、
   前記色差値（Ｖｃｂ、Ｖｃｒ）が所定範囲内（Ｖｃｂ１＜Ｖｃｂ＜Ｖｃｂ２、Ｖｃｒ１＜Ｖｃｒ＜Ｖｃｒ２）であると判定される場合には、前記文字情報（Ｉｃ）は同一色であると認識する文字同一色認識ステップ（Ｓ３１２、Ｙｅｓ）とを備える、請求項２に記載の映像処理方法（＃３００）。
4. 前記文字認識ステップ（０１１；＃１００〜＃８００）は、さらに、
   前記輝度判定ステップ（Ｓ２０８）により、その輝度値（ＶＹ）が閾値（Ｖｔｈ）と比較される画素（Ｐ）を選択する画素選択ステップ（＃１００、Ｓ２０６）を備える、請求項２に記載の映像処理方法（＃１００）。
5. 前記文字認識ステップ（０１１；＃１００〜＃８００）は、さらに、
   前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の相互の離間距離（Ｌ）を算出する文字画素間距離算出ステップ（Ｓ４０８、Ｓ４１０）と、
   前記算出された離間距離（Ｌ）を平均して平均離間距離（Ｌ（ｍｅａｎ））を算出する平均離間距離算出ステップ（Ｓ４１２）と、
   隣接する文字画素（Ｐｃ）との前記離間距離（Ｌ）が前記平均離間距離（Ｌ（ｍｅａｎ））より所定距離（γ）だけ大きな文字画素（Ｐｃ）を前記文字表示画素テーブル（０１３）から削除する非文字画素認定ステップ（Ｓ４１６、Ｓ４１８）とを備える、請求項２に記載の映像処理方法（＃４００）。
6. 前記文字認識ステップ（０１１；＃１００〜＃８００）は、さらに、
   前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の水平方向への連続性（Ｃｈ）を検出する水平方向文字画素連続性検出ステップ（Ｓ５０８）と、
   前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の垂直方向への連続性（Ｃｖ）を検出する垂直方向文字画素連続性検出ステップ（Ｓ５１０）と、
   前記水平方向への連続性（Ｃｈ）および垂直方向への連続性（Ｃｖ）に基づいて、文字線幅を認識する文字線幅認識ステップ（Ｓ５１８、Ｓ５２２、Ｓ５２８）とを備える、請求項２に記載の映像処理方法（＃５００）。
7. 前記文字認識ステップ（０１１；＃１００〜＃８００）は、さらに、
   前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の周辺画素（Ｐｐ）の色差値が均一（Ｙ≒Ｙ（ｍｅａｎ）、Ｃｂ≒Ｃｂ（ｍｅａｎ）、Ｃｒ≒Ｃｒ（ｍｅａｎ））であるかを判定する周辺画素色差値判定ステップ（Ｓ６１０）と、
   周辺画素（Ｐｐ）の色差値が均一（Ｙ≒Ｙ（ｍｅａｎ）、Ｃｂ≒Ｃｂ（ｍｅａｎ）、Ｃｒ≒Ｃｒ（ｍｅａｎ））であると判定される場合には、前記文字情報（Ｉｃ）は一定色で縁取りされていることを認識する縁取り認識ステップ（Ｓ６２８）とを備える、請求項２に記載の映像処理方法（＃６００）。
8. 前記文字認識ステップ（０１１；＃１００〜＃８００）は、さらに、
   前記文字表示フレームテーブル（０１４；Ｆｃ）に登録されている前記文字情報（Ｉｃ；Ｐｃ）の出現期間（Ｐ１）を検出する文字情報出現期間検出ステップ（Ｓ７０４）と、
   前記文字表示フレームテーブル（０１４；Ｆｃ）に登録されている前記文字情報（Ｉｃ；Ｐｃ）の非出現期間（Ｐ２）を検出する文字情報非出現期間検出ステップ（Ｓ７０８）と、
   前記検出された出現期間（Ｐ１）および非出現期間（Ｐ２）に基づいて、前記文字情報（Ｉｃ）が一定の時間間隔で表示および消去を繰り返す点滅表示であることを認識する文字情報点滅表示認識ステップ（Ｓ７１０）とを備える、請求項２に記載の映像処理方法（＃７００）。
9. 前記文字認識ステップ（０１１；＃１００〜＃８００）は、さらに、
   前記文字表示画素テーブル（０１３；Ｃｐ）および前記前記文字表示フレームテーブル（０１４；Ｆｃ）に基づいて、時間軸上の任意の第１のフレームにおける文字画素（Ｐｃ）の第１の分布（Ｄｎ）を検出する第１画素分布検出ステップ（Ｓ８０６）と、
   前記文字表示画素テーブル（０１３；Ｃｐ）および前記前記文字表示フレームテーブル（０１４；Ｆｃ）に基づいて、前記第１のフレームとは異なる時間軸上の任意の第２のフレームにおける文字画素（Ｐｃ）の第２の分布（Ｄβ）を検出する第２画素分布検出ステップ（Ｓ８０８）と、
   前記第１の分布（Ｄｎ）に基づいて、前記第１のフレームと第２のフレームの間の任意の時間軸上の文字画素（Ｐｃ）の第３の分布（Ｄｄ）を検出する第３画素分布検出ステップ（Ｓ８１０、Ｓ８１２）と、
   前記第２の分布（Ｄβ）と前記第３の分布（Ｄｄ）との差分を検出する分布差分検出ステップ（Ｓ８１４）と、
   前記差分に基づいて、前記文字情報（Ｉｃ）が一定の速度で移動する移動表示であることを認識する移動表示認識ステップ（Ｓ８１４、Ｓ８１６）とを備える、請求項２に記載の映像処理方法（＃８００）。
10. さらに、前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、当該文字画素（Ｐｃ）に隣接する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｒ、ＶＣｂ）に基づいてそれぞれ線形補間する画素値補間ステップ（Ｓ１３０６）と、
    前記線形補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）とを備え、前記上書きされた輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）からは前記文字情報（Ｉｃ）は消去されていることを特徴とする、請求項２に記載の映像処理方法（＃１３００）。
11. さらに、前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）のそれぞれを当該文字表示フレームテーブル（０１４；Ｆｐ）に登録されていない時間的に近接したフレームにおける対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間ステップ（Ｓ１３０８）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、前記文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）とを備え、前記上書きされた輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）からは前記文字情報（Ｉｃ）は消去されていることを特徴とする、請求項２に記載の映像処理方法（＃１１００）。
12. 前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｃｐ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、前記文字表示画素テーブルに登録されていない時間的に近接するフレームにおいて対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間ステップ（Ｓ１３０８）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、前記文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）とを備え、前記上書きされた輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）からは前記文字情報（Ｉｃ）は消去されていることを特徴とする、請求項９に記載の映像処理方法（＃１２００）。
13. さらに、前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、当該文字画素（Ｐｃ）に隣接する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｒ、ＶＣｂ）に基づいてそれぞれ線形補間する画素値補間ステップ（Ｓ１３０６）と、
    前記線形補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）と、
    前記文字表示画素テーブル（０１４；Ｆｐ）に登録されている文字画素（Ｐｃ）を所定距離だけ移動させた時の位置を求める文字画素移動後位置決定ステップ（Ｓ１４１０）と、
    前記決定された移動後の位置に対応する画素（Ｐ）を決定する移動後画素決定ステップ（Ｓ１４１０）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする移動先画素値変更ステップ（Ｓ１４１２）とを備え、前記文字情報（Ｉｃ）は所定距離だけ移動されることを特徴とする請求項２に記載の映像処理方法（＃１４００）。
14. さらに、前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）のそれぞれを当該文字表示フレームテーブル（０１４；Ｆｐ）に登録されていない時間的に近接したフレームにおける対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間ステップ（Ｓ１３０８）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）と、
    前記文字表示画素テーブル（０１４；Ｆｐ）に登録されている文字画素（Ｐｃ）を所定距離だけ移動させた時の位置を求める文字画素移動後位置決定ステップ（Ｓ１４１０）と、
    前記決定された移動後の位置に対応する画素（Ｐ）を決定する移動後画素決定ステップ（Ｓ１４１０）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする移動先画素値変更ステップ（Ｓ１４１２）とを備え、前記文字情報（Ｉｃ）は所定距離だけ移動されることを特徴とする請求項２に記載の映像処理方法（＃１４００）。
15. さらに、前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、当該文字画素（Ｐｃ）に隣接する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｒ、ＶＣｂ）に基づいてそれぞれ線形補間する画素値補間ステップ（Ｓ１３０６）と、
    前記線形補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）と、
    前記文字画素（Ｐ）の各座標値（ｘ、ｙ）を所定の拡倍量（Ｍ）で拡倍する拡倍ステップ（Ｓ１５１０）と、
    前記拡倍された位置に対応する画素（Ｐ）を決定する移動後画素決定ステップ（Ｓ１５１２）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする拡倍先画素値変更ステップ（Ｓ１５１６）とを備え、前記文字情報（Ｉｃ）は前記拡倍量（Ｍ）だけ拡倍されることを特徴とする請求項２に記載の映像処理方法（＃１５００）。
16. さらに、前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）のそれぞれを当該文字表示フレームテーブル（０１４；Ｆｐ）に登録されていない時間的に近接したフレームにおける対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間ステップ（Ｓ１５１６）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）と、
    前記文字画素（Ｐ）の各座標値（ｘ，ｙ）を所定の拡倍量（Ｍ）で拡倍する拡倍ステップ（Ｓ１５１０）と、
    前記拡倍された位置に対応する画素（Ｐ）を決定する移動後画素決定ステップ（Ｓ１５１２）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする拡倍先画素値変更ステップ（Ｓ１５１６）とを備え、前記文字情報（Ｉｃ）は前記拡倍量（Ｍ）だけ拡倍されることを特徴とする請求項２に記載の映像処理方法（＃１５００）。
17. さらに、前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、当該文字画素（Ｐｃ）に隣接する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｒ、ＶＣｂ）に基づいてそれぞれ線形補間する画素値補間ステップ（Ｓ１３０６）と、
    前記線形補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）と、
    前記映像ストリーム（Ｓｖｃ）における非注目領域を認識する非注目領域認識ステップ（Ｓ１６０４）と、
    前記非注目領域と前記文字情報（Ｉｃ）との離間距離（Ｓ）を算出する離間距離検出ステップ（Ｓ１６０８）と、
    前記文字画素（Ｐｃ）を前記離間距離（Ｓ）だけ移動させた時の位置を求める文字画素移動後位置決定ステップ（Ｓ１４１０）と、
    前記決定された移動後の位置に対応する画素（Ｐ）を決定する移動後画素決定ステップ（Ｓ１４１０）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする移動先画素値変更ステップ（Ｓ１４１２）とを備え、前記文字情報（Ｉｃ）は所定距離だけ移動されることを特徴とする請求項２に記載の映像処理方法（＃１４００）。
18. さらに、前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）のそれぞれを当該文字表示フレームテーブル（０１４；Ｆｐ）に登録されていない時間的に近接したフレームにおける対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間ステップ（＃１４００Ｒ）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正ステップ（Ｓ１３０８、Ｓ１３１２）と、
    前記映像ストリーム（Ｓｖｃ）における非注目領域を認識する非注目領域認識ステップ（Ｓ１６０４）と、
    前記非注目領域と前記文字情報（Ｉｃ）との離間距離（Ｓ）を算出する離間距離検出ステップ（Ｓ１６０８）と、
    前記文字画素（Ｐｃ）を前記離間距離（Ｓ）だけ移動させた時の位置を求める文字画素移動後位置決定ステップ（Ｓ１４１０）と、
    前記決定された移動後の位置に対応する画素（Ｐ）を決定する移動後画素決定ステップ（Ｓ１４１０）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする移動先画素値変更ステップ（Ｓ１４１２）とを備え、前記文字情報（Ｉｃ）は所定距離だけ移動されることを特徴とする請求項２に記載の映像処理方法（＃１４００）。
19. 入力される映像ストリーム（Ｓｖｃ）に組み込まれた文字情報（Ｉｃ）に選択的に処理を施す映像処理装置（Ａｖｐ）であって、
    前記映像ストリーム（Ｓｖｃ）をフレーム単位で輝度情報（ＶＹ）を示す輝度フレーム（Ｙ）と、色差情報（ＶＣｂ、ＶＣｒ）を示す複数の色差フレーム（Ｃｂ、Ｃｒ）とに分離する映像ストリーム分離手段（００３）と、
    前記輝度情報（ＶＹ）および前記輝度情報（ＶＣｂ、ＶＣｒ）の少なくとも何れかに基づいて、前記組み込まれた文字情報（Ｉｃ）を認識する文字認識手段（０１１；＃１００〜＃８００）と、
    前記認識された文字情報（Ｉｃ）に対して、消去、移動、および拡倍の少なくとも何れかの処理を施す文字加工手段（０１２；＃１１００〜＃１６００）とを備える映像処理装置（Ａｖｐ）。
20. 前記文字認識手段（０１１；＃１００〜＃８００）は、
    前記輝度フレーム（Ｙ）における画素（Ｐ）の輝度値（ＶＹ）を閾値（Ｖｔｈ）と比較する輝度値判定手段（Ｓ２０８）と、
    前記閾値（Ｖｔｈ）より大きな輝度値（ＶＹ）を有する画素（Ｐ）を前記文字情報（Ｉｃ）を表す文字画素（Ｐｃ）として認識する文字画素認識手段（Ｓ２０８、Ｓ２１０）と、
    前記認識された文字画素（Ｐｃ）を文字表示画素テーブル（０１３；Ｃｐ）に登録する文字画素登録手段（Ｓ２１６）と、
    前記認識された文字画素（Ｐｃ）が一つ以上存在するフレームを前記文字情報（Ｉｃ）が含まれるフレームとして文字表示フレームテーブル（０１４；Ｆｃ）に登録する文字情報フレーム登録手段（Ｓ２１２、Ｓ２１６）とを備える、請求項１９に記載の映像処理装置（Ａｖｐ）。
21. 前記文字認識手段（０１１；＃１００〜＃８００）は、さらに、
    前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の色差値（Ｖｃｂ、Ｖｃｒ）が所定範囲内（Ｖｃｂ１＜Ｖｃｂ＜Ｖｃｂ２、Ｖｃｒ１＜Ｖｃｒ＜Ｖｃｒ２）であるかを判定する色差値判定手段（Ｓ３１２）と、
    前記色差値（Ｖｃｂ、Ｖｃｒ）が所定範囲内（Ｖｃｂ１＜Ｖｃｂ＜Ｖｃｂ２、Ｖｃｒ１＜Ｖｃｒ＜Ｖｃｒ２）であると判定される場合には、前記文字情報（Ｉｃ）は同一色であると認識する文字同一色認識手段（Ｓ３１２、Ｙｅｓ）とを備える、請求項２０に記載の映像処理装置（Ａｖｐ；＃３００）。
22. 前記文字認識手段（０１１；＃１００〜＃８００）は、さらに、
    前記輝度判定手段（Ｓ２０８）により、その輝度値（ＶＹ）が閾値（Ｖｔｈ）と比較される画素（Ｐ）を選択する画素選択手段（＃１００、Ｓ２０６）を備える、請求項２０に記載の映像処理装置（Ａｖｐ：＃１００）。
23. 前記文字認識手段（０１１；＃１００〜＃８００）は、さらに、
    前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の相互の離間距離（Ｌ）を算出する文字画素間距離算出手段（Ｓ４０８、Ｓ４１０）と、
    前記算出された離間距離（Ｌ）を平均して平均離間距離（Ｌ（ｍｅａｎ））を算出する平均離間距離算出手段（Ｓ４１２）と、
    隣接する文字画素（Ｐｃ）との前記離間距離（Ｌ）が前記平均離間距離（Ｌ（ｍｅａｎ））より所定距離（γ）だけ大きな文字画素（Ｐｃ）を前記文字表示画素テーブル（０１３）から削除する非文字画素認定手段（Ｓ４１６、Ｓ４１８）とを備える、請求項２０に記載の映像処理装置（Ａｖｐ：＃４００）。
24. 前記文字認識手段（０１１；＃１００〜＃８００）は、さらに、
    前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の水平方向への連続性（Ｃｈ）を検出する水平方向文字画素連続性検出手段（Ｓ５０８）と、
    前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の垂直方向への連続性（Ｃｖ）を検出する垂直方向文字画素連続性検出手段（Ｓ５１０）と、
    前記水平方向への連続性（Ｃｈ）および垂直方向への連続性（Ｃｖ）に基づいて、文字線幅を認識する文字線幅認識手段（Ｓ５１８、Ｓ５２２、Ｓ５２８）とを備える、請求項２０に記載の映像処理装置（Ａｖｐ；＃５００）。
25. 前記文字認識手段（０１１；＃１００〜＃８００）は、さらに、
    前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の周辺画素（Ｐｐ）の色差値が均一（Ｙ≒Ｙ（ｍｅａｎ）、Ｃｂ≒Ｃｂ（ｍｅａｎ）、Ｃｒ≒Ｃｒ（ｍｅａｎ））であるかを判定する周辺画素色差値判定手段（Ｓ６１０）と、
    周辺画素（Ｐｐ）の色差値が均一（Ｙ≒Ｙ（ｍｅａｎ）、Ｃｂ≒Ｃｂ（ｍｅａｎ）、Ｃｒ≒Ｃｒ（ｍｅａｎ））であると判定される場合には、前記文字情報（Ｉｃ）は一定色で縁取りされていることを認識する縁取り認識手段（Ｓ６２８）とを備える、請求項２０に記載の映像処理装置（Ａｖｐ；＃６００）。
26. 前記文字認識手段（０１１；＃１００〜＃８００）は、さらに、
    前記文字表示フレームテーブル（０１４；Ｆｃ）に登録されている前記文字情報（Ｉｃ；Ｐｃ）の出現期間（Ｐ１）を検出する文字情報出現期間検出手段（Ｓ７０４）と、
    前記文字表示フレームテーブル（０１４；Ｆｃ）に登録されている前記文字情報（Ｉｃ；Ｐｃ）の非出現期間（Ｐ２）を検出する文字情報非出現期間検出手段（Ｓ７０８）と、
    前記検出された出現期間（Ｐ１）および非出現期間（Ｐ２）に基づいて、前記文字情報（Ｉｃ）が一定の時間間隔で表示および消去を繰り返す点滅表示であることを認識する文字情報点滅表示認識手段（Ｓ７１０）とを備える、請求項２０に記載の映像処理装置（Ａｖｐ；＃７００）。
27. 前記文字認識手段（０１１；＃１００〜＃８００）は、さらに、
    前記文字表示画素テーブル（０１３；Ｃｐ）および前記前記文字表示フレームテーブル（０１４；Ｆｃ）に基づいて、時間軸上の任意の第１のフレームにおける文字画素（Ｐｃ）の第１の分布（Ｄｎ）を検出する第１画素分布検出手段（Ｓ８０６）と、
    前記文字表示画素テーブル（０１３；Ｃｐ）および前記前記文字表示フレームテーブル（０１４；Ｆｃ）に基づいて、前記第１のフレームとは異なる時間軸上の任意の第２のフレームにおける文字画素（Ｐｃ）の第２の分布（Ｄβ）を検出する第２画素分布検出手段（Ｓ８０８）と、
    前記第１の分布（Ｄｎ）に基づいて、前記第１のフレームと第２のフレームの間の任意の時間軸上の文字画素（Ｐｃ）の第３の分布（Ｄｄ）を検出する第３画素分布検出手段（Ｓ８１０、Ｓ８１２）と、
    前記第２の分布（Ｄβ）と前記第３の分布（Ｄｄ）との差分を検出する分布差分検出手段（Ｓ８１４）と、
    前記差分に基づいて、前記文字情報（Ｉｃ）が一定の速度で移動する移動表示であることを認識する移動表示認識手段（Ｓ８１４、Ｓ８１６）とを備える、請求項２０に記載の映像処理装置（Ａｖｐ；＃８００）。
28. さらに、前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、当該文字画素（Ｐｃ）に隣接する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｒ、ＶＣｂ）に基づいてそれぞれ線形補間する画素値補間手段（Ｓ１３０６）と、
    前記線形補間された輝度値（ＶＹｔ）および色差値（ＶＣｒ、ＶＣｂ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）とを備え、前記上書きされた輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）からは前記文字情報（Ｉｃ）は消去されていることを特徴とする、請求項２０に記載の映像処理装置（Ａｖｐ；＃１３００）。
29. さらに、前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）のそれぞれを当該文字表示フレームテーブル（０１４；Ｆｐ）に登録されていない時間的に近接したフレームにおける対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間手段（Ｓ１３０８）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、前記文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）とを備え、前記上書きされた輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）からは前記文字情報（Ｉｃ）は消去されていることを特徴とする、請求項２０に記載の映像処理装置（Ａｖｐ；＃１１００）。
30. 前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｃｐ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、前記文字表示画素テーブルに登録されていない時間的に近接するフレームにおいて対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間手段（Ｓ１３０８）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、前記文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）とを備え、前記上書きされた輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）からは前記文字情報（Ｉｃ）は消去されていることを特徴とする、請求項２７に記載の映像処理装置（Ａｖｐ；＃１２００）。
31. さらに、前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、当該文字画素（Ｐｃ）に隣接する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｒ、ＶＣｂ）に基づいてそれぞれ線形補間する画素値補間手段（Ｓ１３０６）と、
    前記線形補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）と、
    前記文字表示画素テーブル（０１４；Ｆｐ）に登録されている文字画素（Ｐｃ）を所定距離だけ移動させた時の位置を求める文字画素移動後位置決定手段（Ｓ１４１０）と、
    前記決定された移動後の位置に対応する画素（Ｐ）を決定する移動後画素決定手段（Ｓ１４１０）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする移動先画素値変更手段（Ｓ１４１２）とを備え、前記文字情報（Ｉｃ）は所定距離だけ移動されることを特徴とする請求項２０記載の映像処理装置（Ａｖｐ：＃１４００）。
32. さらに、前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）のそれぞれを当該文字表示フレームテーブル（０１４；Ｆｐ）に登録されていない時間的に近接したフレームにおける対応する画素（Ｐ）の輝度値（ＶＹｔ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間手段（Ｓ１３０８）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）と、
    前記文字表示画素テーブル（０１４；Ｆｐ）に登録されている文字画素（Ｐｃ）を所定距離だけ移動させた時の位置を求める文字画素移動後位置決定手段（Ｓ１４１０）と、
    前記決定された移動後の位置に対応する画素（Ｐ）を決定する移動後画素決定手段（Ｓ１４１０）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする移動先画素値変更手段（Ｓ１４１２）とを備え、前記文字情報（Ｉｃ）は所定距離だけ移動されることを特徴とする請求項２０に記載の映像処理装置（Ａｖｐ；＃１４００）。
33. さらに、前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、当該文字画素（Ｐｃ）に隣接する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｒ、ＶＣｂ）に基づいてそれぞれ線形補間する画素値補間手段（Ｓ１３０６）と、
    前記線形補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）と、
    前記文字画素（Ｐ）の各座標値（ｘ，ｙ）を所定の拡倍量（Ｍ）で拡倍する拡倍手段（Ｓ１５１０）と、
    前記拡倍された位置に対応する画素（Ｐ）を決定する移動後画素決定手段（Ｓ１５１２）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする拡倍先画素値変更手段（Ｓ１５１６）とを備え、前記文字情報（Ｉｃ）は前記拡倍量（Ｍ）だけ拡倍されることを特徴とする請求項２０に記載の映像処理装置（Ａｖｐ；＃１５００）。
34. さらに、前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）のそれぞれを当該文字表示フレームテーブル（０１４；Ｆｐ）に登録されていない時間的に近接したフレームにおける対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間手段（Ｓ１５１６）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）と、
    前記文字画素の各座標値（ｘ，ｙ）を所定の拡倍量（Ｍ）で拡倍する拡倍手段（Ｓ１５１０）と、
    前記拡倍された位置に対応する画素（Ｐ）を決定する移動後画素決定手段（Ｓ１５１２）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする拡倍先画素値変更手段（Ｓ１５１６）とを備え、前記文字情報（Ｉｃ）は前記拡倍量（Ｍ）だけ拡倍されることを特徴とする請求項２０に記載の映像処理装置（Ａｖｐ；＃１５００）。
35. さらに、前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）を、当該文字画素（Ｐｃ）に隣接する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｒ、ＶＣｂ）に基づいてそれぞれ線形補間する画素値補間手段（Ｓ１３０６）と、
    前記線形補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）と、
    前記映像ストリーム（Ｓｖｃ）における非注目領域を認識する非注目領域認識手段（Ｓ１６０４）と、
    前記非注目領域と前記文字情報（Ｉｃ）との離間距離（Ｓ）を算出する離間距離検出手段（Ｓ１６０８）と、
    前記文字画素（Ｐｃ）を前記離間距離（Ｓ）だけ移動させた時の位置を求める文字画素移動後位置決定手段（Ｓ１４１０）と、
    前記決定された移動後の位置に対応する画素（Ｐ）を決定する移動後画素決定手段（Ｓ１４１０）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素（Ｐｃ）の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする移動先画素値変更手段（Ｓ１４１２）とを備え、前記文字情報（Ｉｃ）は所定距離だけ移動されることを特徴とする請求項２０に記載の映像処理装置（Ａｖｐ；＃１４００）。
36. さらに、前記文字表示フレームテーブル（０１４；Ｆｐ）に登録されているフレームにおける前記文字表示画素テーブル（０１３；Ｃｐ）に登録されている文字画素（Ｐｃ）の輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）のそれぞれを当該文字表示フレームテーブル（０１４；Ｆｐ）に登録されていない時間的に近接したフレームにおける対応する画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）で補間する画素値補間手段（＃１４００Ｒ）と、
    前記補間された輝度値（ＶＹｔ）および色差値（ＶＣｂｔ、ＶＣｒｔ）で、当該文字画素の輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）を上書きするフレーム信号補正手段（Ｓ１３０８、Ｓ１３１２）と、
    前記映像ストリーム（Ｓｖｃ）における非注目領域を認識する非注目領域認識手段（Ｓ１６０４）と、
    前記非注目領域と前記文字情報（Ｉｃ）との離間距離（Ｓ）を算出する離間距離検出手段（Ｓ１６０８）と、
    前記文字画素（Ｐｃ）を前記離間距離（Ｓ）だけ移動させた時の位置を求める文字画素移動後位置決定手段（Ｓ１４１０）と、
    前記決定された移動後の位置に対応する画素（Ｐ）を決定する移動後画素決定手段（Ｓ１４１０）と、
    前記決定された画素（Ｐ）の輝度値（ＶＹ）および色差値（ＶＣｂ、ＶＣｒ）のそれぞれを前記文字画素の輝度値（ＶＹ（ｃ））および色差値（ＶＣｂ（ｃ）、ＶＣｒ（ｃ））で上書きする移動先画素値変更手段（Ｓ１４１２）とを備え、前記文字情報（Ｉｃ）は所定距離だけ移動されることを特徴とする請求項２０に記載の映像処理装置（Ａｖｐ；＃１４００）。
37. 請求項２０に記載の映像処理装置（Ａｖｐ）によって処理が施された映像ストリーム（Ｓｖｔ）を再生する再生手段（０２０）を備える映像再生装置（Ａｐ）。
38. 前記再生された映像ストリーム（Ｓｖｔｓ）に基づいて映音像を提示する提示手段（０２１）をさらに備える、請求項３７に記載の映像再生表示装置（Ａｐ）。
39. 請求項２０に記載の映像処理装置（Ａｖｐ）によって処理を施された映像ストリーム（Ｓｖｔ）を記録する記録手段（０１６、０１７、０１９）を備える映像記録装置（Ａｒ）。

Images