JP4507639B2 - 画像信号処理装置 - Google Patents

Description

この発明は、字幕、テロップ等の文字部分が存在する画像信号を処理する画像信号処理装に関する。

詳しくは、この発明は、入力画像信号から文字部分の画像信号を抽出して画像サイズの拡大または縮小の処理を行うと共に、処理後の画像信号を入力画像信号に合成して出力画像信号を得ることによって、字幕、テロップ等の文字部分を拡大あるいは縮小して表示できるようにした画像信号処理装置等に係るものである。

例えば、ＤＶＤ(Digital Versatile Disc)に収録されている映画やテレビ放送で送信されてくる番組中に、字幕やテロップなどの文字部分を有するものがある。このような字幕やテロップ等の文字部分については、特許文献１および特許文献２にも開示されている。特許文献１には、均一レベル領域、無変化領域および高周波領域をそれぞれ検出し、それらの検出出力に基づいて、テロップを含む領域（特定領域）を正確に抽出する技術が記載されている。また、特許文献２には、入力画像信号と位相がシフトされた蓄積画像信号を合成して蓄積メモリに蓄積し、この蓄積メモリから読み出された蓄積画像信号からテロップを精度よく検出する技術が記載されている。

特開平１０−２３３９９４号公報 特開２０００−８４４５８号公報

上述したようにＤＶＤに収録されている映画やテレビ放送で送信されてくる番組中に存在する字幕やテロップなどの文字部分は、従来、図４０に示すように、制作者側でサイズが決められており、ユーザ側でサイズを決めることができず、ユーザは制作者側で決めたサイズで文字部分を見なければならない。そのため、文字部分を大きくしたいと思ったり、小さくしたいと思ったりしているユーザの要求には応えることができないという問題があった。

この発明の目的は、字幕、テロップ等の文字部分を、制作者側が決めたサイズにとらわれることなく、拡大あるいは縮小して表示できるようすることにある。

本発明の第１の画像信号処理装置は、入力画像信号を保存する画像保存手段と、上記入力画像信号から文字部分の画像信号を抽出するための文字抽出情報を得る文字抽出手段と、上記文字抽出手段で得られた文字抽出情報に基づいて上記入力画像信号から抽出された抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理を行う拡大・縮小手段と、上記画像保存手段に保存されている入力画像信号に、上記拡大・縮小手段で処理された文字部分の画像信号を合成して、出力画像信号を得る画像合成手段とを備え、上記文字抽出手段は、上記入力画像信号から上記文字部分が含まれている文字部分領域を抽出する第１の判定手段と、上記第１の判定手段で抽出された文字部分領域を構成する画素が文字部分の画素であるか否かを判定し、その判定結果を上記文字抽出情報として出力する第２の判定手段とを有し、上記第１の判定手段は、上記入力画像信号の任意の画素のデータと該任意の画素の空間方向の周辺に位置する周辺画素のデータとを用いて、均一レベル領域を検出する均一レベル領域検出手段と、上記入力画像信号の任意の画素の時間方向の複数のデータを用いて所定時間以上変化のない領域を検出する無変化領域検出手段と、上記入力画像信号の任意の画素のデータと該任意の画素の空間方向の周辺に位置する周辺画素のデータとを用いて、高周波成分が存在する高周波領域を検出する高周波領域検出手段と、上記均一レベル領域検出手段の検出出力、上記無変化領域検出手段の検出出力および上記高周波領域検出手段の検出出力に基づいて、上記文字部分領域を抽出する抽出手段とを有する。

本発明の第２の画像信号処理装置は、入力画像信号を保存する画像保存手段と、上記入力画像信号から文字部分の画像信号を抽出するための文字抽出情報を得る文字抽出手段と、上記文字抽出手段で得られた文字抽出情報に基づいて上記入力画像信号から抽出された抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理を行う拡大・縮小手段と、上記画像保存手段に保存されている入力画像信号に、上記拡大・縮小手段で処理された文字部分の画像信号を合成して、出力画像信号を得る画像合成手段とを備え、上記拡大・縮小手段は、上記文字抽出手段で得られた文字抽出情報に基づいて、画像サイズの拡大または縮小の処理を行う上記抽出領域を指定する領域指定手段と、上記領域指定手段で指定された抽出領域の画像信号を構成する複数の画素データのうち、文字部分以外の画素データの値を所定値とする背景処理手段と、上記背景処理手段で処理された上記抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理を行う処理手段とを有し、上記処理手段は、上記画像サイズの拡大または縮小の倍率に対応した、処理後の画像信号における注目画素位置の位相情報を発生する位相情報発生手段と、処理前の画像信号に基づいて、上記処理後の画像信号における注目画素位置の周辺に位置する複数の画素データを選択する第１のデータ選択手段と、上記第１のデータ選択手段で選択された複数の画素データに基づいて、上記処理後の画像信号における注目画素位置の画素データが属するクラスを検出するクラス検出手段と、上記位相情報発生手段で発生された位相情報に対応し、かつ上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、上記処理前の画像信号に基づいて、上記処理後の画像信号における注目画素位置の周辺に位置する複数の画素データを選択する第２のデータ選択手段と、上記係数データ発生手段で発生された係数データおよび上記第２のデータ選択手段で選択された複数の画素データを用い、上記推定式に基づいて上記処理後の画像信号における注目画素位置の画素データを求める演算手段とを有する。

例えば、文字部分領域の判定は、以下のように行われる。すなわち、入力画像信号の任意の画素のデータとこの任意の画素の空間方向の周辺に位置する周辺画素のデータとを用いて、均一なレベル領域が検出され、入力画像信号の任意の画素の時間方向の複数のデータを用いて所定時間以上変化のない領域が検出され、入力画像信号の任意の画素のデータとこの任意の画素の空間方向の周辺に位置する周辺画素のデータとを用いて、高周波成分が存在する高周波領域が検出され、これらの検出出力に基づいて文字部分領域が抽出される。これにより、あらゆる環境における字幕、テロップ等の文字部分を含む文字部分領域を正確に抽出できる。

また例えば、文字部分領域を構成する画素が文字部分の画素であるか否かの判定は、以下のように行われる。すなわち、文字部分領域を構成する第１の画素のデータが第１のしきい値より大きく、かつこの第１の画素のデータとこの第１の画素に隣接する画素のデータとの差分絶対値が第２のしきい値より大きいとき、この第１の画素は文字部分の画素であると判定される。また、文字部分であると判定された画素のデータと、この画素に隣接する第２の画素のデータとが同一レベルであるとき、この第２の画素は文字部分の画素であると判定される。

上述した文字抽出情報に基づいて、入力画像信号から抽出された抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理が行われる。例えばこの場合、文字抽出情報に基づいて、画像サイズの拡大または縮小の処理を行う抽出領域が指定される。そして、この指定された抽出領域の画像信号を構成する複数の画素データのうち、文字部分以外の画素データの値が所定値、例えば０とされる。そして、文字部分以外の画素データが処理された後の抽出領域の画像信号に対して、画像サイズの拡大または縮小の処理が行われる。

画像サイズの拡大または縮小の処理は、例えばクラス分類適応処理により行われる。すなわち、画像サイズの拡大または縮小の倍率に対応した、処理後の画像信号における注目画素位置の位相情報が発生され、処理前の画像信号に基づいて、処理後の画像信号における注目画素位置の周辺に位置する複数の画素データが選択され、この複数の画素データに基づいて、処理後の画像信号における注目画素位置の画素データが属するクラスが検出される。そして、上述したように発生された位相情報に対応し、かつ上述したように検出されたクラスに対応した、推定式で用いられる係数データが発生され、処理前の画像信号に基づいて、処理後の画像信号における注目画素位置の周辺に位置する複数の画素データが選択され、その係数データおよび複数の画素データを用い、推定式に基づいて処理後の画像信号における注目画素位置の画素データが求められる。

例えば、上述したように複数の画素データに基づいてクラスを検出する際には、記憶されている係数データを用いてしきい値が決定され、複数の画素データのそれぞれにおける、この複数の画素データの最小値との差分値が２値化され、クラスを示すクラスコードが得られる。この場合、係数データの値を調整することで、クラス分類を最適化することが可能となる。

上述したように画像サイズの拡大または縮小の処理が行われた文字部分の画像信号は上述した保存されている入力画像信号に合成される。これにより、出力画像信号が得られる。この場合例えば、拡大または縮小の処理が行われた文字部分の画像信号を構成する画素データが画像メモリの表示位置に対応したアドレスに書き込まれ、この画像メモリのその他のアドレスに、入力画像信号を構成する画素データが書き込まれ、この画像メモリから出力画像信号を構成する画素データが読み出されて出力される。

このように、この発明においては、入力画像信号から文字部分の画像信号を抽出して画像サイズの拡大または縮小の処理を行うと共に、処理後の画像信号を入力画像信号に合成して出力画像信号を得るものであり、字幕、テロップ等の文字部分を拡大あるいは縮小して表示できる。

また例えば、画像サイズの拡大または縮小の倍率情報を入力する倍率入力手段がさらに備えられる。この場合、この倍率入力手段で入力された倍率情報に基づいて、画像サイズの拡大または縮小の処理が行われる。これにより、ユーザは、字幕、テロップ等の文字部分を任意の倍率で拡大または縮小して見ることができる。

また例えば、文字部分の画像信号による画像を表示する表示位置の情報を入力する表示位置入力手段がさらに備えられる。この場合、この表示位置入力手段で入力された表示位置の情報に基づいて、入力画像信号に、拡大または縮小の処理がされた文字部分の画像信号が合成される。これにより、ユーザは、字幕、テロップ等の文字部分を任意の画面位置に表示して見ることができる。

また例えば、拡大または縮小の処理の動作に関連する履歴情報を格納する記憶手段がさらに備えられる。この場合、この履歴情報を用いて、拡大または縮小の処理の機能を向上させることができる。例えば、上述したクラス検出の動作に関連する複数の画素データとそれから得られるクラスコードの履歴情報に基づいて、複数の画素データのレベルパターン（波形）があまりにも異なるのに同一のクラスコードが得られているケースが多い場合には、例えばそのようなケースが少なくなるように上述したしきい値を決定する際の係数データの値を調整し、処理機能を向上させることができる。また例えば、ユーザが特定の倍率のみを選択している場合には、係数種データを学習で得る際に、その倍率に対応した学習データのみを多く使用することで、係数種データの精度を上げ、処理機能を向上させることができる。ここで、係数種データは、上記した推定式で用いられる係数データを生成するための生成式における係数データである。

この発明によれば、入力画像信号から文字部分の画像信号を抽出して画像サイズの拡大または縮小の処理を行うと共に、処理後の画像信号を入力画像信号に合成して出力画像信号を得るものであり、字幕、テロップ等の文字部分を拡大あるいは縮小して表示できる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。

この画像信号処理装置１００は、入力端子１０１と、画像保存部１０２と、文字抽出部１０３と、拡大・縮小部１０４と、倍率情報入力部１０５と、画像合成部１０６と、表示位置入力部１０７と、出力端子１０８とを有している。

入力端子１０１は、例えばＤＶＤプレーヤから出力される画像信号、テレビチューナから出力される画像信号等を入力画像信号ＳＶinとして入力するための端子である。画像保存部１０２は、図示しないメモリを備えており、入力端子１０１に入力された入力画像信号ＳＶinを、そのまま、このメモリに一時的に保存する。

文字抽出部１０３は、入力端子１０１に入力された入力画像信号ＳＶinから、字幕、テロップ等の文字部分の画像信号を抽出するための文字抽出情報ＣＳＩを取得する。拡大・縮小部１０４は、文字抽出部１０３で得られた文字抽出情報ＣＳＩに基づいて入力画像信号ＳＶinから抽出された抽出領域の画像信号（文字部分の画像信号）に対し、画像サイズの拡大または縮小の処理を行う。この拡大・縮小部１０４は、倍率情報入力部１０５から入力される、画像サイズの拡大または縮小の倍率情報ＭＧに基づいて、画像サイズの拡大または縮小の処理を行う。ユーザは、倍率情報入力部１０５を操作して、この倍率情報ＭＧで示される倍率を任意に変更できる。

画像合成部１０５は、画像保存部に保存されている入力画像信号ＳＶinに、拡大・縮小処理部１０４で処理されて得られた文字部分の画像信号ＳＶｃを合成して出力画像信号ＳＶoutを取得し、出力端子１０８に出力する。この画像合成部１０６は、表示位置入力部１０７から入力される、表示位置情報ＤＰに基づいて、入力画像信号ＳＶinに対する文字部分の画像信号ＳＶｃの合成位置、つまり文字部分の画面上における表示位置を決定する。ユーザは、表示位置入力部１０７を操作して、表示位置情報ＤＰで示される表示位置を任意に変更できる。

次に、上述した文字抽出部１０３について、さらに詳細に説明する。この文字抽出部１０３は、図２に示すように、第１の判定手段としての文字領域の判定部１１０と、第２の判定手段としての文字画素（文字部分である画素）の判定部１５０とを有している。判定部１１０は、入力画像信号ＳＶinから字幕、テロップ等の文字部分が含まれている文字部部分領域を抽出する。判定部１５０は、判定部１１０で判定された文字部分領域を構成する各画素が文字部分の画素であるか否かを判定し、その判定結果を上述した文字抽出情報ＣＳＩとして出力する。

図３は、文字領域の判定部１１０の構成を示している。この判定部１１０は、均一レベル領域検出回路１１２と、高周波領域検出回路１１３と、無変化領域検出回路１１４と、抽出回路１１５とを有している。これらの回路は、文字部分領域抽出部１１１を構成している。

文字部分領域抽出部１１１は、画像蓄積部１１６を介した入力画像信号ＳＶinから、均一レベル領域検出回路１１２、高周波領域検出回路１１３、無変化領域検出回路１１４および抽出回路１１５を用いて文字部分領域を抽出し、その文字部分領域の情報ＣＥＩを出力する。この情報ＣＥＩは、文字部分領域を示す座標データである。

ここで、画像蓄積部１１６は、５個のフレームメモリ１１７〜１２１からなり、入力画像信号ＳＶinを所定の周期で蓄積する。すなわち、文字部分領域抽出部１１１による一連の文字部分領域の抽出処理が１フレーム分終了したところで、フレームメモリ１１７内の１フレーム分の画像信号はフレームメモリ１１８へ、フレームメモリ１１８内の１フレーム分の画像信号はフレームメモリ１１９へ、フレームメモリ１１９内の１フレーム分の画像信号はフレームメモリ１２０へ、フレームメモリ１２０内の１フレーム分の画像信号はフレームメモリ１２１へとシフトする。つまり、フレームメモリ１１７〜１２１には、順次１フレーム期間だけ時間方向にずれた画像信号が蓄積されている。

ここで、字幕、テロップ等の文字部分は、以下の（１）〜（３）の特徴を備えている。（１）文字部分は、同一データレベルの画素で構成される。（２）通常、３〜４秒以上は表示されるので、文字部分を構成する画素は所定時間以上、同一のデータレベルを保持する。（３）文字部分を目立たせるため、背景部分とはデータレベルで大きく差がある。つまり、文字部分を含む領域は、画像平面において比較的空間周波数の高い領域となる。

均一レベル領域検出回路１１２は、入力画像信号ＳＶinの任意の画素のデータとこの任意の画素の空間方向（水平方向、垂直方向）の周辺に位置する周辺画素のデータとを用いて、均一なレベル領域を検出する。この均一レベル領域検出回路１１２は、上述した字幕、テロップ等の文字部分の特徴のうち、（１）の特徴を満たす領域を検出する。

この均一レベル領域検出回路１１２は、入力画像信号ＳＶinの任意の画素を中心とした所定画素数よりなる例えば３×３のブロック内で、任意の画素のデータとその周辺の複数の画素のデータとのレベル差をそれぞれ求め、求められた複数のレベル差のうち所定しきい値以下となるレベル差の個数が所定個数以上であるとき、その任意の画素を、周辺に似ている画素が多いということで、均一レベル領域に含まれる画素であると判定する。均一レベル領域検出回路１１２は、上述した任意の画素を画面内の全ての画素に順次移動していき、その画素が均一レベル領域に含まれるか否かを判定し、均一レベル領域を取得する。

高周波領域検出回路１１３は、入力画像信号ＳＶinの任意の画素のデータとこの任意の画素の空間方向の周辺に位置する周辺画素のデータとを用いて、高周波成分が存在する高周波領域を検出する。この高周波領域検出回路１１３は、上述した字幕、テロップ等の文字部分の特徴のうち、（３）の特徴を満たす領域を検出する。

この高周波領域検出回路１１３は、入力画像信号ＳＶinの任意の画素のデータと、その任意の画素と上下左右方向に隣接する画素のデータとのレベル差が所定のしきい値以上であるとき、その任意の画素を、高周波領域に含まれる画素であると判定する。高周波領域検出回路１１３は、上述した任意の画素を画面内の全ての画素に順次移動していき、その画素が高周波領域に含まれるか否かを判定し、高周波領域を取得する。

無変化領域検出回路１１４は、入力画像信号ＳＶinの任意の画素の時間方向（フレーム方向）の複数のデータを用いて所定時間以上変化のない領域を検出する。抽出回路１１５は、上述した検出回路１１２〜１１４の検出出力に基づいて、文字部分領域を抽出する。この無変化領域検出回路１１４は、上述した字幕、テロップ等の文字部分の特徴のうち、（２）の特徴を満たす領域を検出する。

この無変化領域検出回路１１４は、画像蓄積部１１６からの５フレーム分の画像信号を使用し、任意の画素の時間方向の５個のデータのレベルに変化がないとき、その任意の画素を、無変化領域に含まれる画素であると判定する。無変化領域検出回路１１４は、上述した任意の画素を画面内の全ての画素に順次移動していき、その画素が無変化領域に含まれるか否かを判定し、無変化領域を取得する。例えば、５フレームの画像が、それぞれ図４（ａ）〜（ｅ）に示すように変化している場合、無変化領域として、図４（ｆ）に示すような長方形領域が検出される。

抽出回路１１５は、上述した検出回路１１２〜１１４の検出出力に基づいて、文字部分領域を抽出する。この抽出回路１１５は、均一レベル領域検出回路１１２と高周波領域検出回路１１３と無変化領域検出回路１１４の各検出出力に対してそれぞれ所定の重み付けをして加算することで、画面上の各座標の評価値を算出し、この評価値に基づいて文字部分領域を抽出する。

図５のフローチャートは、抽出回路１１５の処理手順を示している。抽出回路１１５の処理を、図５のフローチャート、および図６〜図１５を参照しながら以下に説明する。

図５のステップＳＴ１１で、それぞれ“０”と“１”に２値化している均一レベル領域検出回路１１２の検出出力、高周波領域検出回路１１３の検出出力、無変化領域検出回路１１４の検出出力に所定の重み付けをして加算した値を、画面上の各座標の最終的な評価値として算出する。例えば、均一レベル領域検出回路１１２の検出出力に重み付け係数として“２”が、高周波領域検出回路１１３の検出出力に重み付け係数として“１”が、無変化領域検出回路１１４の検出出力に重み付け係数として“３”が掛けられる。

図６は、フレームメモリ１１７に蓄えられている原画の画像の具体例を示している。図７は、均一レベル領域検出回路１１２の検出出力の具体例を示している。図８は、高周波領域検出回路１１３の検出出力の具体例を示している。図９は、無変化領域検出回路１１４の検出出力の具体例を示している。なお、これら図７〜図９において、黒色の画素部分は検出出力“１”に対応し、白色の画素部分は検出出力“０”に対応している。また、図１０は、図７〜図９の検出出力にそれぞれ上述した重み付けをして算出した、画面上の各座標の評価値の具体例を示している。

次に、図５のステップＳＴ１２で、この各座標の評価値について、二つの直交座標系の二つの基底となる軸にデータを投影累積する。二つの直交座標系としては、例えば、画像の水平・垂直方向の軸を基底とする第１の直交座標系と、この第１の直交座標系を４５度回転させた第２の直交座標系とを用いる。図１１は、図１０に示した各座標の評価値を、第１の直交座標系に投影して求めた累積値分布の具体例を示している。図１２は、図１０に示した各座標の評価値を、第２の直交座標系に投影して求めた累積値分布の具体例を示している。

次に、図５のステップＳＴ１３で、図１１および図１２に示した二つの直交座標系の累積値分布において、それぞれ、二つの基底となる軸で累積値が所定のしきい値以上となる領域を抽出する。そして、図５のステップＳＴ１４で、それぞれ、図１３および図１４に示すように、二つの直交座標系で共通領域を抽出する。

次に、図５のステップＳＴ１５で、この二つの直交座標系で抽出された共通領域について、さらに共通な領域の抽出を行う。図１５（ａ）、（ｂ）はそれぞれ二つの直交座標系で抽出された共通領域を示しており、図１５（ｃ）は、それらの共通な領域を示している。そして、図５のステップＳＴ１６で、ステップＳＴ１５で抽出された共通な領域に外接する長方形の領域を求め、これを最終的に抽出された文字部分領域とする。図１５（ｄ）は、この長方形領域、すなわち文字部分領域を示している。

次に、図５のステップＳＴ１７で、ステップＳＴ１６で抽出された文字部分領域の情報ＣＥＩ、すなわち文字部分領域を示す座標データを出力する。文字部分領域を示す座標データは、例えば図１５（ｄ）に示すように、文字部分領域の左上座標および右下座標のデータである。

なお、文字部分領域がない場合には、抽出回路１１５は、文字部分領域がない旨の情報を出力する。例えば、出力データとなる文字部分領域の左上の水平、垂直方向座標と右下の水平、垂直方向座標をそれぞれ０にして出力する。

図３に示す文字領域の判定部１１０では、均一レベル領域の検出出力、高周波領域の検出出力、無変化領域の検出出力に基づいて、抽出回路１１５で文字部分領域を抽出しているので、あらゆる環境における字幕、テロップ等の文字部分を含む文字部分領域を正確に抽出できる。

文字画素（文字部分である画素）の判定部１５０には、上述したように文字領域の判定部１１０から出力される文字部分領域の情報ＣＥＩが供給される。なお、この文字画素の判定部１５０には、文字領域の判定部１１０を通じて、文字部分領域の情報ＣＥＩが得られたフレームの画像信号も供給される。

図１６は、文字部分領域の画像信号の波形モデル図を示している。このモデル図から明らかなように、文字部分の画素は、以下の（１）、（２）の特徴を持つ。（１）文字部分の画素のデータレベルは、ユーザが文字部分であると認識できるようにするために、文字部分以外の部分の画素のデータレベルと比較して、大幅に高くなっている。（２）文字部分は、同一データレベルの画素で構成される。

文字画素の判定部１５０は、上述した文字部分の画素の持つ特徴に基づいて、文字部分領域を構成する各画素が文字部分の画素であるか否かを判定する。すなわち、文字部分領域を構成する第１の画素のデータとその第１の画素に隣接する画素のデータとの差分絶対値が第１のしきい値より大きく、かつ第１の画素のデータが第２のしきい値より大きいとき、当該第１の画素を文字部分の画素であると判定する。また、文字部分の画素であると判定された画素のデータと、その画素に隣接する第２の画素のデータとが同一レベルであるとき、当該第２の画素を文字部分の画素であると判定する。

図１７は、文字部分の画素の判定方法のモデル図を示している。画素ｂが判定対象画素であるとき、この画素ｂのデータと画素ａのデータとの差分絶対値Ｄを求める。この差分絶対値Ｄがしきい値ｔｈ_D（第１のしきい値）より大きく、かつ画素ｂのデータ値がしきい値ｔｈ_L（第２のしきい値）より大きいとき、この画素ｂを、文字部分の画素であると判定する。なお、しきい値ｔｈ_D，th_Lは、任意の値に設定される。また、画素ｂに隣接する画素ｃが判定対象画素であるとき、この画素ｃのデータと画素ｂのデータとを比較し、同一レベルであるとき、この画素ｃも、文字部分の画素であると判定する。

図１８は、文字画素の判定部１５０の要部構成を示している。この判定部１５０には、文字部分領域を構成する各画素のデータＤinが順次入力される。この場合、各画素のデータＤinはライン順に入力され、それぞれのラインの画素データＤinは連続して入力される。

画素データＤinは、１画素期間の遅延回路１５１を介して減算器１５２に供給されると共に、さらに比較器１５５に供給される。減算器１５２では、判定対象の画素のデータとその１画素前の画素のデータとの差分値が得られ、この差分値は絶対値化回路１５３に供給されて差分絶対値Ｄが得られる。この差分絶対値Ｄは比較器１５４に供給されてしきい値ｔｈ_Dと比較され、その比較結果は判定部１５７に供給される。

また、画素データＤin、すなわち判定対象の画素データは比較器１５５に供給されてしきい値th_Lと比較され、その比較結果は判定部１５７に供給される。また、絶対値化回路１５３で得られた差分絶対値Ｄは比較器１５６に供給されてしきい値ｔｈ₀と比較され、その比較結果は判定部１５７に供給される。この比較器１５６は、判定対象の画素のデータとその１画素前の画素のデータとが同一レベルであるか否かを判定するためのものであり、差分絶対値Ｄがしきい値ｔｈ₀より小さいときは、同一レベルと判定できる。ここで、しきい値ｔｈ₀は、ノイズ等によるレベル変動を吸収するためのものであって、小さな値である。

判定部１５７では、比較器１５４〜１５６の比較結果を使用し、上述した文字部分の画素の判定方法（図１７参照）に基づいて、判定対象の画素が文字部分の画素であるか否かを判定する。そして、この判定部１５７からは、その判定結果が文字抽出情報ＣＳＩとして出力される。この文字抽出情報ＣＳＩは、文字部分であると判定された画素を示す座標データである。

次に、上述した拡大・縮小部１０４（図１参照）について、さらに詳細に説明する。この拡大・縮小部１０４には、上述したように文字抽出部１０３から出力される文字抽出情報ＣＳＩが供給される。なお、この拡大・縮小部１０４には、文字抽出部１０３を通じて、文字抽出情報が得られたフレームの画像信号も供給される。

この拡大・縮小部１０４は、図１９に示すように、領域指定部１６１、背景処理部１６２と、クラス分類適応処理部１６３とを有している。領域指定部１６１は、文字抽出部１０３から供給される文字抽出情報ＣＳＩに基づいて、画像サイズの拡大または縮小の処理を行う抽出領域を指定する。この場合、領域指定部１６１は、図２０に示すように、最も上側に位置する文字部分の画素、最も下側に位置する文字部分の画素、最も右側に位置する文字部分の画素、最も左側に位置する文字部分の画素の座標を求め、これら４画素の座標を通る長方形領域を、上述した画像サイズの拡大または縮小の処理を行う抽出領域に指定する。この抽出領域には、文字部分の画素であると判定された画素が全て含まれている。

背景処理部１６２は、領域指定部１６１で指定された抽出領域の画像信号（文字部分の画像信号）を構成する複数の画素データのうち、文字部分以外（背景）の画素データの値を所定値、本実施の形態においては０とする。図２１Ａ，Ｂは、この背景処理部１６２における処理のイメージ図を示している。図２１Ａは、処理前の各画素の状態を示しており、文字部分以外の画素のデータは種々の値を持っている。図２１Ｂは、処理後の各画素の状態を示しており、文字部分以外の画素のデータの値は０とされている。

クラス分類適応処理部１６３は、背景処理部１６２で処理された抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理を行って文字部分の画像信号ＳＶｃを取得する。画像サイズの拡大または縮小を行う場合、処理前の画像信号の各画素のデータに基づいて、処理後の画像信号の各画素のデータを求める必要がある。処理後の画像信号の各画素のデータを、処理前の画像信号の各画素のデータを使用して線形補間処理で求めることもできるが、本実施の形態においてはクラス分類適応処理により求める。

このクラス分類適応処理部１６３は、倍率情報入力部１０５（図１参照）から供給される倍率情報ＭＧに基づいて、画像の拡大または縮小の処理を行う。この場合、拡大または縮小の倍率情報ＭＧに応じて、処理前の画像信号の各画素に対する、処理後の画像信号の各画素の位置が変化する。このクラス分類適応処理部１６３の詳細構成については、後述する。

図２２のフローチャートは、拡大・処理部１０４の処理手順（１フレーム分）を示している。まず、ステップＳＴ２１で、処理を開始する。そして、ステップＳＴ２２で、文字抽出情報ＣＳＩ、すなわち文字部分の画素であると判定された画素の座標データに基づいて、拡大・縮小を行う抽出領域を指定する。次に、ステップＳＴ２３で、ステップＳＴ２２で指定された抽出領域の画像信号を構成する複数の画素データのうち、文字部分以外（背景）の画素データの値に所定値、例えば０を代入する。次に、ステップＳＴ２４で、ステップＳＴ２３で処理された抽出領域の画像信号に対し、倍率情報ＭＧに応じて、画像サイズの拡大または縮小の処理を行って文字部分の画像信号ＳＶｃを取得する。そして、ステップＳＴ２５で、処理を終了する。

次に、クラス分類適応処理部１６３の詳細を説明する。図２３は、クラス分類適応処理部１６３の構成を示している。この処理部１６３は、処理本体部２０１と、この処理本体部２０１の動作を制御する制御部２０２とからなっている。上述した倍率情報ＭＧは、制御部２０２に供給される。

処理本体部２０１は、バッファメモリ２０３と、予測タップ選択部２０４と、クラスタップ選択部２０５と、クラス検出部２０６と、係数データ生成部２０７と、ＲＯＭ(Read Only Memory)２０８と、推定予測演算部２０９と、バッファメモリ２１０とを有している。

バッファメモリ２０３は、背景処理部１６２で処理された抽出領域の画像信号ＳＶｓを一時的に記憶する。予測タップ選択部２０４、クラスタップ選択部２０５は、それぞれ、画像信号ＳＶｓから、画像信号ＳＶｃにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。

クラス検出部２０６は、クラスタップ選択部２０５で選択的に抽出されるクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、注目画素位置の画素データが属するクラスを示すクラスコードＣＬを取得する。例えば、データ圧縮処理としては、ＡＤＲＣ(Adaptive Dynamic Range Coding)、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を利用できる。本実施の形態では、ＡＤＲＣ、例えば１ビットＡＤＲＣを利用している。

まず、ＫビットＡＤＲＣを利用する場合について説明する。この場合、クラスタップに含まれる画素データの最大値ＭＡＸと最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出し、またクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算（量子化）し、クラスタップを構成するそれぞれの画素データをＫビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとする。

したがって、１ビットＡＤＲＣを利用する場合には、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２で除算し、クラスタップに含まれるそれぞれの画素データを１ビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとして出力する。

ＲＯＭ２０８は、各クラスの係数種データを記憶している。後述する推定予測演算部２０９では、予測タップとしての複数の画素データｘｉと、係数データＷｉとを用い、（１）式の推定式に基づいて、画像信号ＳＶｃにおける注目画素位置の画素データｙが求められる。この（１）式において、ｎは、予測タップとしての複数の画素データｘｉの個数である。

ＲＯＭ２０８に記憶される係数種データは、上述した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための、位相情報ｈ，ｖをパラメータとする生成式の係数データである。（２）式は、その生成式の一例を示している。ここで、位相情報ｈは水平方向の位相情報であり、位相情報ｖは垂直方向の位相情報である。

ＲＯＭ２０８には、例えば、（２）式の生成式における係数データである係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。

係数データ生成部２０７は、クラス検出部２０６で得られたクラスコードＣＬが表すクラスの係数種データｗ_i0〜ｗ_i9をＲＯＭ２０８から読み出し、さらに制御部２０２から供給される、画像信号ＳＶｃにおける注目画素位置の位相情報ｈ，ｖの値を用い、（２）式の生成式に基づいて、係数データＷｉを生成する。上述したように、処理前の画像信号ＳＶｓに対する、処理後の画像信号の各画素の位置は、倍率情報ＭＧに応じて変化する。

例えば、図２４は、倍率情報ＭＧで示す倍率が０．７５倍である縮小時における入力（画像信号ＳＶｓ）と出力（ＳＶｃ）の画素位置関係を示している。また例えば、図２５は、倍率情報ＭＧで示す倍率が１．２５倍である拡大時における入力（画像信号ＳＶｓ）と出力（ＳＶｃ）の画素位置関係を示している。なお、図２４、図２５では、大きなドットが入力の画素であり、小さなドットが出力の画素を示しており、また奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

制御部２０２は、倍率情報ＭＧに基づき、奇数、偶数のフィールドのそれぞれに対応して、画像信号ＳＶｃにおける注目画素位置の位相情報ｈ，ｖを発生する。この場合、例えば、画像信号ＳＶｓの水平方向、垂直方向の画素間隔をそれぞれ１６とし、画像信号ＳＶｃにおける注目画素位置から水平方向、垂直方向にそれぞれ最も近い位置にある画像信号ＳＶｓにおける画素（最短画素）までの距離を、位相情報ｈ，ｖとしている。

ここで、位相情報ｈに関しては、注目画素位置が最短画素より左方に位置するときは負の値とされ、逆に注目画素位置が最短画素より右方に位置するときは正の値とされる。同様に、位相情報ｖに関しては、注目画素位置が最短画素より上方に位置するときは負の値とされ、逆に注目画素位置が最短画素より下方に位置するときは正の値とされる。

推定予測演算部２０９は、予測タップ選択部２０４で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数データ生成部２０７から読み出された係数データＷｉとを用い、（１）式の推定式に基づいて、画像信号ＳＶｃにおける注目画素位置の画素データｙを算出する。バッファメモリ２１０は、推定予測演算部２０９で算出された、画像信号ＳＶｃを構成する各画素データを一時的に記憶する。

次に、処理本体部２０１の動作を説明する。
背景処理部１６２で処理された抽出領域の画像信号ＳＶｓはバッファメモリ２０３に供給されて一時的に記憶される。クラスタップ選択部２０５では、バッファメモリ２０３に記憶されている画像信号ＳＶｓに基づいて、画像信号ＳＶｃにおける注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部２０６に供給される。

クラス検出部２０６では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、画像信号ＳＶｃにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは係数データ生成部２０７に供給される。

この係数データ生成部２０７には、制御部２０２から、画像信号ＳＶｃにおける注目画素位置の位相情報ｈ，ｖが供給される。これにより、係数データ生成部２０７では、画像信号ＳＶｃにおける注目画素位置に対応して、ＲＯＭ２０８からクラスコードＣＬが表すクラスの係数種データｗ_i0〜ｗ_i9が読み出され、位相情報ｈ，ｖの値を用いて、（２）式の生成式に基づいて、係数データＷｉが生成される。この係数データＷｉは、推定予測演算部２０９に供給される。

予測タップ選択部２０４では、バッファメモリ２０３に記憶されている画像信号ＳＶｓに基づいて、画像信号ＳＶｃにおける注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データは推定予測演算部２０９に供給される。

推定予測演算部２０９では、予測タップのデータとしての複数の画素データｘｉと、係数データＷｉとを用い、（１）式の推定式に基づいて、画像信号ＳＶｃにおける注目画素位置の画素データｙが算出される。この場合、注目画素位置を、画像信号ＳＶｃの全画素位置に順次変化させていくことで、画像信号ＳＶｃの全画素位置の画素データｙが求められる。

推定予測演算部２０９で求められた画像信号ＳＶｃの全画素位置の画素データｙは、バッファメモリ２１０に供給されて一時的に記憶される。このバッファメモリ２１０に記憶された画像信号ＳＶｃを構成する各画素データは、その後に適宜なタイミングで読み出されて画像合成部１０６（図１参照）に供給され、入力画像信号ＳＶinに合成される。

上述したように、クラス分類適応処理部１６３における処理本体部２０１のＲＯＭ２０８には、係数種データｗ_i0〜ｗ_i9が、クラス毎に、記憶されている。この係数種データｗ_i0〜ｗ_i9は、予め学習によって生成されたものである。

まず、この係数種データの生成方法の一例について説明する。ここでは、（２）式の生成式における係数データである係数種データｗ_i0〜ｗ_i9を求める例を示すものとする。

ここで、以下の説明のため、（３）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ₀＝１，ｔ₁＝ｖ，ｔ₂＝ｈ，ｔ₃＝ｖ²，ｔ₄＝ｖｈ，ｔ₅＝ｈ²，ｔ₆＝ｖ³，
ｔ₇＝ｖ²ｈ，ｔ₈＝ｖｈ²，ｔ₉＝ｈ³
・・・（３）
この（３）式を用いると、（２）式は、（４）式のように書き換えられる。

最終的に、学習によって未定係数ｗ_ijを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（１）式および（２）式を用いて、Ｅは（５）式で表される。ここで、ｘ_ikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応する教師画像のｋ番目の画素データを表している。

最小二乗法による解法では、（５）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（６）式で示される。

以下、（７）式、（８）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（６）式は、行列を用いて（９）式のように書き換えられる。

この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_ijについて解かれ、係数種データが算出される。

図２６は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号（１０５０ｉ信号）から生徒信号としてのＳＤ信号（５２５ｉ信号）を生成する。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味している。１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味している。

図２７は、ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

このＳＤ信号の位相を垂直方向に８段階、水平方向に８段階にシフトさせて、８×８＝６４種類のＳＤ信号ＳＤ₁〜ＳＤ₆₄を生成する。位相シフトの方法の例として、例えばオーバーサンプリングフィルタから欲しい位相だけを抜き出す方法がある。

図２８は、垂直方向への８段階の位相シフト状態Ｖ１〜Ｖ８を示している。ここでは、ＳＤ信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「ｏ」は奇数フィールドを、「ｅ」は偶数フィールドを表している。

Ｖ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。

Ｖ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。

図２９は、水平方向への８段階の位相シフト状態Ｈ１〜Ｈ８を示している。ここではＳＤ信号の水平方向の画素間隔は１６であり、右方向が正の方向とされている。

Ｈ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０,−８の位相を持つようになる。Ｈ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７,−１の位相を持つようになる。Ｈ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６,−２の位相を持つようになる。Ｈ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，−３の位相を持つようになる。

Ｈ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，−４の位相を持つようになる。Ｈ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、３，−５の位相を持つようになる。Ｈ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２，−６の位相を持つようになる。Ｈ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１,−７の位相を持つようになる。

図３０は、上述したように垂直方向に８段階、水平方向に８段階にシフトさせて得られた６４種類のＳＤ信号に関し、ＳＤ信号の画素を中心とした場合のＨＤ信号の位相を示している。すなわち、ＳＤ信号の画素に対して、ＨＤ信号の画素は図中の●で示す位相を持つようになる。

図３１は、上述した概念で係数種データを生成する係数種データ生成装置２５０の構成を示している。

この係数種データ生成装置２５０は、教師信号としてのＨＤ信号（１０５０i信号）が入力される入力端子２５１と、位相シフト回路２５２とを有している。この位相シフト回路２５２は、入力端子２５１に入力されたＨＤ信号に対して、水平および垂直方向にオーバーサンプリングフィルタをかけ、欲しい位相を抜き出して、生徒信号としてのＳＤ信号（５２５ｉ信号）を取得する。この位相シフト回路２５２には、水平方向、垂直方向への位相シフト量を指定するパラメータＨ，Ｖが入力される。この場合、位相シフト回路２５２では、ＳＤ信号の位相が、垂直方向に８段階、水平方向に８段階にシフトするようにされ、合計６４種類のＳＤ信号が生成される（図２６参照）。

また、係数種データ生成装置２５０は、予測タップ選択部２５３と、クラスタップ選択部２５４とを有している。これら予測タップ選択部２５３およびクラスタップ選択部２５４は、それぞれ、位相シフト回路２５２より出力されるＳＤ信号から、ＨＤ信号おける注目画素位置の周辺に位置する複数の画素データを選択的に抽出する。これら予測タップ選択部２５３、クラスタップ選択部２５４は、それぞれ、上述した処理本体部２０１（図２３参照）の予測タップ選択部２０４、クラスタップ選択部２０５に対応するものである。

また、係数種データ生成装置２５０は、クラス検出部２５５を有している。このクラス検出部２５５は、クラスタップ選択部２５４で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、ＨＤ信号における注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部２５５は、上述した処理本体部２０１のクラス検出部２０６に対応するものである。

また、係数種データ生成装置２５０は、教師タップ選択部２５６を有している。この教師タップ選択部２５６は、ＨＤ信号から、注目画素位置の画素データを選択的に抽出する。

また、係数種データ生成装置２５０は、正規方程式生成部２５７を有している。この正規方程式生成部２５７は、教師タップ選択部２５６で選択的に抽出された、ＨＤ信号における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部２５５で得られたクラスコードＣＬと、各注目画素位置の画素データｙの水平、垂直の位相ｈ，ｖとから、クラス毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（９）式参照）を生成する。

この場合、一個の画素データｙとそれに対応するｎ個の画素データｘｉとの組み合わせで一個の学習データが生成される。位相シフト回路２５２へのパラメータＨ，Ｖが順次変更されていき、垂直、水平の位相シフト値が段階的に変化した６４種類のＳＤ信号が順次生成されていく。これにより、正規方程式生成部２５７では、多くの学習データが登録された正規方程式が生成される。このようにＳＤ信号を順次生成して学習データを登録することで、水平、垂直の任意の位相の画素データを得るための係数種データを求めることが可能となる。

また、係数種データ生成装置２５０は、係数種データ決定部２５８と、係数種メモリ２５９とを有している。係数種データ決定部２５８は、正規方程式生成部２５７から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラス毎に、係数種データｗ_i0〜ｗ_i9を求める。係数種メモリ２５９は、この係数種データｗ_i0〜ｗ_i9を格納する。

図３１に示す係数種データ生成装置２５０の動作を説明する。
入力端子２５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される。このＨＤ信号に対して、位相シフト回路２５２では、水平および垂直方向にオーバーサンプリングフィルタがかけられ、欲しい位相が抜き出されてＳＤ信号（５２５ｉ信号）が得られる。この場合、ＳＤ信号として垂直方向に８段階、水平方向に８段階にシフトされたものが順次生成される。

クラスタップ選択部２５４では、位相シフト回路２５２で生成される各ＳＤ信号から、ＨＤ信号における注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出部２５５に供給される。そして、クラス検出部２５５では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、ＨＤ信号における注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される。このクラスコードＣＬは、正規方程式生成部２５７に供給される。

予測タップ選択部２５３では、位相シフト回路２５２で生成される各ＳＤ信号から、ＨＤ信号における注目画素位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成部２５７に供給される。また、教師タップ選択部２５６では、ＨＤ信号から、注目画素位置の画素データが選択的に抽出される。この画素データｙは、正規方程式生成部２５７に供給される。

そして、正規方程式生成部２５７では、教師タップ選択部２５６で選択的に抽出された、ＨＤ信号における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部２５５で得られたクラスコードＣＬと、各注目画素位置の画素データｙの水平、垂直の位相ｈ，ｖとから、クラス毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（９）式参照）が生成される。

そして、係数種データ決定部２５８でその正規方程式が解かれ、各クラスの係数種データｗ_i0〜ｗ_i9が求められ、その係数種データｗ_i0〜ｗ_i9はクラス別にアドレス分割された係数種メモリ２５９に記憶される。

このように、図３１に示す係数種データ生成装置２５０においては、図２３のクラス分類適応処理部１６３の処理本体部２０１におけるＲＯＭ２０８に記憶される、各クラスの係数種データｗ_i0〜ｗ_i9を生成することができる。

次に、上述した画像合成部１０６（図１参照）について、さらに詳細に説明する。図３２は、画像合成部１０６での処理の流れを示している。画像保存部１０２に保存されている入力画像信号ＳＶinと、拡大・縮小部１０４で生成された文字部分の画像信号ＳＶｃが用いられる。そして、文字部分の表示位置が選択され、その選択された表示位置に基づいて入力画像信号ＳＶinに画像信号ＳＶｃが合成され、出力画像信号ＳＶoutが得られる。

図３３（ａ）〜（ｅ）は、ユーザが表示位置入力部１０７を操作して選択し得る表示位置の一例を示している。表示位置入力部１０７から画像合成部１０６には、上述したように、ユーザにより選択された表示位置を示す表示位置情報ＤＰが供給される。

画像合成部１０６は、画像メモリ（図示せず）を有しており、拡大・縮小部１０４で生成された文字部分の画像信号ＳＶｃを構成する各画素データを画像メモリの表示位置に対応したアドレスに書き込み、画像メモリのその他のアドレスに、画像保存部１０２に保存されている入力画像信号ＳＶinを構成する画素データを書き込み、そしてこの画像メモリから出力画像信号ＳＶoutを構成する画素データを読み出して出力する。

なお、上述した拡大・縮小部１０４では、入力画像信号ＳＶinから抽出された抽出領域の画像信号、つまり処理前の文字部分の画像信号に対して拡大または縮小の処理が行われて、処理後の文字部分の画像信号ＳＶｃが生成される。この画像信号ＳＶｃの領域（処理後の領域）は、拡大処理の場合は上述した抽出領域より大きくなり、逆に縮小処理の場合は上述した抽出領域より小さくなる。

したがって、縮小処理の場合に、例えば、拡大・縮小部１０４で処理されて得られた画像信号ＳＶｃをそのまま、入力画像信号ＳＶinに、処理前の文字部分の表示位置に対応して合成した場合、処理後の文字部分の周りに処理前の文字部分が表示された見苦しい状態となる。そこで、本実施の形態においては、縮小処理の場合であって、処理後の文字部分の表示位置として処理前の文字部分の表示位置と同じ表示位置が選択された場合、処理後の画像信号ＳＶｃの領域を、その領域の周りに、上述した拡大・縮小部１０４の背景処理部１６２で文字部分以外（背景）の画素データの値として用いた所定値、例えば０の画素データを付加して拡大し、最終的な画像信号ＳＶｃの領域が上述した抽出領域より小さくならないようにする。この所定値の画素データの付加処理は、例えば、画像合成部１０６で入力画像信号Ｖinに処理後の画像信号ＳＶｃを合成する際に行われる。

図３４のフローチャートは、画像合成部１０６における１フレーム分の画像信号の処理手順を示している。まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、表示位置入力部１０７から供給される表示位置情報ＤＰに基づいて、表示位置を決定する。

次に、ステップＳＴ３３で、拡大・縮小処理されて得られた画像信号ＳＶｃを構成する画素データを、画像メモリの表示位置に対応したアドレスに書き込む。この場合、上述したように縮小処理の場合であって、処理後の文字部分の表示位置として処理前の文字部分の表示位置と同じ表示位置が選択された場合には、画像信号ＳＶｃの領域の周りに対応するアドレスに、所定値、例えば０の画素データを書き込み、上述したように最終的な画像信号ＳＶｃの領域が抽出領域より小さくならないようにされる。

次に、ステップＳＴ３４で、画像メモリのその他のアドレスに、画像保存部１０２に保存されている入力画像信号ＳＶinを構成する画素データを書き込む。そして、ステップＳＴ３５で、画像メモリから、出力画像信号ＳＶoutを構成する１フレーム分の画素データを読み出して出力する。そして、ステップＳＴ３６で、処理を終了する。

次に、図１に示す画像信号処理装置１００の動作を説明する。
例えばＤＶＤプレーヤから出力される画像信号、テレビチューナから出力される画像信号等が、入力画像信号ＳＶinとして入力端子１０１に入力される。この入力画像信号ＳＶinは、画像保存部１０２および文字抽出部１０３に供給される。画像保存部１０２では、入力画像信号ＳＶinが、そのまま一時的に保存される。

文字抽出部１０３では、入力画像信号ＳＶinから、字幕、テロップ等の文字部分の画像信号を抽出するための文字抽出情報ＣＳＩが取得される。すなわち、この文字抽出部１０３では、入力画像信号ＳＶinから字幕、テロップ等の文字部分が含まれている文字部部分領域が抽出され、さらにその文字部分領域を構成する各画素が文字部分の画素であるか否かが判定され、その判定結果が上述した文字抽出情報ＣＳＩとして出力される。この文字抽出情報ＣＳＩは、拡大・縮小部１０４に供給される。なお、拡大・縮小部１０４には、文字抽出部１０３を通じて、文字抽出情報ＣＳＩが得られたフレームの画像信号も供給される。

拡大・縮小部１０４では、文字抽出情報ＣＳＩに基づいて入力画像信号ＳＶinから抽出された抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理が行われる。すなわち、拡大・縮小部１０４では、文字抽出情報ＣＳＩに基づいて画像サイズの拡大または縮小の処理を行う抽出領域が指定され、この抽出領域の画像信号を構成する複数の画素データのうち、文字部分以外（背景）の画素データの値が所定値、例えば０とする背景処理が行われ、さらに背景処理後の抽出領域の画像信号に対して、画像サイズの拡大または縮小の処理が行われて、処理後の文字部分の画像信号ＳＶｃが得られる。

拡大・縮小部１０４では、例えば、画像サイズの拡大または縮小の処理が、クラス分類適応処理により行われる。また、この拡大・縮小部１０４では、倍率情報入力部１０５から入力される、画像サイズの拡大または縮小の倍率情報ＭＧに基づいて、画像サイズの拡大または縮小の処理が行われる。ユーザは、倍率情報入力部１０５を操作して、この倍率情報ＭＧで示される倍率を任意に変更できる。

画像合成部１０６では、画像保存部１０２に保存されている入力画像信号ＳＶinに、拡大・縮小部１０４で処理されて得られた文字部分の画像信号ＳＶｃが合成されて出力画像信号ＳＶoutが得られる。すなわち、この画像合成部１０６では、例えば文字部分の画像信号ＳＶｃを構成する各画素データが画像メモリの表示位置に対応したアドレスに書き込まれ、画像メモリのその他のアドレスに、入力画像信号ＳＶinを構成する画素データが書き込まれ、そしてこの画像メモリから出力画像信号ＳＶoutを構成する画素データが読み出される。

この画像合成部１０６では、表示位置入力部１０７から入力される、表示位置情報ＤＰに基づいて、入力画像信号ＳＶinに対する文字部分の画像信号ＳＶｃの合成位置、つまり文字部分の画面上における表示位置が決定される。ユーザは、表示位置入力部１０７を操作して、表示位置情報ＤＰで示される表示位置を任意に変更できる。

画像合成部１０６から出力される出力画像信号ＳＶoutは、出力端子１０８に出力される。この出力画像信号ＳＶoutをディスプレイ（図示せず）に供給し、この出力画像信号ＳＶoutによる画像を表示した場合、その画像はユーザの選択する表示位置に、ユーザが指定した倍率で文字部分が拡大または縮小されて表示されたものとなる。

図３５のフローチャートは、画像信号処理装置１００の処理手順を示している。まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、入力画像信号ＳＶinを保存する。

次に、ステップＳＴ４３で、入力画像信号ＳＶinから、文字部分の画像信号を抽出するための文字抽出情報ＣＳＩを取得する。そして、ステップＳＴ４４で、文字抽出情報ＣＳＩに基づいて、抽出領域の画像信号に対し、倍率情報ＭＧに基づいて、画像サイズの拡大または縮小の処理を行う。

次に、ステップＳＴ４５で、保存されている入力画像信号ＳＶinに、表示位置情報ＤＰに基づいて、拡大または縮小処理された文字部分の画像信号ＳＶｃを合成して、出力画像信号ＳＶoutを取得する。そして、ステップＳＴ４６で、処理を終了する。

上述したように、図１に示す画像信号処理装置１００においては、入力画像信号ＳＶinから文字部分の画像信号を抽出して画像サイズの拡大または縮小の処理を行うと共に、処理後の画像信号ＳＶｃを入力画像信号ＳＶinに合成して出力画像信号ＳＶoutを得るものであり、字幕、テロップ等の文字部分を拡大あるいは縮小して表示できる。

また、図１に示す画像信号処理装置１００においては、倍率情報入力部１０５で入力された倍率情報ＭＧに基づいて、画像サイズの拡大または縮小の処理が行われるものであり、ユーザは、倍率情報入力部１０５を操作して、字幕、テロップ等の文字部分を任意の倍率で拡大または縮小して見ることができる。したがって、ユーザは、図３６に示すように、制作者側で決められたサイズにとらわれず、文字部分を自由にサイズを変えて見ることができる。

また、図１に示す画像信号処理装置１００においては、表示位置入力部１０７で入力された表示位置情報ＤＰに基づいて、入力画像信号ＳＶinに、拡大または縮小の処理がされた文字部分の画像信号ＳＶｃが合成されるものであり、ユーザは、表示位置入力部１０７を操作して、字幕、テロップ等の文字部分を任意の画面位置に表示して見ることができる。

次に、この発明の他の実施の形態を説明する。図３７は、この発明の他の実施の形態としての画像信号処理装置１００Ａの構成を示している。この図３７において、図１と対応する部分には、同一符号を付し、その詳細説明は省略する。

この画像信号処理装置１００Ａは、ログデータ記憶部１０９を有している。このログデータ記憶部１０９は、拡大・縮小部１０４の動作に関連する履歴情報を格納する。例えば、この履歴情報は、拡大・縮小の処理を行う対象である、入力画像信号ＳＶinの抽出領域の画像信号、その抽出領域の画像信号に対応した処理後の画像信号ＳＶｃ、ユーザにより指定される倍率（倍率情報ＭＧ）とその頻度、クラスタップのデータとしての複数の画素データとそれに対応したクラスコード等である。

図３７に示す画像信号処理装置１００Ａにおけるその他は、図１に示す画像信号処理装置１００と同様に構成される。この画像信号処理装置１００Ａの動作は、ログデータ記憶部１０９に、拡大・縮小部１０４の動作に関連する履歴情報を格納することを除き、図１に示す画像信号処理装置１００と同様であるので、その説明は省略する。

この画像信号処理装置１００Ａにおけるように、ログデータ記憶部１０９に、入力画像信号ＳＶinの抽出領域の画像信号と、倍率およびその頻度と、その抽出領域の画像信号に対応した処理後の画像信号ＳＶｃとを履歴情報として格納することで、ユーザがどのような種類の文字部分の画像信号を、どのような倍率、どのくらいの頻度で拡大や縮小し、またその結果としての画像信号ＳＶｃがどの程度の性能で出力されているかを知ることができる。

また、ログデータ記憶部１０９に、入力画像信号ＳＶinの抽出領域の画像信号から抽出される、クラスタップのデータとしての複数の画素データとそれに対応したクラスコードを格納することで、クラス分類として最適なものとなっているか検証することができる。

図３８は、クラスタップのデータのモデル図を示している。クラスタップのデータとしての４個の画素データのデータ値を表した波形１と波形２があったとする。その際、上述した１ビットＡＤＲＣによるクラスコードを導出した場合、波形１と波形２は同じ波形として扱われる。

しかし、実際には、異なる波形であるので、クラス分類適応処理による拡大または縮小の処理性能が低下するおそれがある。そこで、上述したように、クラスタップのデータとしての複数の画素データとそれに対応したクラスコードをログデータ記憶部１０９に格納することで、波形１と波形２とを別の波形として扱ってクラス分類適応処理による拡大または縮小の処理性能をあげるアップデートにつなげることができる。

図３９は、図２３のクラス分類適応処理部１６３の処理本体部２０１におけるクラス検出部２０６の構成例を示している。このクラス検出部２０６は、１ビットＡＤＲＣによりクラスコードＣＬを生成する。このクラス検出部２０６は、係数メモリ２０６ａと、コア処理部２０６ｂとを有している。係数メモリ２０６ａは、しきい値を決定する係数データａを記憶する。

コア処理部２０６ｂは、係数メモリ２０６ａに記憶されている係数データａを用いてしきい値ｔｈaを決定し、このしきい値ｔｈaを用いてクラスタップのデータとしての複数の画素データのそれぞれにおける、複数の画素データの最小値ｍｉｎとの差分値を２値化し、クラスコードＣＬを取得する。この場合、クラスタップのデータとしての複数の画素データの最小値ｍｉｎ、最大値ｍａｘと、係数データａとを用い、しきい値ｔｈaは、（１０）式で算出される。
ｔｈa＝ａ（ｍａｘ−ｍｉｎ）／２ ・・・（１０）

上述した図３８に示すように、クラスタップのデータとしての複数の画素データの波形（レベルパターン）があまりにも異なるのに同一のクラスコードＣＬが得られるケースが多い場合には、そのようなケースが少なくなるように係数データａの値を調整することで、クラス分類適応処理による画像サイズの拡大・縮小の処理の機能向上を図ることができる。この場合例えば、アップデートの際に、係数メモリ２０６ａが、調整された係数データａが記憶された新たな係数メモリ２０６ａに置き換えられる。

なお、図２３のクラス分類適応処理部１６３の処理本体部２０１におけるクラス検出部２０６を図３９のように構成する場合、図３１に示す係数種データ生成装置２５０におけるクラス検出部２５５も同様に構成し、係数データａの値を同じ値として、処理本体部２０１におけるＲＯＭ２０８に格納される係数種データｗ_i0〜ｗ_i9を生成する。

また、ログデータ記憶部１０９に、倍率とその頻度のデータを格納することで、例えば、ユーザが特定の倍率のみを選択している場合には、係数種データを学習で得る際に、その倍率に対応した学習データのみを多く使用することで、係数種データの精度を上げ、拡大・処理部１０４における画像サイズの拡大・縮小の処理機能を向上させることができる。

なお、上述実施の形態を実現するためには、適当なハードウェアを必要とするものの、その多くはソフトウェアによって実現できる。つまり、上述実施の形態は、システムまたは各部のコンピュータ（ＣＰＵあるいはＭＰＵ）に、上述実施の形態を実現するためのプログラムを供給し、このプログラムに従ってシステムまたは各装置のコンピュータが各種デバイスを動作させることで、上述実施の形態を実現できる。プログラムを記憶するコンピュータ読み取り可能な媒体としては、フロッピー（登録商標）ディスク、光磁気ディスク、光ディスク、不揮発性メモリカード、ＲＯＭ等を用いることができる。

この発明は、字幕、テロップ等の文字部分を拡大あるいは縮小して表示できるものであり、字幕、テロップ等の文字部分が存在する画像信号による画像を表示する用途に適用できる。

実施の形態としての画像信号処理装置の構成を示すブロック図である。 文字抽出部の構成を示すブロック図である。 文字領域の判定部の構成を示すブロック図である。 無変化領域の検出を説明するための図である。 抽出回路の処理手順を示すフローチャートである。 原画の画像の具体例を示す図である。 均一レベル領域検出回路の検出出力の具体例を示す図である。 高周波領域検出回路の検出出力の具体例を示す図である。 無変化領域検出回路の検出出力の具体例を示す図である。 画面上の各座標の評価値の具体例を示す図である。 画面上の各座標の評価値を、第１の直交座標系に投影して求めた累積値分布の具体例を示す図である。 各座標の評価値を、第２の直交座標系に投影して求めた累積値分布の具体例を示す図である。 第１の直交座標系の累積値分布から抽出される、二つの基底となる軸で累積値が所定のしきい値以上となる共通領域を示す図である。 第２の直交座標系の累積値分布から抽出される、二つの基底となる軸で累積値が所定のしきい値以上となる共通領域を示す図である。 文字部分領域の抽出を説明するための図である。 文字部分領域の画像信号の波形モデルを示す図である。 文字部分の画素の判定方法を説明するための図である。 文字画素の判定部の要部構成を示すブロック図である。 拡大・縮小部の構成を示すブロック図である。 領域指定部における領域指定処理を説明するための図である。 背景処理部における背景処理を説明するための図である。 拡大・縮小部の処理手順を示すフローチャートである。 クラス分類適応処理部の構成を示すブロック図である。 縮小（０．７５倍）時の入力と出力の画素位置関係を示す図である。 拡大（１．２５倍）時の入力と出力の画素位置関係を示す図である。 係数種データの生成方法の一例を示す図である。 ５２５ｉ信号と１０５０ｉ信号の画素位置関係を示す図である。 垂直方向への８段階の位相シフトを説明するための図である。 水平方向への８段階の位相シフトを説明するための図である。 ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）との位相関係を示す図である。 係数種データ生成装置の構成を示すブロック図である。 画像合成部での処理の流れを説明するための図である。 ユーザが選択し得る表示位置の一例を示す図である。 画像合成部での処理手順を説明するための図である。 画像信号処理装置の処理手順を示すフローチャートである。 この発明の、文字部分の表示サイズに係る、制作者とユーザの関係を示す図である。 他の実施の形態としての画像信号処理装置の構成を示すブロック図である。 クラスタップのデータのモデル図である。 クラス検出部の構成例を示すブロック図である。 従来の、文字部分の表示サイズに係る、制作者とユーザの関係を示す図である。

符号の説明

１００，１００Ａ・・・画像信号処理装置、１０１・・・入力端子、１０２・・・画像保存部、１０３・・・文字抽出部、１０４・・・拡大・縮小部、１０５・・・倍率情報入力部、１０６・・・画像合成部、１０７・・・表示位置入力部、１０８・・・出力端子、１０９・・・ログデータ記憶部、１１０・・・文字領域の判定部、１１１・・・文字部分領域抽出部、１１２・・・均一レベル領域検出回路、１１３・・・高周波領域検出回路、１１４・・・無変化領域検出回路、１１５・・・抽出回路、１１６・・・画像蓄積部、１１７〜１２１・・・フレームメモリ、１５０・・・文字画素（文字部分である画素）の判定部、１６１・・・領域指定部、１６２・・・背景処理部、１６３・・・クラス分類適応処理部、２０１・・・処理本体部、２０２・・・制御部、２０３，２１０・・・バッファメモリ、２０４・・・予測タップ選択部、２０５・・・クラスタップ選択部、２０６・・・クラス検出部、２０６ａ・・・係数メモリ、２０６ｂ・・・コア処理部、２０７・・・係数データ生成部、２０８・・・ＲＯＭ、２０９・・・推定予測演算部、２５０・・・係数種データ生成装置

Claims (11)

1. 入力画像信号を保存する画像保存手段と、
   上記入力画像信号から文字部分の画像信号を抽出するための文字抽出情報を得る文字抽出手段と、
   上記文字抽出手段で得られた文字抽出情報に基づいて上記入力画像信号から抽出された抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理を行う拡大・縮小手段と、
   上記画像保存手段に保存されている入力画像信号に、上記拡大・縮小手段で処理された文字部分の画像信号を合成して、出力画像信号を得る画像合成手段と
   を備え、
   上記文字抽出手段は、
   上記入力画像信号から上記文字部分が含まれている文字部分領域を抽出する第１の判定手段と、
   上記第１の判定手段で抽出された文字部分領域を構成する画素が文字部分の画素であるか否かを判定し、その判定結果を上記文字抽出情報として出力する第２の判定手段と
   を有し、
   上記第１の判定手段は、
   上記入力画像信号の任意の画素のデータと該任意の画素の空間方向の周辺に位置する周辺画素のデータとを用いて、均一レベル領域を検出する均一レベル領域検出手段と、
   上記入力画像信号の任意の画素の時間方向の複数のデータを用いて所定時間以上変化のない領域を検出する無変化領域検出手段と、
   上記入力画像信号の任意の画素のデータと該任意の画素の空間方向の周辺に位置する周辺画素のデータとを用いて、高周波成分が存在する高周波領域を検出する高周波領域検出手段と、
   上記均一レベル領域検出手段の検出出力、上記無変化領域検出手段の検出出力および上記高周波領域検出手段の検出出力に基づいて、上記文字部分領域を抽出する抽出手段と
   を有する
   画像信号処理装置。
2. 上記第２の判定手段は、
   上記文字部分領域を構成する第１の画素のデータが第１のしきい値より大きく、かつ該第１の画素のデータと該第１の画素に隣接する画素のデータとの差分絶対値が第２のしきい値より大きいとき、該第１の画素を文字部分の画素であると判定し、
   文字部分であると判定された画素のデータと、該画素に隣接する第２の画素のデータとが同一レベルであるとき、該第２の画素を文字部分の画素であると判定する
   請求項１に記載の画像信号処理装置。
3. 上記拡大・縮小手段は、
   上記文字抽出手段で得られた文字抽出情報に基づいて、画像サイズの拡大または縮小の処理を行う上記抽出領域を指定する領域指定手段と、
   上記領域指定手段で指定された抽出領域の画像信号を構成する複数の画素データのうち、文字部分以外の画素データの値を所定値とする背景処理手段と、
   上記背景処理手段で処理された上記抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理を行う処理手段と
   を有する請求項１に記載の画像信号処理装置。
4. 上記処理手段は、
   上記画像サイズの拡大または縮小の倍率に対応した、処理後の画像信号における注目画素位置の位相情報を発生する位相情報発生手段と、
   処理前の画像信号に基づいて、上記処理後の画像信号における注目画素位置の周辺に位置する複数の画素データを選択する第１のデータ選択手段と、
   上記第１のデータ選択手段で選択された複数の画素データに基づいて、上記処理後の画像信号における注目画素位置の画素データが属するクラスを検出するクラス検出手段と、
   上記位相情報発生手段で発生された位相情報に対応し、かつ上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
   上記処理前の画像信号に基づいて、上記処理後の画像信号における注目画素位置の周辺に位置する複数の画素データを選択する第２のデータ選択手段と、
   上記係数データ発生手段で発生された係数データおよび上記第２のデータ選択手段で選択された複数の画素データを用い、上記推定式に基づいて上記処理後の画像信号における注目画素位置の画素データを求める演算手段と
   を有する請求項３に記載の画像信号処理装置。
5. 上記クラス検出手段は、
   しきい値を決定する係数データを記憶する係数メモリと、
   上記係数メモリに記憶された係数データを用いてしきい値を決定し、該しきい値を用いて、上記複数の画素データのそれぞれにおける、該複数の画素データの最小値との差分値を２値化し、上記クラスを示すクラスコードを得るコア処理部と
   を有する請求項４に記載の画像信号処理装置。
6. 上記画像合成手段は、
   画像メモリを有し、
   上記拡大・縮小手段で処理された文字部分の画像信号を構成する画素データを上記画像メモリの表示位置に対応したアドレスに書き込み、
   上記画像メモリのその他のアドレスに、上記画像保存手段に保存されている入力画像信号を構成する画素データを書き込み、
   上記画像メモリから上記出力画像信号を構成する画素データを読み出して出力する
   請求項１に記載の画像信号処理装置。
7. 上記画像サイズの拡大または縮小の倍率情報を入力する倍率入力手段をさらに備え、
   上記拡大・縮小手段は、上記倍率入力手段で入力された倍率情報に基づいて、画像サイズの拡大または縮小の処理を行う
   請求項１に記載の画像信号処理装置。
8. 上記文字部分の画像信号による画像を表示する表示位置の情報を入力する表示位置入力手段をさらに備え、
   上記画像合成手段は、上記表示位置入力手段で入力された表示位置の情報に基づいて、上記画像保存手段に保存されている入力画像信号に、上記拡大・縮小手段で処理された文字部分の画像信号を合成する
   請求項１に記載の画像信号処理装置。
9. 上記拡大・縮小手段の動作に関連する履歴情報を格納する記憶手段をさらに備える
   請求項１に記載の画像信号処理装置。
10. 入力画像信号を保存する画像保存手段と、
    上記入力画像信号から文字部分の画像信号を抽出するための文字抽出情報を得る文字抽出手段と、
    上記文字抽出手段で得られた文字抽出情報に基づいて上記入力画像信号から抽出された抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理を行う拡大・縮小手段と、
    上記画像保存手段に保存されている入力画像信号に、上記拡大・縮小手段で処理された文字部分の画像信号を合成して、出力画像信号を得る画像合成手段と
    を備え、
    上記拡大・縮小手段は、
    上記文字抽出手段で得られた文字抽出情報に基づいて、画像サイズの拡大または縮小の処理を行う上記抽出領域を指定する領域指定手段と、
    上記領域指定手段で指定された抽出領域の画像信号を構成する複数の画素データのうち、文字部分以外の画素データの値を所定値とする背景処理手段と、
    上記背景処理手段で処理された上記抽出領域の画像信号に対し、画像サイズの拡大または縮小の処理を行う処理手段と
    を有し、
    上記処理手段は、
    上記画像サイズの拡大または縮小の倍率に対応した、処理後の画像信号における注目画素位置の位相情報を発生する位相情報発生手段と、
    処理前の画像信号に基づいて、上記処理後の画像信号における注目画素位置の周辺に位置する複数の画素データを選択する第１のデータ選択手段と、
    上記第１のデータ選択手段で選択された複数の画素データに基づいて、上記処理後の画像信号における注目画素位置の画素データが属するクラスを検出するクラス検出手段と、
    上記位相情報発生手段で発生された位相情報に対応し、かつ上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
    上記処理前の画像信号に基づいて、上記処理後の画像信号における注目画素位置の周辺に位置する複数の画素データを選択する第２のデータ選択手段と、
    上記係数データ発生手段で発生された係数データおよび上記第２のデータ選択手段で選択された複数の画素データを用い、上記推定式に基づいて上記処理後の画像信号における注目画素位置の画素データを求める演算手段と
    を有する
    画像信号処理装置。
11. 上記クラス検出手段は、
    しきい値を決定する係数データを記憶する係数メモリと、
    上記係数メモリに記憶された係数データを用いてしきい値を決定し、該しきい値を用いて、上記複数の画素データのそれぞれにおける、該複数の画素データの最小値との差分値を２値化し、上記クラスを示すクラスコードを得るコア処理部と
    を有する請求項１０に記載の画像信号処理装置。

Images