JP4659793B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、スクロールする文字を検出する画像処理装置及び画像処理方法に関する。

近年、動画像を表示する際の動画解像度（動画性能の優劣を表す指標）を改善するために、フレーム補間を行ってフレーム数を増加させるフレームレート変換技術の研究開発が進められている。フレーム補間を高精度に行うためには、画像のフレーム間の動きを高精度に検出する必要がある。

特に画面内をスクロールする文字列を視認しやすく表示するためには、スクロールする文字を高精度に検出してフレーム補間を行う必要がある。

特許文献１には、ライン別に水平方向のベクトルを算出して、スクロール動作が存在するか否かを判断する技術が開示されている。

また、特許文献２には、前景にある文字等の画像が、流れる背景のもとでもなるべく歪みを生じないようような動き補正フィールド内挿を実現する技術が開示されている。これによれば、文字等のエッジ度の大きい部分のみを取り出し、取り出した部分のデータを用いて動き推定を行う。
特開２００４―３１２６８０号公報 特開平７―３０７９２５号公報

しかしながら、上述した特許文献１では、背景の動きと文字の動きとを区別していないので、スクロールする文字を正確に検出することができなかった。また、上述した特許文献２には、文字を抽出する技術が開示されているが、スクロールする文字を検出することについては開示されていない。

そこで、本発明は、スクロールする文字を高精度に検出することが可能な画像処理装置及び画像処理方法方法を提供することを目的とする。

上述した課題を解決するために、本発明に係る画像処理装置は、スクロールする文字を検出する画像処理装置であって、入力された画像から文字領域を抽出する抽出手段と、画像を複数行複数列のブロックに分割し、入力された画像の連続する２つのフレームに対してブロックマッチング法を用いて、抽出手段により抽出された文字領域を含むブロックに対応する動きベクトルを算出する動きベクトル算出手段と、動きベクトル算出手段により算出された動きベクトルの大きさ及び向きが略同じであるブロックが同一の行又は列に所定数よりも多く存在し、かつ、大きさ及び向きが略同じ動きベクトルが予め定められたフレーム数以上連続して検出されたブロックがある場合、当該行又は列にスクロールする文字が存在すると判定するスクロール判定手段とを備える。

また、本発明に係る画像処理方法は、スクロールする文字を検出する画像処理方法であって、入力された画像から文字領域を抽出する抽出ステップと、画像を複数行複数列のブロックに分割し、入力された画像の連続する２つのフレームに対してブロックマッチング法を用いて、抽出ステップで抽出された文字領域を含むブロックに対応する動きベクトルを算出する動きベクトル算出ステップと、動きベクトル算出ステップで算出された動きベクトルの大きさ及び向きが同じであるブロックが略同一の行又は列に所定数よりも多く存在し、かつ、大きさ及び向きが略同じ動きベクトルが予め定められたフレーム数以上連続して検出されたブロックがある場合、当該行又は列にスクロールする文字が存在すると判定するスクロール判定ステップとを有する。

本発明によれば、スクロールする文字を高精度に検出することができる。これにより、スクロールする文字に対してフレーム補間を高精度に行うことが可能になる。

以下、図面を用いて本発明の実施の形態について説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置１００の概略構成を示すブロック図である。この画像処理装置１００は、抽出部１と、遅延部２と、動きベクトル算出部３と、水平スクロール判定部４と、垂直スクロール判定部５と、動きベクトル補正部６とを備える。

抽出部１は、入力画像から輝度が所定値Ｌｔｈよりも高い領域を文字領域として抽出する。ここでは、文字領域は輝度が高いことが多いため、輝度値に基づいて文字領域を抽出する。ただし、エッジ度の高い領域を抽出する等、他の方法を用いて、文字領域を抽出してもよい。

図２は、入力画像ＰＩＣ１から輝度が所定値Ｌｔｈ１よりも高い領域を抽出する例を示す図である。抽出部１は、入力画像ＰＩＣ１から輝度が所定値Ｌｔｈ１よりも高い領域を抽出して、画像信号ＰＩＣ２を生成する。ここで、輝度が所定値Ｌｔｈ１よりも低い領域内の各画素の画素値は０に変換される。

図１に戻って、遅延部２は、抽出部１から出力された画像信号を１フレーム分だけ遅延させて出力する。動きベクトル算出部３は、抽出部１からの画像信号と遅延部２により遅延された画像信号とを受け、ブロックマッチング法を用いてブロック毎の動きベクトルを算出する。

図３は、ブロックマッチング法による動きベクトル算出について説明するための図である。ブロックマッチング法では、フレームＦ（ｎ）の画像を複数行複数列のブロックＢ［ｉ，ｊ］に分割する（ただし、ｉ≧２，ｊ≧２）。そして、フレームＦ（ｎ＋１）の画像と１フレーム分遅延されたフレームＦ（ｎ）の画像とを比較し、フレームＦ（ｎ）からＦ（ｎ＋１）の間でどれだけ移動したかを算出して、動きベクトルＶ［ｉ，ｊ］を求める。この際、０よりも大きな画素値を有する画素の数が所定数よりも多いブロックについてだけ動きベクトルＶ［ｉ，ｊ］を算出する。０よりも大きな画素値を有する画素の数が所定数よりも少ないブロックは、動きベクトルの大きさを０とする。また、白色背景のように均一な高輝度の領域は動きベクトルを正確に求めることが難しいため、画素値が０である画素が一つもないブロックについては、動きベクトルの大きさを０とする。

なお、この実施の形態１では、動きベクトルＶ［ｉ，ｊ］の水平方向成分（水平方向の動きベクトル）Ｖ＿ｈ［ｉ，ｊ］と垂直方向成分（垂直方向の動きベクトル）Ｖ＿ｖ［ｉ，ｊ］を算出するものとする。ここでは、文字情報は水平方向又は垂直方向にスクロールされる場合が多いことを考慮している。

図４は、動きベクトル算出部３によって算出された各ブロックＢ［ｉ，ｊ］の動きベクトルの一例を示す図である。ここでは、画像が５×５のブロックに分割された場合を示す。図４では、ブロックＢ［３，１］，Ｂ［３，４］，Ｂ［４，４］の水平方向の動きベクトルＶ＿ｈ［３，１］，Ｖ＿ｈ［３，４］，Ｖ＿ｈ［４，４］が算出され、他のブロックの水平方向の動きベクトルＶ＿ｈの大きさが０であった場合を示している。また、各ブロックの水平方向の動きベクトルＶ＿ｖの大きさは０となっている。

図１に戻って、動きベクトル算出部３によって算出された水平方向の動きベクトルＶ＿ｈ［ｉ，ｊ］は水平スクロール判定部４に入力され、垂直方向の動きベクトルＶ＿ｖ［ｉ，ｊ］は垂直スクロール判定部５に入力される。

水平スクロール判定部４は、ヒストグラム生成部７と判定部９で構成される。ヒストグラム生成部７は、行単位で各ブロックの水平方向の動きベクトルＶ＿ｈ［ｉ，ｊ］のヒストグラムを生成する。判定部９は、生成された行単位のヒストグラムから、水平スクロールする文字が存在するか否かを行単位で判定する。

図５は、図４に示した動きベクトルＶ＿ｈ［ｉ，ｊ］について、行単位で生成されたヒストグラムの例を示す図である。図５（Ａ）〜図５（Ｄ）は、各行（ｊ＝１〜５）に対応する動きベクトルＶ＿ｈ［ｉ，ｊ］のヒストグラムである。

判定部９は、大きさ及び向きが同じである動きベクトルＶ＿ｈを有するブロックが所定数Ｎｔｈ１（例えば、Ｎｔｈ１＝１．５）よりも多く存在する行には、水平スクロールする文字が存在すると判定する。スクロールする文字は複数の隣接するブロックに存在する場合が多いため、このような方法で判定する。図５（Ａ）〜図５（Ｄ）に示した例では、行ｊ＝４は、動きベクトルＶ＿ｈの大きさが「−２」のブロックが２つ存在するため、水平スクロールする文字が存在すると判定される。他の行（ｊ＝１〜３，５）については、水平スクロールする文字が存在しないと判定される。

判定部９は、各行ｊについて、水平スクロールする文字が存在すると判定した場合はＨｓｃｒ［ｊ］＝１の判定結果を出力する。一方、水平スクロールする文字が存在しないと判定した場合はＨｓｃｒ［ｊ］＝０の判定結果を出力する。また、水平スクロールする文字が存在すると判定した行ｊについて、大きさ０以外で大きさ及び向きが同じ動きベクトルのうち最も数の多い動きベクトルをスクロール文字の動きベクトルと判定（Ｈｖｅｃ［ｊ］＝Ｖ＿ｈ）する。一方、水平スクロールする文字が存在しないと判定した行ｊについては、Ｈｖｅｃ［ｊ］＝０を判定結果として出力する。例えば、図５（Ａ）〜図５（Ｄ）に示した例では、行ｊ＝４の判定結果は、Ｈｓｃｒ［ｊ］＝１、Ｈｖｅｃ［ｊ］＝―２となり、他の行（ｊ＝１〜３，５）の判定結果は、Ｈｓｃｒ［ｊ］＝０、Ｈｖｅｃ［ｊ］＝０となる。

図１に戻って、垂直スクロール判定部５は、ヒストグラム生成部８と判定部１０で構成される。ヒストグラム生成部８は、列単位で各ブロックの垂直方向の動きベクトルＶ＿ｖ［ｉ，ｊ］のヒストグラムを生成する。判定部１０は、生成された列単位のヒストグラムから、垂直スクロールする文字が存在するか否かを列単位で判定する。具体的には、大きさ及び向きが同じである動きベクトルＶ＿ｖを有するブロックが所定数Ｎｔｈ２よりも多く存在する列には、垂直スクロールする文字が存在すると判定する。判定部１０は、各列ｉについて、垂直スクロールする文字が存在すると判定した場合はＶｓｃｒ［ｉ］＝１の判定結果を出力する。一方、垂直スクロールする文字が存在しないと判定した場合はＶｓｃｒ［ｉ］＝０の判定結果を出力する。また、垂直スクロールする文字が存在すると判定した列ｉについて、大きさ０以外で大きさ及び向きが同じ動きベクトルのうち最も数の多い動きベクトルをスクロール文字の動きベクトルと判定（Ｖｖｅｃ［ｉ］＝Ｖ＿ｖ）する。一方、垂直スクロールする文字が存在しないと判定した列ｉについては、Ｖｖｅｃ［ｉ］＝０を判定結果として出力する。

動きベクトル補正部６は、動きベクトル算出部３により算出された動きベクトルＶ＿ｈ［ｉ，ｊ］，Ｖ＿ｖ［ｉ，ｊ］と、水平スクロール判定部４及び垂直スクロール判定部５の判定結果Ｈｓｃｒ［ｊ］，Ｈｖｅｃ［ｊ］，Ｖｓｃｒ［ｉ］，Ｖｖｅｃ［ｉ］を受け、動きベクトルを補正する。そして、補正後の動きベクトルＶｏｕｔ＿ｈ［ｉ，ｊ］，Ｖｏｕｔ＿ｖ［ｉ，ｊ］を出力する。

図６は、動きベクトル補正部６による動きベクトル補正の動作について説明するためのフローチャートである。ｉ列ｊ行のブロックＢ［ｉ，ｊ］を１ブロックずつ順番に補正処理していく場合について説明する。１列ずつ順番に処理してもよいし、１行ずつ順番に処理してもよく、処理順は任意とする。

まず、ステップＳ１で、処理対象のブロックＢ［ｉ，ｊ］に対応する行ｊに水平スクロールする文字が存在すると判定された（Ｈｓｃｒ［ｊ］＝１）か否かを判別する。ここで、水平スクロールする文字が存在するとの判定結果（Ｈｓｃｒ［ｊ］＝１）を有する場合はステップＳ２に進み、水平スクロールする文字が存在しないとの判定結果（Ｈｓｃｒ［ｊ］＝０）を有する場合はステップＳ４に進む。

ステップＳ２では、処理対象のブロックＢ［ｉ，ｊ］及び左右に隣接する２つのブロックの水平方向の動きベクトルＶ＿ｈ［ｉ−１，ｊ］，Ｖ＿ｈ［ｉ，ｊ］，Ｖ＿ｈ［ｉ＋１，ｊ］の中に、行ｊのＨｖｅｃ［ｊ］と同じ動きベクトルが存在するか否かを判別する。ここで、Ｈｖｅｃ［ｊ］と同じ動きベクトルが存在すると判別された場合はステップＳ３に進み、Ｈｖｅｃ［ｊ］と同じ動きベクトルが存在しないと判別された場合はステップＳ４に進む。

ステップＳ３では、処理対象のブロックＢ［ｉ，ｊ］の補正後の水平方向の動きベクトルＶｏｕｔ＿ｈ［ｉ，ｊ］＝Ｈｖｅｃ［ｊ］とし、補正後の垂直方向の動きベクトルＶｏｕｔ＿ｖ［ｉ，ｊ］＝０としてステップＳ８に進む。

ステップＳ４では、処理対象のブロックＢ［ｉ，ｊ］に対応する列ｉに垂直スクロールする文字が存在すると判定された（Ｖｓｃｒ［ｉ］＝１）か否かを判別する。ここで、垂直スクロールする文字が存在するとの判定結果（Ｖｓｃｒ［ｉ］＝１）を有する場合はステップＳ５に進み、垂直スクロールする文字が存在しないとの判定結果（Ｖｓｃｒ［ｉ］＝０）を有する場合はステップＳ７に進む。

ステップＳ５では、処理対象のブロックＢ［ｉ，ｊ］及び上下に隣接する２つのブロックの垂直方向の動きベクトルＶ＿ｖ［ｉ，ｊ−１］，Ｖ＿ｖ［ｉ，ｊ］，Ｖ＿ｖ［ｉ，ｊ＋１］の中に、列ｉのＶｖｅｃ［ｉ］と同じ動きベクトルが存在するか否かを判別する。ここで、Ｖｖｅｃ［ｉ］と同じ動きベクトルが存在すると判別された場合はステップＳ６に進み、Ｖｖｅｃ［ｉ］と同じ動きベクトルが存在しないと判別された場合はステップＳ７に進む。

ステップＳ６では、処理対象のブロックＢ［ｉ，ｊ］の補正後の垂直方向の動きベクトルＶｏｕｔ＿ｖ［ｉ，ｊ］＝Ｖｖｅｃ［ｉ］とし、補正後の水平方向の動きベクトルＶｏｕｔ＿ｈ［ｉ，ｊ］＝０としてステップＳ８に進む。

ステップＳ７では、処理対象のブロックＢ［ｉ，ｊ］の補正後の垂直方向の動きベクトルＶｏｕｔ＿ｖ［ｉ，ｊ］＝０とし、補正後の水平方向の動きベクトルＶｏｕｔ＿ｈ［ｉ，ｊ］＝０としてステップＳ８に進む。

ステップＳ８では、全てのブロックの補正処理が終了したか否かを判定し、全てのブロックの補正処理が終了するまで、ステップＳ１からステップＳ８の動作を繰り返す。全てのブロックの処理が終了したら動きベクトル補正の処理を終了する。このように動きベクトル補正を行うことにより、スクロールする文字が存在すると判定されたブロックだけではなく、スクロールする文字が存在する可能性が高いブロックに対しても適切なフレーム補間を実行できるようにする。スクロールする文字が存在しないと判定されたブロックであっても、隣接するブロックにスクロールする文字が存在していれば、そのブロックにスクロール文字の一部が含まれている可能性があることを考慮している。

図６に示したフローチャートでは、あるブロックについて、水平スクロールと垂直スクロールの両方が存在した場合に、水平スクロールの判定の方が優先されるようになっている。これは、放送画面上では水平スクロールの方が垂直スクロールよりも手前側に表示されることが多いことを考慮したためである。

なお、ステップＳ２及びステップＳ５では、処理対象のブロック及び隣接する２つのブロックの動きベクトルに基づいて判定動作を行う場合を例に挙げたが、これに限定されるものではない。例えば、処理対象のブロックのみの動きベクトルに基づいて判定動作を行ってもよいし、処理対象のブロックに隣接する２つのブロックにさらに隣接するブロックの動きベクトルを参照するようにしてもよい。また、ステップＳ２において、処理対象のブロックに対応する行の上側に隣接する行、下側に隣接する行のブロックの動きベクトルも参照するようにしてもよい。また、ステップＳ５において、処理対象のブロックに対応する列の左側に隣接する列、右側に隣接する列のブロックの動きベクトルも参照するようにしてもよい。

図７は、動きベクトル補正部６から出力される各ブロックのＢ［ｉ，ｊ］補正後の動きベクトルの一例を示す図である。この図７は、図４に示した各ブロックＢ［ｉ，ｊ］の動きベクトルＶ＿ｈ［ｉ，ｊ］，Ｖ＿ｖ［ｉ，ｊ］に対して動きベクトル補正の処理が施された結果を示している。動きベクトル補正の処理が施された結果、Ｖｏｕｔ＿ｈ［２，４］，Ｖｏｕｔ＿ｈ［３，４］，Ｖｏｕｔ＿ｈ［４，４］，Ｖｏｕｔ＿ｈ［５，４］が全て同じ大きさと向きを有する動きベクトルとなる。また、他の水平方向の動きベクトルＶｏｕｔ＿ｈの大きさは０と、垂直方向の動きベクトルＶｏｕｔ＿ｖ［ｉ，ｊ］の大きさは全てのブロックにおいて０となっている。

抽出部１で抽出された文字領域に対して、動きベクトル補正部６から出力された動きベクトルＶｏｕｔ＿ｈ［ｉ，ｊ］，Ｖｏｕｔ＿ｖ［ｉ，ｊ］に基づいて、フレーム補間処理が行われる。具体的には、スクロールする文字が存在すると判定された行又は列に対応するブロックに対して、０以外の動きベクトルＶｏｕｔ＿ｈ［ｉ，ｊ］，Ｖｏｕｔ＿ｖ［ｉ，ｊ］が割り当てられたブロック毎にフレーム補間処理が施される。ただし、ブロック単位ではなくフレーム単位でフレーム補間処理を行うようにしてもよい。フレーム補間処理としては、従来より用いられている動画像に対するフレーム補間処理を用いるため、ここでは詳細な説明は省略する。例えば、２つ（又は４つ以上）の連続するフレームの画像と動きベクトルとに基づいて補間フレームを生成し、フレーム数を倍化するフレーム補間処理を行う。

なお、図示しないが、スクロールする文字の背景画像に対しては、抽出された文字領域とは別にフレーム補間処理が施される。例えば、スクロール文字の背景画像が静止画像である場合、スクロール文字に対しては動画像用のフレーム補間処理が施され、背景画像に対しては静止画用のフレーム補間処理が施される。

以上のように、この実施の形態１では、スクロールする文字を高精度に検出することができる。これにより、スクロールする文字に対してフレーム補間を高精度に行うことが可能になる。

なお、動きベクトル補正部６が図６に示した動きベクトル補正の処理を実行する前に、下記の前処理を行うようにしてもよい。具体的には、水平スクロールする文字が存在する（Ｈｓｃｒ［ｊ］＝１）と判定された行ｊの上下に隣接する行に対して、Ｈｓｃｒ［ｊ−１］＝１，Ｈｓｃｒ［ｊ＋１］＝１とする前処理を施す。また、垂直スクロールする文字が存在する（Ｖｓｃｒ［ｉ］＝１）と判定された列の左右に隣接する列に対して、Ｖｓｃｒ［ｉ−１］＝１，Ｖｓｃｒ［ｉ＋１］＝１とする前処理を施す。スクロールする文字が存在しないと判定されたブロックであっても、隣接する行又は列にスクロールする文字が存在していれば、スクロール文字の一部が含まれている可能性があることを考慮して、上記前処理を行うようにしてもよい。

（実施の形態２）
図８は、本発明の実施の形態２に係る画像処理装置１０１の概略構成を示すブロック図である。図８の画像処理装置１０１において、図１の画像処理装置１００と異なる点は、水平スクロール判定部４が水平スクロール判定部２１に置換され、垂直スクロール判定部５が垂直スクロール判定部２４に置換されている点である。なお、実施の形態１と同様の構成を有するブロックには同一の符号を付し、その詳細説明は繰り返さない。

水平スクロール判定部２１は、ヒストグラム生成部７と記憶部２２と判定部２３で構成される。ヒストグラム生成部７は、実施の形態１と同様に、行単位で各ブロックの水平方向の動きベクトルＶ＿ｈ［ｉ，ｊ］のヒストグラムを生成する。

判定部２３は、実施の形態１の判定部９と同様に、生成された行単位のヒストグラムから、水平スクロールする文字が存在するか否かを行単位で判定した後、判定結果の確定処理及びリセット処理を行う。以下に、判定結果の確定処理及びリセット処理について説明する。

判定部２３は、判定結果Ｈｓｃｒ［ｊ］，Ｈｖｅｃ［ｊ］を記憶部２２に記憶するとともに、スクロールカウント値Ｈｃｎｔ［ｊ］を記憶部２２に記憶する。水平スクロールする文字が存在しない（Ｈｓｃｒ［ｊ］＝０）と判定された場合は、スクロールカウント値Ｈｃｎｔ［ｊ］＝０にセットされる。水平スクロールする文字が存在する（Ｈｓｃｒ［ｊ］＝１）と判定された場合は、スクロールカウント値Ｈｃｎｔ［ｊ］＝１がセットされる。連続して水平スクロールする文字が存在する（Ｈｓｃｒ［ｊ］＝１）と判定され、かつＨｖｅｃ［ｊ］が前フレームと同一である場合は、スクロールカウント値Ｈｃｎｔ［ｊ］が＋１にカウントアップされる。連続して水平スクロールする文字が存在する（Ｈｓｃｒ［ｊ］＝１）と判定されても、Ｈｖｅｃ［ｊ］が前フレームと同一でない場合は、スクロールカウント値Ｈｃｎｔ［ｊ］＝１がセットされる。

そして、判定部２３は、スクロールカウント値Ｈｃｎｔ［ｊ］が所定値（例えば３）に到達した場合に、Ｈｓｃｒ［ｊ］＝１に確定する確定処理を行う。スクロールカウント値Ｈｃｎｔ［ｊ］が所定値（例えばＨｃｎｔ［ｊ］＝３）に到達するまでは、Ｈｓｃｒ［ｊ］＝０にリセットされる。

垂直スクロール判定部２４は、ヒストグラム生成部８と記憶部２５と判定部２６で構成される。ヒストグラム生成部８は、実施の形態１と同様に、列単位で各ブロックの垂直方向の動きベクトルＶ＿ｖ［ｉ，ｊ］のヒストグラムを生成する。

判定部２６は、実施の形態１の判定部１０と同様に、生成された列単位のヒストグラムから、垂直スクロールする文字が存在するか否かを列単位で判定した後、判定結果の確定処理及びリセット処理を行う。以下に、判定結果の確定処理及びリセット処理について説明する。

判定部２６は、判定結果Ｖｓｃｒ［ｉ］，Ｖｖｅｃ［ｉ］を記憶部２５に記憶するとともに、スクロールカウント値Ｖｃｎｔ［ｉ］を記憶部２５に記憶する。垂直スクロールする文字が存在しない（Ｖｓｃｒ［ｉ］＝０）と判定された場合は、スクロールカウント値Ｖｃｎｔ［ｉ］＝０にセットされる。垂直スクロールする文字が存在する（Ｖｓｃｒ［ｉ］＝１）と判定された場合は、スクロールカウント値Ｖｃｎｔ［ｉ］＝１がセットされる。連続して垂直スクロールする文字が存在する（Ｖｓｃｒ［ｉ］＝１）と判定され、かつＶｖｅｃ［ｉ］が前フレームと同一である場合は、スクロールカウント値Ｖｃｎｔ［ｉ］が＋１にカウントアップされる。連続して垂直スクロールする文字が存在する（ＶＶｓｃｒ［ｉ］＝１）と判定されても、Ｖｖｅｃ［ｉ］が前フレームと同一でない場合は、スクロールカウント値Ｖｃｎｔ［ｉ］＝１がセットされる。

そして、判定部２３は、スクロールカウント値Ｖｃｎｔ［ｉ］が所定値（例えば３）に到達した場合に、Ｖｓｃｒ［ｉ］＝１に確定する確定処理を行う。スクロールカウント値Ｖｃｎｔ［ｉ］が所定値（例えばＶｃｎｔ［ｉ］＝３）に到達するまでは、Ｖｓｃｒ［ｉ］＝０にリセットされる。

スクロールする文字は複数フレームで連続して表示され、同一の行又は列において複数フレームで連続して同じ動きベクトルが存在することを考慮して、上述のような確定処理及びリセット処理を行う。

したがって、この実施の形態２では、スクロールの誤判定を低減することができ、スクロールする文字をより高精度に検出することができる。これにより、スクロールする文字に対してフレーム補間をより高精度に行うことが可能になる。

（実施の形態３）
図９は、本発明の実施の形態３に係る画像処理装置１０２の概略構成を示すブロック図である。図９の画像処理装置１０２において、図１の画像処理装置１００と異なる点は、抽出部１が抽出部３１に置換されている点である。なお、実施の形態１と同様の構成を有するブロックには同一の符号を付し、その詳細説明は繰り返さない。

抽出部３１は、輝度判定部３２とＨＰＦ（ハイパスフィルタ）３３と高域判定部３４で構成される。ＨＰＦ３３は、入力画像の信号を受け、所定の周波数Ｆｔｈ１よりも高い周波数の信号のみを通過させる。高域判定部３４は、ＨＰＦ３３からの画像を複数行複数列のブロックＢ［ｉ，ｊ］に分割し、ブロック内の周波数成分の合計が所定値Ｆｔｈ２よりも高いブロックを特定する。

輝度判定部３２は、入力画像を複数行複数列のブロックＢ［ｉ，ｊ］に分割し、ブロック内の輝度成分の合計が所定値Ｌｔｈ２よりも高いブロックを特定する。そして、ブロック内の輝度成分の合計が所定値Ｌｔｈ２よりも高く、かつブロック内の周波数成分の合計が所定値Ｆｔｈ２よりも高いと判定されたブロックを抽出する。

以上のように、この実施の形態３では、高周波数で、かつ輝度の高いブロックのみが抽出される。文字領域は、高周波数成分を含み、かつ輝度が高いことが多いため、より正確に文字領域を抽出することができる。したがって、スクロールする文字をより高精度に検出することができる。これにより、スクロールする文字に対してフレーム補間をより高精度に行うことが可能になる。

本発明の実施の形態１に係る画像処理装置の概略構成を示すブロック図である。 入力画像から輝度が所定値よりも高い領域を抽出する例を示す図である。 ブロックマッチング法による動きベクトル算出について説明するための図である。 図１に示した動きベクトル算出部によって算出された各ブロックＢ［ｉ，ｊ］の動きベクトルの一例を示す図である。 図４に示した動きベクトルＶ＿ｈ［ｉ，ｊ］について、行単位で生成されたヒストグラムの例を示す図である。 図１に示した動きベクトル補正部による動きベクトル補正の動作について説明するためのフローチャートである。 各ブロックのＢ［ｉ，ｊ］補正後の動きベクトルの一例を示す図である。 本発明の実施の形態２に係る画像処理装置の概略構成を示すブロック図である。 本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図である。

符号の説明

１ 抽出部
２ 遅延部
３ 動きベクトル算出部
４ 水平スクロール判定部
５ 垂直スクロール判定部
６ 動きベクトル補正部
１００ 画像処理装置

Claims (10)

1. スクロールする文字を検出する画像処理装置であって、
   入力された画像から文字領域を抽出する抽出手段と、
   前記画像を複数行複数列のブロックに分割し、前記入力された画像の連続する２つのフレームに対してブロックマッチング法を用いて、前記抽出手段により抽出された文字領域を含むブロックに対応する動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトル算出手段により算出された動きベクトルの大きさ及び向きが略同じであるブロックが同一の行又は列に所定数よりも多く存在し、かつ、大きさ及び向きが略同じ動きベクトルが予め定められたフレーム数以上連続して検出されたブロックがある場合、当該行又は列にスクロールする文字が存在すると判定するスクロール判定手段と、を備える画像処理装置。
2. 前記抽出手段は、前記入力された画像の輝度が予め定められた値よりも大きな領域を前記文字領域として抽出する、請求項１に記載の画像処理装置。
3. 前記抽出手段は、前記画像を複数行複数列のブロックに分割し、ブロック内の輝度成分及び周波数成分が予め定められた値よりも高いブロックを前記文字領域として抽出する、請求項１に記載の画像処理装置。
4. 前記スクロール判定手段は、スクロールする文字が存在すると判定した行又は列において、大きさ及び向きが略同じ動きベクトルのうち最も数の多い動きベクトルをスクロール文字の動きベクトルと判定する、請求項１から請求項３までのいずれか一項に記載の画像処理装置。
5. さらに、前記スクロール判定手段により判定されたスクロール文字の動きベクトルと大きさ及び向きが略同じ動きベクトルが前記動きベクトル算出手段により算出されたブロックに隣接するブロックに対して、前記スクロール文字の動きベクトルを割り当てる動きベクトル補正手段を備える、請求項４に記載の画像処理装置。
6. スクロールする文字を検出する画像処理方法であって、
   入力された画像から文字領域を抽出する抽出ステップと、
   前記画像を複数行複数列のブロックに分割し、前記入力された画像の連続する２つのフレームに対してブロックマッチング法を用いて、前記抽出ステップで抽出された文字領域を含むブロックに対応する動きベクトルを算出する動きベクトル算出ステップと、
   前記動きベクトル算出ステップで算出された動きベクトルの大きさ及び向きが略同じであるブロックが同一の行又は列に所定数よりも多く存在し、かつ、大きさ及び向きが略同じ動きベクトルが予め定められたフレーム数以上連続して検出されたブロックがある場合、当該行又は列にスクロールする文字が存在すると判定するスクロール判定ステップと、を有する画像処理方法。
7. 前記抽出ステップは、前記入力された画像の輝度が予め定められた値よりも大きな領域を前記文字領域として抽出する、請求項６に記載の画像処理方法。
8. 前記抽出ステップは、前記画像を複数行複数列のブロックに分割し、ブロック内の輝度成分及び周波数成分が予め定められた値よりも高いブロックを前記文字領域として抽出する、請求項７に記載の画像処理方法。
9. 前記スクロール判定ステップは、スクロールする文字が存在すると判定した行又は列において、大きさ及び向きが略同じ動きベクトルのうち最も数の多い動きベクトルをスクロール文字の動きベクトルと判定する、請求項６から請求項８までのいずれか一項に記載の画像処理方法。
10. さらに、前記スクロール判定ステップで判定されたスクロール文字の動きベクトルと大きさ及び向きが略同じ動きベクトルが前記動きベクトル算出ステップで算出されたブロックに隣接するブロックに対して、前記スクロール文字の動きベクトルを割り当てる動きベクトル補正ステップを有する、請求項９に記載の画像処理方法。

Images