JPWO2011027422A1 - 画像処理装置および映像再生装置 - Google Patents

Abstract

文字の画素の輝度が文字以外の画素の輝度よりも高くない場合でも、動画像内の文字の位置を検出することができる画像処理装置および映像再生装置を提供する。動きベクトル生成部（１３）は、第１フレームの画像と、第２フレームの画像との動きベクトルを生成する。エッジ検出部（４）は、第１フレームの画像のエッジを構成するエッジ画素を検出する。文字位置検出部（６）は、第１フレームの画像の画素ごとの、動きベクトル、輝度、およびエッジ画素が否かの情報に基づいて、第１フレームの画像に含まれる文字の位置を検出する。

Description

本発明は、画像処理装置に関し、特に、動画像内の文字の位置を検出する機能を有する画像処理装置および映像再生装置に関する。

動画像に含まれる文字の位置を検出するための装置が提案されている。たとえば、特許文献１（特開２００９−４２８９７号公報）には、スクロールする文字の位置を検出する画像処理装置が開示されている。この画像処理装置では、抽出部が、入力画像から輝度が所定値よりも高い領域を文字領域として抽出する。動きベクトル算出部は、画像を複数行複数列のブロックに分割し、抽出部で抽出された文字領域を含むブロックに対応する動きベクトルを算出する。スクロール判定部は、動きベクトルの大きさ、向きが同じであるブロックが同一の行または列に所定数よりも多く存在する場合、行または列にスクロールする文字が存在すると判定する。

特開２００９−４２８９７号公報

しかしながら、特許文献１の装置は、文字の画素の輝度が文字以外の画素の輝度よりも高いことを前提としている。この前提が存在しない動画像も数多く存在し、そのような動画像については、文字の位置を検出することができない。

それゆえに、本発明の目的は、文字の画素の輝度が文字以外の画素の輝度よりも高くない場合でも、動画像内の文字の位置を検出することができる画像処理装置および映像再生装置を提供することである。

本発明の一実施形態の画像処理装置は、第１フレームの画像と、第２フレームの画像との動きベクトルを生成する動きベクトル生成部と、第１フレームの画像のエッジを構成するエッジ画素を検出するエッジ検出部と、第１フレームの画像の画素ごとの、動きベクトル、輝度、およびエッジ画素が否かの情報に基づいて、第１フレームの画像に含まれる文字の位置を検出する文字位置検出部とを備える。

本発明の一実施形態によれば、文字の画素の輝度が文字以外の画素の輝度よりも高くない場合でも、動画像内の文字の位置を検出することができる。

本発明の実施形態の画像処理装置の構成を表わす図である。 本発明の実施形態の画像処理装置の動作手順を表わすフローチャートである。 （ａ）は、前フレームの画像の例を表わす図である。（ｂ）は、現在のフレームの画像の例を表わす図である。 ヒストグラムの例を説明するための図である。 文字ラインの特定の例を説明するための図である。 組合せＣｂ２から作成された文字輪郭画素を表わす図である。 図６の文字輪郭画素から生成される文字画素を表わす図である。 図２のフローチャートのステップＳ１０３の詳細を表わすフローチャートである。 エッジ画素の検出の例を説明するための図である。 図２のフローチャートのステップＳ１０７の詳細を表わすフローチャートである。 図２のフローチャートのステップＳ１１４の詳細を表わすフローチャートである。 １つの文字ラインに含まれる文字画素の動きベクトルの例を表わす図である。 時刻Ｔ１のフレームの画像の例を表わす図である。 時刻Ｔ２のフレームの画像の例を表わす図である。 映像再生装置及びシステムの主要部のブロック構成を示す図である。

以下、本発明の実施形態について図面を参照して説明する。
（構成）
図１は、本発明の実施形態の画像処理装置の構成を表わす図である。

図１を参照して、この画像処理装置１は、フレームメモリ２と、メモリコントローラ３と、動きベクトル生成部１３と、エッジ検出部４と、文字位置検出部６と、動きベクトル補正部１４と、フレーム補間部１０と、文字輪郭強調部９とを備える。

フレームメモリ２は、外部から入力される画像を記憶する。フレームメモリ２は、現在のフレームの１つ前のフレームの画像を動きベクトル生成部１３に出力する。

メモリコントローラ３は、フレームメモリ２への画像の入力、およびフレームメモリ２からの画像の出力を制御する。

エッジ検出部４は、現在のフレームの画像を水平方向に走査して、閾値以上の画素が所定個数以上連続したセグメントが存在するときに、セグメントの両端をエッジ画素として検出する。

文字位置検出部６は、現在のフレームの画像の動きベクトルと輝度の組み合わせごとの、組合せを構成する動きベクトルと輝度とを有する画素がエッジ画素である頻度に基づいて文字の位置を検出する。文字位置検出部６は、ヒストグラム生成部５と、文字ライン特定部７と、動き判定部１１と、文字輪郭画素特定部８と、文字画素特定部１２とを含む。

ヒストグラム生成部５は、画像の動きベクトルと輝度の組合せごとに、その組合せの動きベクトルと輝度とを有する画素がエッジ画素である頻度を表わすヒストグラムを生成する。

文字ライン特定部７は、ヒストグラムの頻度が閾値以上となる動きベクトルと輝度の組合せを特定し、現フレームの画像を構成する水平方向の複数のラインのうち、特定した組合せを構成する輝度の画素の数が閾値以上のラインを文字の画素が含まれる文字ラインとして特定する。

動き判定部１１は、ヒストグラムの頻度が閾値以上となる動きベクトルと輝度の組合せを構成する動きベクトルの大きさに応じて、文字ラインに静止文字の画素が含まれるか、あるいは動き文字の画素が含まれるかを判定する。

文字輪郭画素特定部８は、文字ラインに含まれる複数の画素のうち、エッジ画素である画素を文字の輪郭を構成する文字輪郭画素として特定する。

文字画素特定部１２は、１つの文字ラインを構成する複数の文字輪郭画素について、その１つの文字ラインの一端（左端）から順番にペアが構成できるときに、ペアを構成する２つの画素と、ペアを構成する２つの画素に挟まれる画素とを文字を構成する文字画素として特定する。

文字輪郭強調部９は、文字輪郭画素を強調処理する。文字輪郭強調部９は、文字輪郭画素が静止文字であるか、動き文字であるかに応じて、強調の程度を変化させる。

動きベクトル補正部１４は、１つの文字ラインに含まれる複数の文字画素の動きベクトルを代表する代表ベクトルを特定し、１つの文字ラインに含まれる複数の文字画素の動きベクトルのうち、代表ベクトルと同一でないものについては、代表ベクトルに補正する。

フレーム補間部１０は、補正された動きベクトルを用いて、前フレームの画像から前フレームと現フレームの中間のフレームの画像を生成する。

（動作）
図２は、本発明の実施形態の画像処理装置の動作手順を表わすフローチャートである。

図２を参照して、動きベクトル生成部１３は、外部から現在のフレーム（第Ｎ番目のフレーム）の画像を受け、フレームメモリ２から前フレーム（第（Ｎ−１）番目のフレーム）の画像を受ける。図３（ａ）は、前フレームの画像の例を表わす図である。図３（ｂ）は、現在のフレームの画像の例を表わす図である。ここでは、文字列「ＨＴ」を構成する画素の位置が変化し、文字列「ＤＥＦ］を構成する画素位置が変化していない（ステップＳ１０１）。

次に、動きベクトル生成部１３は、入力された２つの画像について、画素ごとの動きベクトルを生成する（ステップＳ１０２）。

次に、エッジ検出部４は、現在のフレーム（第Ｎフレーム）の画像のエッジを構成するエッジ画素を検出する（ステップＳ１０３）。

次に、ヒストグラム生成部５は、ステップＳ１０１で生成した現在のフレームと前フレームとの間の動きベクトルと、現在のフレームの輝度の組合せごとに、その組合せの動きベクトルと輝度とを有する画素がエッジ画素である頻度を表わすヒストグラムを生成する。具体的には、ヒストグラム生成部５は、図４に示すように、Ｘ軸に輝度、Ｙ軸に動きベクトルをとり、輝度、動きベクトルの組合せに対するエッジ画素となる頻度をＺ軸に対応させる。

たとえば、輝度がｘ、動きベクトルがｙとなる画素が２つある場合に、両方の画素がエッジ画素である場合に、（ｘ，ｙ）に対するｚの値（頻度）は２となる。一方だけがエッジ画素である場合に、（ｘ，ｙ）に対するｚの値（頻度）が１となる。両方の画素がエッジ画素でない場合には、（ｘ，ｙ）に対するｚの値（頻度）が０となる。

ただし、実際には、動きベクトルは、２次元であるため、Ｙ軸は、Ｙ１軸とＹ２軸とを有する。したがって、実際には、（ｘ，ｙ１，ｙ２）に対する頻度ｚを求めることになる。このような、ヒストグラムを生成した理由は、通常、文字列「ＤＥＦ」または文字列「ＨＴ」などのような文字列を構成する画素は、すべて輝度および動きベクトルの大きさが同一であり、かつこれらの文字列は、多くのエッジ画素を含むことを前提としたからである。したがって、高い頻度に対応する輝度と動きベクトルの組合せを特定することによって、画像中に特定した輝度と動きベクトルを有する画素からなる文字列が存在することがわかる（ステップＳ１０４）。

次に、文字ライン特定部７は、頻度が閾値ＴＨ２以上となるものが１個以上あれば（ステップＳ１０５でＹＥＳ）、その頻度を有する輝度と動きベクトルの組合せを特定する。図４の例では、頻度ｆ１に対応する輝度と動きベクトルの組合せＣｂ１と、頻度ｆ２に対応する輝度と動きベクトルの組合せＣｂ２とが存在する。頻度ｆ１は、図３における文字「ＤＥＦ」に起因するものである。頻度ｆ２は、図３における文字「ＨＴ」に起因するものである（ステップＳ１０６）。

特定した組合せごとに以下の処理が行なわれる。
まず、文字ライン特定部７は、現在のフレームの画像を構成する水平方向の複数のライン（垂直位置Ｙ）のうち、特定した組合せを構成する輝度の画素の数Ｃ（Ｙ）が閾値ＴＨ３以上のラインを文字の画素が含まれる文字ラインとして特定する。図５は、文字ラインの特定の例を説明するための図である。図５において、Ｃ（Ｙ）が閾値ＴＨ３以上のラインの垂直位置はｙ１〜ｙ２であるため、ｙ１≦ｙ≦ｙ２を満たすような垂直位置ｙのラインが文字ラインとして特定される。このように、ヒストグラムの頻度が閾値以上の動きベクトルと輝度の組合せの一方の要素である輝度を用いて、文字の画素が含まれる文字ラインを容易に検出することができる（ステップＳ１０７）。

次に、動き判定部１１は、特定した組合せを構成する動きベクトルの大きさが閾値ＴＨ４以下の場合に（ステップＳ１０８でＹＥＳ）、特定した文字ラインに静止文字（つまり、前フレームと現フレームで位置が変化しない文字）が含まれると判定し（ステップＳ１０９）、閾値ＴＨ４を超える場合に（ステップＳ１０８でＮＯ）、文字ラインに動き文字（つまり、前フレームと現フレームで位置が変化した文字）が含まれると判定する。図４のヒストグラムの例では、組合せＣｂ１を構成する動きベクトルの大きさが閾値ＴＨ４以下のため、組合わせＣｂ１から作成された文字ラインには静止文字の画素が含まれると判定される。一方、組合せＣｂ２を構成する動きベクトルの大きさが閾値ＴＨ４を越えるため、組合せＣｂ２から作成された文字ラインには動き文字の画素が含まれると判定される。このように、ヒストグラムの頻度が閾値以上の動きベクトルと輝度の組合せの他方の要素である動きベクトルを用いて、文字ラインに静止文字の画素が含まれるか、動き文字の画素が含まれるかを容易に判定することができる（ステップＳ１１０）。

次に、文字輪郭画素特定部８は、特定された文字ラインに含まれる複数の画素のうち、エッジ画素である画素を文字の輪郭を構成する文字輪郭画素として特定する。図６は、組合せＣｂ２から作成された文字輪郭画素を表わす図である。これにより、文字ラインから文字輪郭画素が容易に抽出できる（ステップＳ１１１）。

次に、文字画素特定部１２は、１つの文字ラインを構成する複数の文字輪郭画素について、その１つの文字ラインの一端（左端）から順番にペアが構成できるときに、ペアを構成する２つの画素と、ペアを構成する２つの画素に挟まれる画素とを文字を構成する文字画素として特定する。図７は、図６の文字輪郭画素から生成される文字画素を表わす図である。これにより、文字ラインから文字画素が容易に抽出できる（ステップＳ１１２）。

次に、文字輪郭強調部９は、特定された文字輪郭画素を強調処理する。たとえば、文字輪郭強調部９は、静止文字の文字輪郭画素の輝度をｋ１倍（ｋ１＞１）し、その文字輪郭画素の左右方向に隣接する画素の輝度をｋ２倍（ｋ２＜１）する。また、文字輪郭強調部９は、動き文字の文字輪郭画素の輝度をｋ３倍（ｋ３＞ｋ１）し、その文字輪郭画素の左右方向に隣接する画素の輝度をｋ４倍（ｋ４＜ｋ２）する。これにより、文字の輪郭が識別しやすくなる。また、動き文字については、動いているため輪郭が識別しにくく、かつ強調してもノイズが目立たない特徴を有するために、強めに強調することができる。静止文字については、輪郭が識別しやすく、かつ強調するとノイズが目立つという特徴を有するので、動き文字よりも弱めに強調することができる（ステップＳ１１３）。

次に、動きベクトル補正部１４とフレーム補間部１０は、動きベクトルの補正およびフレームの補間を行なって現フレームと前フレームの中間のフレームの画像を生成する（ステップＳ１１４）。

（エッジ検出）
図８は、図２のフローチャートのステップＳ１０３の詳細を表わすフローチャートである。

図８を参照して、まず、エッジ検出部４は、垂直位置Ｙを１に設定する（ステップＳ２０１）。

次に、エッジ検出部４は、水平位置Ｘを１に設定する（ステップＳ２０２）。
次に、エッジ検出部４は、（Ｘ、Ｙ）位置の画素の輝度が閾値ＴＨ１以上であれば（ステップＳ２０３でＹＥＳ）、その画素の位置を高輝度画素リストに登録する（ステップＳ２０４）。

次に、エッジ検出部４は、水平位置Ｘが画像の水平方向の大きさＸＳＩＸＥと等しくなければ（ステップＳ２０５でＮＯ）、水平位置Ｘを１だけインクリメントして（ステップＳ２０６）、ステップＳ２０３に戻る。また、エッジ検出部４は、水平位置Ｘが画像の水平方向の大きさＸＳＩＸＥと等しければ（ステップＳ２０５でＹＥＳ）、次のステップＳ２０７に移行する。

次に、エッジ検出部４は、高輝度画素リストを参照して、垂直位置Ｙについて、Ｎ個以上連続した高輝度の画素のセグメントがある場合には（ステップＳ２０７でＹＥＳ）、そのセグメントの両端をエッジ画素として設定する。たとえば、図９に示すように、閾値ＴＨ１以上の画素が水平方向にＮ個（ここでは、４個とする）以上連続したセグメントがある場合には、セグメントの両端の画素である、水平位置がｘ１である画素と、水平位置がｘ２である画素とがエッジ画素に設定される。これにより、エッジ画素を容易に抽出することができる（ステップＳ２０８）。

次に、エッジ検出部４は、垂直位置Ｙが画像の垂直方向の大きさＹＳＩＸＥと等しくなければ（ステップＳ２０９でＮＯ）、垂直位置Ｙを１だけインクリメントして（ステップＳ２１０）、ステップＳ２０２に戻る。また、エッジ検出部４は、垂直位置Ｙが画像の垂直方向の大きさＹＳＩＸＥと等しければ（ステップＳ２０９でＹＥＳ）、終了する。

（文字ラインの特定）
図１０は、図２のフローチャートのステップＳ１０７の詳細を表わすフローチャートである。

図１０を参照して、文字ライン特定部７は、ヒストグラムの頻度が閾値ＴＨ２以上となる輝度と動きベクトルの組合せを構成する輝度Ａを特定する。

次に、文字ライン特定部７は、垂直位置Ｙを１に設定し、カウントＣ（１）を０に設定する（ステップＳ３０２）。

次に、文字ライン特定部７は、水平位置Ｘを１に設定する（ステップＳ３０４）。
次に、文字ライン特定部７は、（Ｘ，Ｙ）位置の画素の輝度が輝度Ａであれば（ステップＳ３０４でＹＥＳ）、カウントＣ（Ｙ）を１だけインクリメントする（ステップＳ３０５）。

次に、文字ライン特定部７は、水平位置Ｘが画像の水平方向の大きさＸＳＩＸＥと等しくなければ（ステップＳ３０６でＮＯ）、水平位置Ｘを１だけインクリメントして（ステップＳ３０７）、ステップＳ３０４に戻る。また、文字ライン特定部７は、水平位置Ｘが画像の水平方向の大きさＸＳＩＸＥと等しければ（ステップＳ３０６でＹＥＳ）、次のステップＳ３０８に移行する。

次に、文字ライン特定部７は、カウント値Ｃ（Ｙ）が閾値ＴＨ３以上であれば（ステップＳ３０８でＹＥＳ）、垂直位置Ｙのラインを文字ラインとして特定する（ステップＳ３０９）。

次に、文字ライン特定部７は、垂直位置Ｙが画像の垂直方向の大きさＹＳＩＸＥと等しくなければ（ステップＳ３１０でＮＯ）、垂直位置Ｙを１だけインクリメントし、カウントＣ（Ｙ）を０に設定し（ステップＳ３１１）、ステップＳ３０３に戻る。また、文字ライン特定部７は、垂直位置Ｙが画像の垂直方向の大きさＹＳＩＸＥと等しければ（ステップＳ３１０でＹＥＳ）、終了する。

（フレーム補間）
図１１は、図２のフローチャートのステップＳ１１４の詳細を表わすフローチャートである。

図１１を参照して、まず、動きベクトル補正部１４は、１つの文字ラインに含まれる複数の文字画素の動きベクトルが同一でない場合には（ステップＳ４０１でＹＥＳ）、その文字ラインの文字画素の動きベクトルを代表する代表ベクトルを特定する。具体的には、動きベクトル補正部１４は、１つの文字ラインの複数の文字画素の動きベクトルのうち、頻度が最も高い動きベクトルを代表ベクトルにする。図１２は、１つの文字ラインに含まれる文字画素の動きベクトルの例を表わす図である。同図において、垂直位置ｙ１の文字ラインの文字画素のうち、動きベクトルＶ１を有するものと、動きベクトルＶ２とを有するものと、動きべクトルＶ３を有するものがある。この場合には、動きベクトルＶ１の頻度が最も高いので、代表ベクトルがＶ１に設定される（ステップＳ４０２）。

次に、動きベクトル補正部１４は、文字ラインに含まれる各文字画素の動きベクトルが代表ベクトルと同一でない場合には（ステップＳ４０３でＹＥＳ）、その動きベクトルを代表ベクトルに補正する。図１２では、動きベクトルＶ２を有する画素、および動きベクトルＶ３を有する画素の動きベクトルがＶ１に補正される。これによって、動きベクトルを用いて中間のフレームを作成する際に、動きベクトルがノイズを含んでいる場合に、補間後の中間のフレームの画像にノイズが生じるのを防止できる（ステップＳ４０４）。

次に、フレーム補間部１０は、動きベクトルを用いて、前フレームの画像から前フレームと現フレームの中間のフレームの画像を生成する。これによって、フレームレートの倍速化が実現できる（ステップＳ４０５）。

（画像処理）
次に上述した画像処理装置を用いて文字の位置を検出した場合に可能となる画像処理について具体的に説明する。上述した画像処理装置は例えばテレビにおける画像処理に用いられる。デジタルテレビでは、画像の圧縮を行うため様々なノイズが発生する。画像の圧縮アルゴリズムではブロック単位で圧縮を行うため、画像の圧縮率を高くした場合に周囲のブロックとの連続性が失われて境界部分が見えるようになりブロックノイズが発生する。また、エッジ画素や色の変化の大きい画素ではモスキートノイズが発生する。さらに、文字に特化すれば背景と文字の色が近い場合、文字と背景のエッジ部分が不明瞭となり、文字の輪郭がぼやけることがある。

図１３は、時刻Ｔ１のフレームの画像の例を表わす図である。図１４は、時刻Ｔ２のフレームの画像の例を表わす図である。なお、説明の簡略化のため、文字「Ｔ」および背景領域Ｒ１それぞれのエッジ画素を囲んで画素領域として示している。

図１３および図１４では、文字「Ｔ」は動きベクトルＶ１１を有し、文字として表示されている。ここで、文字「Ｔ」はノイズ領域Ｎ１を含んでいる。また、この画像は文字「Ｔ」と類似する色を有する背景領域Ｒ１を含んでいる。また、この背景領域Ｒ１は時刻Ｔ１には動きベクトルＶ２１、時刻Ｔ２には動きベクトルＶ２２を有している。

時刻Ｔ１においては、文字「Ｔ」のエッジ画素については明瞭に表示できている。時刻Ｔ２においては、文字「Ｔ」と背景領域Ｒ１の一部の領域が重なる。このとき文字「Ｔ」は類似する色を有する背景領域Ｒ１と重なるため、その一部のエッジ画素が不明瞭となるとなり、ノイズ領域Ｎ２を含むこととなる。

まずノイズ領域Ｎ１について説明する。このノイズはブロックノイズに該当する。上述した画像処理装置では、文字輪郭画素を特定することができる。そのため、文字輪郭内の画素に対して、ノイズ消去の処理を行うことでノイズ領域Ｎ１を目立たなくすることができる。

次にノイズ領域Ｎ２について説明する。ノイズ領域Ｎ２においては、文字「Ｔ」のエッジ画素が不明瞭となっている。このとき上述した画像処理装置を用いると、文字と背景の色が類似していても、文字の輪郭を特定することが可能である。そのため、文字の輪郭部を強調する処理を行うことで、ノイズ領域Ｎ２のように文字の輪郭がぼやけることを抑制することが可能となる。

これらの処理は、図１の文字輪郭強調部９において行われる。説明のため文字輪郭強調部９と特定しているが、文字輪郭の強調に限定されず文字に対する様々な画像処理、例えば文字輪郭内の画像処理を行っても良い。

（適用例）
次に上述した画像処理装置をテレビの映像再生装置に適用した場合の概要を説明する。

図１５は、映像再生装置及びシステムの主要部のブロック構成を示す図である。映像再生装置５０は、入力部５１、入力合成部５２、映像処理部５３、出力部５４を有する。

入力部５１の処理を説明する。ます、入力部５１に含まれるチューナにて無線処理が行われ、映像データの信号を受信する。受信データは、データの種類ごとに振り分けられデコーダによってデコード処理され所定の形式のデータ（動画プレーン、文字プレーン、静止画プレーン等）が生成される。

次に、入力合成部５２の処理を説明する。ここでは入力部にて生成されたデータから、表示画面に対応する１つのまとまりの映像データへと合成する。この入力合成部５２において、１つのまとまりの映像データに合成されると、文字部分が映像データに完全に埋め込まれ、分離する事は簡単に出来なくなる。そのため文字部分に対して画像処理を行う場合には、１つのまとまりの映像データの中から正確に文字部分を特定することが重要となる。

入力合成部５２にて合成されたデータに対して、映像処理部５３にて各種の画像処理が行われる。例えば、各種レイヤごとに輪郭補正やノイズ除去処理を行う。上述した画像処理装置もこの画像処理部５３に含まれ、圧縮ノイズ除去回路と併用することで文字部分の画質改善が可能となる。具体的には、上述した画像処理装置から圧縮ノイズ除去回路に対して、文字輪郭情報が伝送され、その情報に基づいて、圧縮ノイズ除去回路では輪郭内に対してノイズ除去処理が実施される。

最後に、出力部５４にて映像処理部５３にて処理された映像データを表示装置５５へ出力する。

以上のように、本発明の実施形態の画像処理装置によれば、文字列を構成する画素は、すべて輝度および動きベクトルの大きさが同一であり、かつこれらの文字列は、多くのエッジ画素を含むことを前提とし、画像の動きベクトルと輝度の組合せごとに、その組合せの動きベクトルと輝度とを有する画素がエッジ画素である頻度を表わすヒストグラムを生成することによって、文字の位置を検出する。これによって、特許文献１に記載の方法では対応できない、文字の画素の輝度が文字以外の画素の輝度よりも高くないような場合でも、動画像内の文字の位置を容易に検出することができる。

また、本発明の実施形態の画像処理装置によれば、パターンマッチングによって画像中の文字を認識することによって文字の位置を検出するような方法に比べて、パターンマッチング用のテーブルや比較回路が不要な分だけ、回路の規模を小さくすることができる。

（変形例）
本発明は、上記の実施形態に限定されるものではなく、たとえば以下のような変形例も含む。

（１） エッジ検出
本発明の実施形態では、エッジ検出部４は、現在のフレームの画像を水平方向に走査して、閾値以上の画素が所定個数以上連続したセグメントが存在するときに、セグメントの両端の画素をエッジ画素として検出したが、これに限定するものではない。これに加えて、さらに、エッジ検出部４は、現在のフレームの画像を垂直方向に走査して、閾値以上の画素が所定個数以上連続したセグメントが存在するときに、セグメントの両端の画素もまたエッジ画素として検出するものとしてもよい。また、キャニー法、または輝度の２次微分を用いる方法などのような他の一般的なエッジ検出方法を用いることとしてもよい。

（２） 文字ラインの特定
本発明の実施形態では、文字ライン特定部７は、現在のフレームの画像を構成する水平方向の複数のラインのうち、頻度が閾値以上の動きベクトルと輝度の組合せを構成する輝度Ａと同一の画素の数が閾値以上のラインを文字ラインとして特定したが、これに限定するものでない。文字ライン特定部７は、水平方向の複数ラインのうち、輝度Ａとの差が所定値以下の輝度を有する画素の数が閾値以上のラインを文字ラインとして特定するものとしてもよい。

（３） 動き判定
本発明の実施形態では、動き判定部１１は、特定した組合せを構成する動きベクトルの大きさが閾値ＴＨ４以下の場合に、特定した文字ラインに静止文字の画素が含まれると判定し、閾値ＴＨ４を超える場合に、文字ラインに動き文字の画素が含まれると判定した。ここで、閾値ＴＨ４は「０」であってもよい。

（４） 文字輪郭画素の特定
本発明の実施形態では、文字ライン特定部７は、現在のフレームの画像を構成する水平方向の複数のラインのうち、ヒストグラムの頻度が閾値以上の動きベクトルと輝度の組合せを構成する輝度Ａと同一の画素の数が閾値以上のラインを文字ラインとして特定し、文字ライン上のエッジ画素を文字輪郭画素として特定し、文字輪郭画素と文字輪郭画素に挟まれる画素を文字画素として特定したが、これに限定するものでない。エッジ画素のうち、ヒストグラムの頻度が閾値以上となる動きベクトルと輝度の組合せを特定し、特定した動きベクトルと輝度とを有する画素を文字輪郭画素として特定し、文字輪郭画素と文字輪郭画素に挟まれる画素を文字画素として特定することとしてもよい。

（５） 文字画素の特定
本発明の実施形態では、文字画素特定部１２は、１つの文字ラインを構成する複数の文字輪郭画素について、その１つの文字ラインの一端から順番にペアが構成できるときに、ペアを構成する２つの画素と、ペアを構成する２つの画素に挟まれる画素とを文字を構成する文字画素として特定したが、これに限定するものではない。たとえば、文字画素特定部１２は、１つの文字ラインを構成する複数の画素のうち、その文字ラインを判定したときにカウントした輝度Ａと同一の輝度を有する画素を文字画素として特定することとしてもよい。

（６） 文字輪郭強調
本発明の実施形態では、文字輪郭強調部９は、静止文字の文字輪郭画素の輝度をｋ１倍（ｋ１＞１）し、その文字輪郭画素の左右方向に隣接する画素の輝度をｋ２倍（ｋ２＜１）し、動き文字の文字輪郭画素の輝度をｋ３倍（ｋ３＞ｋ１）し、その文字輪郭画素の左右方向に隣接する画素の輝度をｋ４倍（ｋ４＜ｋ２）したが、これに限定するものではない。ｋ１＝ｋ３、ｋ２＝ｋ４であってもよい。また、上下方向に隣接する画素の輝度もｋ２倍またはｋ４倍することとしてもよいし、その他の輪郭を強調するためのフィルタを用いることとしてもよい。

（７） 代表ベクトル
本発明の実施形態では、動きベクトル補正部１４は、１つの文字ラインの複数の文字画素の動きベクトルのうち、頻度が最も高い動きベクトルを代表ベクトルに設定したが、これに限定するものではない。たとえば、１つの文字ラインの複数の文字画素の動きベクトルの平均ベクトルを代表ベクトルに設定することとしてもよい。また、ヒストグラムにおける頻度が閾値以上となる動きベクトルと輝度の１つの組合せについて得られた複数の文字ライン（図３の「ＤＥＦ」を構成するすべての文字ライン、あるいは「ＨＴ」を構成するすべての文字ライン）の複数の文字画素を動きベクトルの代表ベクトルを求めて、複数の文字ラインの複数の文字画素をすべてを代表ベクトルに補正するものとしてもよい。つまり、文字「ＤＥＦ」を構成するすべての文字画素の代表ベクトルを求めて、これらの文字画素がすべて代表ベクトルになるようになるように補正し、文字「ＨＴ」を構成するすべての文字画素の代表ベクトルを求めて、これらの文字画素がすべて代表ベクトルになるようになるように補正する。これによっても、実施の形態と同様に、動きベクトルを用いて中間のフレームを作成する際に、動きベクトルがノイズを含んでいる場合に、補間後の中間のフレームの画像にノイズが生じるのを防止できる。また、この方法では、１つの文字ラインの文字画素の動きベクトルの大半がノイズを含んでいる場合でも、他の文字ラインの文字画素のノイズのない動きベクトルに補正することができる。

（８） フレーム補間
本発明の実施形態では、フレーム補間部１０は、動きベクトルを用いて、前フレームの画像から前フレームと現フレームの中間のフレームの画像を生成することとしたが、これに限定するものではない。フレーム補間部１０は、動きベクトルを用いて、現フレームの画像から中間のフレームの画像を生成してもよいし、動きベクトルを用いて、現フレームの画像および前フレームの画像の両方から中間のフレームの画像を生成してもよい。

（９） 超解像システム
本発明の実施形態の文字位置を検出する回路は、画像内の対象の種別ごとにレイヤに分離して、レイヤごとに画像処理するような超解像システムに適用することもできる。特に本発明の実施形態の文字位置を検出する回路を用いた場合、文字部分のレイヤ（文字列）を高精度に抽出できるため、文字に対する画像処理を効果的に実施することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理装置、２ フレームメモリ、３ メモリコントローラ、４ エッジ検出部、５ ヒストグラム生成部、６ 文字位置検出部、７ 文字ライン特定部、８ 文字輪郭画素特定部、９ 文字輪郭強調部、１０ フレーム補間部、１１ 動き判定部、１２ 文字画素特定部、１３ 動きベクトル生成部、１４ 動きベクトル補正部、５０ 映像再生装置、５１ 入力部、５２ 入力合成部、５３ 映像処理部、５４ 出力部、５５ 表示装置。

Claims (14)

1. 第１フレームの画像と、第２フレームの画像との動きベクトルを生成する動きベクトル生成部（１３）と、
   前記第１フレームの画像のエッジを構成するエッジ画素を検出するエッジ検出部（４）と、
   前記第１フレームの画像の画素ごとの、動きベクトル、輝度、および前記エッジ画素が否かの情報に基づいて、前記第１フレームの画像に含まれる文字の位置を検出する文字位置検出部（６）とを備えた、画像処理装置（１）。
2. 前記文字位置検出部（６）は、前記第１フレームの画像の動きベクトルと前記輝度の組み合わせごとの、前記組合せを構成する動きベクトルと輝度とを有する画素がエッジ画素である頻度に基づいて、前記文字の位置を検出する、請求の範囲第１項に記載の画像処理装置（１）。
3. 前記文字位置検出部（６）は、
   前記動きベクトルと前記輝度の組み合わせごとに、前記組合せの動きベクトルと輝度とを有する画素がエッジ画素である頻度を表わすヒストグラムを生成するヒストグラム生成部（５）と、
   前記頻度が所定値以上となる動きベクトルと輝度の組合せを特定し、前記第１フレームの画像を構成する水平方向の複数のラインのうち、前記特定した組合せを構成する輝度との差が所定値以下の輝度を有する画素の数が所定個数以上のラインを文字の画素が含まれる文字ラインとして特定する文字ライン特定部（７）とを含む、請求の範囲第２項に記載の画像処理装置（１）。
4. 前記文字位置検出部（６）は、さらに、
   前記頻度が所定値以上となる組合せを構成する動きベクトルの大きさが所定値以下の場合に、前記文字ラインに前記第１フレームと前記第２フレームにおいて位置が変化しない静止文字の画素が含まれると判定し、前記所定値を超える場合に、前記文字ラインに前記第１フレームと前記第２フレームにおいて位置が変化した動き文字の画素が含まれると判定する動き判定部（１１）を含む、請求項の範囲第３項に記載の画像処理装置（１）。
5. 前記文字位置検出部（６）は、さらに、
   前記文字ラインに含まれる複数の画素のうち、前記エッジ画素である画素を文字の輪郭を構成する文字輪郭画素として特定する文字輪郭画素特定部（８）を含む、請求の範囲第３項に記載の画像処理装置（１）。
6. 前記文字位置検出部（６）は、さらに、
   １つの文字ラインに含まれる複数の文字輪郭画素について、前記１つの文字ラインの一端から順番にペアが構成できるときに、前記ペアを構成する２つの画素と、前記ペアを構成する２つの画素の間に挟まれる画素とを文字を構成する文字画素として特定する文字画素特定部（１２）を含む、請求の範囲第５項に記載の画像処理装置（１）。
7. 前記画像処理装置（１）は、さらに、
   １つの文字ラインに含まれる複数の文字画素の動きベクトルを代表する代表ベクトルを特定し、前記１つの文字ラインに含まれる複数の文字画素の動きベクトルのうち、前記代表ベクトルと同一でないものについては、前記代表ベクトルに補正する動きベクトル補正部（１４）を備えた請求の範囲第６項に記載の画像処理装置（１）。
8. 前記画像処理装置（１）は、さらに、
   前記頻度が所定値以上となる動きベクトルと輝度の１つの組合せについて、前記特定された複数の文字ラインに含まれる複数の文字画素の動きベクトルを代表する代表ベクトルを特定し、前記複数の文字ラインに含まれる複数の文字画素の動きベクトルのうち、前記代表ベクトルと同一でないものについては、前記代表ベクトルに補正する動きベクトル補正部（１４）を備えた請求の範囲第６項に記載の画像処理装置（１）。
9. 前記画像処理装置（１）は、さらに、
   前記補正された動きベクトルを用いて、前記第１フレームの画像と前記第２フレームの画像の少なくとも一方から、前記第１フレームと前記第２フレームとの間の補間フレームを生成するフレーム補間部（１０）を備えた、請求の範囲第７項または第８項に記載の画像処理装置（１）。
10. 前記画像処理装置（１）は、さらに、
    前記文字輪郭画素を強調処理する文字輪郭強調部（９）を備えた、請求の範囲第５項に記載の画像処理装置（１）。
11. 前記文字位置検出部（６）は、さらに、
    前記頻度が所定値以上となる組合せを構成する動きベクトルの大きさが所定値以下の場合に、前記文字ラインに前記第１フレームと前記第２フレームにおいて位置が変化しない静止文字の画素が含まれると判定し、前記所定値を超える場合に、前記文字ラインに前記第１フレームと前記第２フレームにおいて位置が変化した動き文字の画素が含まれると判定する動き判定部（１１）を含み、
    前記文字輪郭強調部（９）は、前記静止文字が含まれると判定された文字ラインに含まれる文字輪郭画素については、第１の強度で強調し、前記動き文字が含まれると判定された文字ラインに含まれる文字輪郭画素については、前記第１の強度よりも強い第２の強度で強調する、請求の範囲第１０項に記載の画像処理装置（１）。
12. 前記エッジ検出部（４）は、前記第１フレームの画像を水平方向に走査して、所定値以上の画素が所定個数以上連続したセグメントが存在するときに、前記セグメントの両端を前記エッジ画素として検出する、請求の範囲第１項に記載の画像処理装置（１）。
13. 外部から映像データを入力し、デコード処理を行う入力部（５１）と、
    前記映像データにおけるデータを、表示画面に対応する１つのまとまりの映像データへ合成する合成部（５２）と、
    前記映像データに対し、所定の画像処理を行う画像処理部（５３）と、
    前記画像処理を適用した後の前記映像データを、表示装置へ出力して表示させる出力部（５４）とを備え、
    前記画像処理部（５３）は、前記請求項１から１２のいずれか１項に記載の画像処理装置（１）を含む、映像再生装置（５０）。
14. 前記画像処理部（５３）は、さらに、前記画像処理装置（１）の検出情報に基づいて、文字領域内のノイズ除去動作を行うノイズ除去部（９）を有する、請求の範囲第１３項に記載の映像再生装置（５０）。

Images