JP5267568B2 - テロップ移動処理装置、方法及びプログラム - Google Patents

Description

本技術は、画像処理技術に関し、より詳しくは映像データに含まれる各フレーム画像の一部分を拡大表示する場合において、テロップを表示枠内に表示するための技術に関する。

例えば携帯電話機などの携帯端末をターゲットとした「携帯電話・移動体端末向けの１セグメント部分受信サービス」（ワンセグとも呼ばれる）が開始されている。

ところで、ワンセグ対応の携帯端末には表示画面が小さいものもあり、このような携帯端末には、映像の一部分を拡大表示する機能が備えられている。例えば映像の中心を基準として拡大表示する場合、映像の端の領域は表示枠からはみ出てしまい、映像の端に挿入されたテロップが表示されなくなってしまう。なお、テロップは、映像の端に挿入されることが多い。また、かかる問題は、ワンセグ対応の携帯端末に限らず、他の画面表示を行う端末においても生じるものである。

一方で、例えば図１に示すような画面における帯状の領域１０１（以下、テロップ帯と呼ぶ）を移動させる技術が従来から存在している。また、図１に示すような画面における矩形領域１０２（以下、テロップ領域と呼ぶ）を移動させる技術も従来から存在している。
特開２００８−９８８００号公報 特表２００４−５２１５７１号公報 特許第３６０９２３６号 特許第３６９２０１８号

しかしながら、従来技術では、移動先の領域をテロップ帯全体又はテロップ領域全体で置換するため、移動先の領域に本来表示されるべき映像が全く表示されなくなってしまう。特に表示画面が小さい場合には、本来表示されるべき映像に対する影響も大きくなる。

従って、本技術の目的は、映像の一部分を拡大表示する場合において、本来表示されるべき映像に対する影響を抑えつつ、表示枠内にテロップを表示することである。

本テロップ移動処理装置は、映像データに含まれる特定のフレーム画像を拡大した拡大画像において、背景の上に重ねて挿入された文字列とみなされる部分に属する画素を特定するテロップ抽出手段と、文字列とみなされる部分に属する画素のいずれかが、拡大画像内の一部分である表示領域外の画素であるか判断し、文字列とみなされる部分に属する画素のいずれかが表示領域外の画素であると判断された場合、文字列とみなされる部分に属する全画素又は主要画素が表示領域内に収まるように文字列とみなされる部分を移動する場合における移動量を算出するテロップ移動量算出手段と、文字列とみなされる部分に属する画素又は文字列を所定のフォントで表した場合における当該文字列に属する画素について、移動量に従って移動先画素を特定し、当該移動先画素の色を所定の色で置換するテロップ描画手段とを有する。

図１は、従来技術を説明するための図である。 図２は、本技術の実施の形態に係るテロップ移動処理装置の機能ブロック図を示す図である。 図３は、本技術の実施の形態に係るテロップ移動処理装置の処理フローを示す図である。 図４は、画像拡大処理の処理フローを示す図である。 図５は、拡大画像Ｍの一例を示す図である。 図６は、テロップ抽出処理の処理フローを示す図である。 図７は、マスク画像ｍの一例を示す図である。 図８は、マスク画像ｍの一部の拡大図である。 図９は、テロップ特徴算出処理の処理フローを示す図である。 図１０は、テロップ文字部の外接矩形を示す図である。 図１１は、テロップ移動量算出処理の処理フロー（第１の部分）を示す図である。 図１２は、マージン領域を説明するための図である。 図１３は、テロップ移動量算出処理の処理フロー（第２の部分）を示す図である。 図１４は、テロップ移動量算出処理の処理フロー（第３の部分）を示す図である。 図１５は、テロップ文字部の整形例を示す図である。 図１６は、テロップ生成処理の処理フロー（第１の部分）を示す図である。 図１７は、マスク画像ｍの一部の拡大図である。 図１８は、文字画像ｆの一例を示す図である。 図１９は、テロップ生成処理の処理フロー（第２の部分）を示す図である。 図２０は、整形後のマスク画像ｍの一例を示す図である。 図２１は、整形後のマスク画像ｍの一例を示す図である。 図２２は、テロップ描画処理の処理フローを示す図である。 図２３は、変換マスク画像ｍ'の一例を示す図である。 図２４は、出力画像Ｏの一例を示す図である。 図２５は、テロップ加工処理の処理フロー（第１の部分）を示す図である。 図２６は、４近傍による距離変換の概要を説明するための図である。 図２７は、８近傍による距離変換の概要を説明するための図である。 図２８は、擬似距離変換の概要を説明するための図である。 図２９は、変換マスク画像ｍ'の一部の拡大図である。 図３０は、距離変換画像ｄの一部の拡大図である。 図３１は、テロップ加工処理の処理フロー（第２の部分）を示す図である。 図３２は、加工後の出力画像Ｏの一部の拡大図である。 図３３は、出力画像Ｏの一例を示す図である。

図２に本技術の一実施の形態に係るテロップ移動処理装置の機能ブロック図を示す。図２の例では、テロップ移動処理装置は、入力部１と、フレーム画像格納部３と、画像拡大処理部５と、拡大画像格納部７と、テロップ抽出部９と、マスク画像格納部１１と、フォント辞書格納部１３と、テロップ生成部１５と、テロップ特徴算出部１７と、テロップ移動量算出部１９と、テロップ描画部２１と、出力画像格納部２３と、テロップ加工部２５と、出力部２７とを有する。

入力部１は、ある映像に関する複数のフレーム画像を順次受信し、フレーム画像格納部３に格納する。画像拡大処理部５は、フレーム画像格納部３に格納されているフレーム画像を用いて、後で説明する画像拡大処理を実施することにより、当該フレーム画像に対応する拡大画像を生成し、拡大画像格納部７に格納する。テロップ抽出部９は、拡大画像格納部７に格納されている拡大画像を用いて、後で説明するテロップ抽出処理を実施することにより、背景の上に重ねて挿入された文字列とみなされる部分（以下、テロップ文字部と呼ぶ場合もある）を抽出し、後で説明するマスク画像を生成してマスク画像格納部１１に格納する。フォント辞書格納部１３は、所定のフォントにより表される文字の文字画像を文字コード毎に含むフォント辞書を格納している。テロップ生成部１５は、マスク画像格納部１１に格納されているマスク画像と、フォント辞書格納部１３に格納されているフォント辞書とを用いて、後で説明するフォント生成処理を実施することにより、マスク画像を更新する。テロップ特徴算出部１７は、マスク画像格納部１１に格納されているマスク画像と、拡大画像格納部７に格納されている拡大画像とを用いて、後で説明するテロップ特徴算出処理を実施することにより、テロップ文字部の外接矩形を特定し、テロップ文字部に属する画素の平均色を算出する。テロップ移動量算出部１９は、マスク画像格納部１１に格納されているマスク画像を用いて、後で説明するテロップ移動量算出処理を実施することにより、テロップ文字部の移動量を算出する。テロップ描画部２１は、拡大画像格納部７に格納されている拡大画像と、マスク画像格納部１１に格納されているマスク画像と、テロップ移動量算出部１９により算出された移動量とを用いて、後で説明するテロップ描画処理を実施することにより、出力画像を生成し、出力画像格納部２３に格納する。テロップ加工部２５は、出力画像格納部２３に格納されている出力画像に対して、後で説明するテロップ加工処理を実施することにより、出力画像を更新する。出力部２７は、出力画像格納部２３に格納されている出力画像を表示装置等に出力する。

次に、図３乃至図３３を用いて、図２に示したテロップ移動処理装置の処理内容を説明する。テロップ移動処理装置の全体の処理フローを図３に示す。なお、フレーム画像格納部３には、入力部１の受信したフレーム画像が格納されているものとする。まず、画像拡大処理部５が、特定の時刻ｔに係るフレーム画像Ｉをフレーム画像格納部３から読み出し（図３：ステップＳ１）、読み出したフレーム画像Ｉに対して画像拡大処理を実施する（ステップＳ３）。この画像拡大処理については、図４及び図５を用いて説明する。

まず、画像拡大処理部５は、読み出したフレーム画像Ｉのサイズ及び拡大率ｐを取得する（図４：ステップＳ２１）。なお、拡大率ｐは、例えば表示画面のサイズなどにより決定される。そして、画像拡大処理部５は、フレーム画像Ｉのサイズ及び拡大率ｐに基づき拡大画像Ｍのサイズを算出する（ステップＳ２３）。そして、画像拡大処理部５は、フレーム画像Ｉを補間し、フレーム画像Ｉをｐ倍拡大した拡大画像Ｍを生成して拡大画像格納部７に格納する（ステップＳ２５）。なお、画像の拡大には、ニアレストネイバー（最近接近傍法）、バイリニア（線形補間）、バイキュービック（多項式補間）などの補間技術を用いる。例えば図５の左側に示すようなフレーム画像Ｉに対して、本ステップの処理を実施すると、図５の右側に示すような拡大画像Ｍが生成される。なお、図５の拡大画像Ｍにおいて、座標（sx,sy）及び座標（ex,ey）で特定される矩形は、表示対象となる範囲を示す（以下、当該矩形内の領域を表示領域と呼び、当該矩形外の領域を非表示領域と呼ぶ）。そして、画像拡大処理を終了し、元の処理に戻る。

図３の説明に戻って、画像拡大処理を実施した後、テロップ抽出部９が、拡大画像格納部７に格納されている拡大画像Ｍを用いてテロップ抽出処理を実施する（ステップＳ５）。このテロップ抽出処理については、図６乃至図８を用いて説明する。

まず、テロップ抽出部９は、拡大画像Ｍにおけるテロップ文字部を特定する（図６：ステップＳ３１）。この処理では、背景技術の欄で示した特許文献４記載の技術を用いる。そして、テロップ抽出部９は、テロップ文字部に属する画素の値を１、それ以外の画素（すなわち、テロップ文字部に属さない画素）の値を０とするマスク画像ｍを生成し、マスク画像格納部１１に格納する（ステップＳ３３）。すなわち、テロップ文字部に属する画素については、ｍ(x,y,t)＝１となり、それ以外の画素については、ｍ(x,y,t)＝０となる。例えば図５に示した拡大画像Ｍにおける「ニュース」がテロップ文字部として特定されると、図７に示すようなマスク画像ｍが生成される。また、マスク画像ｍの一部分を拡大したものを図８に示す。なお、図８において、黒で塗りつぶされた画素は、テロップ文字部に属する画素を示す。そして、テロップ抽出処理を終了し、元の処理に戻る。

図３の説明に戻って、テロップ抽出処理を実施した後、テロップ特徴算出部１７が、拡大画像格納部７に格納されている拡大画像Ｍと、マスク画像格納部１１に格納されているマスク画像ｍとを用いてテロップ特徴算出処理を実施する（ステップＳ７）。このテロップ特徴算出処理については、図９及び図１０を用いて説明する。

まず、テロップ特徴算出部１７は、マスク画像ｍに基づき、テロップ文字部に属する画素（すなわち、ｍ(x,y,t)＝１となる画素）のうち、ｘ座標値が最小となる画素を特定し、特定画素のｘ座標値を変数msxに設定する（図９：ステップＳ４１）。すなわち、変数msxには、テロップ文字部に属する画素のうち最左端の画素のｘ座標値が設定される。

そして、テロップ特徴算出部１７は、マスク画像ｍに基づき、テロップ文字部に属する画素（すなわち、ｍ(x,y,t)＝１となる画素）のうち、ｘ座標値が最大となる画素を特定し、特定画素のｘ座標値を変数mexに設定する（ステップＳ４３）。すなわち、変数mexには、テロップ文字部に属する画素のうち最右端の画素のｘ座標値が設定される。

そして、テロップ特徴算出部１７は、マスク画像ｍに基づき、テロップ文字部に属する画素（すなわち、ｍ(x,y,t)＝１となる画素）のうち、ｙ座標値が最小となる画素を特定し、特定画素のｙ座標値を変数msyに設定する（ステップＳ４５）。すなわち、変数msyには、テロップ文字部に属する画素のうち最上端の画素のｙ座標値が設定される。

そして、テロップ特徴算出部１７は、マスク画像ｍに基づき、テロップ文字部に属する画素（すなわち、ｍ(x,y,t)＝１となる画素）のうち、ｙ座標値が最大となる画素を特定し、特定画素のｙ座標値を変数meyに設定する（ステップＳ４７）。すなわち、変数meyには、テロップ文字部に属する画素のうち最下端の画素のｙ座標値が設定される。

なお、ステップＳ４１乃至ステップＳ４７の処理を実施すると、図１０に示すように、テロップ文字部の外接矩形が特定されたことになる。

そして、テロップ特徴算出部１７は、テロップ文字部に属する画素の平均色μを算出し、記憶装置に格納する（ステップＳ４９）。例えば、ＲＧＢで表現される場合には、各色成分について平均を算出し、平均色μ＝（ｒ_u，ｇ_u，ｂ_u）とする。そして、テロップ特徴算出処理を終了し、元の処理に戻る。

図３の説明に戻って、テロップ特徴算出処理を実施した後、テロップ移動量算出部１９が、マスク画像格納部１１に格納されているマスク画像ｍを用いてテロップ移動量算出処理を実施する（ステップＳ９）。このテロップ移動量算出処理については、図１１乃至図１４を用いて説明する。

まず、テロップ移動量算出部１９は、変数yflagを０に設定する（図１１：ステップＳ５１）。また、テロップ移動量算出部１９は、変数xflagを０に設定する（ステップＳ５３）。

そして、テロップ移動量算出部１９は、msyがsy＋ymarginより小さいか判断する（ステップＳ５５）。すなわち、テロップ文字部が上方向にはみ出ているか判断する。ここで、ymarginは、ｙ軸方向について、表示領域の端（上端及び下端）から内側に設けられるマージン領域のサイズを表し、予め設定されているものとする。本実施の形態では、ｙ軸方向について、表示領域の端からymargin分の余裕を持たせた位置に、テロップ文字部を表示する。例えば、図１２に示すように、テロップ文字部「ニュース」が下方向にはみ出ている場合、表示領域の下端から内側にymargin分のマージン領域（図１２における斜線部分）を設け、「ニュース」がマージン領域に入らないように移動させる。

そして、msyがsy＋ymarginより小さいと判断された場合（ステップＳ５５：Ｙｅｓルート）、テロップ文字部が上方向にはみ出ていると判断し、テロップ移動量算出部１９は、yflagを１に設定する（ステップＳ５７）。一方、msyがsy＋ymargin以上であると判断された場合（ステップＳ５５：Ｎｏルート）、ステップＳ５７の処理をスキップし、ステップＳ５９の処理に移行する。

そして、テロップ移動量算出部１９は、meyがey−ymarginより大きいか判断する（ステップＳ５９）。すなわち、テロップ文字部が下方向にはみ出ているか判断する。meyがey−ymarginより大きいと判断された場合（ステップＳ５９：Ｙｅｓルート）、テロップ文字部が下方向にはみ出ていると判断し、テロップ移動量算出部１９は、yflagに２を加算する（ステップＳ６１）。一方、meyがey−ymargin以下であると判断された場合（ステップＳ５９：Ｎｏルート）、ステップＳ６１の処理をスキップし、ステップＳ６３の処理に移行する。

従って、テロップ文字部が上方向にのみはみ出ている場合、yflagは１となる。また、テロップ文字部が下方向にのみはみ出ている場合、yflagは２となる。さらに、テロップ文字部が上方向にも下方向にもはみ出ている場合、yflagは３となる。

そして、テロップ移動量算出部１９は、msxがsx＋xmarginより小さいか判断する（ステップＳ６３）。すなわち、テロップ文字部が左方向にはみ出ているか判断する。ここで、xmarginは、表示領域の左端及び右端から内側に設けられるマージン領域のサイズを表し、予め設定されているものとする。本実施の形態では、ｘ軸方向についてもxmargin分の余裕を持たせた位置に、テロップ文字部を表示する。

そして、msxがsx＋xmarginより小さいと判断された場合（ステップＳ６３：Ｙｅｓルート）、テロップ文字部が左方向にはみ出ていると判断し、テロップ移動量算出部１９は、xflagを１に設定する（ステップＳ６５）。一方、msxがsx＋xmargin以上であると判断された場合（ステップＳ６３：Ｎｏルート）、ステップＳ６５の処理をスキップし、ステップＳ６７の処理に移行する。

そして、テロップ移動量算出部１９は、mexがex−xmarginより大きいか判断する（ステップＳ６７）。すなわち、テロップ文字部が右方向にはみ出ているか判断する。mexがex−xmarginより大きいと判断された場合（ステップＳ６７：Ｙｅｓルート）、テロップ文字部が右方向にはみ出ていると判断し、テロップ移動量算出部１９は、xflagに２を加算する（ステップＳ６９）。その後、端子Ａを介してステップＳ７１（図１３）の処理に移行する。一方、mexがex−xmargin以下であると判断された場合（ステップＳ６７：Ｎｏルート）、ステップＳ６９の処理をスキップし、端子Ａを介してステップＳ７１（図１３）の処理に移行する。

従って、テロップ文字部が左方向にのみはみ出ている場合、xflagは１となる。また、テロップ文字部が右方向にのみはみ出ている場合、xflagは２となる。さらに、テロップ文字部が左方向にも右方向にもはみ出ている場合、xflagは３となる。

図１３の説明に移行して、端子Ａの後、テロップ移動量算出部１９は、yflagが０であるか判断する（図１３：ステップＳ７１）。yflagが０であると判断された場合（ステップＳ７１：Ｙｅｓルート）、ステップＳ８１の処理に移行する。

一方、yflagが０でないと判断された場合（ステップＳ７１：Ｎｏルート）、テロップ移動量算出部１９は、yflagが１であるか判断する（ステップＳ７３）。yflagが１であると判断された場合（ステップＳ７３：Ｙｅｓルート）、テロップ移動量算出部１９は、sy−msy＋ymarginを計算し、計算結果をｙ軸方向の移動量gyに設定する（ステップＳ７５）。なお、移動量gyが正の値の場合、下方向への移動量を表し、移動量gyが負の値の場合、上方向への移動量を表す。上でも述べたが、yflagが１となるのは、テロップ文字部が上方向にのみはみ出ている場合であり、ステップＳ７５において設定される移動量gyは正の値となる。その後、ステップＳ８３の処理に移行する。

一方、yflagが１でないと判断された場合（ステップＳ７３：Ｎｏルート）、テロップ移動量算出部１９は、yflagが２であるか判断する（ステップＳ７７）。yflagが２であると判断された場合（ステップＳ７７：Ｙｅｓルート）、テロップ移動量算出部１９は、ey−mey−ymarginを計算し、計算結果をｙ軸方向の移動量gyに設定する（ステップＳ７９）。上でも述べたが、yflagが２となるのは、テロップ文字部が下方向にのみはみ出ている場合であり、ステップＳ７９において算出される移動量gyは負の値となる。その後、ステップＳ８３の処理に移行する。

一方、yflagが２でないと判断された場合（ステップＳ７７：Ｎｏルート）、すなわちyflagが３の場合、テロップ移動量算出部１９は、ｙ軸方向の移動量gyに０を設定する（ステップＳ８１）。なお、ステップＳ７１においてyflagが０であると判断された場合にも、本ステップの処理を実施する。上でも述べたが、yflagが３となるのは、テロップ文字部が上方向にも下方向にもはみ出ている場合である。一方で、yflagが０となるのは、テロップ文字部が上方向にも下方向にもはみ出ていない場合である。これらの場合、ｙ軸方向について移動する意味がないため、移動量gyには０が設定される。

そして、テロップ移動量算出部１９は、xflagが０であるか判断する（ステップＳ８３）。xflagが０であると判断された場合（ステップＳ８３：Ｙｅｓルート）、ステップＳ９３の処理に移行する。

一方、xflagが０でないと判断された場合（ステップＳ８３：Ｎｏルート）、テロップ移動量算出部１９は、xflagが１であるか判断する（ステップＳ８５）。xflagが１であると判断された場合（ステップＳ８５：Ｙｅｓルート）、テロップ移動量算出部１９は、sx−msx＋xmarginを計算し、計算結果をｘ軸方向の移動量gxに設定する（ステップＳ８７）。なお、移動量gxが正の値の場合、右方向への移動量を表し、移動量gxが負の値の場合、左方向への移動量を表す。上でも述べたが、xflagが１となるのは、テロップ文字部が左方向にのみはみ出ている場合であり、ステップＳ８７において設定される移動量gxは正の値となる。その後、端子Ｂを介してステップＳ９５（図１４）の処理に移行する。

一方、xflagが１でないと判断された場合（ステップＳ８５：Ｎｏルート）、テロップ移動量算出部１９は、xflagが２であるか判断する（ステップＳ８９）。xflagが２であると判断された場合（ステップＳ８９：Ｙｅｓルート）、テロップ移動量算出部１９は、ex−mex−xmarginを計算し、計算結果をｘ軸方向の移動量gxに設定する（ステップＳ９１）。上でも述べたが、xflagが２となるのは、テロップ文字部が右方向にのみはみ出ている場合であり、ステップＳ９１において算出される移動量gxは負の値となる。その後、端子Ｂを介してステップＳ９５（図１４）の処理に移行する。

一方、xflagが２でないと判断された場合（ステップＳ８９：Ｎｏルート）、すなわちxflagが３の場合、テロップ移動量算出部１９は、ｘ軸方向の移動量gxに０を設定する（ステップＳ９３）。なお、ステップＳ８３においてxflagが０であると判断された場合にも、本ステップの処理を実施する。上でも述べたが、xflagが３となるのは、テロップ文字部が左方向にも右方向にもはみ出ている場合である。一方で、xflagが０となるのは、テロップ文字部が左方向にも右方向にもはみ出ていない場合である。これらの場合、ｘ軸方向について移動する意味がないため、移動量gxには０が設定される。

図１４の説明に移行して、端子Ｂの後、テロップ移動量算出部１９は、gyがold_gy＋th_yより小さく且つgyがold_gy−th_yより大きいという条件を満たしているか判断する（図１４：ステップＳ９５）。ここで、old_gyは、１つ前のフレーム画像（すなわち、時刻（ｔ−１）のフレーム画像）に係るｙ軸方向の移動量を表す。すなわち、ステップＳ９５では、gyとold_gyとの差分が、所定の閾値th_y未満であるか判断する。gyがold_gy＋th_yより小さく且つgyがold_gy−th_yより大きいという条件を満たしている場合（ステップＳ９５：Ｙｅｓルート）、テロップ移動量算出部１９は、old_gyをgyに設定する（ステップＳ９７）。本実施の形態では、移動後のテロップが揺らぐのを防止するため、移動量gyと１つ前のフレーム画像に係る移動量old_gyとの差分が所定の閾値th_y未満の場合には、１つ前のフレーム画像に係る移動量old_gyを移動量gyとして用いる。そして、ステップＳ１０１の処理に移行する。

一方、gyがold_gy＋th_yより小さく且つgyがold_gy−th_yより大きいという条件を満たしていなければ（ステップＳ９５：Ｎｏルート）、テロップ移動量算出部１９は、gyをold_gyに設定する（ステップＳ９９）。すなわち、次のフレーム画像（すなわち、時刻（ｔ＋１）のフレーム画像）の処理のために、gyをold_gyとして記憶しておく。そして、ステップＳ１０１の処理に移行する。

そして、テロップ移動量算出部１９は、gxがold_gx＋th_xより小さく且つgxがold_gx−th_xより大きいという条件を満たしているか判断する（ステップＳ１０１）。ここで、old_gxは、１つ前のフレーム画像に係るｘ軸方向の移動量を表す。すなわち、ステップＳ１０１では、gxとold_gxとの差分が、所定の閾値th_x未満であるか判断する。gxがold_gx＋th_xより小さく且つgxがold_gx−th_xより大きいという条件を満たしている場合（ステップＳ１０１：Ｙｅｓルート）、テロップ移動量算出部１９は、old_gxをgxに設定する（ステップＳ１０３）。本実施の形態では、移動後のテロップが揺らぐのを防止するため、移動量gxと１つ前のフレーム画像に係る移動量old_gxとの差分が所定の閾値th_x未満の場合には、１つ前のフレーム画像に係る移動量old_gxを移動量gxとして用いる。そして、テロップ移動量算出処理を終了し、元の処理に戻る。

一方、gxがold_gx＋th_xより小さく且つgxがold_gx−th_xより大きいという条件を満たしていなければ（ステップＳ１０１：Ｎｏルート）、テロップ移動量算出部１９は、gxをold_gxに設定する（ステップＳ１０５）。すなわち、次のフレーム画像の処理のために、gxをold_gxとして記憶しておく。そして、テロップ移動量算出処理を終了し、元の処理に戻る。

以上のような処理を実施することにより、ｘ軸方向及びｙ軸方向についての移動量を算出することができる。また、算出した移動量と１つ前のフレーム画像に係る移動量との差が小さい場合には、１つ前のフレーム画像に係る移動量を用いるので、移動後のテロップ文字部が揺らいで表示されるのを防止することができる。

図３の説明に戻って、テロップ移動量算出処理を実施した後、テロップ生成部１５が、テロップ文字部を整形するか否か判断する（ステップＳ１１）。なお、テロップ文字部を整形するか否かは、予めユーザ等により設定されているものとする。テロップ文字部を整形しないと判断された場合（ステップＳ１１：Ｎｏルート）、ステップＳ１３の処理をスキップし、ステップＳ１５の処理に移行する。

一方、テロップ文字部を整形すると判断された場合（ステップＳ１１：Ｙｅｓルート）、テロップ生成部１５は、マスク画像格納部１１に格納されているマスク画像ｍと、フォント辞書格納部１３に格納されているフォント辞書とを用いてテロップ生成処理を実施する（ステップＳ１３）。テロップ生成処理では、例えば図１５に示すように、テロップ文字部の各文字を、所定のフォントで表される文字に置換するための処理を行う。テロップ生成処理については、図１６乃至図２１を用いて説明する。

まず、テロップ生成部１５は、マスク画像ｍを用いてテロップ文字部について文字認識処理を実施し、各文字の外接矩形及び文字コードを取得する（図１６：ステップＳ１１１）。図１７にマスク画像ｍの一部分を示す。例えば、ｍ(x,y,t)＝１となる画素について文字認識処理を実施すると、「二」に対応する文字コードと、「二」の外接矩形１７０１とが得られる。以下、外接矩形１７０１の左上の頂点座標を（csx,csy）とし、右下の頂点座標を（cex,cey）として説明する。なお、文字認識処理については、従来の処理と変わらないため、これ以上述べない。

そして、テロップ生成部１５は、テロップ文字部に含まれる文字のうち、未処理の文字を特定する（ステップＳ１１３）。そして、テロップ生成部１５は、特定文字の文字コードに対応する文字の文字画像ｆをフォント辞書から取得し、特定文字の外接矩形の大きさに合うように拡大又は縮小する（ステップＳ１１５）。図１８に文字画像ｆの一例を示す。図１８の文字画像ｆは、図１７に示した外接矩形１７０１の大きさに合うように拡大又は縮小したものである。なお、文字に属する画素の値を１、それ以外の画素の値を０とする。

そして、テロップ生成部１５は、カウンタiを０に設定する（ステップＳ１１７）。そして、テロップ生成部１５は、カウンタjを０に設定する（ステップＳ１１９）。そして、端子Ｃを介してステップＳ１２１（図１９）の処理に移行する。

図１９の説明に移行して、端子Ｃの後、テロップ生成部１５は、ｆ(j,i)が１であるか判断する（図１９：ステップＳ１２１）。ｆ(j,i)が１であると判断された場合（ステップＳ１２１：Ｙｅｓルート）、テロップ生成部１５は、ｍ(j+csx,i+csy,t)に２を加算する（ステップＳ１２３）。そして、テロップ生成部１５は、カウンタjを１インクリメントし（ステップＳ１２５）、カウンタjがcex−csxより小さいか判断する（ステップＳ１２７）。カウンタjがcex−csxより小さいと判断された場合（ステップＳ１２７：Ｙｅｓルート）、ステップＳ１２１の処理に戻り、ステップＳ１２１乃至ステップＳ１２７の処理を繰り返す。

一方、カウンタjがcex−csx以上であると判断された場合（ステップＳ１２７：Ｎｏルート）、テロップ生成部１５は、カウンタiを１インクリメントし（ステップＳ１２９）、カウンタiがcey−csyより小さいか判断する（ステップＳ１３１）。カウンタiがcey−csyより小さいと判断された場合（ステップＳ１３１：Ｙｅｓルート）、端子Ｄを介してステップＳ１１９（図１６）の処理に戻り、ステップＳ１１９乃至ステップＳ１３１の処理を繰り返す。

例えば図１７に示したマスク画像ｍの一部分に対して、図１８に示した文字画像ｆを用いて上記のような処理を実施すると、マスク画像ｍは、図２０に示すような画像となる。図２０において、画素値が０（すなわち、ｍ(x,y,t)＝０）の画素は、整形前も整形後もテロップ文字部に属さない画素である。また、画素値が１（すなわち、ｍ(x,y,t)＝１）の画素は、整形前はテロップ文字部に属する画素であったが、整形後にテロップ文字部に属さなくなった画素である。さらに、画素値が２（すなわち、ｍ(x,y,t)＝２）の画素は、整形前はテロップ文字部に属さない画素であったが、整形後にテロップ文字部に属するようになった画素である。また、画素値が３（すなわち、ｍ(x,y,t)＝３）の画素は、整形前も整形後もテロップ文字部に属する画素である。すなわち、画素値は、０〜３のいずれかとなる。

一方、カウンタiがcey−csy以上と判断された場合（ステップＳ１３１：Ｎｏルート）、テロップ生成部１５は、マスク画像ｍを更新する（ステップＳ１３３）。この処理では、画素値が１の各画素について、当該画素の画素値を０に変更する。また、画素値が２又は３の各画素について、当該画素の画素値を１に変更する。例えば図２０に示したマスク画像ｍに対して本ステップの処理を実施すると、図２１に示すようなマスク画像となる。

そして、テロップ生成部１５は、全ての文字について処理が完了したか判断する（ステップＳ１３５）。全ての文字について処理が完了していなければ（ステップＳ１３５：Ｎｏルート）、端子Ｅを介してステップＳ１１３（図１６）の処理に戻る。一方、全ての文字について処理が完了した場合（ステップＳ１３５：Ｙｅｓルート）、テロップ生成処理を終了し、元の処理に戻る。

以上のような処理を実施することにより、例えば映像の拡大により文字のにじみなどが生じた場合でも、後で述べる出力画像中に見易い文字でテロップを表示できるようになる。

図３の説明に戻って、ステップＳ１１においてテロップ文字部を整形しないと判断された場合、又は、テロップ生成処理を実施した後、テロップ描画部２１が、拡大画像格納部７に格納されている拡大画像Ｍと、マスク画像格納部１１に格納されているマスク画像ｍと、移動量gx及びgyとを用いてテロップ描画処理を実施する（ステップＳ１５）。テロップ描画処理については、図２２乃至図２４を用いて説明する。

まず、テロップ描画部２１は、出力画像Ｏと、当該出力画像Ｏと同じサイズである変換マスク画像ｍ'とを生成し、出力画像格納部２３に格納する。なお、この時点では、出力画像Ｏにおける各画素の値及び変換マスク画像ｍ'における各画素の値は、全て０である。そして、テロップ描画部２１は、カウンタiを０に設定する（図２２：ステップＳ１４１）。そして、テロップ描画部２１は、カウンタjを０に設定する（ステップＳ１４３）。

そして、テロップ描画部２１は、ｍ(j,i,t)が１であるか判断する（ステップＳ１４５）。ｍ(j,i,t)が１であると判断された場合（ステップＳ１４５：Ｙｅｓルート）、テロップ描画部２１は、Ｍ(j+gx,i+gy,t)に平均色μを設定する（ステップＳ１４７）。すなわち、拡大画像Ｍにおける移動先画素の色を、平均色μで置換する。なお、現在の位置からｘ軸方向にgx分移動させ、さらにｙ軸方向にgy分移動させることで、移動先画素は特定される。

そして、テロップ描画部２１は、ｍ'(j+gx-sx,i+gy-sy,t)に１を設定する（ステップＳ１４９）。すなわち、変換マスク画像ｍ'における移動先画素の値を１に設定する。ここで、sx及びsyをそれぞれ減算しているのは、図２３に示すように、マスク画像ｍと変換マスク画像ｍ'とでは、原点となる位置がｘ軸方向にsx分ずれており、ｙ軸方向にsy分ずれているためである。なお、変換マスク画像ｍ'は、後で説明するテロップ加工処理で用いる。

一方、ｍ(j,i,t)が１でないと判断された場合（ステップＳ１４５：Ｎｏルート）、ステップＳ１４７及びＳ１４９の処理をスキップし、ステップＳ１５１の処理に移行する。

そして、テロップ描画部２１は、カウンタjを１インクリメントし（ステップＳ１５１）、カウンタjがmxより小さいか判断する（ステップＳ１５３）。カウンタjがmxより小さいと判断された場合（ステップＳ１５３：Ｙｅｓルート）、ステップＳ１４５の処理に戻り、ステップＳ１４５乃至ステップＳ１５３の処理を繰り返す。

一方、カウンタjがmx以上であると判断された場合（ステップＳ１５３：Ｎｏルート）、テロップ描画部２１は、カウンタiを１インクリメントし（ステップＳ１５５）、カウンタiがmyより小さいか判断する（ステップＳ１５７）。カウンタiがmyより小さいと判断された場合（ステップＳ１５７：Ｙｅｓルート）、ステップＳ１４３の処理に戻り、ステップＳ１４３乃至ステップＳ１５７の処理を繰り返す。

一方、カウンタiがmy以上であると判断された場合（ステップＳ１５７：Ｎｏルート）、テロップ描画部２１は、拡大画像Ｍのうち表示領域内の画素の値を出力画像Ｏにコピーする（ステップＳ１５９）。例えば図２４に出力画像Ｏの一例を示す。例えば図５に示した拡大画像Ｍに対して上記のような処理を実施すると、図２４に示すような出力画像Ｏが生成される。図２４では、テロップ文字部「ニュース」に属する画素だけが移動しており、「ニュース」に属する画素以外は、元の映像が表示されるようになっている。そして、テロップ描画処理を終了し、元の処理に戻る。

以上のような処理を実施することにより、テロップ文字部に属する画素だけを移動した出力画像Ｏを生成することができる。すなわち、本来表示されるべき映像に対する影響を最小限に抑えつつ、テロップを表示できるようになる。なお、ｍ(j,i,x)＝１となる画素が表示領域内に存在する場合、Ｍ(j,i,t)に、当該画素の周辺画素の平均色などを設定するようにすれば、移動前のテロップ文字部が出力画像Ｏ上に表示されることはない。

図３の説明に戻って、テロップ描画処理を実施した後、テロップ加工部２５が、出力画像格納部２３に格納されている出力画像に対してテロップ加工処理を実施する（ステップＳ１７）。テロップ加工処理については、図２５乃至図３３を用いて説明する。

まず、テロップ加工部２５は、出力画像格納部２３から変換マスク画像ｍ'を読み出す。そして、テロップ加工部２５は、ｍ'(x,y,t)＝０となる各画素について、当該画素からｍ'(x,y,t)＝１となる画素までの最短距離を算出する（図２５：ステップＳ１６１）。例えば、この最短距離は、４近傍による距離変換、８近傍による距離変換、擬似距離変換などによって算出することができる。なお、ここでは、画素値として距離の値を有する画像を距離変換画像ｄと呼ぶ。

例えば図２６に４近傍による距離変換の概要を示す。まず、ｍ'(x,y,t)＝１となる画素についてはｄ(x,y)＝０を設定し、ｍ'(x,y,t)＝０となる画素についてはｄ(x,y)＝max_value（例えば６５５３５）を設定する。そして、ｄ(x,y)≠０の各画素について、左上から走査（第一走査）を行う。以下、注目画素をｄ(x,y)とする。具体的には、ｄ(x,y)と、ｄ(x-1,y)＋１と、ｄ(x,y-1)＋１との中から最小値を特定し、ｄ(x,y)に設定する。例えば図２６に示す第一走査では、ｄ(x,y)＝６５５３５、ｄ(x-1,y)＋１＝２＋１＝３、ｄ(x,y-1)＋１＝１＋１＝２であり、最小値である２がｄ(x,y)に設定される。そして、全ての画素について第一走査が終了したら、ｄ(x,y)≠０の各画素について、右下から走査（第二走査）を行う。具体的には、ｄ(x,y)と、ｄ(x+1,y)＋１と、ｄ(x,y+1)＋１との中から最小値を特定し、ｄ(x,y)に設定する。例えば図２６の第二走査では、ｄ(x,y)＝６５５３５、ｄ(x+1,y)＋１＝２＋１＝３、ｄ(x,y+1)＋１＝１＋１＝２であり、最小値の２がｄ(x,y)に設定される。以上のような処理により、距離変換画像ｄを生成する。

また、例えば図２７に８近傍による距離変換の概要を示す。基本的には４近傍による距離変換の場合と同じであるが、８近傍による距離変換の場合、第一走査では、注目画素の左上の画素ｄ(x-1,y-1)を考慮して、ｄ(x,y)と、ｄ(x-1,y)＋１と、ｄ(x,y-1)＋１と、ｄ(x-1,y-1)＋１との中から最小値を特定し、ｄ(x,y)に設定する。例えば図２７の第一走査では、ｄ(x,y)＝６５５３５、ｄ(x-1,y)＋１＝２＋１＝３、ｄ(x,y-1)＋１＝１＋１＝２、ｄ(x-1,y-1)＋１＝１＋１＝２であり、最小値である２がｄ(x,y)に設定される。また、第二走査では、注目画素の右下の画素ｄ(x+1,y+1)を考慮して、ｄ(x,y)と、ｄ(x+1,y)＋１と、ｄ(x,y+1)＋１と、ｄ(x+1,y+1)＋１との中から最小値を特定し、ｄ(x,y)に設定する。

さらに、例えば図２８に擬似距離変換の概要を示す。基本的には４近傍による距離変換の場合と同じであるが、擬似距離変換の場合、縦及び横の距離間隔を２とみなし、斜めの距離間隔を３とみなす。従って、第一走査では、ｄ(x,y)と、ｄ(x-1,y)＋２と、ｄ(x,y-1)＋２と、ｄ(x-1,y-1)＋３との中から最小値を特定し、ｄ(x,y)に設定する。例えば図２８の第一走査では、ｄ(x,y)＝６５５３５、ｄ(x-1,y)＋２＝４＋２＝６、ｄ(x,y-1)＋２＝２＋２＝４、ｄ(x-1,y-1)＋３＝２＋３＝５であり、最小値である４がｄ(x,y)に設定される。また、第二走査では、ｄ(x,y)と、ｄ(x+1,y)＋２と、ｄ(x,y+1)＋２と、ｄ(x+1,y+1)＋３との中から最小値を特定し、ｄ(x,y)に設定する。そして、最後にｄ(x,y)の各々を２で除算することにより、距離を算出する。

なお、他の方法を用いて最短距離を算出するようにしてもよい。例えば、図２９に示す変換マスク画像ｍ'についてステップＳ１６１の処理を実施し、図３０に示すような距離変換画像ｄが生成されたものとして、以下説明する。

そして、テロップ加工部２５は、カウンタiを０に設定する（ステップＳ１６３）。そして、テロップ加工部２５は、カウンタjを０に設定する（ステップＳ１６５）。そして、テロップ加工部２５は、ｄ(j,i)が所定の閾値Th_dより小さく且つｄ(j,i)が０以外という条件を満たしているか判断する（ステップＳ１６７）。ｄ(j,i)が所定の閾値Th_dより小さく且つｄ(j,i)が０以外という条件を満たしていなければ（ステップＳ１６７：Ｎｏルート）、以下で説明するステップＳ１６９乃至ステップＳ１７５の処理をスキップし、端子Ｆを介してステップＳ１７７（図３１）の処理に移行する。

一方、ｄ(j,i)が所定の閾値Th_dより小さく且つｄ(j,i)が０以外という条件を満たしていると判断された場合（ステップＳ１６７：Ｙｅｓルート）、テロップ加工部２５は、色の相違度ｓを算出する（ステップＳ１６９）。色の相違度ｓは、例えばＲＧＢで表現される場合、ｓ＝|ｒ−ｒ_u|＋|ｇ−ｇ_u|＋|ｂ−ｂ_u|によって算出することができる。なお、ｒ、ｇ、ｂは、Ｏ(j,i,t)の色成分を表し、ｒ_u、ｇ_u、ｂ_uは平均色μの色成分を表す。

そして、テロップ加工部２５は、色の相違度ｓが所定基準未満であるか判断する（ステップＳ１７１）。色の相違度ｓが所定基準以上であると判断された場合（ステップＳ１７１：Ｎｏルート）、以下で説明するステップＳ１７３及びステップＳ１７５の処理をスキップし、端子Ｆを介してステップＳ１７７（図３１）の処理に移行する。

一方、色の相違度ｓが所定基準未満であると判断された場合（ステップＳ１７１：Ｙｅｓルート）、テロップ加工部２５は、加工色ｃを生成し（ステップＳ１７３）、Ｏ(j,i,t)に加工色ｃを設定する（ステップＳ１７５）。例えば加工色ｃを（ｒ_c,ｇ_c,ｂ_c）とした場合、各色成分は、ｒ_c＝ｍｏｄ（ｒ＋１２８，２５５）、ｇ_c＝ｍｏｄ（ｇ＋１２８，２５５）、ｂ_c＝ｍｏｄ（ｂ＋１２８，２５５）によって算出することができる。これにより、Ｏ(j,i,t)の色と正反対の色（すなわち、ＲＧＢ値が１２８離れた色）で、Ｏ(j,i,t)の色を置換することができる。また、各色成分を、ｒ_c＝ｍｏｄ（ｒ_u＋１２８，２５５）、ｇ_c＝ｍｏｄ（ｇ_u＋１２８，２５５）、ｂ_c＝ｍｏｄ（ｂ_u＋１２８，２５５）によって算出するようにしてもよい。このようにすれば、平均色μと正反対の色で、Ｏ(j,i,t)の色を置換することができる。その後、端子Ｆを介してステップＳ１７７（図３１）の処理に移行する。

図３１の説明に移行して、端子Ｆの後、テロップ加工部２５は、カウンタjを１インクリメントし（図３１：ステップＳ１７７）、カウンタjがmx'より小さいか判断する（ステップＳ１７９）。なお、mx'は、出力画像Ｏの横幅である。カウンタjがmx'より小さいと判断された場合（ステップＳ１７９：Ｙｅｓルート）、端子Ｇを介してステップＳ１６７（図２５）の処理に戻り、ステップＳ１６７乃至ステップＳ１７９の処理を繰り返す。

一方、カウンタjがmx'以上であると判断された場合（ステップＳ１７９：Ｎｏルート）、テロップ加工部２５は、カウンタiを１インクリメントし（ステップＳ１８１）、カウンタiがmy'より小さいか判断する（ステップＳ１８３）。なお、my'は、出力画像Ｏの高さである。カウンタiがmy'より小さいと判断された場合（ステップＳ１８３：Ｙｅｓルート）、端子Ｈを介してステップＳ１６５（図２５）の処理に戻り、ステップＳ１６５乃至ステップＳ１８３の処理を繰り返す。

一方、カウンタiがmy'以上であると判断された場合（ステップＳ１８３：Ｎｏルート）、テロップ加工処理を終了し、元の処理に戻る。例えば図３０に示した距離変換画像ｄに従って距離が２以下の周辺画素を変換した場合、出力画像Ｏは図３２に示すような画像となる。

以上のような処理を実施することにより、テロップ文字部の各文字について、当該文字の色と相違する色で縁取りされるので、移動後のテロップを見易く表示することができる。

図３の説明に戻って、テロップ加工処理を実施した後、出力部２７が、出力画像格納部２３に格納されている出力画像Ｏを表示装置等に出力し（ステップＳ１９）、処理を終了する。例えば図５に示したフレーム画像Ｉについて上記のような処理を実施すると、図３３に示すような出力画像Ｏが生成され、表示される。図３３では、テロップ文字部「ニュース」が縁取りされ、見易くなっている。

以上本技術の一実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、上で説明したテロップ移動処理装置の機能ブロック図は必ずしも実際のプログラムモジュール構成に対応するものではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。また、並列に実行させるようにしても良い。

また、上では、テロップ文字部に属する全ての画素が表示領域に収まるようにするための移動量を算出する例に説明したが、必ずしもテロップ文字部に属する全ての画素が表示領域に収まるようにしなければならないわけではない。例えば、テロップ文字部に属する画素のうち一部分の画素が欠けてもテロップ文字部と認識できるのであれば、一部分の画素を除く主要画素が収まるようにするための移動量を算出するようにしてもよい。

また、上では、テロップ移動量算出処理の後に、テロップ生成処理を実施するような例を説明したが、テロップ生成処理を先に実施するようにしてもよい。この場合、整形後のテロップ文字部に基づいて移動量を算出するようにすればよい。

なお、テロップ移動処理装置をハードウェアと共に実現するためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

以上本実施の形態をまとめると以下のようになる。

本テロップ移動処理装置は、映像データに含まれる特定のフレーム画像を拡大した拡大画像において、背景の上に重ねて挿入された文字列とみなされる部分に属する画素を特定するテロップ抽出手段と、文字列とみなされる部分に属する画素のいずれかが、拡大画像内の一部分である表示領域外の画素であるか判断し、文字列とみなされる部分に属する画素のいずれかが表示領域外の画素であると判断された場合、文字列とみなされる部分に属する全画素又は主要画素が表示領域内に収まるように文字列とみなされる部分を移動する場合における移動量を算出するテロップ移動量算出手段と、文字列とみなされる部分に属する画素又は文字列を所定のフォントで表した場合における当該文字列に属する画素について、移動量に従って移動先画素を特定し、当該移動先画素の色を所定の色で置換するテロップ描画手段とを有する。

このようにすれば、例えば映像の拡大に伴い、テロップとして挿入された文字列が表示領域からはみ出るような場合でも、当該文字列を表示領域内に表示できるようになる。なお、文字列を構成する画素のみが置換されるので、本来表示されるべき映像に対する影響も最小限となる。

また、移動先画素以外の画素のうち移動先画素までの最短距離が所定距離以下の画素である周辺画素の色を、移動先画素の色と相違する色で置換するテロップ加工手段をさらに有するようにしてもよい。このようにすれば、文字列に含まれる各文字が、文字の色と相違する色で縁取りされるので、文字列が見易くなる。

また、所定のフォントにより表される文字の文字画像を文字コード毎に格納するフォント格納部と、文字列とみなされる部分に対して文字認識処理を実施することにより文字列に含まれる各文字の文字コードを取得し、各文字について当該文字の文字コードに対応する文字画像をフォント格納部から抽出し、文字列に含まれる文字を、抽出した文字画像で置換するテロップ生成手段とをさらに有するようにしてもよい。このようにすれば、例えば映像の拡大により文字のにじみなどが生じた場合でも、見易い文字で文字列を表示することができる。

また、上で述べたテロップ移動量算出手段が、特定のフレーム画像の１つ前のフレーム画像に係る移動量と、特定のフレーム画像に係る移動量との差分を算出し、当該差分が所定値未満であるか判断する手段と、当該差分が所定値未満であると判断された場合、特定のフレーム画像に係る移動量を、１つ前のフレーム画像に係る移動量で置換する手段とを有するようにしてもよい。このようにすれば、移動量が所定値未満の場合には、１つ前のフレーム画像に係る移動量を用いることになり、移動後の文字列が揺らぐのを防止することができるようになる。

また、文字列とみなされる部分に属する画素の平均色を算出するテロップ特徴算出手段をさらに有するようにしてもよい。そして、上で述べたテロップ描画手段が、移動先画素の色を平均色で置換するようにしてもよい。

また、上で述べたテロップ加工手段が、各周辺画素について当該周辺画素の色と移動先画素の色との相違度を算出する手段と、相違度が所定基準未満である周辺画素の色を、移動先画素の色と相違する色で置換する手段とを有するようにしてもよい。

Claims (6)

1. 映像データに含まれる特定のフレーム画像を、任意の倍率で拡大した拡大画像において、背景の上に重ねて挿入された文字列とみなされる部分に属する画素を特定するテロップ抽出手段と、
   前記文字列とみなされる部分に属する画素のいずれかが、前記拡大画像内に設定される表示領域外の画素であるか判断し、前記文字列とみなされる部分に属する画素のいずれかが前記表示領域外の画素であると判断された場合、前記文字列とみなされる部分に属する全画素又は主要画素が前記表示領域内に収まるように前記文字列とみなされる部分を移動する場合における移動量を算出するテロップ移動量算出手段と、
   前記文字列とみなされる部分に属する画素又は前記文字列を所定のフォントで表した場合における当該文字列に属する画素について、前記移動量に従って移動先画素を特定し、当該移動先画素の色を所定の色で置換するテロップ描画手段と、
   を有するテロップ移動処理装置。
2. 前記移動先画素以外の画素のうち前記移動先画素までの最短距離が所定距離以下の画素である周辺画素の色を、前記移動先画素の色と相違する色で置換するテロップ加工手段
   をさらに有する請求項１記載のテロップ移動処理装置。
3. 前記所定のフォントにより表される文字の文字画像を文字コード毎に格納するフォント格納部と、
   前記文字列とみなされる部分に対して文字認識処理を実施することにより前記文字列に含まれる各文字の文字コードを取得し、各前記文字について当該文字の文字コードに対応する前記文字画像を前記フォント格納部から抽出し、前記文字列に含まれる前記文字を、抽出した前記文字画像で置換するテロップ生成手段と、
   をさらに有する請求項１又は２記載のテロップ移動処理装置。
4. 前記テロップ移動量算出手段が、
   前記特定のフレーム画像の１つ前のフレーム画像に係る前記移動量と、前記特定のフレーム画像に係る前記移動量との差分を算出し、当該差分が所定値未満であるか判断する手段と、
   前記差分が所定値未満であると判断された場合、前記特定のフレーム画像に係る前記移動量を、前記１つ前のフレーム画像に係る前記移動量で置換する手段と、
   を有する請求項１乃至３のいずれか１つ記載のテロップ移動処理装置。
5. 映像データに含まれる特定のフレーム画像を、任意の倍率で拡大した拡大画像において、背景の上に重ねて挿入された文字列とみなされる部分に属する画素を特定するステップと、
   前記文字列とみなされる部分に属する画素のいずれかが、前記拡大画像内に設定される表示領域外の画素であるか判断するステップと、
   前記文字列とみなされる部分に属する画素のいずれかが前記表示領域外の画素であると判断された場合、前記文字列とみなされる部分に属する全画素又は主要画素が前記表示領域内に収まるように前記文字列とみなされる部分を移動する場合における移動量を算出するステップと、
   前記文字列とみなされる部分に属する画素又は前記文字列を所定のフォントに変更した場合における変更後の文字列に属する画素について、前記移動量に従って移動先画素を特定し、当該移動先画素の色を所定の色で置換するステップと、
   を含み、コンピュータにより実行されるテロップ移動処理方法。
6. 映像データに含まれる特定のフレーム画像を、任意の倍率で拡大した拡大画像において、背景の上に重ねて挿入された文字列とみなされる部分に属する画素を特定するステップと、
   前記文字列とみなされる部分に属する画素のいずれかが、前記拡大画像内に設定される表示領域外の画素であるか判断するステップと、
   前記文字列とみなされる部分に属する画素のいずれかが前記表示領域外の画素であると判断された場合、前記文字列とみなされる部分に属する全画素又は主要画素が前記表示領域内に収まるように前記文字列とみなされる部分を移動する場合における移動量を算出するステップと、
   前記文字列とみなされる部分に属する画素又は前記文字列を所定のフォントに変更した場合における変更後の文字列に属する画素について、前記移動量に従って移動先画素を特定し、当該移動先画素の色を所定の色で置換するステップと、
   をコンピュータに実行させるためのテロップ移動処理プログラム。

Images