JPH06111059A - 文字フレーム検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、ビデオテープレコーダ等で記録し
た動画像情報の中から文字領域を含んだフレームを自動
検出することを目的としている。 【構成】 本発明において、画像記憶部２には、画像入
力部１により画像データファイル６から読み出された１
フレーム分の圧縮画像データが伸張されて記憶される。
線分特徴抽出部４は平滑化処理部３によりフィルタリン
グ処理されて平滑化された前記画像記憶部２内の画像デ
ータから特徴量を抽出して、これを文字領域抽出部５に
与える。文字領域抽出部５は前記与えられた特徴量から
前記１フレーム分の画像データに文字領域部分が含まれ
るか否かを判定し、含まれる場合はこれを検索出力部７
に知らせる。検索出力部７は前記文字領域抽出部５から
の判定結果に従って、画像データファイル６から該当の
文字領域を含んだ１フレーム分の画像データを読み出し
て、これをモニタ等に表示して出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はマルチメディアシステム
の画像編集時等に、編集対象動画像の中から文字領域を
含んだフレームを検出する文字フレーム検出装置に関す
る。

【０００２】

【従来の技術】近年、ＶＴＲやＬＤ等の記録媒体に画像
を記録するマルチメディアシステムの中には、従来放送
局等の限られた専門化による作業であったリアルタイム
画像の編集作業を一般のユーザでも扱えるような製品が
出てきている。これはパーソナルコンピュータと上記Ｖ
ＴＲやＬＤ等の統合化が進み且つ、前記ＶＴＲやＬＤ等
の商品を一般のユーザが低価格で購入できるようになっ
たと共に、簡単な操作でこれら映像機器を取り扱うこと
ができるようになったためである。又、近年静止画像及
び動画像を圧縮／伸張する技術の標準化がＪＰＥＧ，Ｍ
ＰＥＧといった形で進んでおり、特に動画像のような大
容量のデータをパーソナルコンピュータベースでも扱え
るようになってきている。これにより、大容量の画像デ
ータの中から必要とする画像若しくはシーンを操作性よ
く検索することができる技術が必要になってきている。
しかし、従来のパーソナルコンピュータを利用した簡易
システムの場合、オペレータが動画像を再生しながら各
画像を見て手動でいちいち必要とする画像若しくはシー
ンを検索するといったことが行われ、この種の静止画像
や動画像の編集作業に多大な手間と労力がかかるという
欠点があった。

【０００３】特に従来の動画像の編集システムにあって
は、記録媒体としてＶＴＲを用いていることが多く、こ
のため、一度画像情報として記録したものを再度利用し
ようとする場合、ＶＴＲでテープを再生し、その結果得
られる再生画像をモニタに表示させながら必要とするシ
ーン、又は文字領域を含んだフレームを検索しなければ
ならなかった。このような検索作業はオペレータにとっ
て大きな負担になるため、こういった動画像の検索を手
動で行っていたのでは、ＶＴＲでテープに記録された画
像情報の再利用がほとんどなされなくなってしまうとい
う欠点があった。

【０００４】そこで、上記ＶＴＲにてテープに記録され
た動画像の検索処理をある程度自動的に行う方法とし
て、静止フレーム又は文字領域を含んだフレーム等を抽
出し、この抽出したフレームを検索のためのキーとする
ことにより、ユーザが必要とするシーンを含んだフレー
ムを検索する方法が考えられる。しかしながら、素人が
撮影するビデオは通常手振れ等によって本来静止フレー
ムであっても、画面は常に細かく揺れた状態になり、
又、撮影アングル等も一定しておらず、このようなビデ
オテープから文字領域を含んだフレームを自動的に検索
して抽出することは容易ではなかった。ところで、例え
ば展示会等では、各社紹介の機器と共に説明用のパネル
が掲げられていることが多い。従って、撮影者は展示機
器と共にこの説明用パネルを一定時間静止した状態で撮
影し、後の編集でこれを利用するといった撮影方法を採
ることが多い。このようなビデオテープの記録映像中か
ら静止フレームを抽出して自動検索することができれ
ば、ビデオテープに記録されている動画像の編集効率を
著しく向上させることができるが、このような技術は開
発されていないのが現状である。

【０００５】

【発明が解決しようとする課題】記録媒体としてＶＴＲ
等を用いた動画像の編集システムでは、文字領域を含ん
だフレーム等を抽出して、このフレームをキーとして所
望のシーンを検索する方法が考えられるが、前記文字領
域を含んだフレームを自動的に検索して抽出する技術は
なく、従来はオペレータがビデオテープを再生しながら
動画像を見て検索するしかなかった。このため、オペレ
ータに多大な労力がかかるため、従来はＶＴＲで記録し
た画像情報の再利用はほとんどなされていないというの
が現状であった。

【０００６】そこで本発明は上記の欠点を除去し、ビデ
オテープレコーダ等で記録した動画像情報の中から文字
領域を含んだフレームを自動検出することができる文字
フレーム検出装置を提供することを目的としている。

【０００７】

【課題を解決するための手段】本発明の文字フレーム検
出装置は画像データを入力する画像入力手段と、この画
像入力手段から入力された画像データをフィルタリング
処理して平滑化する平滑化手段と、この平滑化手段によ
って平滑化された画像データの射影を取る射影化手段
と、この射影化手段によって射影化された１フレーム分
の射影データの特徴量を抽出する特徴抽出手段と、この
特徴抽出手段により抽出された特徴量から前記フレーム
が文字領域を含んだフレームであるか否かを判定する判
定手段とを具備した構成を有する。

【０００８】

【作用】本発明の文字フレーム検出装置において、画像
入力手段は画像データを入力する。平滑化手段は前記画
像入力手段から入力された画像データをフィルタリング
処理して平滑化する。射影化手段は前記平滑化手段によ
って平滑化された画像データの射影を取る。特徴抽出手
段は前記射影化手段によって射影化された１フレーム分
の射影データの特徴量を抽出する。判定手段は前記特徴
抽出手段により抽出された特徴量から前記フレームが文
字領域を含んだフレームであるか否かを判定する。

【０００９】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。図１は本発明の文字フレーム検出装置の一実施
例を示したブロック図である。１は画像データファイル
６から圧縮デジタル画像を１フレーム分読み出して伸張
する画像入力部、２は検索対象の１フレーム分の画像デ
ータを記憶する画像記憶部、３は検索対象の画像データ
を平滑化する平滑化処理部、４は平滑化された画像デー
タを射影化してその特徴量を抽出する線分特徴抽出部、
５は線分特徴抽出部４により抽出された抽出結果から文
字領域フレームを判断し、この判断結果を検索出力部７
に出力する文字領域抽出部、６はＶＴＲ等でとった画像
データをデジタル化して圧縮化した画像データを保存し
ている画像データファイル、７は文字領域抽出部５から
文字領域フレームの検出を知らされると、画像データフ
ァイル６内の該当する文字領域を含む画像データを読み
出して、モニタ等に出力する検索出力部である。

【００１０】次に本実施例の動作について説明する。画
像入力部１は画像データファイル６内の圧縮された画像
データを１フレーム分伸張した後、画像記憶部２に記憶
させる。平滑化処理部３は画像処理部２に記憶された画
像データを例えば図３に示したような３×３のマトリッ
クスで係数が“１”のフィルタリング処理をｎ回行なっ
て、検索対象画像データをぼかす処理を行った後、この
ぼかした画像データを線分特徴抽出部４に出力する。線
分抽出部４は入力される前記ぼかされた画像データの射
影を取って２値化した後、その特徴量を抽出する。ここ
で、平滑化処理部３のフィルタリング処理はある画素の
回りにある画素を加算して平均化することにより、画像
データのぼかしを行うものである。図２（Ａ）は画像記
憶部２に記憶されている原画像データを表示した場合の
一例であり、この画像データに対応するデジタル画像デ
ータが平滑化処理部３に入力されて平滑化されることに
なる。図２（Ｂ）は画像記憶部２内に記憶されている原
画像データを線分特徴抽出部４にて直接射影化した図で
ある。しかし、本例のように平滑化処理部３によって画
像データをぼかした後、この画像データを線分特徴抽出
部４にて射影化すると、図２（Ｃ）に示すように射影デ
ータの輪郭を明確且つ直線状にすることができる。平滑
化処理部３におけるフィルタリング処理を複数回行う目
的は文字を構成する各線分の間、即ち、背景領域を前記
文字を構成する各線分の濃度値に近づけることであり、
これにより、図２（Ｂ）と（Ｃ）の違いが生じる。但
し、前記フィルタリング処理の回数ｎをあまり大きくす
ると、図２（Ｃ）の各射影データが繋がってしまうた
め、実験的に適当な回数ｎが決められる。

【００１１】線分特徴抽出部４は図２（Ｃ）に示したよ
うな射影化データをスレッシュホールド値ｔｈで２値化
し、前記ｔｈ以上の矩形塊領域が何本あるかを計量する
と共に、これら矩形塊領域の並び間隔を計量して、これ
ら計量結果即ち特徴量を文字領域抽出部５に出力する。
ここで、上記した２値化処理のための閾値ｔｈは平滑化
処理部３における前記フィルタリング処理回数ｎに関連
して設定される。例えば図２（Ａ）に示したような横方
向に書かれた文字列を直接処理して得られた射影データ
は図２（Ｂ）に示すように各ライン間で凹凸の大きなも
のになっている。しかし、平滑化処理部３にてフィルタ
リング回数を増やすに従って図２（Ｃ）に示すように射
影データの各ライン間は平坦に近づいていく。この理由
は各ラインの射影値の散らばり具合が前記フィルタリン
グ回数を増やすに従って少なくなり、即ち分散値が小さ
くなり、この分散値が指定値以下になった時のフィルタ
リング回数ｎでフィルタリング処理を終了する。このよ
うにして決められたフィルタリング回数ｎで処理された
平滑化画像データを射影化した際に、元の画像データが
文字を含むものであった場合に、これを抽出できるよう
な２値化閾値ｔｈが実験的に決定される。

【００１２】文字領域抽出部５は入力された特徴量から
画像記憶部２内の１フレーム分の画像データが文字領域
を含んだ画像データであるか否かを判断し、その結果、
文字領域を含んだ１フレームの画像データであると判断
した場合は、これを検索出力部７に知らせる。ここで、
図２について再述する。図２（Ａ）はあるフレームにお
ける説明パネルに書かれた説明文の例であり、同図
（Ｂ）は前記説明文のイメージを横方向に射影を取った
ものである。この（Ｂ）では各文字列を構成する各ライ
ンの射影値の凹凸が著しく大きくなっているのが分か
る。これは図２（Ａ）に示した現画像に対してそのまま
射影を取ってるためであり、文字を構成する線分間の背
景部分が影響して前記射影値の凹凸が大きくなってい
る。このまま指定の閾値ｔｈで２値化したのでは前記原
画の各文字列幅を塊として抽出することができない。そ
こで図２（Ｃ）は上記問題点を考慮したもので、図２
（Ａ）に示した現画像に対して平滑化処理部３にてｎ回
のフィルタリング処理を行って同様に射影を取ったもの
である。この図２（Ｃ）の例を見ると、各文字列を構成
する各ラインの射影値の凹凸が小さくなっているのが分
かる。従って、線分特徴抽出部４にて前記射影値を閾値
ｔｈで２値化することによって、原画の文字列幅を所定
の幅の塊領域として抽出することができる。図２（Ｂ）
の例では８個の指定幅の塊領域が線分特徴抽出部４によ
って抽出される。更に、上記塊領域が指定個以上存在
し、且つ各塊領域の並び間隔が所定値以内であれば、文
字領域抽出部５は図２（Ａ）のフレームを文字フレーム
と判断する。尚、平滑化処理部３のフィルタリング処理
は縦方向に射影を取る画像データに対しても行うことが
できるものとする。

【００１３】検索出力部７は画像入力部７が画像データ
ファイル６から読み出して伸張した１フレーム分の画像
データがどこの部分であるかを画像入力部１から知らさ
れているため、文字領域抽出部５から文字を含んだフレ
ームを検出したことが知らされると、画像データファイ
ル６から該当の１フレーム分の画像データを読み出した
後これを伸張し、更にアナログ化してモニタ等に写し出
して出力する。上記のような処理が終了すると、画像入
力部１は画像データファイル６から次の１フレーム分の
画像データを読み出して伸張した後、これを画像記憶部
２に記憶する。以降は上記した動作が繰り返される。

【００１４】本実施例によれば、画像データを平滑化し
てぼかし処理を行った後、射影化して２値化処理を施す
ことにより、１フレーム分の原画に含まれる文字領域を
所定の幅を持った１本の矩形領域として抽出することが
できる。そこで、この矩形領域の本数と各矩形領域の間
隔が所定の条件を満たすことによって、前記１フレーム
分の原画を文字領域を含んだフレームかどうかを判断す
ることができ、この判断結果により、前記原画像から文
字を含んだフレームを自動検索することができる。例え
ば、展示会等でビデオ撮影した動画像には、各社紹介の
機器と共に説明用のパネルを撮影する場合が多いが、こ
のような動画像に対して上記の如く文字領域を含んだフ
レームを検索できれば、このフレームをキーとして前記
動画像の編集効率を著しく向上させることができる。

【００１５】尚、上記実施例では単一の方法で文字フレ
ームを検出しているが、他の文字領域の特徴、例えばパ
ネル等の枠の境界エッジ等を組み合わせて処理すること
も可能である。更に、上記実施例では平滑化処理が基本
であるが、その処理回数ｎを経験的に決定する以外に、
２値化後のパターン、即ちぼかし処理が不足のため、文
字列内に穴ができたり、その周辺が虫食い状態になった
り、又、ぼかし回数が多くて、背景との区別がつかなく
なるといった情報を、例えば２値化パターンの射影形状
で判断して、自動的に平滑化処理の回数ｎを決定するこ
とも可能である。又、本実施例では図２（Ａ）に示すよ
うに説明パネルの文字列は横書きで説明したが、勿論、
縦書きのパネルに対しても同様に扱うことができ、縦、
又は横方向に細長い領域を複数個抽出することにより、
文字フレームであると判断することも可能である。

【００１６】

【発明の効果】以上記述した如く本発明の文字フレーム
検出装置によれば、ビデオテープレコーダ等で記録した
動画像情報の中から文字領域を含んだフレームを自動検
出することができる。

【図面の簡単な説明】

【図１】本発明の文字フレーム検出装置の一実施例を示
したブロック図。

【図２】１フレーム分の原画とその射影データ及び平滑
後の前記原画の射影データ例を示した図。

【図３】図１に示した平滑化処理部で使用する平滑化用
マスクパターン例を示した図。

【符号の説明】

１…画像入力部 ２…画像記憶部 ３…平滑化処理部 ４…線分特徴抽
出部 ５…文字領域抽出部 ６…画像データ
ファイル ７…検索処理部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像データを入力する画像入力手段と、
   この画像入力手段から入力された画像データをフィルタ
   リング処理して平滑化する平滑化手段と、この平滑化手
   段によって平滑化された画像データの射影を取る射影化
   手段と、この射影化手段によって射影化された１フレー
   ム分の射影データの特徴量を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴量から前記フレ
   ームが文字領域を含んだフレームであるか否かを判定す
   る判定手段とを具備したことを特徴とする文字フレーム
   検出装置。
2. 【請求項２】 前記特徴抽出手段は射影データを２値化
   して得られる所定幅の塊領域の数とこの塊領域の並び間
   隔を特徴量として抽出することを特徴とする請求項１記
   載の文字フレーム検出装置。