JP3024574B2 - 動画像検索装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の中から字
幕が現れているフレーム区間を検出し、その区間の代表
画像を一覧表示することにより所望のシーンを簡単に検
索するための動画像検索装置に関するものである。

【０００２】

【従来の技術】近年、動画像中に現れる字幕を自動検出
し、字幕の現れているシーンの代表画像を抽出して一覧
表示することにより、所望のシーンを探し出す動画像検
索装置が検討されている。このような動画像検索装置
は、例えば特開平７−１９２００３号公報に開示されて
いる。以下、従来の動画像検索装置において最も重要な
字幕検出部について説明する。

【０００３】図１４に字幕検出部の構成を示す。１４０
１は輝度判定部であり、フレーム画像データを入力して
高輝度画素を抽出する。１４０２は輝度差判定部であ
り、輝度判定部１４０１で抽出された画素の輝度を近傍
の画素と比較し、輝度差の高い画素を抽出する。１４０
３はフレーム照合部であり、輝度差判定部１４０２で抽
出された画素が一定時間同一位置にあるかどうかを判定
する。１４０４は字幕領域抽出部であり、フレーム照合
部１４０３で一定時間同一位置にあると判定された字幕
の候補画素の分布を調べ、字幕であるかどうかを判定す
る。１４０５は閾値管理部であり、上記の抽出、判定処
理を行うための閾値を設定する。

【０００４】以下、図１５のフローチャートを用い、従
来の字幕検出部の処理を詳細に説明する。まず最初にフ
レーム番号ｔを０に初期化する（１５００）。次に、ｗ
×ｈ画素（ｗ、ｈは整数）のフレーム画像データを入力
する（１５０１）。フレーム番号ｔに対するｗ×ｈの３
次元配列Ｅ（ｘ，ｙ，ｔ）を用意する（１５０２）。

【０００５】入力したフレーム画像データの各画素につ
いて、その画素が字幕を形成する画素の１つになってい
るかどうかを判定するため、次の処理（１５０３〜１５
１２）を行う。 （１）輝度が閾値ｔｈ１以上かどうかを判定する（１５
０４）。閾値以上であれば１５０５に進む。そうでなけ
れば字幕と無関係の画素なので、現在の座標に対応する
配列Ｅに０を代入する（１５０８）。 （２）８近傍の画素と現在の画素との間でそれぞれ輝度
差を求め、閾値ｔｈ２以上のものがあるかどうか調べる
（１５０５）。もし１つでもあれば１５０６に進み、な
ければ１５０８に進む。 （３）輝度差が８近傍の画素全てで閾値を超えているか
を判定する（１５０６）。全てで閾値を超えている場
合、その画素はノイズである可能性が高いので、字幕と
無関係な画素として１５０８に進む。そうでなければ字
幕を形成する画素の１つであるとして現在の座標に対応
する配列Ｅに１を代入する（１５０７）。 （４）現在座標を示す変数ｘ、ｙを１ずつ増加させ、全
ての画素について（１）〜（３）の処理を行う（１５０
９〜１５１２）。

【０００６】次に、一定時間同じ位置に文字が存在して
いるかどうかを判定する。上記の処理によって得られた
ｎフレーム分の配列Ｅについて論理積をとる。具体的に
は、各配列のそれぞれ同じ座標に対応するデータを比較
し、それらが全て１であれば１を２次元配列Ｅ’（ｘ，
ｙ）に代入する。１つでも０があった場合には０を配列
Ｅ’（ｘ，ｙ）に代入する（１５１３）。

【０００７】上記の処理が完了した時点で字幕の一部と
目されている画素が密集して存在しているかどうかを判
定する。すなわち、ｙ方向についてｙがｉでＥ’（ｘ，
ｙ）の値が１であるものの数をカウントし、ヒストグラ
ムＨｙ（ｉ）を作成する（１５１４）。もし、ヒストグ
ラムの各度数のうち、閾値ｔｈ３を越えているものがあ
れば（１５１５）その度数に対応する行に字幕が現れて
いる。Ｅ’（ｘ，ｙ）は論理積の結果なので、ｎフレー
ム前のフレームに字幕が現れていると判断し字幕検出処
理１５１６を実行する。

【０００８】字幕検出処理１５１６の詳細を図１６に示
す。ヒストグラムの度数が閾値ｔｈ３を越えてピークと
なっている行が複数あり、それらのピークに挟まれた行
に十分な度数がない場合には複数の字幕が現れていると
見なし、それらの字幕の数を求めてＬｎに代入する（１
６０１）。全ての字幕について１６０２〜１６１０の処
理を行う。Ｌｎはループカウンタとして用いられ、１つ
の字幕の処理が完了する毎に１ずつ減り（１６０８）、
０になるまでループする（１６１０）。１６０２は、閾
値ｔｈ３を越えている行が連続する部分を検出し、その
区間を求めて開始行のｙ座標をｙｏ、終了行のｙ座標を
ｙｃに代入する。次に、ｙがｙｏからｙｃの間でＥ’
（ｘ，ｙ）が１の数をカウントしてヒストグラムＨ’ｘ
（ｉ）を作成し（１６０３）、そのヒストグラム中で度
数が閾値ｔｈ４を越えている部分を抽出する。そして、
その開始列のｘ座標をｘｏに、終了列のｘ座標をｘｃに
代入する（１６０４）。（ｘｏ，ｙｏ）及び（ｘｃ，ｙ
ｃ）によって示される矩形領域を字幕の存在領域とす
る。

【０００９】フレーム番号ｔー１において、矩形領域
（ｘｏ，ｙｏ）−（ｘｃ，ｙｃ）に字幕があると判定さ
れていた場合、以前から現れていた字幕として特別な処
理はしない（１６０６）。字幕がなかった場合には新規
にｎフレーム前に字幕が現れたと判定する。検出された
字幕は常に監視され、検出されなくなったフレーム番号
から１を引いた番号をその字幕の終了フレームとし、矩
形領域（ｘｏ，ｙｏ）−（ｘｃ，ｙｃ）のＥ’（ｘ，
ｙ）の値を０にする。

【００１０】

【発明が解決しようとする課題】以上のように従来の技
術では字幕のエッジの画素が一定時間全く同じ位置に存
在することを仮定し、そのような画素の数が閾値を越え
たとき字幕が存在すると判断している。しかし、実際に
はノイズの影響により字幕のエッジの画素の位置はフレ
ーム毎に多少変動する。したがって、ノイズが多い場合
には一定時間同じ位置に存在する字幕のエッジの画素数
が閾値よりも少なくなるため、字幕が存在しないと誤っ
て判断されてしまう。

【００１１】本発明は字幕の検出精度を向上させ、より
効率良く所望のシーンが検索できるだけでなく、高速に
字幕が検出できる動画像検索装置を提供することを目的
とする。

【００１２】

【課題を解決するための手段】本発明の動画像検索装置
は、画像データをフレーム単位で入力し、フレームを複
数のブロックに分割して、輝度値が閾値以上である画素
を字幕画素としてブロック毎に計数する字幕画素カウン
ト手段と、当該フレームと前フレームの２枚のフレーム
間で同一位置にあるブロックの上記字幕画素の数を判定
して字幕ブロックを抽出する字幕ブロック抽出手段と、
横方向または縦方向に連続する上記字幕ブロックを字幕
領域として抽出する字幕領域抽出手段と、上記字幕領域
抽出手段により字幕領域が抽出されたフレームの区間を
検出し、その区間から字幕を含むフレームを字幕フレー
ムとして抽出する字幕フレーム抽出手段と、上記字幕フ
レーム抽出手段により抽出された字幕フレームの代表画
像を表示する画像表示手段を備えたものである。本発明
によれば、ブロック単位で字幕が存在するかどうか判定
できるので、ノイズによって字幕画素の位置が多少変動
しても字幕を検出することができる。また、ブロック単
位で字幕を検出することにより、少ない演算量で処理す
ることができる。したがって、字幕の検出精度が向上す
るので、より効率良く所望のシーンが検索でき、字幕の
検出も高速に行うことができる動画像検索装置が得られ
る。

【００１３】

【発明の実施の形態】本発明の請求項１に記載の発明
は、画像データをフレーム単位で入力し、フレームを複
数のブロックに分割して、輝度値が閾値以上である画素
を字幕画素としてブロック毎に計数する字幕画素カウン
ト手段と、当該フレームと前フレームの２枚のフレーム
間で同一位置にあるブロックの上記字幕画素の数を判定
して字幕ブロックを抽出する字幕ブロック抽出手段と、
横方向または縦方向に連続する上記字幕ブロックを字幕
領域として抽出する字幕領域抽出手段と、上記字幕領域
抽出手段により字幕領域が抽出されたフレームの区間を
検出し、その区間から字幕を含むフレームを字幕フレー
ムとして抽出する字幕フレーム抽出手段と、上記字幕フ
レーム抽出手段により抽出された字幕フレームの代表画
像を表示する画像表示手段を備えたものであり、ブロッ
ク毎に字幕が存在するかどうかを判定し、字幕が存在す
ると判定されたブロックが横方向または縦方向に連続す
るかどうかを判定するので、字幕を精度良く、高速に検
出することができるという作用を有する。

【００１４】本発明の請求項５に記載の発明は、請求項
１乃至４のいずれかに記載の動画像検索装置において、
字幕ブロック抽出手段が、上記字幕画素カウント手段か
ら出力される字幕画素の数を格納するメモリを備え、上
記メモリから２枚のフレームで同一位置にあるブロック
の字幕画素の数を読み取り、上記字幕画素の数が両方と
も閾値以上になるときに、上記同一位置にあるブロック
を字幕ブロックとして抽出することを特徴とするもので
あり、ブロック毎に前フレームと現フレームとのカウン
ト数を比較することによって、字幕画素が安定して存在
しているかどうか判定することができる。したがって、
字幕画素の数だけで字幕を検出するよりも精度が向上す
るという作用を有する。

【００１５】

【００１６】本発明の請求項６に記載の発明は、請求項
１記載の動画像検索装置において、予めフレームを複数
のセグメントに分割しておき、上記字幕フレーム抽出手
段により抽出された字幕フレーム全てについて、セグメ
ント毎に上記字幕領域抽出手段で抽出された字幕領域を
含むフレーム数をカウントし、カウント数が最も多いセ
グメントで字幕領域が抽出された字幕フレームを代表画
像として抽出する代表フレーム抽出手段を備えたもので
あり、すべての字幕フレームを通して字幕領域が最も多
く抽出された位置を調べることにより、重要な字幕が含
まれている確率が高いフレームのみを自動的に抽出する
ことができるという作用を有する。

【００１７】

【００１８】以下、本発明の実施の形態について、図１
から図１３を用いて説明する。 （実施の形態１）図１は実施の形態１の動画像検索装置
の構成である。図１において、１０１は動画像の画像デ
ータをフレーム単位で入力する入力端子である。１０２
は入力端子１０１から入力した画像データの輝度値が第
２の閾値以上である画素を字幕画素とし、その数をブロ
ック毎にカウントする字幕画素カウント手段である。１
０３は字幕画素カウント手段１０２から出力されたカウ
ント数が第１の閾値以上であるブロックを字幕ブロック
として抽出する字幕ブロック抽出手段である。１０４は
字幕ブロック抽出手段１０３により字幕ブロックが抽出
されたフレームの区間を検出し、その区間から字幕を含
むフレームを字幕フレームとして抽出する字幕フレーム
抽出手段である。１０５は入力端子１０１から入力した
動画像の画像データと字幕フレーム抽出手段１０４によ
り抽出された字幕フレームの画像データを蓄積する画像
情報記憶手段である。１０６は画像情報記憶手段１０５
に蓄積された字幕フレームの画像を一覧表示すると共に
画像情報記憶手段１０５に蓄積された動画像を再生する
画像表示手段である。１０７は字幕フレームの画像デー
タ、または画像表示手段１０６で選択された字幕フレー
ムに対応するフレームからの動画像の画像データを画像
情報記憶手段１０５に出力させる字幕情報管理手段であ
る。

【００１９】以下、図１の動画像検索装置の動作を説明
する。字幕画素カウント手段１０２は、入力端子１０１
から入力したｗ×ｈ画素（ｗ、ｈは整数）のフレーム画
像において、輝度値が第２の閾値以上の画素を字幕画素
とし、その数をｍ×ｎ画素（ｍ、ｎは整数）のブロック
毎にカウントして字幕ブロック抽出手段１０３に出力す
る。字幕ブロック抽出手段１０３は、字幕画素カウント
手段１０２から出力されたカウント数が第１の閾値以上
のブロックを１とし、それ以外のブロックを０とする二
値画像を作成し、字幕フレーム抽出手段１０４に出力す
る。字幕フレーム抽出手段１０４は、字幕ブロック抽出
手段１０３から出力された二値画像を用いて字幕が存在
するフレームの区間を検出し、その区間の開始フレーム
を字幕フレームとして抽出する。

【００２０】ここで、字幕フレーム抽出手段１０４につ
いて図２を用いて説明する。図２は字幕フレーム抽出手
段の構成である。図２において、２０１は字幕ブロック
抽出手段１０３から出力された二値画像を記憶する二値
画像記憶手段である。２０２は二値画像記憶手段２０１
に記憶された前フレームの二値画像と字幕ブロック抽出
手段１０３から出力される現フレームの二値画像を用い
て字幕が存在するフレームの区間を検出する字幕フレー
ム区間検出手段である。２０３は入力端子１０１から入
力した現フレームの画像データを記憶するフレームメモ
リである。

【００２１】以下、図２の字幕フレーム抽出手段の動作
を説明する。字幕フレーム区間検出手段２０２は、二値
画像記憶手段２０１に記憶された前フレームの二値画像
に１が存在せず、字幕ブロック抽出手段１０３から出力
された現フレームの二値画像に１が存在していれば、現
フレームで新規に字幕が現れたと判断し、現フレームの
フレーム番号を字幕開始フレーム番号として字幕情報管
理手段１０７に出力すると共にフレームメモリ２０３に
記憶しておいた現フレームの画像データを字幕フレーム
の画像データとして画像情報記憶手段１０５に出力させ
る。また、二値画像記憶手段２０１に記憶された前フレ
ームの二値画像に１が存在し、字幕ブロック抽出手段１
０３から出力された現フレームの二値画像に１が存在し
ていなければ、字幕が消えたと判断し、前フレームのフ
レーム番号を字幕終了フレーム番号として字幕情報管理
手段１０７に出力する。その他の場合は字幕が連続して
現れているか連続して現れていない状態なので、字幕フ
レーム区間検出手段２０２は何も処理しない。

【００２２】画像情報記憶手段１０５は、入力端子１０
１から入力した動画像の画像データを蓄積すると共に、
字幕フレーム抽出手段１０４から出力された字幕フレー
ムの画像データを記憶する。また、字幕情報管理手段１
０７からの命令により字幕フレームの画像データを画像
表示手段１０６に出力したり、字幕情報管理手段１０７
により指定されたフレームからの動画像の画像データを
画像表示手段１０６に出力する。画像表示手段１０６
は、画像情報記憶手段１０５に蓄積された字幕フレーム
の画像を一覧表示し、その中から選択された字幕フレー
ムに対応するフレームから画像情報記憶手段１０５に蓄
積された動画像を再生する。

【００２３】ここで、画像表示手段１０６の動作を図３
を用いて説明する。図３は画像表示手段としてのコンピ
ュータディスプレイであり、ディスプレイ上の各ウイン
ドウはマウスカーソル３０１によって操作することがで
きる。３０２は字幕フレームの表示や動画像の再生を制
御するコントロールウインドウである。３０３は字幕フ
レームウインドウであり、画像情報記憶手段１０５に記
憶されている字幕フレームを一覧表示する。３０４を用
いて次ページあるいは前ページのボタンをクリックする
と、次ページあるいは前ページの字幕フレームを表示す
るように字幕情報管理手段１０７に命令が送られる。そ
うすると画像情報記憶手段１０５から必要な字幕フレー
ムの画像データが出力され、字幕フレームウインドウ３
０３に表示される。同様に、コントロールウインドウ３
０２の中のボタン３０５を操作することによって任意の
ページの字幕フレームを表示することができる。字幕フ
レームウインドウ３０３の中から１つの字幕フレームを
選択すると、どの字幕フレームを選択したかが字幕情報
管理手段１０７に伝えられる。その結果、字幕情報管理
手段１０７からの命令により、選択した字幕フレームに
対応するフレームからの動画像がビデオウインドウ３０
６に再生される。ビデオウインドウ３０６の動作はボタ
ン３０７を用いて制御することができる。動画像を再生
すると、インジケータ３０８が時間経過を示す。

【００２４】字幕情報管理手段１０７は、字幕フレーム
の画像データ、または画像表示手段１０６で選択された
字幕フレームに対応するフレームからの動画像の画像デ
ータを画像情報記憶手段１０５に出力させる。

【００２５】ここで、字幕情報管理手段１０７について
図４を用いて説明する。図４において、４０１は字幕フ
レーム抽出手段１０４から出力されたフレームの区間を
記憶する字幕フレーム区間記憶手段である。４０２は字
幕フレームの画像データ、または字幕フレームに対応す
るフレームからの動画像の画像データを画像情報記憶手
段１０５に出力させる画像情報制御手段である。

【００２６】以下、図４の字幕情報管理手段の動作を説
明する。画像表示手段１０６においてボタン３０４また
はボタン３０５が操作されたとき、字幕フレームウイン
ドウ３０３に字幕フレームを表示するため、画像情報制
御手段４０２は必要な字幕フレームの画像データを画像
情報記憶手段１０５に出力させる。画像表示手段１０６
において字幕フレームウインドウ３０３の中から１つの
字幕フレームが選択されたときは、その字幕フレームの
番号を字幕フレーム区間記憶手段４０１から読み出し、
その番号に対応するフレームから動画像の画像データを
画像情報記憶手段１０５に出力させる。また、ボタン３
０７の操作により画像情報記憶手段１０５に蓄積された
動画像の画像データの出力を制御する。

【００２７】なお、以上の説明では字幕画素カウント手
段１０２で輝度値が第２の閾値以上である画素を字幕画
素とする例を示したが、輝度値が第２の閾値以上であ
り、かつ近傍８画素との輝度差が第３の閾値以上のもの
がある画素を字幕画素としても良い。字幕画素は第１の
範囲の色を有する画素であってもよいし、第１の範囲の
色を有し、かつ近傍画素との色の差が第２の範囲内であ
る画素であってもよい。

【００２８】字幕フレーム抽出手段１０４で字幕開始フ
レームを字幕フレームとして抽出する例を示したが、字
幕開始フレームから字幕終了フレームの間であればどの
フレームを字幕フレームとして抽出しても良い。

【００２９】また、画像表示手段１０６で字幕フレーム
を一覧表示する例を示したが、字幕フレームが抽出され
たフレームの区間の先頭シーンの先頭から所定の時間ず
つ動画像を再生するようにしてもよい。このようにすれ
ば、動画像によって内容を把握したり見たいシーンを検
索することができる。シーンチェンジは、例えば、山
田、藤岡、金森、松島、坂内：「編集効果を含む映像の
シーンチェンジ検出方法」テレビジョン学会、マルチメ
ディアと映像処理シンポジウム'94に記載の手法により
行うことができる。

【００３０】以上のように図１の動画像検索装置はブロ
ック毎に字幕が存在するかどうかを判定するので、字幕
を精度良く、高速に検出することができる。

【００３１】（実施の形態２）図５は実施の形態２の動
画像検索装置の構成である。図５において、５０１は動
画像の画像データをフレーム単位で入力する入力端子で
ある。５０２は入力端子５０１から入力した画像データ
の輝度値が第２の閾値以上である画素を字幕画素とし、
その数をブロック毎にカウントする字幕画素カウント手
段である。５０３は字幕画素カウント手段５０２から出
力される各ブロックのカウント数を格納するメモリであ
る。５０４はメモリ５０３に記憶された前フレームのカ
ウント数と字幕画素カウント手段５０２から出力される
現フレームのカウント数が第４の閾値以上であり、かつ
カウント数の差の絶対値が第５の閾値以下であるブロッ
クを字幕ブロックとして抽出する字幕ブロック抽出手段
である。５０５は字幕ブロック抽出手段５０４により字
幕ブロックが抽出されたフレームの区間を検出し、その
区間から字幕を含むフレームを字幕フレームとして抽出
する字幕フレーム抽出手段である。５０６は入力端子５
０１から入力した動画像の画像データと字幕フレーム抽
出手段５０５により抽出された字幕フレームの画像デー
タを蓄積する画像情報記憶手段である。５０７は画像情
報記憶手段５０６に蓄積された字幕フレームの画像を一
覧表示すると共に画像情報記憶手段５０６に蓄積された
動画像を再生する画像表示手段である。５０８は字幕フ
レームの画像データ、または画像表示手段５０７で選択
された字幕フレームに対応するフレームからの動画像の
画像データを画像情報記憶手段５０６に出力させる字幕
情報管理手段である。

【００３２】以下、図５の動画像検索装置の動作を説明
する。字幕画素カウント手段５０２は、入力端子５０１
から入力したｗ×ｈ画素（ｗ、ｈは整数）のフレーム画
像において、輝度値が第２の閾値以上の画素を字幕画素
とし、その数をｍ×ｎ画素（ｍ、ｎは整数）のブロック
毎にカウントし、メモリ５０３および字幕ブロック抽出
手段５０４に出力する。メモリ５０３は字幕画素カウン
ト手段５０２から出力される各ブロックのカウント数を
格納し、字幕ブロック抽出手段５０４に出力する。字幕
ブロック抽出手段５０４は、メモリ５０３に蓄積された
前フレームのカウント数と字幕画素カウント手段５０２
から出力される現フレームのカウント数が第４の閾値以
上であり、かつカウント数の差の絶対値が第５の閾値以
下であるブロックを１とし、それ以外のブロックを０と
する二値画像を作成し、字幕フレーム抽出手段５０５に
出力する。

【００３３】字幕フレーム抽出手段５０５、画像情報記
憶手段５０６、画像表示手段５０７、字幕情報管理手段
５０８の動作は実施の形態１と同じなので、これらの説
明は省略する。

【００３４】以上のように図５の動画像検索装置はブロ
ック毎に前フレームと現フレームとのカウント数を比較
することにより、字幕画素が安定して存在しているかど
うか判定することができる。したがって、字幕の検出精
度が向上する。

【００３５】（実施の形態３）図６は実施の形態３の動
画像検索装置の構成である。図６において、６０１は動
画像の画像データをフレーム単位で入力する入力端子で
ある。６０２は入力端子６０１から入力した画像データ
の輝度値が第２の閾値以上である画素を字幕画素とし、
その数をブロック毎にカウントする字幕画素カウント手
段である。６０３は字幕画素カウント手段６０２から出
力される各ブロックのカウント数を格納するメモリであ
る。６０４はメモリ６０３に記憶された前フレームのカ
ウント数と字幕画素カウント手段６０２から出力される
現フレームのカウント数が第４の閾値以上であり、かつ
カウント数の差の絶対値が第５の閾値以下であるブロッ
クを字幕ブロックとして抽出する字幕ブロック抽出手段
である。６０５は字幕ブロック抽出手段６０４により抽
出された字幕ブロックの数が横方向に第３の範囲内連続
し、かつ同一位置の字幕ブロックが第６の閾値以上のフ
レーム数連続して抽出されている領域を字幕領域として
抽出する字幕領域抽出手段である。６０６は字幕領域抽
出手段６０５により字幕領域が抽出されたフレームの区
間を検出し、その区間から字幕を含むフレームを字幕フ
レームとして抽出する字幕フレーム抽出手段である。６
０７は入力端子６０１から入力した動画像の画像データ
と字幕フレーム抽出手段６０６により抽出された字幕フ
レームの画像データを蓄積する画像情報記憶手段であ
る。６０８は画像情報記憶手段６０７に蓄積された字幕
フレームの画像を一覧表示すると共に画像情報記憶手段
６０７に蓄積された動画像を再生する画像表示手段であ
る。６０９は字幕フレームの画像データ、または画像表
示手段６０８で選択された字幕フレームに対応するフレ
ームからの動画像の画像データを画像情報記憶手段６０
７に出力させる字幕情報管理手段である。

【００３６】以下、図６の動画像検索装置の動作を説明
する。字幕画素カウント手段６０２、メモリ６０３、字
幕ブロック抽出手段６０４、画像情報記憶手段６０７、
画像表示手段６０８、字幕情報管理手段６０９の動作は
実施の形態２と同じなので、これらの説明は省略する。
字幕領域抽出手段６０５は字幕ブロック抽出手段６０４
により抽出された字幕ブロックが横方向に連続し、かつ
同一位置の字幕ブロックが一定のフレーム数以上連続し
て抽出されている領域を字幕領域として抽出する。

【００３７】ここで、字幕領域抽出手段６０５について
図７を用いて説明する。図７は字幕領域抽出手段６０５
の構成である。図７において、７０１は字幕ブロック抽
出手段６０４から出力される二値画像において１が連続
する数を字幕ブロックが連続している数としてカウント
する字幕ブロックカウント手段である。７０２は字幕ブ
ロックカウント手段７０１でカウントされた数が所定の
範囲内であるかどうかを検出することにより字幕候補を
検出する字幕候補検出手段である。７０３は字幕候補検
出手段７０２により検出された字幕候補の領域を記憶す
る字幕候補領域記憶手段である。７０４は字幕候補領域
記憶手段７０３に記憶された同一領域の字幕候補が一定
のフレーム数以上連続しているかどうかを判定する字幕
判定手段である。

【００３８】以下、図７を用いて字幕領域抽出手段６０
５の動作を説明する。字幕ブロックカウント手段７０１
は、字幕ブロック抽出手段６０４から出力されたａ×ｂ
画素（ａ、ｂはそれぞれフレーム画像における横方向、
縦方向のブロック数）の二値画像の値を１行毎にｘ座標
の値を１ずつ増加させながら入力する。二値画像の値が
０から１に変化した座標を字幕開始座標としてカウント
を開始し、１から０に変化した座標のｘ座標から１引い
た座標を字幕終了座標としてカウントを終了する。カウ
ントが終了したとき、カウント数、字幕開始座標、字幕
終了座標を字幕候補検出手段７０２に出力する。ただ
し、カウントが終了した時点でｘ座標がａに達していな
い場合には、さらにｘ座標の値を増加させながら同様の
処理を行う。また、カウントが終了する前にｘ座標がａ
に達した場合には強制的にカウントを終了させる。字幕
候補検出手段７０２は、字幕ブロックカウント手段７０
１から出力されたカウント数がｒ１以上ｒ２以下（ｒ
１、ｒ２は整数）のとき、字幕開始座標と字幕終了座標
の組を字幕候補の領域として字幕候補領域記憶手段７０
３に出力する。字幕候補領域記憶手段７０３は、字幕候
補検出手段７０２から出力された各フレームの字幕候補
の領域をＮフレーム分記憶する（Ｎは整数）。字幕判定
手段７０４は字幕候補領域記憶手段７０３に記憶された
字幕候補の領域においてＮフレーム分同じものがあれば
字幕が存在すると判断してその字幕候の補領域を字幕領
域として出力する。

【００３９】字幕フレーム抽出手段６０６は、字幕領域
抽出手段６０５により字幕領域が抽出されたフレームの
区間を検出し、その区間の開始フレームを字幕フレーム
として抽出する。

【００４０】ここで、字幕フレーム抽出手段６０６につ
いて図８を用いて説明する。図８は字幕フレーム抽出手
段の構成である。図８において、８０１は字幕領域抽出
手段６０５から字幕領域が出力されているかどうかによ
って字幕が存在するフレームの区間を検出する字幕フレ
ーム区間検出手段である。８０２は入力端子６０１から
入力したＮフレーム前の画像データを記憶するフレーム
メモリである。

【００４１】以下、図８の字幕フレーム抽出手段の動作
を説明する。字幕フレーム区間検出手段８０１は、字幕
領域抽出手段６０５から前フレームでは字幕領域が出力
されず、現フレームでは字幕領域が出力されたとき、Ｎ
フレーム前で新規に字幕が現れたと判断し、Ｎフレーム
前のフレーム番号を字幕開始フレーム番号として字幕情
報管理手段６０９に出力すると共にフレームメモリ８０
２に記憶しておいたＮフレーム前の画像データを字幕フ
レームの画像データとして画像情報記憶手段６０７に出
力させる。また、字幕領域抽出手段６０５から前フレー
ムでは字幕領域が出力され、現フレームでは字幕領域が
出力されなかったとき、字幕が消えたと判断し、前フレ
ームのフレーム番号を字幕終了フレーム番号として字幕
情報管理手段６０９に出力する。その他の場合は字幕が
連続して現れているか連続して現れていない状態なの
で、字幕フレーム区間検出手段８０１は何も処理しな
い。

【００４２】なお以上の説明では字幕領域抽出手段６０
５において字幕ブロック抽出手段６０４から出力される
字幕ブロックが横方向に連続していることを検出して横
書きの字幕領域を抽出する例を示したが、同様に字幕ブ
ロック抽出手段６０４から出力される字幕ブロックが縦
方向に連続していることを検出して縦書きの字幕領域を
抽出することもできる。

【００４３】以上のように図６の動画像検索装置は、字
幕ブロックが空間方向及び時間方向に連続しているかど
うかにより字幕を判定することができるので、字幕ブロ
ックが存在するかどうかだけで判定するよりも正確に字
幕の存在が判定できる （実施の形態４）１つのニュース番組では重要な字幕は
大体同じ位置に現れ、ニュース番組によってその位置が
異なる。このような字幕は、字幕フレーム全体で字幕領
域が最も多く抽出された位置を調べ、その位置で字幕領
域が抽出された字幕フレームのみを代表フレームとすれ
ば、重要な字幕が含まれている確率が高いフレームを自
動的に抽出することができる。以下、このような字幕検
出を行う動画像検索装置について説明する。

【００４４】図９は実施の形態４の動画像検索装置の構
成である。図９において、９０１は動画像の画像データ
をフレーム単位で入力する入力端子である。９０２は入
力端子９０１から入力した画像データの輝度値が第２の
閾値以上である画素を字幕画素とし、その数をブロック
毎にカウントする字幕画素カウント手段である。９０３
は字幕画素カウント手段９０２から出力される各ブロッ
クのカウント数を格納するメモリである。９０４はメモ
リ９０３に記憶された前フレームのカウント数と字幕画
素カウント手段９０２から出力される現フレームのカウ
ント数が第４の閾値以上であり、かつカウント数の差の
絶対値が第５の閾値以下であるブロックを字幕ブロック
として抽出する字幕ブロック抽出手段である。９０５は
字幕ブロック抽出手段９０４により抽出された字幕ブロ
ックの数が横方向に第３の範囲内連続し、かつ同一位置
の字幕ブロックが第６の閾値以上のフレーム数連続して
抽出されている領域を字幕領域として抽出する字幕領域
抽出手段である。９０６は字幕領域抽出手段９０５によ
り字幕領域が抽出されたフレームの区間を検出し、その
区間から字幕を含むフレームを字幕フレームとして抽出
する字幕フレーム抽出手段である。９０７は字幕フレー
ム抽出手段９０６により抽出された字幕フレームの画像
データを全て記憶する字幕フレーム記憶手段である。９
０８は字幕フレーム抽出手段９０６から出力された字幕
フレームの番号と字幕フレームの区間、字幕フレームに
おいて字幕領域抽出手段９０５で抽出された字幕領域を
記憶する字幕情報記憶手段である。９０９は字幕フレー
ム抽出手段９０６で抽出された全ての字幕フレームにつ
いて、セグメント毎に字幕領域を含むフレーム数をカウ
ントし、カウント数が最も多いセグメントで字幕領域が
抽出された字幕フレームを代表フレームとして抽出する
代表フレーム抽出手段である。９１０は入力端子９０１
から入力した動画像の画像データと代表フレーム抽出手
段９０９からの命令により字幕フレーム記憶手段９０７
から出力された代表フレームの画像データを蓄積する画
像情報記憶手段である。９１１は画像情報記憶手段９１
０に蓄積された代表フレームの画像を一覧表示すると共
に画像情報記憶手段９１０に蓄積された動画像を再生す
る画像表示手段である。９１２は代表フレームの画像デ
ータ、または画像表示手段９１１で選択された代表フレ
ームに対応するフレームからの動画像の画像データを画
像情報記憶手段９１０に出力させる字幕情報管理手段で
ある。

【００４５】以下、図９の動画像検索装置の動作を説明
する。字幕画素カウント手段９０２、メモリ９０３、字
幕ブロック抽出手段９０４、字幕領域抽出手段９０５、
字幕フレーム抽出手段９０６、画像情報記憶手段９１
０、画像表示手段９１１、字幕情報管理手段９１２の動
作は実施の形態３と同じなので、これらの説明は省略す
る。字幕フレーム記憶手段９０７は、字幕フレーム抽出
手段９０６により抽出された字幕フレームの画像データ
を全て記憶し、代表フレーム抽出手段９０９からの命令
により代表フレームの画像データを画像情報記憶手段９
１０に出力する。字幕情報記憶手段９０８は、字幕フレ
ーム抽出手段９０６から出力された字幕フレームの番号
と字幕フレームの区間、字幕フレームにおいて字幕領域
抽出手段９０５で抽出された字幕領域を記憶する。代表
フレーム抽出手段９０９は、字幕フレーム抽出手段９０
６で抽出された全ての字幕フレームについて、セグメン
ト毎に字幕領域を含むフレーム数をカウントし、カウン
ト数が最も多いセグメントで字幕領域が抽出された字幕
フレームを代表フレームとして抽出する。

【００４６】ここで、代表フレーム抽出手段９０９につ
いて図１０を用いて説明する。図１０は代表フレーム抽
出手段の構成である。ただし、説明を簡単にするため、
図１１のようにｗ×ｈ画素のフレーム画像をｗ×ｓ画素
のセグメントに４分割して処理する例を示す。図１１に
おいて、１１０１は第１セグメント、１１０２は第２セ
グメント、１１０３は第３セグメント、１１０４は第４
セグメントである。図１０において、１００１は字幕フ
レーム抽出手段９０６で抽出された字幕フレームの字幕
領域がどのセグメントに属するかを判定するセグメント
判定手段である。１００２は第１セグメントに属する字
幕領域のフレーム数をカウントする字幕領域カウント手
段である。１００３は第２セグメントに属する字幕領域
のフレーム数をカウントする字幕領域カウント手段であ
る。１００４は第３セグメントに属する字幕領域のフレ
ーム数をカウントする字幕領域カウント手段である。１
００５は第４セグメントに属する字幕領域のフレーム数
をカウントする字幕領域カウント手段である。１００６
は字幕領域が最も多くカウントされたセグメントに字幕
領域が存在する字幕フレームを代表フレームとして選択
する代表フレーム選択手段である。

【００４７】以下、図１０の代表フレーム抽出手段の動
作を説明する。セグメント判定手段１００１は、字幕フ
レーム抽出手段９０６で抽出された字幕フレームの字幕
領域を字幕領域抽出手段９０５から入力し、その字幕領
域がどのセグメントに属するかを判定して該当するセグ
メントの字幕領域カウント手段に１を出力する。例えば
現在処理している字幕フレームの字幕領域が第２セグメ
ントと第４セグメントに属する場合、セグメント判定手
段１００１は字幕領域カウント手段１００２と字幕領域
カウント手段１００４に１を出力し、字幕領域カウント
手段１００３と字幕領域カウント手段１００５には０を
出力する。字幕領域カウント手段１００２から１００５
は、それぞれセグメント判定手段１００１から出力され
た１の数をカウントする。代表フレーム選択手段１００
６は、カウント数が最も多い字幕領域カウント手段に対
応するセグメントを字幕が存在するセグメントと判断
し、字幕情報記憶手段９０８に記憶された字幕領域がそ
のセグメントに属する字幕フレームを代表フレームとし
てそのフレームの区間を字幕情報管理手段９１２に出力
すると共に、字幕フレーム記憶手段９０７に記憶されて
いるその代表フレームの画像データを画像情報記憶手段
９１０に出力させる。

【００４８】なお以上の説明では代表フレーム抽出手段
９０９において横長のセグメントに属する字幕領域を調
べることにより横書きの字幕を検出する例を示したが、
同様に縦長のセグメントに属する字幕領域を調べること
により縦書きの字幕を検出することもできる。

【００４９】以上のように図９の動画像検索装置は、字
幕フレーム全体で字幕領域が最も多く抽出された位置を
調べることにより、重要な字幕が含まれている確率が高
いフレームを自動的に抽出することができる。

【００５０】（実施の形態５）１つのニュース番組では
重要な字幕は大体同じ位置に現れる。したがって、抽出
したい字幕領域の位置を指定すれば、重要な字幕のみを
抽出することができる。以下、このような字幕検出を行
う動画像検索装置について説明する。

【００５１】図１２は実施の形態５の動画像検索装置の
構成である。図１２において、１２０１は動画像の画像
データをフレーム単位で入力する入力端子である。１２
０２は入力端子１２０１から入力した画像データの輝度
値が第２の閾値以上である画素を字幕画素とし、その数
をブロック毎にカウントする字幕画素カウント手段であ
る。１２０３は字幕画素カウント手段１２０２から出力
される各ブロックのカウント数を格納するメモリであ
る。１２０４はメモリ１２０３に記憶された前フレーム
のカウント数と字幕画素カウント手段１２０２から出力
される現フレームのカウント数が第４の閾値以上であ
り、かつカウント数の差の絶対値が第５の閾値以下であ
るブロックを字幕ブロックとして抽出する字幕ブロック
抽出手段である。１２０５は字幕ブロック抽出手段１２
０４により抽出された字幕ブロックの数が横方向に第３
の範囲内連続し、かつ同一位置の字幕ブロックが第６の
閾値以上のフレーム数連続して抽出されている領域を字
幕領域として抽出する字幕領域抽出手段である。１２０
６は字幕領域抽出手段１２０５により字幕領域が抽出さ
れたフレームの区間を検出し、その区間から字幕を含む
フレームを字幕フレームとして抽出する字幕フレーム抽
出手段である。１２０７は字幕フレーム抽出手段１２０
６により抽出された字幕フレームの画像データを全て記
憶する字幕フレーム記憶手段である。１２０８は字幕フ
レーム抽出手段１２０６から出力された字幕フレームの
番号と字幕フレームの区間、字幕フレームにおいて字幕
領域抽出手段１２０５で抽出された字幕領域を記憶する
字幕情報記憶手段である。１２０９は抽出したい字幕領
域の位置を指定するセグメント指定手段である。１２１
０は字幕フレーム抽出手段１２０６で抽出された全ての
字幕フレームの中からセグメント指定手段により指定さ
れたセグメントに字幕領域を含む字幕フレームを代表フ
レームとして抽出する代表フレーム抽出手段である。１
２１１は入力端子１２０１から入力した動画像の画像デ
ータと代表フレーム抽出手段１２１０からの命令により
字幕フレーム記憶手段１２０７から出力された代表フレ
ームの画像データを蓄積する画像情報記憶手段である。
１２１２は画像情報記憶手段１２１１に蓄積された代表
フレームの画像を一覧表示すると共に画像情報記憶手段
１２１１に蓄積された動画像を再生する画像表示手段で
ある。１２１３は代表フレームの画像データ、または画
像表示手段１２１２で選択された代表フレームに対応す
るフレームからの動画像の画像データを画像情報記憶手
段１２１１に出力させる字幕情報管理手段である。

【００５２】以下、図１２の動画像検索装置の動作を説
明する。字幕画素カウント手段１２０２、メモリ１２０
３、字幕ブロック抽出手段１２０４、字幕領域抽出手段
１２０５、字幕フレーム抽出手段１２０６、字幕フレー
ム記憶手段１２０７、字幕情報記憶手段１２０８、画像
情報記憶手段１２１１、画像表示手段１２１２、字幕情
報管理手段１２１３の動作は実施の形態４と同じなの
で、これらの説明は省略する。セグメント指定手段１２
０９は、図１３に示したようにコンピュータのディスプ
レイ上に表示されたフレーム画像の枠１３０１の中でマ
ウスカーソル１３０２を操作することにより、抽出した
い字幕領域のセグメント１３０３を指定する。代表フレ
ーム抽出手段１２１０は、字幕情報記憶手段１２０８に
記憶された字幕領域がセグメント指定手段１２０９によ
り指定されたセグメントに属する字幕フレームを代表フ
レームとしてそのフレームの区間を字幕情報管理手段１
２１３に出力すると共に、字幕フレーム記憶手段１２０
７に記憶されているその代表フレームの画像データを画
像情報記憶手段１２１１に出力させる。

【００５３】なお以上の説明ではセグメント指定手段１
２０９においてマウスカーソル１３０２を利用して字幕
領域のセグメントを指定する例を示したが、予め字幕領
域のセグメントのテンプレートを複数用意しておき、そ
のテンプレートの中からセグメントを指定するようにし
ても良い。

【００５４】以上のように図１２の動画像検索装置は、
抽出したい字幕領域のセグメントを指定することによ
り、重要な字幕のみを抽出することができる。

【００５５】

【発明の効果】以上のように本発明によれば字幕をブロ
ック単位で検出することにより字幕の検出精度を向上さ
せ、より効率良く所望のシーンが検索することができ
る。さらに、ブロック単位の処理を行うので高速に字幕
を検出することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の動画像検索装置を
示す図

【図２】同第１の実施の形態の字幕フレーム抽出手段の
構成を示す図

【図３】同第１の実施の形態の画像表示手段としてのコ
ンピュータディスプレイを示す図

【図４】同第１の実施の形態の字幕情報管理手段の構成
を示す図

【図５】本発明の第２の実施の形態の動画像検索装置を
示す図

【図６】本発明の第３の実施の形態の動画像検索装置を
示す図

【図７】同第３の実施の形態の字幕領域抽出手段の構成
を示す図

【図８】同第３の実施の形態の字幕フレーム抽出手段の
構成を示す図

【図９】本発明の第４の実施の形態の動画像検索装置を
示す図

【図１０】同第４の実施の形態の代表フレーム抽出手段
の構成を示す図

【図１１】同第４の実施の形態におけるセグメントを示
す図

【図１２】本発明の第５の実施の形態の動画像検索装置
を示す図

【図１３】同第５の実施の形態のセグメント指定手段と
してのコンピュータディスプレイを示す図

【図１４】従来の動画像検出装置の字幕検出部を示す図

【図１５】従来の動画像検出装置の字幕検出部の処理を
示すフローチャート

【図１６】従来の動画像検出装置の字幕検出部の字幕検
出処理を示すフローチャート

【符号の説明】

１０１ 入力端子 １０２ 字幕画素カウント手段 １０３ 字幕ブロック抽出手段 １０４ 字幕フレーム抽出手段 １０５ 画像情報記憶手段 １０６ 画像表示手段 １０７ 字幕情報管理手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−212231（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 H04N 5/445 H04N 5/76 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 画像データをフレーム単位で入力し、フ
   レームを複数のブロックに分割して、輝度値が閾値以上
   である画素を字幕画素としてブロック毎に計数する字幕
   画素カウント手段と、当該フレームと前フレームの２枚
   のフレーム間で同一位置にあるブロックの上記字幕画素
   の数を判定して字幕ブロックを抽出する字幕ブロック抽
   出手段と、横方向または縦方向に連続する上記字幕ブロ
   ックを字幕領域として抽出する字幕領域抽出手段と、上
   記字幕領域抽出手段により字幕領域が抽出されたフレー
   ムの区間を検出し、その区間から字幕を含むフレームを
   字幕フレームとして抽出する字幕フレーム抽出手段と、
   上記字幕フレーム抽出手段により抽出された字幕フレー
   ムの代表画像を表示する画像表示手段を備えた動画像検
   索装置。
2. 【請求項２】 字幕画素カウント手段が、輝度値が第１
   の閾値以上であり、かつ近傍画素との輝度差が第２の閾
   値以上である画素を字幕画素としてブロック毎にカウン
   トすることを特徴とする請求項１記載の動画像検索装
   置。
3. 【請求項３】 字幕画素カウント手段が、予め設定した
   範囲の色を有する画素を字幕画素としてブロック毎にカ
   ウントすることを特徴とする請求項１記載の動画像検索
   装置。
4. 【請求項４】 字幕画素カウント手段が、第１の範囲の
   色を有し、かつ近傍画素との色の差が第２の範囲内であ
   る画素を字幕画素としてブロック毎にカウントすること
   を特徴とする請求項３記載の動画像検索装置。
5. 【請求項５】 字幕ブロック抽出手段が、上記字幕画素
   カウント手段から出力される字幕画素の数を格納するメ
   モリを備え、上記メモリから２枚のフレームで同一位置
   にあるブロックの字幕画素の数を読み取り、上記字幕画
   素の数が両方とも閾値以上になるときに、上記同一位置
   にあるブロックを字幕ブロックとして抽出することを特
   徴とする請求項１乃至４のいずれかに記載の動画像検索
   装置。
6. 【請求項６】 予めフレームを複数のセグメントに分割
   しておき、上記字幕フレーム抽出手段により抽出された
   字幕フレーム全てについて、セグメント毎に上記字幕領
   域抽出手段で抽出された字幕領域を含むフレーム数をカ
   ウントし、カウント数が最も多いセグメントで上記字幕
   領域が抽出された字幕フレームを代表フレームとして抽
   出する代表フレーム抽出手段を備えた請求項１記載の動
   画像検索装置。