JP4965980B2

JP4965980B2 - 字幕検出装置

Info

Publication number: JP4965980B2
Application number: JP2006324476A
Authority: JP
Inventors: 日美生山内
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-11-30
Filing date: 2006-11-30
Publication date: 2012-07-04
Anticipated expiration: 2026-11-30
Also published as: JP2008141392A; CN101193213A; US8363160B2; US20080129866A1; EP1927935A2

Description

この発明は、映像フレーム中の字幕の存在を検出する字幕検出装置に関する。

周知のように、映画等の映像信号のフレーム中には、俳優等が話す台詞を表示する字幕が画面の下方に設けられる場合が多い。このような字幕情報は、例えば、映像信号を調べたりする際に影響を与える場合があるため、映像信号のフレーム中に現在、字幕情報が含まれているかどうかを確認したい場合がある。

特許文献１は、画像を複数の領域に区分し、各領域別に字幕の特徴量を算出し、それらの特徴量により各領域が字幕ありの領域か否かを判別する。そして、字幕有りの領域数を行方向及び列方向に投影し、その投影結果に基づいて画像中に字幕があるか否かを判定する字幕検出方法である。
特開平８−２１２２３１号公報

しかし、特許文献１の従来技術においては、ある瞬間に字幕情報が画面中に含まれているか否かを判断するだけなので、例えば、映像信号のフレーム中にどれだけ動きがあるかを判断する際に、映像の動きなのか字幕なのかの判断がつきにくいという問題がある。

本発明は、字幕と本編映像中の文字とを区別することができる字幕検出装置を提供することを目的とする。

課題を解決するための本発明に係る一実施形態は、現フレーム画像を遅延させて前フレーム画像を出力する遅延部（２１）と、前記現フレーム画像を受けて領域毎に字幕の特徴を検出する現特徴検出部（４１）と、前記遅延部から前記前フレーム画像を受けて領域毎に字幕の特徴を検出する前特徴検出部（４２）と、前記前特徴検出部からの前記前フレーム画像の領域毎の特徴と前記現特徴検出部からの前記現フレーム画像の領域毎の特徴とから得られる、前記前フレーム画像及び前記現フレーム画像で同一位置の前記領域毎の前記字幕の特徴の時間的変化に基づき、字幕の出現した領域を検出する字幕出現領域検出部（４３，４６，４７）と、前記前特徴検出部からの前記前フレーム画像の領域毎の特徴と前記現特徴検出部からの前記現フレーム画像の領域毎の特徴とから得られる、前記前フレーム画像及び前記現フレーム画像で同一位置の前記領域毎の前記字幕の特徴の時間的変化に基づき、字幕の消失した領域を検出する字幕消失領域検出部（４５，５１，５２）と、前記前特徴検出部からの前記前フレーム画像の領域毎の特徴と前記現特徴検出部からの前記現フレーム画像の領域毎の特徴とから得られる、前記前フレーム画像及び前記現フレーム画像で同一位置の前記領域毎の前記字幕の特徴の時間的変化に基づき、字幕の表示中の領域を検出する字幕表示中領域検出部（４４，４９，５０）と、前記字幕出現領域検出部で検出された字幕の出現した領域の数と、前記字幕消失領域検出部で検出された字幕の消失した領域の数と、前記字幕表示中領域検出部で検出された字幕表示中の領域の数とに基づき、現フレームが、字幕なしか、字幕出現か、字幕表示中か、字幕消失かを判定する判定部（４８）とを具備する字幕検出装置である。

このように、前フレーム画像の領域毎における字幕の特徴と現フレーム画像の領域毎における字幕の特徴とから得られる、前フレーム画像及び現フレーム画像で同一位置の領域毎の字幕の特徴の時間的変化に基づいて、字幕の出現した領域、字幕の消失した領域及び字幕の表示中の領域を検出するようにしたので、字幕と本編映像中の文字とを明確に区別することができるようになり、ひいては、正確なプルダウン信号検出を行なうことができるようになる。

以下、この発明の実施の形態について図面を参照して詳細に説明する。

＜本発明の一実施形態に係る字幕検出装置＞
（構成）
初めに、本発明の一実施形態に係る字幕検出装置の構成を図１を用いて詳細に説明する。

図１は、本発明の一実施形態に係る字幕検出装置の構成の一例を示すブロック図である。

字幕検出装置３０は、図１において、現フレーム信号が供給される現フレーム字幕ブロック検出出力部４１と、前フレーム信号が供給される前フレーム字幕ブロック検出出力部４２と、現フレーム字幕ブロック検出出力部４１及び前フレーム字幕ブロック検出出力部４２の出力が供給される論理回路４３と、論理回路４４と、論理回路４５を有している。

更に、字幕検出装置３０は、論理回路４３からの信号をカウントする画面内字幕出現ブロック数カウント４６と、字幕出現判定レベルと比較を行なう比較器４７と、論理回路４４からの信号をカウントする画面内字幕表示中ブロック数カウント４９と、字幕表示中判定レベルと比較を行なう比較器５０と、論理回路４５から信号をカウントする画面内字幕消失ブロック数カウント５１と、字幕消失判定レベルと比較を行なう比較器５２と、字幕フレーム判定部４８、論理回路４３からの信号を受ける字幕出現ブロック識別部５３と、論理回路４４からの信号を受ける字幕表示中ブロック識別部５４と、論理回路４５からの信号を受ける字幕消失ブロック識別部５５を有している。

字幕特徴検出部４１は、現フレーム信号（輝度信号）が供給される水平ＬＰＦ６１及び垂直ＨＰＦ６２と、垂直高域成分比較レベルと比較する比較器６３と、小領域内垂直高域画素数カウント６４と、カウント６４の出力が供給され垂直高域ブロック判定レベルと比較される比較器６５と、その比較結果が供給される論理回路７１を有している。

更に、字幕特徴検出部４１は、現フレーム信号（輝度信号）が供給され、現フレーム信号の小領域におけるダイナミックレンジを算出する小領域内ダイナミックレンジ算出回路６６と、
小領域内ダイナミックレンジとダイナミックレンジ比較レベルと比較を行なう比較器６７を有している。

更に、字幕特徴検出部４１は、現フレーム信号（輝度信号）が供給され、現フレーム信号と輝度比較レベルとを比較する比較器６８と、比較器の結果を受けてこれを小領域において高輝度画素数をカウントする小領域内高輝度画素数カウント６９と、カウント結果を高輝度画素数比較レベルと比較する比較器７０を有している。

同様に前フレーム信号を処理する字幕特徴検出部４２は、略、字幕特徴検出部４１と同様の構造を有しており、前フレーム信号（輝度信号）が供給される水平ＬＰＦ８１及び垂直ＨＰＦ８２と、垂直高域成分比較レベルと比較する比較器８３と、小領域内垂直高域画素数カウント８４と、カウント８４の出力が供給され垂直高域ブロック判定レベルと比較される比較器８５と、その比較結果が供給される論理回路９１を有している。

更に、字幕特徴検出部４２は、前フレーム信号（輝度信号）が供給され、前フレーム信号の小領域におけるダイナミックレンジを算出する小領域内ダイナミックレンジ算出回路８６と、
小領域内ダイナミックレンジとダイナミックレンジ比較レベルと比較を行なう比較器８７を有している。

更に、字幕特徴検出部４２は、前フレーム信号（輝度信号）が供給され、前フレーム信号と輝度比較レベルとを比較する比較器８８と、比較器の結果を受けてこれを小領域において高輝度画素数をカウントする小領域内高輝度画素数カウント８９と、カウント結果を高輝度画素数比較レベルと比較する比較器９０を有している。

更に、字幕検出ウィンドウが論理回路７１，９１にそれぞれ供給されている。

（動作）
上記のような構成を有する字幕検出部３０は、以下のような動作により字幕の有無及び出現と消失を検出する。図２は、本発明の一実施形態に係る字幕検出装置の判定方法の一例を示すフローチャート、図３は、本発明の一実施形態に係る字幕検出装置の判定方法の他の一例を示すフローチャートである。

なお、以下の図２及び図３のフローチャートの各ステップは、回路ブロックに置き換えることができ、従って、各フローチャートのステップは、全てブロックに定義しなおすことが可能である。

・第１の処理動作
本発明の一実施形態に係る字幕検出部３０の第１の処理動作を以下に詳細に述べる。字幕検出部３０は、図２のフローチャートにおいて、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｙｅｓであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｎｏであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｎｏであるとき（ステップＳ１１）、字幕フレーム判定部４８は、このフレームを『字幕出現』と判定する（ステップＳ１５）。

一方、ステップＳ１１の判断結果がＮｏであり、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｎｏであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｙｅｓであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｎｏであるとき（ステップＳ１２）、字幕フレーム判定部４８は、このフレームを『字幕表示中』と判定する（ステップＳ１６）。

一方、ステップＳ１２の判断結果がＮｏであり、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｎｏであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｎｏであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｙｅｓであるとき（ステップＳ１３）、字幕フレーム判定部４８は、このフレームを『字幕消失』と判定する（ステップＳ１７）。

一方、ステップＳ１４の判断結果がＮｏであるときは、字幕フレーム判定部４８は、このフレームを『字幕なし』と判定する（ステップＳ１４）。

・第２の処理動作
本発明の一実施形態に係る字幕検出部３０の第２の処理動作を以下に詳細に述べる。字幕検出部３０は、図３のフローチャートにおいて、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｙｅｓであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｎｏであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｎｏであるとき（ステップＳ２１）、前のフレームまで任意のフレーム数以上『字幕なし』のフレームという判定が続いていたかが問われる（ステップＳ２５）。ここで続いていたら、字幕フレーム判定部４８は、このフレームを『字幕出現』と判定する（ステップＳ２７）。続いていなければ、字幕フレーム判定部４８は、このフレームを『字幕なし』と判定する（ステップＳ２４）。

一方、ステップＳ２１の判断結果がＮｏであり、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｎｏであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｙｅｓであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｎｏであるとき（ステップＳ２２）、字幕フレーム判定部４８は、このフレームを『字幕表示中』と判定する（ステップＳ２８）。

一方、ステップＳ２２の判断結果がＮｏであり、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｎｏであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｎｏであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｙｅｓであるとき（ステップＳ２３）、前のフレームまで任意のフレーム数以上『字幕表示中』のフレームという判定が続いていたかが問われる（ステップＳ２６）。ここで続いていたら、字幕フレーム判定部４８は、このフレームを『字幕消失』と判定する（ステップＳ２７）。続いていなければ、字幕フレーム判定部４８は、このフレームを『字幕なし』と判定する（ステップＳ２９）。

一方、ステップＳ２３の判断結果がＮｏであるときは、字幕フレーム判定部４８は、このフレームを『字幕なし』と判定する（ステップＳ２４）。

このように、本発明の一実施形態に係る字幕検出装置は、少なくとも二つの方法により、各フレームの字幕の状態を判定することができる。

＜本発明の一実施形態に係る字幕検出装置を適用させたプルダウン信号検出回路＞
次に、本発明の一実施形態に係る字幕検出装置を適用させたプルダウン信号検出回路を説明する。図４は、本発明の一実施形態に係る字幕検出装置を用いたプルダウン信号検出部の構成の一例を示すブロック図である。

更に、プルダウン検出回路１９は、その詳細が図４に示されており、現フレーム信号が供給される遅延部２１と、現フレーム信号及び前フレーム信号がそれぞれ供給される水平垂直ＬＰＦ２２，２３と、それぞれの出力の差分を検出するフレーム間差分絶対値回路２４と、この値を積分処理する小領域内積分２５と、動ブロックの存在を判定する動ブロック判定回路２６と、動ブロックの数をカウントする画面内動ブロック数カウント２７と、判定レベルを参照して動フレームを判定する動フレーム判定回路２８と、この結果によりプルダウンパターンが存在したか動かを検出するプルダウンパターン検出回路２９を有している。

このような構成をもつプルダウン検出回路１９は、現フレーム信号と、遅延部２１からの前フレーム信号とをそれぞれ水平垂直ＬＰＦ２２，２３を介して、フレーム間差分絶対値回路２４に供給する。フレーム間差分絶対値回路２４では、小領域毎にフレーム間差分を求めて小領域内積分器２５により積分を行なう。そして、積分結果を動ブロック判定回路２６に供給して判定レベルと比較することにより、動きのあるブロックを判定する。

この際、上述した字幕検出装置３０の出力から、字幕フレーム判定出力、字幕出現ブロックフラグ、字幕出現ブロック番号、字幕消失ブロックフラグ、字幕消失ブロック番号を受けて、動ブロック数カウントdisable信号発生回路３１により処理を行なう。そして、プルダウン信号を検出する上で、本来の画面の動きではない字幕の出現や字幕の消失については、画面内動ブロック数カウント２７ではカウントせずに、他の本当の画像の動きだけをカウントするものである。

これにより、字幕が出現したり消失したりしても、動きとしてカウントしないことにより、与えられている映像信号に本当の意味での動きがあるかないかを、動フレーム判定回路２８において動フレーム判定レベルと比較することで、正確に判断することができる。従って、これにより、正確なプルダウン映像信号だけを判断することができ、後段のプルダウンパターン検出回路２９では、例えば、２−３プルダウン信号や２−２プルダウン信号を正確に検出することができる。

＜本発明の一実施形態に係る字幕検出装置を適用させたプルダウン信号検出回路を用いたフレーム内挿部を有するテレビジョン装置＞
図５は、本発明の一実施形態に係る字幕検出装置を用いたプルダウン信号検出部を含むフレーム内挿部を用いた放送受信装置の構成の一例を示すブロック図である。

本発明に係る一実施形態である字幕検出装置を適用させたプルダウン信号検出回路を用いた表示装置１０は、図５に示すように、アナログの地上波または衛星波及びデジタルの地上波または衛星波等を受けて音声映像信号を出力するチューナ部１１１と、音声映像信号のＭＰＥＧデコード処理を行うＭＰＥＧデコーダ１１４と、デコードされた信号にＩＰ変換及びスケール処理を行うＩＰ変換部・スケーラ部１１５と、画質補正処理を行う画質補正部１１６と、与えられる６０Ｈｚ（欧州は５０Ｈｚ）映像信号をフレーム内挿処理を施して倍速出力である１２０Ｈｚ（欧州は１００Ｈｚ）映像信号を出力するフレーム内挿部１１７と、内挿処理が施された映像信号に応じた映像を表示するディスプレイ１１３を有する。

このような構成をもつ表示装置１０に上述した本発明の一実施形態に係るフレーム内挿装置１１７に字幕検出装置３０を含むプルダウン信号検出部１９を適用することで、字幕の有無の影響を受けることのない正確な判定に基づく画面内動ブロック数カウントを得ることができる。

これにより、映像画面中に字幕が存在することで、プルダウン信号でもないのにプルダウン信号と誤認識したり、プルダウン信号であるのに通常の映像信号と誤認識することで、本来の内挿処理部１１８，１１８−２が選択されなくなるということによる誤動作を起こす等の不具合を生じることが無くなる。

以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。

本発明の一実施形態に係る字幕検出装置の構成の一例を示すブロック図。本発明の一実施形態に係る字幕検出装置の判定方法の一例を示すフローチャート。本発明の一実施形態に係る字幕検出装置の判定方法の他の一例を示すフローチャート。本発明の一実施形態に係る字幕検出装置を用いたプルダウン信号検出部の構成の一例を示すブロック図。本発明の一実施形態に係る字幕検出装置を用いたプルダウン信号検出部を含むフレーム内挿部を用いた放送受信装置の構成の一例を示すブロック図。

符号の説明

１０…放送受信装置、１１…チューナ部、１２…画像処理部、１３…ディスプレイ、１４…ＭＰＥＧデコーダ、１５…ＩＰ変換部・スケーラ、１６…画質補正部、１７…フレーム内挿部、１８…、１９…プルダウン信号検出部、２０…選択部、３０…字幕検出装置、３１…動ブロック数カウントdisable信号発生回路、４１…現フレーム字幕ブロック検出出力部、４２…前フレーム字幕ブロック検出出力部、４３…論理回路、４４…論理回路、４５…論理回路、４６…画面内字幕出現ブロック数カウント、４７…比較器、４８…字幕フレーム判定部、４９…画面内字幕表示中ブロック数カウント、５０…比較器、５１…画面内字幕消失ブロック数カウント、５２…比較器、５３…字幕出現ブロック識別部、５４…字幕表示中ブロック識別部、５５…字幕消失ブロック識別部。

Claims

現フレーム画像を遅延させて前フレーム画像を出力する遅延部と、
前記現フレーム画像を受けて領域毎に字幕の特徴を検出する現特徴検出部と、
前記遅延部から前記前フレーム画像を受けて領域毎に字幕の特徴を検出する前特徴検出部と、
前記前特徴検出部からの前記前フレーム画像の領域毎の特徴と前記現特徴検出部からの前記現フレーム画像の領域毎の特徴とから得られる、前記前フレーム画像及び前記現フレーム画像で同一位置の前記領域毎の前記字幕の特徴の時間的変化に基づき、字幕の出現した領域を検出する字幕出現領域検出部と、
前記前特徴検出部からの前記前フレーム画像の領域毎の特徴と前記現特徴検出部からの前記現フレーム画像の領域毎の特徴とから得られる、前記前フレーム画像及び前記現フレーム画像で同一位置の前記領域毎の前記字幕の特徴の時間的変化に基づき、字幕の消失した領域を検出する字幕消失領域検出部と、
前記前特徴検出部からの前記前フレーム画像の領域毎の特徴と前記現特徴検出部からの前記現フレーム画像の領域毎の特徴とから得られる、前記前フレーム画像及び前記現フレーム画像で同一位置の前記領域毎の前記字幕の特徴の時間的変化に基づき、字幕の表示中の領域を検出する字幕表示中領域検出部と、
前記字幕出現領域検出部で検出された字幕の出現した領域の数と、前記字幕消失領域検出部で検出された字幕の消失した領域の数と、前記字幕表示中領域検出部で検出された字幕表示中の領域の数とに基づき、現フレームが、字幕なしか、字幕出現か、字幕表示中か、字幕消失かを判定する判定部とを具備する字幕検出装置。
前記判定部は、
画面内で字幕出現と判定された領域の数が所定数以上、かつ、画面内で字幕表示中と判定された領域の数が所定数以下、かつ、画面内で字幕が消失したと判定された領域の数が所定数以下の場合、そのフレームを「字幕出現」と判定し、
画面内で字幕出現と判定された領域の数が所定数以下、かつ、画面内で字幕表示中と判定された領域の数が所定数以上、かつ、画面内で字幕が消失したと判定された領域の数が所定数以下の場合、そのフレームを「字幕表示中」と判定し、
画面内で字幕出現と判定された領域の数が所定数以下、かつ、画面内で字幕表示中と判定された領域の数が所定数以下、かつ、画面内で字幕が消失したと判定された領域の数が所定数以上の場合に、そのフレームを「字幕消失」と判定し、
上述した場合のどれにも該当しない場合、そのフレームを「字幕なし」と判定する請求項１記載の字幕検出装置。
前記判定部は、
ある任意の数の連続したフレームで前記「字幕なし」との判定が続いた後のフレームに対し、前記画面内で字幕出現と判定された領域の数が所定数以上、かつ、画面内で字幕表示中と判定された領域の数が所定数以下、かつ、画面内で字幕が消失したと判定された領域の数が所定数以下の場合にのみ、そのフレームを「字幕出現」と判定し、
ある任意の数の連続したフレームで前記「字幕表示中」との判定が続いた後のフレームに対し、前記画面内で字幕出現と判定された領域の数が所定数以下、かつ、画面内で字幕表示中と判定された領域の数が所定数以下、かつ、画面内で字幕が消失したと判定された領域の数が所定数以上の場合にのみ、そのフレームを「字幕消失」と判定する請求項２記載の字幕検出装置。
前記現特徴検出部は、前記現フレーム画像のうち所定振幅以上の垂直高周波成分を有する画素の数をカウントするカウンタと、前記現フレーム画像のダイナミックレンジを算出するダイナミックレンジ算出部と、前記現フレーム画像の所定輝度以上の画素数をカウントするカウンタとを含む請求項１記載の字幕検出装置。