JP4244584B2 - 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム - Google Patents
重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム Download PDFInfo
- Publication number
- JP4244584B2 JP4244584B2 JP2002225148A JP2002225148A JP4244584B2 JP 4244584 B2 JP4244584 B2 JP 4244584B2 JP 2002225148 A JP2002225148 A JP 2002225148A JP 2002225148 A JP2002225148 A JP 2002225148A JP 4244584 B2 JP4244584 B2 JP 4244584B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- important
- still
- color
- telop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像に含まれる重要画像を検出する重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システムに関し、特に、テレビジョン放映された映像等から特定の配色を有する文字情報を含む人工画像を重要画像として検出する重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システムに関する。
【０００２】
【従来の技術】
従来、ＴＶ映像等の動画像の中から人工画像等の特有の特徴を利用して画像を抽出する技術がある。例えば、特開平７−１９２００３号公報に記載の技術においては、動画像に現れる様々な形態の字幕を検出し、字幕の現れているシーンの代表画像を動画像中から自動的に選び出すことにより、的確な映像の概要を作成し、またユーザが簡単に所望のシーンを探し出し抽出された代表画像を各種の字幕の特徴を利用して提示する動画像検索装置が開示されている。この公報に記載の動画像検索装置においては、字幕の各文字は輝度が高く、背景との輝度差が大きく、且つそのような領域が密集しており、一定時間同じ位置に存在することから、字幕が現れている画像を代表画像として抽出するものである。
【０００３】
【発明が解決しようとする課題】
ところで、このような画像を抽出する技術のうち、特に使用者にとって有用な画像、必要な画像（以下、このような画像を重要画像という。）を抽出したい場合がある。このような重要画像を抽出するためには、画像の重要度を何らかの尺度で測り重要度の高いものを選ぶ必要がある。しかしながら、例えば、上述の従来の技術において、例えば字幕が現れている画像を重要な画像として抽出すると、抽出される画像の中には必ずしも重要ではない画像含まれる場合があり、重要な情報を含んでいる画像のみを抽出することは困難であるという問題点がある。
【０００４】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＴＶ映像等の動画像の中から使用者が重要であるとした重要情報を含む人工画像を抽出することができる重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る重要画像検出装置は、映像に含まれる重要画像を検出する重要画像検出装置において、入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出手段と、上記静止画像抽出手段により抽出した静止画部分を含む画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定手段とを有する。
【０００６】
本発明においては、人工画像で文字情報を含むものの中に重要な情報を含む画像が多く含まれていることから、映像から人工画像を抽出し、この人工画像の背景色と文字色との組み合わせ、即ち、背景色と文字色との配色から重要な情報が含まれているか否かを判定して画像を抽出するため、常に重要な画像を確実に抽出することができる。
【０００７】
また、上記映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出手段を有し、静止画像抽出手段は、抽出した静止画部分を含む画像を上記入力画像として上記色情報取得手段に供給することができ、重要な情報を含む画像は、視聴者に対して認識しやすいように一定期間静止している場合が多く、人工画像で特有な配色を有すると共に静止画像であるものを抽出することで、更に確実に重要な画像を抽出することができる。
【０００８】
更に、上記判定手段は、上記文字情報が抽出された画像の背景色及び文字色、並びに静止期間から重要度を判定することができ、画像の背景色及び文字色、並びに静止期間に対して異なる重要度とすることで、抽出したい画像を更に限定することができる。
【０００９】
更にまた、上記静止画部分抽出手段は、時間的に連続するフレーム画像間の差分値が所定の閾値以下であるフレーム数をカウントし、該カウント値が所定の閾値以上であるとき、入力画像を静止画を含む画像であると判定することができる。
【００１０】
また、画像の背景色と文字色との組み合わせによって予め決定された重要度を記録した重要度テーブルを有し、上記判定手段は、上記重要度テーブルを参照して得られた重要度に基づいて重要画像か否かを判定することができる。
【００１１】
更に、表示手段に接続され、上記判定手段により重要画像であると判定された画像のみを表示するよう制御する表示制御手段を有することができる。
【００１２】
更にまた、上記色情報取得手段は、画像の輝度、明度、彩度、及び色相を示す色情報の少なくとも１つのヒストグラムを計算することが好ましい。
【００１３】
本発明に係る重要画像検出方法は、映像に含まれる重要画像を検出する重要画像検出方法において、コンピュータに、入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出工程と、上記静止画像抽出工程で抽出した静止画部分を含む入力画像から色情報を取得する色情報取得工程と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定工程と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出工程と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定工程とを実行させる。
【００１４】
本発明に係るプログラム及びこれを記録した記録媒体は、映像に含まれる重要画像を検出する動作をコンピュータに実行させるプログラム及びこれを記録したが記録されたコンピュータ読み取り可能な記録媒体において、入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出工程と、上記静止画像抽出工程で抽出した静止画部分を含む入力画像から色情報を取得する色情報取得工程と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定工程と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出工程と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定工程とを有する。
【００１５】
本発明に係る重要画像検出システムは、映像に含まれる重要画像を検出する重要画像検出システムにおいて、１以上の表示装置と、入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出手段と、上記静止画像抽出手段により抽出した静止画部分を含む画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定手段と、上記表示装置に接続され、上記判定手段により重要画像であると判定された画像のみを表示するよう制御する表示制御手段とを具備する重要画像抽出装置とを有する。
【００１６】
本発明においては、表示装置に、重要画像抽出装置により抽出された重要画像のみを表示することができ、これにより、視聴者は、重要な画像を見逃すことなく確認することができる。
【００１７】
また、上記重要画像抽出装置により抽出された重要画像を記録する記録装置を有することができ、記録装置に重要画像のみを記録することにより、使用者の都合に応じて必要なときに重要画像を読み出して視聴することが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、背景色と文字色との組み合わせから視認性が高い色の文字情報を有する静止画像で且つ人工画像である画像を重要画像として検出する重要画像抽出装置に適用したものである。
【００１９】
本実施の形態は、色情報及び静止フレーム数から重要度を推測することにより、重要情報を含む重要画像を抽出するものである。以下、本実施の形態における重要画像の抽出原理について簡単に説明する。
【００２０】
一般的に人工画像は有意な情報を含むものが多い。有意な情報を含む人工画像の例としては為替、株価の表等があげられる。このような人工画像は以下のような特徴を有する。即ち、
１．静止画像である
２．ある少数の色の頻度が有意に多い
３．彩度が高い／輝度が極端に高い又は低い画素が多い
４．隣接画素と強い相関を有する画素が多い
本実施の形態は、このような人工画像の特徴に基づき、動画像における画像の色情報及び静止フレーム数を使用して、重要情報を有する人工画像（以下、重要画像ともいう。）を抽出するものである。
【００２１】
重要な情報（例えば、文字、数字等）を含む人工画像には、視聴者の目に重要な情報が留まるように配色されている傾向がある。このような傾向を利用すると、人工画像が重要な情報を含んでいるのかどうかを推定することができる。具体的には、例えば、次のような配色が重要な情報を含む場合に主に用いられている。
【００２２】
【表１】
【００２３】
上記表１に示すように、視認性（対象の存在の認められやすさの度合い）が高い色の組み合わせを用いて、文字色／背景色とすれば、文字又は数字（以下、数字も含めて文字という。）の視認性が高くなる。また、明るい赤系の色の文字は、誘目性（人の目をひきつける度合い）が高いという性質があり、文字情報をこのような誘目性が高い文字色とすれば、視聴者の目に留まりやいものとなる。図１は、文字情報の表示例を示す図である。図１（ａ）は、背景が白に文字情報が黒である場合、図１（ｂ）は、例えば背景が青で文字情報が黄の場合を示すものとすると、図１（ａ）の単に黒文字情報に比して、図１（ｂ）に示す場合の方が視認性及び誘目性が高くなる。このように、人間の目にとって文字の視認性、誘目性が高くなるような配色がなされている場合、その人工画像は重要な情報を含んでいると推定できる。
【００２４】
図２は、視聴者の目をひく配色がなされた画像の例を示す模式図である。図２（ａ）は、東京及びロンドンの為替相場を示す画像であるが、例えば背景がブルー（Ｂ）、相場を示す文字（数字）表示が白（Ｗ）又は黄（Ｙ）となっており、また、図２（ｂ）は、バスケ等の各チームの順位表を示す画像であり、背景が赤（Ｒ）、表の背景が紫（Ｐ）、１位のチームの成績は黄（Ｙ）、２位以下は白（Ｗ）等に配色され、更に図２（ｃ）は、週間予報を示す画像であり、晴れをオレンジ（ＹＲ）、曇りを白（Ｗ）、雨をブルー（Ｂ）等、天気を示すマークの配色を工夫することにより、いずれの画像においても、文字等の重要な情報が視認性が高くなるよう配色されており、視聴者が為替相場、ゲーム成績、天気等の情報を容易に認識することが可能となっている。
【００２５】
また、このような視聴者に伝えたいという重要な画像は出現期間が長いという傾向がある。本実施の形態は、このような特徴を有する重要画像、即ち、配色と出現期間とを利用して映像から重要な情報を含んでいると思われる画像を抽出するものである。
【００２６】
以下、本発明の実施の形態について具体的に説明する。図３は、本実施の形態の画像抽出装置を使用した画像抽出システムを示す模式図である。図３に示すように、本実施の形態における画像抽出装置は、入力画像が供給され、入力画像から静止画像を抽出する静止画像抽出部１０と、静止画像抽出部１０から送られる静止画像から重要な情報を含む人工画像であるか否かを判定する重要画像判定部２０とから構成されており、この画像抽出装置は、重要画像判定部２０から重要な情報を含む人工画像のみが供給される表示装置３１と、静止画抽出部１０に供給される入力画像と同様の画像が供給される表示装置３２とに接続され、画像抽出システム３０が構成されている。
【００２７】
静止画像抽出部１０は、入力画像から静止画像が出現している出現期間を検出する。この出現期間はフレーム間差分が小さい画像が、どのくらいの期間続くかを、例えばフレーム数等をカウントすることにより検出することができる。どのくらいの期間、静止していれば出現期間と見なすかという出現期間の閾値は、例えば統計的に決定することができる。
【００２８】
また、重要画像判定部２０は、配色と、静止画像抽出部１０により算出された出現期間とから重要度を推定するものである。この重要画像判定部２０は、メモリ（図示せず）を有し、メモリには、文字色及び背景色と、出現フレーム数との重要度の関係を表す重要度決定テーブル（重要度テーブル）が保存されている。そして、文字色及び背景色を取得し、メモリの重要度決定テーブルと比較することによって重要度を判定する。
【００２９】
本実施の形態の画像抽出システム３０は、複数台のモニタ等の表示装置に接続されることにより、画像抽出装置が、例えばＴＶ映像から重要画像を抽出すると、この抽出した画像を別の表示装置に表示することができ、これによって視聴者は重要情報を見落とすことがなくなる。
【００３０】
以下、画像抽出装置について詳細に説明する。図４は、静止画像抽出部１０を示すブロック図である。図４に示すように、静止画像抽出部１０は、入力画像を所定期間遅延する遅延バッファ１１と、遅延バッファ１１からの遅延画像と、入力画像とが供給される静止検出部１２と、静止検出部１２からの結果に基づき静止画像であるか否かを判定する静止画像判定部1３とから構成されている。
【００３１】
遅延バッファ１１は、入力画像を１フレーム遅延するもの、即ち、現在の入力画像より１フレーム前の画像（以下、保存画像という。）が保存されている。
【００３２】
静止検出部１２は、現在の入力画像と、遅延バッファ１１からの１フレーム前の保存画像とが入力され、この入力画像及び保存画像から対応する画素の差分を計算し、入力画像が静止しているかどうかを判定する。
【００３３】
静止画像判定部１３は、静止していると見なされたフレーム数をカウントする静止カウンタ（図示せず）を有し、このカウント値から静止が終了する前に一定フレーム数以上静止していた画像を静止画像であると判定する。
【００３４】
図５は、静止画像抽出部１０の静止画像抽出方法を示すフローチャートである。図５に示すように、先ず、入力画像を読み込む（ステップＳ１）。次に、遅延バッファから入力画像より１フレーム前の保存画像を読み込む（ステップＳ２）。そして、入力画像と保存画像とについて、空間的に対応する位置の各画素毎に差分を計算し、差分が所定の閾値以下の画素の数をカウントする（ステップＳ３）。そして、カウントした画素の数が所定の閾値以上であれば、静止フレームであると判定する（ステップＳ４）。
【００３５】
ステップＳ４において、静止フレームと判定されると、静止しているフレーム数をカウントする静止カウンタのカウント値を１つ増やし、入力画像を遅延バッファ１１に保存する（ステップＳ５）。
【００３６】
一方、ステップＳ４において、静止フレームではないと判定された場合、静止カウンタのカウント値から、一定フレーム数以上静止していたかを判定する（ステップＳ６）。一定フレーム数以上静止していた場合は、保存画像を静止画像であるとして出力する（ステップＳ７）。静止画像として判定されてもされなくても、次に入力される新規入力画像との差分を求めるため、入力画像を遅延バッファ１１に保存し、処理を終了する。
【００３７】
次に、重要画像判定部２０について説明する。図６は、重要画像判定部２０を示すブロック図である。図６に示すように、静止画像抽出部１０から入力された静止画像の輝度、明度、彩度、及び色相のヒストグラムを取得する色情報取得部２１と、色情報取得部２１が取得した情報に基づき入力された静止画像が人工画像であるか否かを判定する人工画像判定部２２と、人工画像であると判定された画像から文字を抽出する文字抽出部２３と、重要画像の色情報及び静止期間に対応した重要度が記録された重要度決定テーブルを有するメモリ２５と、色情報取得部２１及び文字抽出部２３からのデータ及びその静止期間から重要度決定テーブルを参照して重要度を取得し、この重要度に基づき重要画像か否かを判定する重要度判定部２４とから構成されている。
【００３８】
人工画像判定部２２は、輝度又は色相のいずれかのヒストグラムにおいて、ある色が有意に多く存在していると判定できるとき人工画像であると判定する。具体的には、自然界には存在し得ないような人工的な色であって、且つそのような色の画素が意図的に存在することがわかる程度の量含まれていることを示す適当な閾値を設けて判定することができる。また、有意に多く存在した色を背景色とみなす。具体的には、全画素に占める割合が所定の閾値以上である色を背景色と見なすことができる。必要であれば、明度及び彩度のヒストグラムも人工画像の判定に使用することができる。
【００３９】
文字抽出部２３は、人工画像と判定された画像において文字抽出を行う。文字抽出の方法は様々あるが、一つの方法として、例えば、文字部分は背景に比べて輝度差が大きいということを利用して抽出することができる。ここで、本実施の形態においては、文字抽出を行うものとしているが、文字情報だけでなく、上述の図２（ｃ）に示すように、例えば、天気予報の晴れ、曇り、又は雨等を示すマーク等の図形情報も、輝度差又はマッチング等を利用して抽出するようにしてもよい。
【００４０】
重要度判定部２４は、色情報取得部２１で得た背景色と、文字抽出部２３で抽出した文字情報の文字色と、静止フレーム数とから、メモリ２５に記憶されている重要度決定テーブルを参照して重要度を推定し、重要度が高いと判定された場合に重要画像であるとして判定する。例えば、色情報取得部２１において取得された各種の色情報のヒストグラムを使用し、文字情報の文字色は、全体に占める割合がそれほど多くなく、且つ彩度、明度等が高いものを文字色とすること等ができる。
【００４１】
図７は、重要度決定テーブルを示す模式図である。図７に示すように、重要度決定テーブルは、所定の輝度、彩度、又は色相値を有する文字色及び背景色と、所定の静止フレーム数に対応して予め重要度の高さレベルが設定されているものである。
【００４２】
重要度判定部２４は、この重要度決定テーブルを参照し、例えば、輝度２３０以上、彩度３２以下の白の文字色であり、色相１８７．５以上、２６２．５以下の青の背景色であって、静止フレーム数が９０以上である場合、最も重要であるとする重要度１に分類する。また、輝度２３０以上、彩度３２以下の白の文字色であり、色相１１２．５以上、１８７．５以下の緑の背景色であって、静止フレーム数が９０以上である場合、重要度１の次に重要であるとする重要度２に分類する。このように、視認性・誘目性が高くなる配色、又は重要画像として抽出したい画像が有する配色等により、予め重要度決定テーブルを作成しておくことができる。
【００４３】
図８は、重要画像判定部２０の重要画像判定方法を示すフローチャートである。図８に示すように、先ず、色情報取得部２１において、静止画像抽出部１０から入力された画像を読み込み（ステップＳ１１）、輝度及び色相のヒストグラムを計算する（ステップＳ１２）。次に輝度又は色相のいずれかのヒストグラムにおいて、適当な閾値を設けて、ある色が有意に多いか否かを判定する（ステップＳ１３）。ここで、有意に多い色が存在しない場合は、処理を終了する。ステップＳ１３において、有意に多い色が存在すると判定された場合は、その色を背景色とし、次に、例えば背景色に比して輝度差が大きい部分等を文字候補として抽出する（ステップＳ１４）。
【００４４】
次に、文字抽出で抽出した文字候補の色、背景色の色、及び静止フレーム数から重要度決定テーブルを参照して、この画像の重要度を推定し（ステップＳ１５）、重要度が一定値以上でるか否かを判定し（ステップＳ１６）、重要度が一定値以上である場合は、その画像を重要画像と判定して出力する（ステップＳ１７）。
【００４５】
なお、本実施の形態においては、発明の技術思想を単純化して説明したものであって、実際の適用に当たっては、例えば、文字抽出部２３において、背景色に比して所定の閾値以上の輝度差を有する画素が所定の閾値以上含まれるものを文字候補として抽出した場合、画像によっては、複数種類の文字色が抽出され、図７のような重要度決定テーブルを参照すると、これら複数種の文字色に対応して複数の重要度が得られるが、このような場合、例えば、得られた複数の重要度のうち、もっとも重要であるもの（重要度の値が小さいもの）をその画像の重要度とするか、又は、文字色及び背景色の複数の組み合わせに対して１つの重要度が得られるような重要度決定テーブルを用意する等すればよい。
【００４６】
本実施の形態においては、映像に含まれる重要画像を、静止画像で且つ人工画像であって、文字情報を含む画像のうち、背景色及び文字色の組み合わせに特徴があって、且つ静止期間が長い画像を重要画像と推定して抽出することができる。この際、背景色及び文字色の組み合わせ、並びに静止期間に対して予め設定された重要度を有する重要度決定テーブルを参照して、重要画像であるか否かを判定してから抽出するため、重要でない画像を検出することがなく、また、使用者の目的に応じて重要度決定テーブルを書き換えることもできる。
【００４７】
次に、本発明の第２の実施の形態について説明する。本実施の形態の第１の実施の形態と異なる点は、記録装置が設けられている点である。図９は、第２の実施の形態に係る重要画像抽出システムを示すブロック図である。なお、図９において、図３に示す第１の実施の形態と同一の構成要素には同一の符号を付してその詳細な説明は省略する。図９に示すように、本実施の形態に係る画像抽出システム４０は、上述した図３に示す第１の実施の形態と同様に構成された静止画像抽出部１０及び重要度画像判定部２０からなる重要画像抽出装置に、抽出された重要画像を表示する表示装置４１と、抽出された重要画像を記録する記録装置４２とが接続されている。
【００４８】
本実施の形態においては、重要画像抽出装置に記録装置４２が接続されているため、重要画像抽出装置により、入力画像であるＴＶ映像から重要画像を抽出し、抽出した画像を記録装置４２に保存することができる。これによって視聴者は重要情報だけを効率よく記録装置に保存することができる。また、ここでは、重要な情報を含む画像を重要画像として抽出するものとしたが、重要画像に含まれる重要情報である文字情報の領域等の特定の領域のみを切り出して表示装置４１に表示してもよい。この場合も、文字情報の領域のみの画像データを記憶装置４２に記憶することができる。
【００４９】
また、入力画像を記憶装置４２に供給し、重要画像抽出装置の重要画像判定部２０において、重要画像と判定された場合に、入力画像を記録するよう指示する信号を記録装置４２に送ることにより、入力画像から重要画像のみを記憶するようにしてもよい。
【００５０】
次に、本発明の第３の実施の形態について説明する。本発明は、文字、数字又は何らかの情報を示すマーク等の重要な情報を示す部分と、背景部分との色の配色から重要だと推定される重要画像を抽出するものである。上述の第１の実施の形態では、静止画像を検出した後、人工画像を抽出し、その背景色及び文字色から重要度を判定するものであったのに対し、本実施の形態では、先ず、文字情報（以下、テロップという。）を抽出し、その後、背景色及び抽出された文字情報の文字色を検出し、両者の配色から重要画像であるか否かを推定するものである。
【００５１】
即ち、本実施の形態における重要画像検出装置は、連続するフレーム単位の画像からなる映像から文字情報を抽出する文字情報抽出部と、文字情報が抽出されたフレーム画像の色情報を取得する色情報取得部と、この色情報に基づき、文字情報が抽出されたフレーム画像が人工画像であるか否かを判定する人工画像判定部と、人工画像であると判定された画像の文字色と背景色との組み合わせから重要画像であるか否かを判定する重要画像判定部とから構成される。
【００５２】
先ず、文字情報抽出部について説明する。ＴＶ放送等において、テロップは、制作者が重要だと判断した内容であって、視聴者に強く伝えたい情報であるといえる。そのため、テロップは、画面上の他の部分と区別しやすいよう工夫されており、以下に示す特徴を有すると考えられる。テロップが有する特徴とは、
１．テロップを構成する画素は高輝度である
２．文字の縁はエッジが急峻であるため、エッジ密度が高い
３．特徴的な出現形態をとる
４．出現した後、一定時間の安定状態を有する
５．特徴的な消失形態をとる
６．自然界に無い色が使用されている
７．情報の内容と出現場所とに関係がある
等である。このようなテロップの特徴を利用してテロップを検出することができる。
【００５３】
図１０は、本発明の第３の実施の形態に係る重要画像検出装置の文字情報検出部におけるデータの流れを説明する説明図である。図１０に示すように、本実施の形態の文字情報検出部は、入力画像データが供給されるフレーム画像判定部（判定手段）１１０と、フレーム画像判定部１１０からのデータが供給され、画面上に予め設定されたテロップ出現領域において、このテロップ出現領域にテロップが出現するか否かを検出するテロップ出現検出部１２０と、フレーム画像判定部１１０又はテロップ出現検出部１２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部１３０と、エッジ密度検出部１３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部１４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部１５０と、推定部１５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部１６０と、テロップ類似度検出部１６０から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部１７０とから構成されている。
【００５４】
テロップ出現検出部１２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部１２１とテロップ出現領域の輝度変化を検出する局所変化検出部１２２とを有する。
【００５５】
また、推定部１５０は、エッジ密度検出部１３０から供給されるデータと記憶部１４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部１５１と、既検出テロップ候補が記憶部１４０に保持される期間を検出する継続カウンタ１５２と、継続カウンタ１５２及び類似度検出部１５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部１５３から構成されている。
【００５６】
以下、本実施の形態における文字情報検出部ついて更に詳細に説明する。文字情報検出装置には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現検出部１２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部１３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（stateflg）に１が設定される。このフラグ（stateflg）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点、具体的には、後述するが、エッジ密度検出部１３０においてテロップ出現領域のエッジ密度が所定の閾値未満であることが検出された時点、テロップ類似度検出部１６０で同様の既に提示済みのテロップが検出された時点、及び提示画像生成部１７０からテロップと確定されて出力された時点でフラグに０が設定されるものである。
【００５７】
フレーム画像判定部１１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（stateflg）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。上述した如く、テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現検出部１２０における処理は不要であるため、フラグ（stateflg）が１である間は、フレーム画像をエッジ密度検出部１３０に供給する。
【００５８】
テロップ出現検出部２０は、フラグ（stateflg）が０である間、判定部１１０からフレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップ出現領域におけるテロップの出現を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、その輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００５９】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまう。これを防止するため、候補フレーム画像検出部１２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部１２２に供給する。
【００６０】
そして、局所変化検出部１２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（stateflg）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部１３０に供給する。
【００６１】
次に、候補フレーム画像検出部１２１及び局所変化検出部１２２について具体的に説明する。候補フレーム画像検出部１２１は、例えば図１１のように構成された輝度ヒストグラム生成部１８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部１８０は、フレーム画像判定部１１０からのフレーム画像のデータ（以下、フレームデータという。）が供給されるブロック分割部１８１及び遅延回路１８３、遅延回路１８３により所定時間遅延されたフレームデータが供給されるブロック分割部１８４、並びに、ブロック分割部１８１及び１８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部１８２及び１８５から構成されている。
【００６２】
このように構成された輝度ヒストグラム生成部１８０に対して、候補フレーム画像検出部１２１が、フレーム画像判定部１１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部１８０は、ブロック分割部１８１により、供給されたｉフレームの画像データ（情報列）の空間が規定サイズとなるブロックに分割し、このブロック単位のデータをヒストグラム計算部１８２に送る。
【００６３】
また、このｉフレームの画像データは、同時に遅延回路１８３にも供給され、遅延回路１８３により、例えば２フレーム分遅延された画像データがブロック分割部１２４に供給される。
【００６４】
ブロック分割部１８４は、ブロック分割部１８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロックに分割し、このブロック単位のデータをヒストグラム計算部１８５に送る。
【００６５】
ヒストグラム計算部１８２，１８５は、全画面において、ブロック単位で輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部１２１に送る。
【００６６】
そして、候補フレーム画像検出部１２１は、ヒストグラム計算部１８２，１８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Th_coef１）と比較し、相関係数が所定の閾値（Th_coef１）以下であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【００６７】
【数１】
【００６８】
そして、この変化ブロックの割合が所定の閾値（Th_diff１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Th_diff１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【００６９】
また、局所変化検出部１２２も、候補フレーム画像検出部１２１と同様に、候補フレーム画像検出部１２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部１２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Th_coef１）以下である変化ブロックの割合が所定の閾値（Th_diff２）以上であるｉフレームを検出する。ここで変化ブロックの割合が所定の閾値（Th_diff２）以上であった場合は、上述した如くフラグ（stateflg）に１を立てると共にこのデータをエッジ密度検出部１３０に供給する。一方、変化ブロックの割合が閾値（Th_diff２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【００７０】
このように、テロップ出現検出部１２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【００７１】
なお、本実施の形態においては、輝度ヒストグラム生成部１８０を用意し、候補フレーム画像検出部１２１の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部１２１及び局所変化検出部１２２において、図１１に示すようなブロック分割部１８１，１８４及びヒストグラム計算部１８２，１８５等を個別に有するものとしてもよい。また、遅延回路１８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【００７２】
図１０に戻って、エッジ密度検出部１３０は、フラグ（stateflg）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部１３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【００７３】
エッジ密度検出部１３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、上述したように、テロップであれば、エッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Th_den）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Th_den）未満であるときは、フラグ（stateflg）を０とする。これにより、以降のフレーム画像は、フラグ（stateflg）に１が設定されるまでの間、テロップ出現検出部１２０に供給されるようになる。
【００７４】
記憶部１４０には、エッジ密度検出部１３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部１５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部１３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部１３０によりテロップ候補が検出されなかった場合、エッジ密度検出部１３０は、記憶部１４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ１５２のカウント値をリセットし、フラグ（stateflg）を０とし、次のフレームの処理へ移る。
【００７５】
推定部１５０は、記憶部１４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【００７６】
継続カウンタ１５２は、テロップが安定して出現したフレーム数（静止期間）をカウントするものである。例えば、エッジ密度検出部１３０及び後述する類似度検出部１５１等において、記憶部１４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ１５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ１５２により、記憶部１４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部１５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【００７７】
類似度検出部１５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部１３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部１２１及び局所変化検出部１２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Th_coef２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部１４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部１４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【００７８】
ここで、記憶部１４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ１５２のカウント値をリセットする。一方、記憶部１４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ１５２のカウント値をインクリメントする。
【００７９】
また、相関係数が所定の閾値（Th_coef２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部１４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータに置き換えると共に、継続カウンタ１５２のカウント値をリセットする。
【００８０】
このように、類似度検出部１５１は、テロップ候補と、記憶部１４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部１４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【００８１】
安定度判定部１５３は、既検出テロップ候補が記憶部１４０に保持される期間を検出する期間検出手段として、継続カウンタ１５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部１４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部１６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部１６０に送られたものと判定し、記憶部１４０の既検出テロップ候補及び継続カウンタ１５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部１６０に送られる。
【００８２】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部１６０に送出した後は、記憶部１４０に記憶されている既検出テロップ候補、及び継続カウンタ１５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部１６０には送出されず、同一のテロップを出力することを防止することができる。
【００８３】
テロップ類似度検出部１６０は、安定度判定部１５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部１７０に保持されているテロップ等の既検出テロップと、安定度判定部１５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部１７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部１６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【００８４】
提示画像生成部１７０は、類似度判定部１６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に表示する提示手段である。提示画像生成部１７０は、所定数のテロップを保持して表示し続けるため、テロップの出現領域が例えば水平方向の帯状の領域に設定されている場合、この帯状の領域を切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して出力する。
【００８５】
このように、文字情報検出部は、先ず、テロップ出現検出部１２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部１３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ候補を検出し、推定部１５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部１６０を設け、これにより同一のテロップが何度も検出されないようにして、テロップを有するフレーム画像を出力することができる。
【００８６】
次に、この文字情報抽出部によりテロップが検出されたフレーム画像の重要度を判定し、重要な情報が含まれると推定される重要画像を検出する。重要度の判定は、図６に示す重要画像度判定部２０と同様に、テロップ検出部の後段に、色情報取得部、人工画像判定部、及び重要度度判定部を設け、テロップが検出されたフレーム画像の色情報を取得し、取得した色情報から、人工画像判定部にて人工画像であるか否かを判定する。そして、人工画像であると判定されたテロップを有するフレーム画像の背景色及び文字色を検出し、重要度判定部にて、図７に示すような重要度決定テーブルを参照して、重要度を求め、重要度が所定の閾値以上であるテロップを有するフレーム画像を出力する。図７に示す重要度決定テーブルは、静止フレーム数も重要度判定に使用するものであるが、本実施の形態においては、図１０の継続カウンタ５２のカウント値を使用するか、又は、同様に静止画像検出部を設けて静止フレーム数をカウントする等すればよい。
【００８７】
本実施の形態においては、映像に含まれる重要画像を、テロップを有する人工画像であって、そのテロップの色と背景色との組み合わせに特徴があるものとし、背景色及び文字色の組み合わせに対して予め設定された重要度を有する重要度決定テーブルを参照して重要度を求め、この重要度から重要であると判定されたもののみ、重要画像として抽出するため、第１の実施の形態と同様に、重要でない画像を検出することがなく、また、使用者の目的に応じて重要度決定テーブルを書き換えることができる。
【００８８】
【発明の効果】
以上詳細に説明したように、本発明に係る重要画像抽出装置は、映像に含まれる重要画像を検出する重要画像検出装置において、入力画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色及び文字色から重要画像であるか否かを判定する判定手段とを有するので、人工画像で文字情報を含むものの中に重要な情報を含む画像が多く含まれていることから、映像から人工画像を抽出し、この人工画像の文字色及び背景色から重要な情報が含まれているか否かを判定して画像を抽出するため、重要な画像を確実に抽出することができる。
【００８９】
また、本発明に係る重要画像検出システムによれば、映像に含まれる重要画像を検出する重要画像検出システムにおいて、１以上の表示装置と、入力画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色及び文字色から重要画像であるか否かを判定する判定手段と、上記表示装置に接続され、上記判定手段により重要画像であると判定された画像のみを表示するよう制御する表示制御手段とを具備する重要画像抽出装置とを有するので、抽出した重要画像を表示装置により表示するため、視聴者が重要画像に含まれる重要な情報を見落とすことを防止する。
【図面の簡単な説明】
【図１】文字情報の表示例を示す図であって、（ａ）は、背景が白に文字情報が黒である場合、（ｂ）は、背景が青で文字情報が黄の場合を示す模式図である。
【図２】視聴者の目をひく配色がなされた画像の例を示す模式図である。
【図３】本発明の第１の実施の形態に係る画像抽出装置を使用した画像抽出システムを示すブロック図である。
【図４】本発明の第１の実施の形態に係る画像抽出装置の静止画像抽出部を示すブロック図である。
【図５】本発明の第１の実施の形態に係る画像抽出装置の静止画像抽出部における静止画像抽出方法を示すフローチャートである。
【図６】本発明の第１の実施の形態に係る画像抽出装置の重要画像判定部を示すブロック図である。
【図７】本発明の第１の実施の形態に係る画像抽出装置の重要画像判定部にて参照される重要度決定テーブルを示す模式図である。
【図８】本発明の第１の実施の形態に係る画像抽出装置の重要画像判定部における重要画像判定方法を示すフローチャートである。
【図９】本発明の第２の実施の形態に係る重要画像抽出システムを示すブロック図である。
【図１０】本発明の第３の実施の形態に係る重要画像検出装置の文字情報検出部におけるデータの流れを説明する説明図である。
【図１１】輝度ヒストグラム生成部におけるデータの流れを説明する説明図である。
【符号の説明】
１０ 静止画像抽出部、２０ 重要画像判定部、３１，３２、４１ 表示装置、３０ 画像抽出システム、１１ 遅延バッファ、１２ 静止検出部、１３ 静止画像判定部、 ２１ 色情報取得部、２２ 人工画像判定部、２３ 文字抽出部、２４ 重要度判定部、２５ メモリ、４２ 記録装置
【発明の属する技術分野】
本発明は、映像に含まれる重要画像を検出する重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システムに関し、特に、テレビジョン放映された映像等から特定の配色を有する文字情報を含む人工画像を重要画像として検出する重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システムに関する。
【０００２】
【従来の技術】
従来、ＴＶ映像等の動画像の中から人工画像等の特有の特徴を利用して画像を抽出する技術がある。例えば、特開平７−１９２００３号公報に記載の技術においては、動画像に現れる様々な形態の字幕を検出し、字幕の現れているシーンの代表画像を動画像中から自動的に選び出すことにより、的確な映像の概要を作成し、またユーザが簡単に所望のシーンを探し出し抽出された代表画像を各種の字幕の特徴を利用して提示する動画像検索装置が開示されている。この公報に記載の動画像検索装置においては、字幕の各文字は輝度が高く、背景との輝度差が大きく、且つそのような領域が密集しており、一定時間同じ位置に存在することから、字幕が現れている画像を代表画像として抽出するものである。
【０００３】
【発明が解決しようとする課題】
ところで、このような画像を抽出する技術のうち、特に使用者にとって有用な画像、必要な画像（以下、このような画像を重要画像という。）を抽出したい場合がある。このような重要画像を抽出するためには、画像の重要度を何らかの尺度で測り重要度の高いものを選ぶ必要がある。しかしながら、例えば、上述の従来の技術において、例えば字幕が現れている画像を重要な画像として抽出すると、抽出される画像の中には必ずしも重要ではない画像含まれる場合があり、重要な情報を含んでいる画像のみを抽出することは困難であるという問題点がある。
【０００４】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＴＶ映像等の動画像の中から使用者が重要であるとした重要情報を含む人工画像を抽出することができる重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る重要画像検出装置は、映像に含まれる重要画像を検出する重要画像検出装置において、入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出手段と、上記静止画像抽出手段により抽出した静止画部分を含む画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定手段とを有する。
【０００６】
本発明においては、人工画像で文字情報を含むものの中に重要な情報を含む画像が多く含まれていることから、映像から人工画像を抽出し、この人工画像の背景色と文字色との組み合わせ、即ち、背景色と文字色との配色から重要な情報が含まれているか否かを判定して画像を抽出するため、常に重要な画像を確実に抽出することができる。
【０００７】
また、上記映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出手段を有し、静止画像抽出手段は、抽出した静止画部分を含む画像を上記入力画像として上記色情報取得手段に供給することができ、重要な情報を含む画像は、視聴者に対して認識しやすいように一定期間静止している場合が多く、人工画像で特有な配色を有すると共に静止画像であるものを抽出することで、更に確実に重要な画像を抽出することができる。
【０００８】
更に、上記判定手段は、上記文字情報が抽出された画像の背景色及び文字色、並びに静止期間から重要度を判定することができ、画像の背景色及び文字色、並びに静止期間に対して異なる重要度とすることで、抽出したい画像を更に限定することができる。
【０００９】
更にまた、上記静止画部分抽出手段は、時間的に連続するフレーム画像間の差分値が所定の閾値以下であるフレーム数をカウントし、該カウント値が所定の閾値以上であるとき、入力画像を静止画を含む画像であると判定することができる。
【００１０】
また、画像の背景色と文字色との組み合わせによって予め決定された重要度を記録した重要度テーブルを有し、上記判定手段は、上記重要度テーブルを参照して得られた重要度に基づいて重要画像か否かを判定することができる。
【００１１】
更に、表示手段に接続され、上記判定手段により重要画像であると判定された画像のみを表示するよう制御する表示制御手段を有することができる。
【００１２】
更にまた、上記色情報取得手段は、画像の輝度、明度、彩度、及び色相を示す色情報の少なくとも１つのヒストグラムを計算することが好ましい。
【００１３】
本発明に係る重要画像検出方法は、映像に含まれる重要画像を検出する重要画像検出方法において、コンピュータに、入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出工程と、上記静止画像抽出工程で抽出した静止画部分を含む入力画像から色情報を取得する色情報取得工程と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定工程と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出工程と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定工程とを実行させる。
【００１４】
本発明に係るプログラム及びこれを記録した記録媒体は、映像に含まれる重要画像を検出する動作をコンピュータに実行させるプログラム及びこれを記録したが記録されたコンピュータ読み取り可能な記録媒体において、入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出工程と、上記静止画像抽出工程で抽出した静止画部分を含む入力画像から色情報を取得する色情報取得工程と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定工程と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出工程と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定工程とを有する。
【００１５】
本発明に係る重要画像検出システムは、映像に含まれる重要画像を検出する重要画像検出システムにおいて、１以上の表示装置と、入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出手段と、上記静止画像抽出手段により抽出した静止画部分を含む画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定手段と、上記表示装置に接続され、上記判定手段により重要画像であると判定された画像のみを表示するよう制御する表示制御手段とを具備する重要画像抽出装置とを有する。
【００１６】
本発明においては、表示装置に、重要画像抽出装置により抽出された重要画像のみを表示することができ、これにより、視聴者は、重要な画像を見逃すことなく確認することができる。
【００１７】
また、上記重要画像抽出装置により抽出された重要画像を記録する記録装置を有することができ、記録装置に重要画像のみを記録することにより、使用者の都合に応じて必要なときに重要画像を読み出して視聴することが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、背景色と文字色との組み合わせから視認性が高い色の文字情報を有する静止画像で且つ人工画像である画像を重要画像として検出する重要画像抽出装置に適用したものである。
【００１９】
本実施の形態は、色情報及び静止フレーム数から重要度を推測することにより、重要情報を含む重要画像を抽出するものである。以下、本実施の形態における重要画像の抽出原理について簡単に説明する。
【００２０】
一般的に人工画像は有意な情報を含むものが多い。有意な情報を含む人工画像の例としては為替、株価の表等があげられる。このような人工画像は以下のような特徴を有する。即ち、
１．静止画像である
２．ある少数の色の頻度が有意に多い
３．彩度が高い／輝度が極端に高い又は低い画素が多い
４．隣接画素と強い相関を有する画素が多い
本実施の形態は、このような人工画像の特徴に基づき、動画像における画像の色情報及び静止フレーム数を使用して、重要情報を有する人工画像（以下、重要画像ともいう。）を抽出するものである。
【００２１】
重要な情報（例えば、文字、数字等）を含む人工画像には、視聴者の目に重要な情報が留まるように配色されている傾向がある。このような傾向を利用すると、人工画像が重要な情報を含んでいるのかどうかを推定することができる。具体的には、例えば、次のような配色が重要な情報を含む場合に主に用いられている。
【００２２】
【表１】
上記表１に示すように、視認性（対象の存在の認められやすさの度合い）が高い色の組み合わせを用いて、文字色／背景色とすれば、文字又は数字（以下、数字も含めて文字という。）の視認性が高くなる。また、明るい赤系の色の文字は、誘目性（人の目をひきつける度合い）が高いという性質があり、文字情報をこのような誘目性が高い文字色とすれば、視聴者の目に留まりやいものとなる。図１は、文字情報の表示例を示す図である。図１（ａ）は、背景が白に文字情報が黒である場合、図１（ｂ）は、例えば背景が青で文字情報が黄の場合を示すものとすると、図１（ａ）の単に黒文字情報に比して、図１（ｂ）に示す場合の方が視認性及び誘目性が高くなる。このように、人間の目にとって文字の視認性、誘目性が高くなるような配色がなされている場合、その人工画像は重要な情報を含んでいると推定できる。
【００２４】
図２は、視聴者の目をひく配色がなされた画像の例を示す模式図である。図２（ａ）は、東京及びロンドンの為替相場を示す画像であるが、例えば背景がブルー（Ｂ）、相場を示す文字（数字）表示が白（Ｗ）又は黄（Ｙ）となっており、また、図２（ｂ）は、バスケ等の各チームの順位表を示す画像であり、背景が赤（Ｒ）、表の背景が紫（Ｐ）、１位のチームの成績は黄（Ｙ）、２位以下は白（Ｗ）等に配色され、更に図２（ｃ）は、週間予報を示す画像であり、晴れをオレンジ（ＹＲ）、曇りを白（Ｗ）、雨をブルー（Ｂ）等、天気を示すマークの配色を工夫することにより、いずれの画像においても、文字等の重要な情報が視認性が高くなるよう配色されており、視聴者が為替相場、ゲーム成績、天気等の情報を容易に認識することが可能となっている。
【００２５】
また、このような視聴者に伝えたいという重要な画像は出現期間が長いという傾向がある。本実施の形態は、このような特徴を有する重要画像、即ち、配色と出現期間とを利用して映像から重要な情報を含んでいると思われる画像を抽出するものである。
【００２６】
以下、本発明の実施の形態について具体的に説明する。図３は、本実施の形態の画像抽出装置を使用した画像抽出システムを示す模式図である。図３に示すように、本実施の形態における画像抽出装置は、入力画像が供給され、入力画像から静止画像を抽出する静止画像抽出部１０と、静止画像抽出部１０から送られる静止画像から重要な情報を含む人工画像であるか否かを判定する重要画像判定部２０とから構成されており、この画像抽出装置は、重要画像判定部２０から重要な情報を含む人工画像のみが供給される表示装置３１と、静止画抽出部１０に供給される入力画像と同様の画像が供給される表示装置３２とに接続され、画像抽出システム３０が構成されている。
【００２７】
静止画像抽出部１０は、入力画像から静止画像が出現している出現期間を検出する。この出現期間はフレーム間差分が小さい画像が、どのくらいの期間続くかを、例えばフレーム数等をカウントすることにより検出することができる。どのくらいの期間、静止していれば出現期間と見なすかという出現期間の閾値は、例えば統計的に決定することができる。
【００２８】
また、重要画像判定部２０は、配色と、静止画像抽出部１０により算出された出現期間とから重要度を推定するものである。この重要画像判定部２０は、メモリ（図示せず）を有し、メモリには、文字色及び背景色と、出現フレーム数との重要度の関係を表す重要度決定テーブル（重要度テーブル）が保存されている。そして、文字色及び背景色を取得し、メモリの重要度決定テーブルと比較することによって重要度を判定する。
【００２９】
本実施の形態の画像抽出システム３０は、複数台のモニタ等の表示装置に接続されることにより、画像抽出装置が、例えばＴＶ映像から重要画像を抽出すると、この抽出した画像を別の表示装置に表示することができ、これによって視聴者は重要情報を見落とすことがなくなる。
【００３０】
以下、画像抽出装置について詳細に説明する。図４は、静止画像抽出部１０を示すブロック図である。図４に示すように、静止画像抽出部１０は、入力画像を所定期間遅延する遅延バッファ１１と、遅延バッファ１１からの遅延画像と、入力画像とが供給される静止検出部１２と、静止検出部１２からの結果に基づき静止画像であるか否かを判定する静止画像判定部1３とから構成されている。
【００３１】
遅延バッファ１１は、入力画像を１フレーム遅延するもの、即ち、現在の入力画像より１フレーム前の画像（以下、保存画像という。）が保存されている。
【００３２】
静止検出部１２は、現在の入力画像と、遅延バッファ１１からの１フレーム前の保存画像とが入力され、この入力画像及び保存画像から対応する画素の差分を計算し、入力画像が静止しているかどうかを判定する。
【００３３】
静止画像判定部１３は、静止していると見なされたフレーム数をカウントする静止カウンタ（図示せず）を有し、このカウント値から静止が終了する前に一定フレーム数以上静止していた画像を静止画像であると判定する。
【００３４】
図５は、静止画像抽出部１０の静止画像抽出方法を示すフローチャートである。図５に示すように、先ず、入力画像を読み込む（ステップＳ１）。次に、遅延バッファから入力画像より１フレーム前の保存画像を読み込む（ステップＳ２）。そして、入力画像と保存画像とについて、空間的に対応する位置の各画素毎に差分を計算し、差分が所定の閾値以下の画素の数をカウントする（ステップＳ３）。そして、カウントした画素の数が所定の閾値以上であれば、静止フレームであると判定する（ステップＳ４）。
【００３５】
ステップＳ４において、静止フレームと判定されると、静止しているフレーム数をカウントする静止カウンタのカウント値を１つ増やし、入力画像を遅延バッファ１１に保存する（ステップＳ５）。
【００３６】
一方、ステップＳ４において、静止フレームではないと判定された場合、静止カウンタのカウント値から、一定フレーム数以上静止していたかを判定する（ステップＳ６）。一定フレーム数以上静止していた場合は、保存画像を静止画像であるとして出力する（ステップＳ７）。静止画像として判定されてもされなくても、次に入力される新規入力画像との差分を求めるため、入力画像を遅延バッファ１１に保存し、処理を終了する。
【００３７】
次に、重要画像判定部２０について説明する。図６は、重要画像判定部２０を示すブロック図である。図６に示すように、静止画像抽出部１０から入力された静止画像の輝度、明度、彩度、及び色相のヒストグラムを取得する色情報取得部２１と、色情報取得部２１が取得した情報に基づき入力された静止画像が人工画像であるか否かを判定する人工画像判定部２２と、人工画像であると判定された画像から文字を抽出する文字抽出部２３と、重要画像の色情報及び静止期間に対応した重要度が記録された重要度決定テーブルを有するメモリ２５と、色情報取得部２１及び文字抽出部２３からのデータ及びその静止期間から重要度決定テーブルを参照して重要度を取得し、この重要度に基づき重要画像か否かを判定する重要度判定部２４とから構成されている。
【００３８】
人工画像判定部２２は、輝度又は色相のいずれかのヒストグラムにおいて、ある色が有意に多く存在していると判定できるとき人工画像であると判定する。具体的には、自然界には存在し得ないような人工的な色であって、且つそのような色の画素が意図的に存在することがわかる程度の量含まれていることを示す適当な閾値を設けて判定することができる。また、有意に多く存在した色を背景色とみなす。具体的には、全画素に占める割合が所定の閾値以上である色を背景色と見なすことができる。必要であれば、明度及び彩度のヒストグラムも人工画像の判定に使用することができる。
【００３９】
文字抽出部２３は、人工画像と判定された画像において文字抽出を行う。文字抽出の方法は様々あるが、一つの方法として、例えば、文字部分は背景に比べて輝度差が大きいということを利用して抽出することができる。ここで、本実施の形態においては、文字抽出を行うものとしているが、文字情報だけでなく、上述の図２（ｃ）に示すように、例えば、天気予報の晴れ、曇り、又は雨等を示すマーク等の図形情報も、輝度差又はマッチング等を利用して抽出するようにしてもよい。
【００４０】
重要度判定部２４は、色情報取得部２１で得た背景色と、文字抽出部２３で抽出した文字情報の文字色と、静止フレーム数とから、メモリ２５に記憶されている重要度決定テーブルを参照して重要度を推定し、重要度が高いと判定された場合に重要画像であるとして判定する。例えば、色情報取得部２１において取得された各種の色情報のヒストグラムを使用し、文字情報の文字色は、全体に占める割合がそれほど多くなく、且つ彩度、明度等が高いものを文字色とすること等ができる。
【００４１】
図７は、重要度決定テーブルを示す模式図である。図７に示すように、重要度決定テーブルは、所定の輝度、彩度、又は色相値を有する文字色及び背景色と、所定の静止フレーム数に対応して予め重要度の高さレベルが設定されているものである。
【００４２】
重要度判定部２４は、この重要度決定テーブルを参照し、例えば、輝度２３０以上、彩度３２以下の白の文字色であり、色相１８７．５以上、２６２．５以下の青の背景色であって、静止フレーム数が９０以上である場合、最も重要であるとする重要度１に分類する。また、輝度２３０以上、彩度３２以下の白の文字色であり、色相１１２．５以上、１８７．５以下の緑の背景色であって、静止フレーム数が９０以上である場合、重要度１の次に重要であるとする重要度２に分類する。このように、視認性・誘目性が高くなる配色、又は重要画像として抽出したい画像が有する配色等により、予め重要度決定テーブルを作成しておくことができる。
【００４３】
図８は、重要画像判定部２０の重要画像判定方法を示すフローチャートである。図８に示すように、先ず、色情報取得部２１において、静止画像抽出部１０から入力された画像を読み込み（ステップＳ１１）、輝度及び色相のヒストグラムを計算する（ステップＳ１２）。次に輝度又は色相のいずれかのヒストグラムにおいて、適当な閾値を設けて、ある色が有意に多いか否かを判定する（ステップＳ１３）。ここで、有意に多い色が存在しない場合は、処理を終了する。ステップＳ１３において、有意に多い色が存在すると判定された場合は、その色を背景色とし、次に、例えば背景色に比して輝度差が大きい部分等を文字候補として抽出する（ステップＳ１４）。
【００４４】
次に、文字抽出で抽出した文字候補の色、背景色の色、及び静止フレーム数から重要度決定テーブルを参照して、この画像の重要度を推定し（ステップＳ１５）、重要度が一定値以上でるか否かを判定し（ステップＳ１６）、重要度が一定値以上である場合は、その画像を重要画像と判定して出力する（ステップＳ１７）。
【００４５】
なお、本実施の形態においては、発明の技術思想を単純化して説明したものであって、実際の適用に当たっては、例えば、文字抽出部２３において、背景色に比して所定の閾値以上の輝度差を有する画素が所定の閾値以上含まれるものを文字候補として抽出した場合、画像によっては、複数種類の文字色が抽出され、図７のような重要度決定テーブルを参照すると、これら複数種の文字色に対応して複数の重要度が得られるが、このような場合、例えば、得られた複数の重要度のうち、もっとも重要であるもの（重要度の値が小さいもの）をその画像の重要度とするか、又は、文字色及び背景色の複数の組み合わせに対して１つの重要度が得られるような重要度決定テーブルを用意する等すればよい。
【００４６】
本実施の形態においては、映像に含まれる重要画像を、静止画像で且つ人工画像であって、文字情報を含む画像のうち、背景色及び文字色の組み合わせに特徴があって、且つ静止期間が長い画像を重要画像と推定して抽出することができる。この際、背景色及び文字色の組み合わせ、並びに静止期間に対して予め設定された重要度を有する重要度決定テーブルを参照して、重要画像であるか否かを判定してから抽出するため、重要でない画像を検出することがなく、また、使用者の目的に応じて重要度決定テーブルを書き換えることもできる。
【００４７】
次に、本発明の第２の実施の形態について説明する。本実施の形態の第１の実施の形態と異なる点は、記録装置が設けられている点である。図９は、第２の実施の形態に係る重要画像抽出システムを示すブロック図である。なお、図９において、図３に示す第１の実施の形態と同一の構成要素には同一の符号を付してその詳細な説明は省略する。図９に示すように、本実施の形態に係る画像抽出システム４０は、上述した図３に示す第１の実施の形態と同様に構成された静止画像抽出部１０及び重要度画像判定部２０からなる重要画像抽出装置に、抽出された重要画像を表示する表示装置４１と、抽出された重要画像を記録する記録装置４２とが接続されている。
【００４８】
本実施の形態においては、重要画像抽出装置に記録装置４２が接続されているため、重要画像抽出装置により、入力画像であるＴＶ映像から重要画像を抽出し、抽出した画像を記録装置４２に保存することができる。これによって視聴者は重要情報だけを効率よく記録装置に保存することができる。また、ここでは、重要な情報を含む画像を重要画像として抽出するものとしたが、重要画像に含まれる重要情報である文字情報の領域等の特定の領域のみを切り出して表示装置４１に表示してもよい。この場合も、文字情報の領域のみの画像データを記憶装置４２に記憶することができる。
【００４９】
また、入力画像を記憶装置４２に供給し、重要画像抽出装置の重要画像判定部２０において、重要画像と判定された場合に、入力画像を記録するよう指示する信号を記録装置４２に送ることにより、入力画像から重要画像のみを記憶するようにしてもよい。
【００５０】
次に、本発明の第３の実施の形態について説明する。本発明は、文字、数字又は何らかの情報を示すマーク等の重要な情報を示す部分と、背景部分との色の配色から重要だと推定される重要画像を抽出するものである。上述の第１の実施の形態では、静止画像を検出した後、人工画像を抽出し、その背景色及び文字色から重要度を判定するものであったのに対し、本実施の形態では、先ず、文字情報（以下、テロップという。）を抽出し、その後、背景色及び抽出された文字情報の文字色を検出し、両者の配色から重要画像であるか否かを推定するものである。
【００５１】
即ち、本実施の形態における重要画像検出装置は、連続するフレーム単位の画像からなる映像から文字情報を抽出する文字情報抽出部と、文字情報が抽出されたフレーム画像の色情報を取得する色情報取得部と、この色情報に基づき、文字情報が抽出されたフレーム画像が人工画像であるか否かを判定する人工画像判定部と、人工画像であると判定された画像の文字色と背景色との組み合わせから重要画像であるか否かを判定する重要画像判定部とから構成される。
【００５２】
先ず、文字情報抽出部について説明する。ＴＶ放送等において、テロップは、制作者が重要だと判断した内容であって、視聴者に強く伝えたい情報であるといえる。そのため、テロップは、画面上の他の部分と区別しやすいよう工夫されており、以下に示す特徴を有すると考えられる。テロップが有する特徴とは、
１．テロップを構成する画素は高輝度である
２．文字の縁はエッジが急峻であるため、エッジ密度が高い
３．特徴的な出現形態をとる
４．出現した後、一定時間の安定状態を有する
５．特徴的な消失形態をとる
６．自然界に無い色が使用されている
７．情報の内容と出現場所とに関係がある
等である。このようなテロップの特徴を利用してテロップを検出することができる。
【００５３】
図１０は、本発明の第３の実施の形態に係る重要画像検出装置の文字情報検出部におけるデータの流れを説明する説明図である。図１０に示すように、本実施の形態の文字情報検出部は、入力画像データが供給されるフレーム画像判定部（判定手段）１１０と、フレーム画像判定部１１０からのデータが供給され、画面上に予め設定されたテロップ出現領域において、このテロップ出現領域にテロップが出現するか否かを検出するテロップ出現検出部１２０と、フレーム画像判定部１１０又はテロップ出現検出部１２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部１３０と、エッジ密度検出部１３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部１４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部１５０と、推定部１５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部１６０と、テロップ類似度検出部１６０から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部１７０とから構成されている。
【００５４】
テロップ出現検出部１２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部１２１とテロップ出現領域の輝度変化を検出する局所変化検出部１２２とを有する。
【００５５】
また、推定部１５０は、エッジ密度検出部１３０から供給されるデータと記憶部１４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部１５１と、既検出テロップ候補が記憶部１４０に保持される期間を検出する継続カウンタ１５２と、継続カウンタ１５２及び類似度検出部１５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部１５３から構成されている。
【００５６】
以下、本実施の形態における文字情報検出部ついて更に詳細に説明する。文字情報検出装置には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現検出部１２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部１３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（stateflg）に１が設定される。このフラグ（stateflg）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点、具体的には、後述するが、エッジ密度検出部１３０においてテロップ出現領域のエッジ密度が所定の閾値未満であることが検出された時点、テロップ類似度検出部１６０で同様の既に提示済みのテロップが検出された時点、及び提示画像生成部１７０からテロップと確定されて出力された時点でフラグに０が設定されるものである。
【００５７】
フレーム画像判定部１１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（stateflg）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。上述した如く、テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現検出部１２０における処理は不要であるため、フラグ（stateflg）が１である間は、フレーム画像をエッジ密度検出部１３０に供給する。
【００５８】
テロップ出現検出部２０は、フラグ（stateflg）が０である間、判定部１１０からフレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップ出現領域におけるテロップの出現を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、その輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００５９】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまう。これを防止するため、候補フレーム画像検出部１２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部１２２に供給する。
【００６０】
そして、局所変化検出部１２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（stateflg）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部１３０に供給する。
【００６１】
次に、候補フレーム画像検出部１２１及び局所変化検出部１２２について具体的に説明する。候補フレーム画像検出部１２１は、例えば図１１のように構成された輝度ヒストグラム生成部１８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部１８０は、フレーム画像判定部１１０からのフレーム画像のデータ（以下、フレームデータという。）が供給されるブロック分割部１８１及び遅延回路１８３、遅延回路１８３により所定時間遅延されたフレームデータが供給されるブロック分割部１８４、並びに、ブロック分割部１８１及び１８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部１８２及び１８５から構成されている。
【００６２】
このように構成された輝度ヒストグラム生成部１８０に対して、候補フレーム画像検出部１２１が、フレーム画像判定部１１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部１８０は、ブロック分割部１８１により、供給されたｉフレームの画像データ（情報列）の空間が規定サイズとなるブロックに分割し、このブロック単位のデータをヒストグラム計算部１８２に送る。
【００６３】
また、このｉフレームの画像データは、同時に遅延回路１８３にも供給され、遅延回路１８３により、例えば２フレーム分遅延された画像データがブロック分割部１２４に供給される。
【００６４】
ブロック分割部１８４は、ブロック分割部１８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロックに分割し、このブロック単位のデータをヒストグラム計算部１８５に送る。
【００６５】
ヒストグラム計算部１８２，１８５は、全画面において、ブロック単位で輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部１２１に送る。
【００６６】
そして、候補フレーム画像検出部１２１は、ヒストグラム計算部１８２，１８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Th_coef１）と比較し、相関係数が所定の閾値（Th_coef１）以下であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【００６７】
【数１】
そして、この変化ブロックの割合が所定の閾値（Th_diff１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Th_diff１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【００６９】
また、局所変化検出部１２２も、候補フレーム画像検出部１２１と同様に、候補フレーム画像検出部１２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部１２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Th_coef１）以下である変化ブロックの割合が所定の閾値（Th_diff２）以上であるｉフレームを検出する。ここで変化ブロックの割合が所定の閾値（Th_diff２）以上であった場合は、上述した如くフラグ（stateflg）に１を立てると共にこのデータをエッジ密度検出部１３０に供給する。一方、変化ブロックの割合が閾値（Th_diff２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【００７０】
このように、テロップ出現検出部１２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【００７１】
なお、本実施の形態においては、輝度ヒストグラム生成部１８０を用意し、候補フレーム画像検出部１２１の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部１２１及び局所変化検出部１２２において、図１１に示すようなブロック分割部１８１，１８４及びヒストグラム計算部１８２，１８５等を個別に有するものとしてもよい。また、遅延回路１８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【００７２】
図１０に戻って、エッジ密度検出部１３０は、フラグ（stateflg）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部１３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【００７３】
エッジ密度検出部１３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、上述したように、テロップであれば、エッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Th_den）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Th_den）未満であるときは、フラグ（stateflg）を０とする。これにより、以降のフレーム画像は、フラグ（stateflg）に１が設定されるまでの間、テロップ出現検出部１２０に供給されるようになる。
【００７４】
記憶部１４０には、エッジ密度検出部１３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部１５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部１３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部１３０によりテロップ候補が検出されなかった場合、エッジ密度検出部１３０は、記憶部１４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ１５２のカウント値をリセットし、フラグ（stateflg）を０とし、次のフレームの処理へ移る。
【００７５】
推定部１５０は、記憶部１４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【００７６】
継続カウンタ１５２は、テロップが安定して出現したフレーム数（静止期間）をカウントするものである。例えば、エッジ密度検出部１３０及び後述する類似度検出部１５１等において、記憶部１４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ１５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ１５２により、記憶部１４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部１５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【００７７】
類似度検出部１５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部１３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部１２１及び局所変化検出部１２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Th_coef２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部１４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部１４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【００７８】
ここで、記憶部１４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ１５２のカウント値をリセットする。一方、記憶部１４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ１５２のカウント値をインクリメントする。
【００７９】
また、相関係数が所定の閾値（Th_coef２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部１４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータに置き換えると共に、継続カウンタ１５２のカウント値をリセットする。
【００８０】
このように、類似度検出部１５１は、テロップ候補と、記憶部１４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部１４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【００８１】
安定度判定部１５３は、既検出テロップ候補が記憶部１４０に保持される期間を検出する期間検出手段として、継続カウンタ１５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部１４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部１６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部１６０に送られたものと判定し、記憶部１４０の既検出テロップ候補及び継続カウンタ１５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部１６０に送られる。
【００８２】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部１６０に送出した後は、記憶部１４０に記憶されている既検出テロップ候補、及び継続カウンタ１５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部１６０には送出されず、同一のテロップを出力することを防止することができる。
【００８３】
テロップ類似度検出部１６０は、安定度判定部１５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部１７０に保持されているテロップ等の既検出テロップと、安定度判定部１５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部１７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部１６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【００８４】
提示画像生成部１７０は、類似度判定部１６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に表示する提示手段である。提示画像生成部１７０は、所定数のテロップを保持して表示し続けるため、テロップの出現領域が例えば水平方向の帯状の領域に設定されている場合、この帯状の領域を切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して出力する。
【００８５】
このように、文字情報検出部は、先ず、テロップ出現検出部１２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部１３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ候補を検出し、推定部１５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部１６０を設け、これにより同一のテロップが何度も検出されないようにして、テロップを有するフレーム画像を出力することができる。
【００８６】
次に、この文字情報抽出部によりテロップが検出されたフレーム画像の重要度を判定し、重要な情報が含まれると推定される重要画像を検出する。重要度の判定は、図６に示す重要画像度判定部２０と同様に、テロップ検出部の後段に、色情報取得部、人工画像判定部、及び重要度度判定部を設け、テロップが検出されたフレーム画像の色情報を取得し、取得した色情報から、人工画像判定部にて人工画像であるか否かを判定する。そして、人工画像であると判定されたテロップを有するフレーム画像の背景色及び文字色を検出し、重要度判定部にて、図７に示すような重要度決定テーブルを参照して、重要度を求め、重要度が所定の閾値以上であるテロップを有するフレーム画像を出力する。図７に示す重要度決定テーブルは、静止フレーム数も重要度判定に使用するものであるが、本実施の形態においては、図１０の継続カウンタ５２のカウント値を使用するか、又は、同様に静止画像検出部を設けて静止フレーム数をカウントする等すればよい。
【００８７】
本実施の形態においては、映像に含まれる重要画像を、テロップを有する人工画像であって、そのテロップの色と背景色との組み合わせに特徴があるものとし、背景色及び文字色の組み合わせに対して予め設定された重要度を有する重要度決定テーブルを参照して重要度を求め、この重要度から重要であると判定されたもののみ、重要画像として抽出するため、第１の実施の形態と同様に、重要でない画像を検出することがなく、また、使用者の目的に応じて重要度決定テーブルを書き換えることができる。
【００８８】
【発明の効果】
以上詳細に説明したように、本発明に係る重要画像抽出装置は、映像に含まれる重要画像を検出する重要画像検出装置において、入力画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色及び文字色から重要画像であるか否かを判定する判定手段とを有するので、人工画像で文字情報を含むものの中に重要な情報を含む画像が多く含まれていることから、映像から人工画像を抽出し、この人工画像の文字色及び背景色から重要な情報が含まれているか否かを判定して画像を抽出するため、重要な画像を確実に抽出することができる。
【００８９】
また、本発明に係る重要画像検出システムによれば、映像に含まれる重要画像を検出する重要画像検出システムにおいて、１以上の表示装置と、入力画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色及び文字色から重要画像であるか否かを判定する判定手段と、上記表示装置に接続され、上記判定手段により重要画像であると判定された画像のみを表示するよう制御する表示制御手段とを具備する重要画像抽出装置とを有するので、抽出した重要画像を表示装置により表示するため、視聴者が重要画像に含まれる重要な情報を見落とすことを防止する。
【図面の簡単な説明】
【図１】文字情報の表示例を示す図であって、（ａ）は、背景が白に文字情報が黒である場合、（ｂ）は、背景が青で文字情報が黄の場合を示す模式図である。
【図２】視聴者の目をひく配色がなされた画像の例を示す模式図である。
【図３】本発明の第１の実施の形態に係る画像抽出装置を使用した画像抽出システムを示すブロック図である。
【図４】本発明の第１の実施の形態に係る画像抽出装置の静止画像抽出部を示すブロック図である。
【図５】本発明の第１の実施の形態に係る画像抽出装置の静止画像抽出部における静止画像抽出方法を示すフローチャートである。
【図６】本発明の第１の実施の形態に係る画像抽出装置の重要画像判定部を示すブロック図である。
【図７】本発明の第１の実施の形態に係る画像抽出装置の重要画像判定部にて参照される重要度決定テーブルを示す模式図である。
【図８】本発明の第１の実施の形態に係る画像抽出装置の重要画像判定部における重要画像判定方法を示すフローチャートである。
【図９】本発明の第２の実施の形態に係る重要画像抽出システムを示すブロック図である。
【図１０】本発明の第３の実施の形態に係る重要画像検出装置の文字情報検出部におけるデータの流れを説明する説明図である。
【図１１】輝度ヒストグラム生成部におけるデータの流れを説明する説明図である。
【符号の説明】
１０ 静止画像抽出部、２０ 重要画像判定部、３１，３２、４１ 表示装置、３０ 画像抽出システム、１１ 遅延バッファ、１２ 静止検出部、１３ 静止画像判定部、 ２１ 色情報取得部、２２ 人工画像判定部、２３ 文字抽出部、２４ 重要度判定部、２５ メモリ、４２ 記録装置
Claims (10)
- 映像に含まれる重要画像を検出する重要画像検出装置において、
入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出手段と、
上記静止画像抽出手段により抽出した静止画部分を含む画像から色情報を取得する色情報取得手段と、
この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、
人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、
上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定手段とを有する
重要画像検出装置。 - 上記静止画像抽出手段は、時間的に連続するフレーム画像間の差分値が所定の閾値以下であるフレーム数をカウントし、該カウント値が所定の閾値以上であるとき、入力画像を静止画を含む画像であると判定する
請求項１記載の重要画像検出装置。 - 画像の背景色と文字色との組み合わせによって予め決定された重要度を記録した重要度テーブルを有し、
上記判定手段は、上記重要度テーブルを参照して得られた重要度に基づいて重要画像か否かを判定する
請求項１記載の重要画像検出装置。 - 表示手段に接続され、上記判定手段により重要画像であると判定された画像のみを表示するよう制御する表示制御手段を有する
請求項１記載の重要画像検出装置。 - 上記色情報取得手段は、画像の輝度、明度、彩度、及び色相を示す色情報の少なくとも１つのヒストグラムを計算する
請求項１記載の重要画像検出装置。 - 映像に含まれる重要画像を検出する重要画像検出方法において、
コンピュータに、
入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出工程と、
上記静止画像抽出工程で抽出した静止画部分を含む入力画像から色情報を取得する色情報取得工程と、
この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定工程と、
人工画像であると判定された画像の文字情報を抽出する文字情報抽出工程と、
上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定工程とを実行させる
重要画像検出方法。 - 映像に含まれる重要画像を検出する動作をコンピュータに実行させるためのプログラムにおいて、
入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出工程と、
上記静止画像抽出工程で抽出した静止画部分を含む入力画像から色情報を取得する色情報取得工程と、
この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定工程と、
人工画像であると判定された画像の文字情報を抽出する文字情報抽出工程と、
上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定工程とを有する
プログラム。 - 映像に含まれる重要画像を検出する動作をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出工程と、
上記静止画像抽出工程で抽出した静止画部分を含む入力画像から色情報を取得する色情報取得工程と、
この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定工程と、
人工画像であると判定された画像の文字情報を抽出する文字情報抽出工程と、
上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定工程とを有する
プログラムが記録された記録媒体。 - 映像に含まれる重要画像を検出する重要画像検出システムにおいて、
１以上の表示装置と、
入力映像から所定の期間以上の静止期間を有する静止画部分を含む画像を抽出する静止画像抽出手段と、上記静止画像抽出手段により抽出した静止画部分を含む画像から色情報を取得する色情報取得手段と、この色情報に基づき上記入力画像が人工画像であるか否かを判定する人工画像判定手段と、人工画像であると判定された画像の文字情報を抽出する文字情報抽出手段と、上記文字情報が抽出された画像の背景色と文字色との組み合わせ、並びに静止期間から重要度を判定し、重要画像であるか否かを判定する判定手段と、上記表示装置に接続され、上記判定手段により重要画像であると判定された画像のみを表示するよう制御する表示制御手段とを具備する重要画像抽出装置と
を有する重要画像検出システム。 - 上記重要画像抽出装置により抽出された重要画像を記録する記録装置を有する請求項９記載の重要画像検出システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002225148A JP4244584B2 (ja) | 2002-08-01 | 2002-08-01 | 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002225148A JP4244584B2 (ja) | 2002-08-01 | 2002-08-01 | 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004070427A JP2004070427A (ja) | 2004-03-04 |
| JP2004070427A5 JP2004070427A5 (ja) | 2005-10-27 |
| JP4244584B2 true JP4244584B2 (ja) | 2009-03-25 |
Family
ID=32012901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002225148A Expired - Fee Related JP4244584B2 (ja) | 2002-08-01 | 2002-08-01 | 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4244584B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4369308B2 (ja) * | 2004-06-10 | 2009-11-18 | 日本電信電話株式会社 | 代表画像選択装置，代表画像選択方法および代表画像選択プログラム |
| JP4753414B2 (ja) * | 2005-03-29 | 2011-08-24 | ホーチキ株式会社 | 告知放送システム |
| JP4657049B2 (ja) * | 2005-07-28 | 2011-03-23 | パナソニック株式会社 | 超音波診断装置 |
| US8094202B2 (en) | 2007-05-17 | 2012-01-10 | Canon Kabushiki Kaisha | Moving image capture apparatus and moving image capture method |
| JP5020705B2 (ja) * | 2007-05-17 | 2012-09-05 | キヤノン株式会社 | 動画撮像装置及び動画撮像方法 |
| US8619150B2 (en) * | 2010-05-25 | 2013-12-31 | Intellectual Ventures Fund 83 Llc | Ranking key video frames using camera fixation |
| JP2012231291A (ja) * | 2011-04-26 | 2012-11-22 | Toshiba Corp | 動画編集装置、動画編集方法およびプログラム |
| JP5996251B2 (ja) * | 2012-04-25 | 2016-09-21 | ホーチキ株式会社 | 告知放送受信機及び告知放送送信機 |
| CN104424649B (zh) * | 2013-08-21 | 2017-09-26 | 株式会社理光 | 检测运动物体的方法和系统 |
| JP6179549B2 (ja) * | 2015-04-22 | 2017-08-16 | カシオ計算機株式会社 | 画像出力装置及びプログラム |
| CN105760884B (zh) * | 2016-02-22 | 2019-09-10 | 北京小米移动软件有限公司 | 图片类型的识别方法及装置 |
| CN107665490A (zh) * | 2017-09-22 | 2018-02-06 | 柳州博泽科技有限公司 | 一种防锈且基于计算机的轮胎印字检测装置 |
-
2002
- 2002-08-01 JP JP2002225148A patent/JP4244584B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004070427A (ja) | 2004-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8379154B2 (en) | Key-frame extraction from video | |
| US6392710B1 (en) | Graphical user interface for field-based definition of special effects in a video editing system | |
| US9538049B2 (en) | Scheme for determining the locations and timing of advertisements and other insertions in media | |
| JP4244584B2 (ja) | 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム | |
| US6711590B1 (en) | Linking metadata with a time-sequential digital signal | |
| KR101318459B1 (ko) | 수신기 상에서 오디오비주얼 문서를 시청하는 방법 및이러한 문서를 시청하기 위한 수신기 | |
| US8421819B2 (en) | Pillarboxing correction | |
| US6340992B1 (en) | Automatic detection of letterbox and subtitles in video | |
| US20070230781A1 (en) | Moving image division apparatus, caption extraction apparatus, method and program | |
| US20070291134A1 (en) | Image editing method and apparatus | |
| JP2003256836A (ja) | 知的特徴選択およびパンズーム制御 | |
| JP2004364234A (ja) | 放送番組内容メニュー作成装置及び方法 | |
| JPH08212231A (ja) | 字幕検出方法および動画像の代表画像抽出装置 | |
| CN104735521A (zh) | 一种滚动字幕检测方法及装置 | |
| CN110830788A (zh) | 一种检测黑屏图像的方法及装置 | |
| JP2004080156A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム | |
| CN110740378A (zh) | 一种视频中广告识别方法、系统、装置和存储介质 | |
| CN110782392A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP4158449B2 (ja) | 画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システム | |
| KR101436908B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| CN102831611B (zh) | 一种电视节目中挂角广告的提取方法及装置 | |
| JP2004064431A (ja) | 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体 | |
| CN113160083A (zh) | 媒资视频封面图优化方法、装置、设备和存储介质 | |
| JP2020141273A (ja) | コマーシャル検出装置 | |
| JPH07111630A (ja) | 動画像編集装置及びカット統合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050712 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081229 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |