JP4158449B2 - 画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システム - Google Patents
画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システム Download PDFInfo
- Publication number
- JP4158449B2 JP4158449B2 JP2002230379A JP2002230379A JP4158449B2 JP 4158449 B2 JP4158449 B2 JP 4158449B2 JP 2002230379 A JP2002230379 A JP 2002230379A JP 2002230379 A JP2002230379 A JP 2002230379A JP 4158449 B2 JP4158449 B2 JP 4158449B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- candidate
- hierarchy
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばテレビジョン放映された映像から、所定の画像の少なくとも一部を抽出して表示する画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システムに関し、特に、番組等の見出しとなるような文字情報を含む所定の画像を表示する画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システムに関する。
【０００２】
【従来の技術】
通常、ＴＶ番組には、番組のタイトル、番組を構成する各コーナのタイトル、及び番組又は各コーナに含まれる所定のシーンに対するキャプション等のように、その後に続く夫々番組、コーナ及びシーンの内容を表す文字情報を含む映像が含まれている。本明細書においては、このような文字情報を見出しという。
【０００３】
図２１（ａ）乃至（ｄ）は、見出しとなる文字情報を含む画像の例を示す模式図である。例えば、図２１（ａ）に示す見出し画像は、番組名（番組タイトル）が画面の中央位置に表示されている例である。また、図２１（ｂ）に示す見出し画像は、ボクシングの試合を放映する番組内において、４ラウンド目が始まることを示す「ＲＯＵＮＤ４」というテロップが画面中央位置に表示されている例である。
【０００４】
更に、図２１（ｃ）は、例えば司会者が、ゲストに対して視聴者から寄せられた質問を行い、これにゲストが回答していくようなトークショウを放映するような番組等において、例えば、視聴者からゲストに対してよせられた「好きな言葉は何ですか」という質問が表示されている例であり、トーク番組においてはこのような質問毎に番組が区切られている場合がある。更にまた、図２１（ｄ）は、テロップリストを示す例であり、例えばニュース番組等において、最初に番組内で取り扱うニュースの要約をテロップとしてリスト表示される場合がある。
【０００５】
ところで、このような見出し情報が、例えは番組タイトルを示す場合は、その番組放映期間内、また、番組を構成するあるコーナタイトルを示す場合は、そのコーナの放映期間内に得られれば、視聴者は今どの番組でどのコーナが放送されているか等を知ることができ便利である。
【０００６】
図２２に示すように、番組Ａ、番組Ｂが順に放映される場合、通常、番組Ａが始まる時点Ｔａで番組Ａのタイトルが表示され、その後、番組Ａに設けられたコーナＡ１が始まる時点ＴｂでコーナＡ１のコーナタイトルが表示される。同様に、番組Ｂ、番組Ｂに設けられたコーナＢ１、Ｂ２が始まる時点Ｔｃ、Ｔｄ、Ｔｅにおいて、夫々番組Ｂの番組タイトル、コーナＢ１のコーナタイトル、コーナＢ２のコーナタイトルが表示されるものとする。このとき、この番組Ａの番組タイトルの有効期間、即ち、番組Ａの放映時間は、時刻Ｔａ〜Ｔｃであり、コーナＡ１の有効期間、即ち、コーナＡ１の放映時間は、Ｔｂ〜Ｔｃである。
【０００７】
例えば、時刻Ｔの時点で、視聴者が視聴を開始した場合等、視聴者は、番組タイトル、コーナタイトル等を表示した見出し画像が表示されていないため、現在の番組及びコーナが不明である。そこで、この時刻Ｔにおいて、番組Ｂの番組タイトル及びコーナＢ１のコーナタイトルが表示されていれば、視聴者は、直ちに番組の内容を理解することができ極めて便利である。
【０００８】
【発明が解決しようとする課題】
しかしながら、見出しとなる文字情報を含む映像は、ごく短い時間だけ放送されるものであり、従って、視聴者は、番組の任意の時点でこの見出しを含む映像を得ることはできない。従って、たとえ見出しとなる画像を抽出して表示したとしても、その画像が現在見ている時点でも有効かどうか、即ち、ある番組タイトルの見出しを表示していたとしても、その番組が現在放映中であるかどうかを判定することは難しい。
【０００９】
例えば、現在見ている映像に対して有効でない見出しを表示してしまうことがある。即ち、図２３に示すように、番組Ｂに含まれるコーナＢ１が時刻Ｔｄ〜Ｔｅに放映され、コーナＢ２が時刻Ｔｅ〜に放映されるものであるとき、時刻Ｔ＞Ｔｅにおいて、即ち、コーナＢ２の放映が開始されているのにも拘わらず、コーナＢ１のタイトルを示す見出しを含む画像を表示しても、コーナＢ１は既に終了しているため、視聴者にとって意味がないものとなってしまう。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＴＶ映像の中から見出しとなるような文字情報を含む画像を抽出し、抽出した画像の中で現時点において有効である画像のみを抽出して表示することができる画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像表示装置は、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示装置において、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定手段と、１以上の表示手段に接続され、上記表示画像判定手段により表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示するよう制御する表示制御手段とを有する。
【００１２】
本発明においては、映像から表示候補画像を抽出し、更にその特徴を抽出し、階層テーブルを参照して各階層の特徴と、表示候補画像の特徴の類似度から表示候補画像の階層を決定し、この階層に基づき表示候補画像を表示するか否かを判定するため、例えば常に階層が高い画像を表示することができ、見出しを含む画像の有効期間に対応するように階層のレベルを設定しておけば、階層レベルから画像の有効期間を推定して常に有効な見出しを含む画像を表示することが可能となる。
【００１３】
また、上記分類手段は、上記表示候補画像の特徴と、上記階層テーブルの各階層の特徴との類似度を比較し、該類似度が所定の閾値以上となる階層のうち最も類似度が大きい階層に上記表示候補画像を分類することができ、所定の類似度に達しない表示候補画像はいずれの階層にも分類しないことにより、誤検出を低減する。
【００１４】
更に、上記表示画像判定手段により表示すると判定された表示用画像又は該表示用画像から切り出した文字領域を上記階層毎に記憶する画像記憶手段を有することができる。
【００１５】
更にまた、上記表示画像判定手段は、上記表示候補画像の階層のレベルが、上記画像記憶手段に記憶されている過去に抽出された表示用画像の階層のレベル以上である場合、該表示候補画像を表示すると判定することができる。
【００１６】
また、上記表示画像判定手段により表示すると判定された表示用画像の階層レベルが、上記画像記憶手段に記憶されている過去に抽出された表示用画像の階層レベルと同一である場合、過去に抽出された表示用画像を新たに判定された表示用画像に書き換える更新手段を有することができ、常に階層レベルが高いものを記憶することができる。
【００１７】
更に、上記更新手段は、上記新たに判定された表示用画像の階層のレベルが、上記過去に抽出された表示用画像の階層のレベル以上である場合、上記過去に抽出された表示用画像を消去することができる。
【００１８】
更にまた、上記特徴抽出手段は、上記表示候補画像に含まれる文字の特徴を抽出する文字特徴抽出手段、上記表示候補画像が人工画像であるか否かを検出する人工画像検出手段、上記表示候補画像の中央位置に人物が存在するか否かを検出するバストショット検出手段、上記表示候補画像にアニメーションがあるか否かを検出するアニメーション検出手段、及び上記表示候補画像の入力時刻を検出する時刻検出手段のうち少なくとも１つを有することができる。
【００２０】
本発明に係る画像表示方法は、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示方法において、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出工程と、上記表示候補画像の特徴を抽出する特徴抽出工程と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルを使用し、該階層テーブルに記憶された各階層の特徴と上記特徴抽出工程にて抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類工程と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定工程と、上記表示画像判定工程にて表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を１以上の表示手段にて表示するよう制御する表示制御工程とを有する。
【００２１】
本発明に係るプログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体は、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する動作をコンピュータに実行させるためのプログラム及びこれが記録された記録媒体において、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出工程と、上記表示候補画像の特徴を抽出する特徴抽出工程と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルを使用し、該階層テーブルに記憶された各階層の特徴と上記特徴抽出工程にて抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類工程と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定工程と、上記表示画像判定工程にて表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を１以上の表示手段にて表示するよう制御する表示制御工程とを有する。
【００２２】
本発明に係る画像表示システムは、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示システムにおいて、１以上の表示装置と、上記表示装置に上記所定の画像の少なくとも一部を供給する画像表示装置とを有し、上記画像表示装置は、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定手段と、１以上の表示手段に接続され、上記表示画像判定手段により表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示するよう制御する表示制御手段とを具備する。
【００２３】
本発明においては、複数台の表示装置を使用すれば、例えば１つの表示装置に映像をそのまま表示し、この映像と同時に、他の表示装置に映像から抽出されその階層が分類された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。本実施の形態に係る画像表示装置は、テレビジョン放映された映像から文字情報を含む表示候補画像を抽出し、特徴検出手段により検出された表示候補画像の特徴に基づいてこの表示候補画像を複数の階層のうちいずれかの階層に分類することにより、分類された階層のレベルから、現時点において、画像に含まれる見出しが有効であるか否かを推定することができる。以下、階層のレベルから、見出しが有効である否かを推定することができる本実施の形態における動作原理について簡単に説明する。以下、見出しを含む画像を見出し画像という。
【００２５】
上述したように、テレビジョン放映された映像等には、図２１に示すような番組又は番組を構成する各コーナの区切りとなるような文字情報である見出しが含まれる。そこで、本実施の形態に係る画像表示装置は、最初にＴＶ映像からこのような見出しとなり得る文字情報を含む画像を表示候補画像として抽出し、この候補画像の階層レベルを求めることにより、見出しの有効期間を推定する。見出しの有効期間を推定することができれば、候補となっている画像に含まれる見出しが現在の映像においても有効であるか、又は上記見出しは既に放映済みの番組又はコーナに関するもので、現在の映像においては無効であるかを推定することができる。そして、現在有効である見出し画像のみを、この見出しの有効期間内に表示することができる。
【００２６】
ここで、有効期間とは、上述の図２２に示したように、例えば、番組タイトルであれば、その番組が放映されている期間であり、コーナタイトルであれば、そのコーナが放映されている期間である。
【００２７】
有効期間内の見出しを含む画像を画面に表示するために、本実施の形態においては、番組、コーナ、シーン等の構成に基づいて、即ち見出しの有効期間に基づいて見出し画像の階層を設定する。
【００２８】
即ち、ＴＶ映像から、例えば番組タイトル又は番組を構成するコーナタイトルを示す文字情報である見出しを有する見出し画像を抽出し、画像の特徴から見出しの階層がどの階層にあるかを推定することにより、抽出した画像群から、その見出しの有効期間の長さを推定し、現在の時点で有効期間内であると推定される画像のみを表示することができる。
【００２９】
次に、本実施の形態において、見出し画像に設定される階層について詳細に説明する。図１（ａ）及び（ｂ）は、本実施の形態の夫々階層の順位（レベル）及び見出しの有効期間を説明する図である。テレビジョン放映される映像は、一般に、複数の番組から構成され、各番組は複数のコーナから構成されている場合が多い。そして、図１（ｂ）に示すように、番組Ａは、コーナＡ１１，Ａ１２を有し、コーナＡ１１はシーンＡ２を有しているとき、番組Ａ、コーナＡ１１，Ａ１２、シーンＡ２の見出しは、上述したようにその有効期間が存在する。そして、例えば、番組Ａの有効期間Ｔ１、コーナＡ１１の有効期間Ｔ２、シーンＡ２の有効期間Ｔ３には、Ｔ１＞Ｔ２＞Ｔ３の関係がある。このような番組の構成に基づいて、図１（ａ）に示すように、見出しの階層のレベルを設定するものとする。
【００３０】
テレビジョン放映された映像は、番組等の上位の階層の有効期間（放映時間）と、各コーナ又はシーン等の下位の階層の放映時間とに包含関係がある、即ち、下位の階層の放映時間は上位の階層の放映時間に含まれるため、階層レベルを求めることにより、常に放映時間中の見出し画像を抽出することができるのである。
【００３１】
例えば、番組の見出しとなる文字情報として番組タイトルが挙げられるが、番組タイトルは、図１（ｂ）に示すように、その番組において最も階層が高いものとし、有効期間Ｔ１が最も長い。一方、番組に包含される各コーナの見出しは、番組タイトルよりも階層が低いものとし、番組タイトルよりも有効期間Ｔ２が短い。更に、各コーナに包含されるシーンは、コーナの階層より更に下の階層に分類され、その見出しは、コーナの有効期間Ｔ２よりも更に有効期間Ｔ３が短い。
【００３２】
階層が同様な見出し画像は、同様な特徴を有することから、番組の構成に基づいて複数の階層を設定することにより、このような見出し画像の階層を求めれば、その包含関係を推定する、即ち、見出しの有効期間を推定することができる。
【００３３】
ここで、階層が高い見出しを含む見出し画像の傾向として次のような特徴がある。
１．文字が中央に位置している
２．文字が大きい
３．背景が人工画像である
４．出現時に派手なアニメーションがある
５．出現時の時刻の分が５の倍数近傍である（特に、００分、５５分、３０分）
６．出現時の時刻の秒が００秒の近傍である
７．キャスターが存在してテロップに装飾がある（図４参照）
８．テロップがリスト表示されている（図５参照）
上述したように、同じ階層を有する見出し画像同士は、似たような特徴を有するという傾向があり、見出し画像の上記８つの特徴を検出すれば、似たような特徴を有する見出し画像毎に、大まかな階層を決定することができる。本実施の形態における画像表示装置は、このようにして画像の特徴から各見出し画像の階層を求めることにより、現時点においてどの見出し画像が有効期間内（有効である）か、又は有効期間を過ぎている（有効でない）かを推定することができる。即ち、新しく抽出された現時点での画像の階層が、過去に抽出された画像の階層と同一又はこれより高ければ、このような過去の見出し画像は現時点において有効でなく、逆に過去に抽出した画像の階層の方が現時点での画像の階層よりも高ければ、このような過去の見出し画像は依然として有効であると推定することができ、このような推定により、現在有効である見出し画像のみを表示することができるものである。
【００３４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＴＶ映像から見出しとなる文字情報を含む画像を候補画像として抽出し、抽出した画像の特徴から有効な見出し画像を抽出して複数の表示装置に供給して表示する画像表示システムに適用したものである。このシステムでは、表示装置の数が多いほど有効である見出しを含む画像を多く表示することができる。
【００３５】
図２は、本発明の実施の形態に係る画像表示システムを示すブロック図である。図２に示すように、本実施の形態における画像表示システム１は、有効な見出し画像を抽出する画像表示装置１０と、入力画像をそのまま表示する例えばテレビジョン受像機等の表示装置７０と、画像表示装置１０により抽出された有効な見出し画像を表示するための複数の表示装置８０１〜８０Ｎとから構成されている。
【００３６】
画像表示装置１０は、入力画像から文字情報を含む画像が表示候補画像として供給されこの候補画像の特徴（特徴量）を抽出する特徴抽出部２０と、階層毎に文字情報を含む画像の特徴が記憶されたレベル判定テーブル（階層テーブル）（図示せず）を有し、このレベル判定テーブルを参照して特徴抽出部２０により抽出された候補画像の特徴及び端子３１を介して入力されるその候補画像の入力時刻（放映開始時刻）とから、候補画像の階層レベルを求めるレベル判定部（分類手段）３０と、過去に抽出された見出し画像（表示用画像）が記録されたメモリ６０と、レベル判定部３０により求められた階層のレベルに基づいてメモリ６０に記録されている見出し画像を更新するか否かを判定する更新判定部４０と、更新判定部４０により更新された画像を複数の表示装置８０１〜８０Ｎのうち所定の表示装置に供給して表示するよう制御する表示装置制御部５０とから構成されている。
【００３７】
ここで、図２においては、表示装置８０１〜８０Ｎに対応する複数の特徴量抽出部２０、レベル判定部３０、更新判定部４０、及びメモリ６０が設けられている例を示すが、全ての表示装置８０１〜８０Ｎに共通に設けるものとしてもよい。
【００３８】
特徴抽出部２０は、入力画像から文字情報を含む画像として抽出された表示候補画像が供給される。このような表示画像候補は、公知の文字情報の検出方法等を使用して行うことができる。また、特徴抽出部２０の前段に、後述する文字情報検出装置（図示せず）設け、これにより文字情報が検出された画像を表示画像候補として特徴抽出部２０に供給することができる。この文字情報検出装置では、文字情報は、それを構成する画素が高輝度である、エッジ密度が高い、特徴的な出現・消失形態をとる、出現した後一定時間の安定状態を有する、自然界に無い色が使用されている、及び文字情報の内容と出現場所とに関係がある等の特徴を有することを利用して文字情報を検出するものである。
【００３９】
そして、特徴抽出部２０は、表示候補画像から上述した特徴、即ち、文字情報（テロップ）の画面における出現位置、文字情報の大きさ、背景が人工画像であるか又は自然画像であるか、出現時に派手なアニメーションがあるか否か、出現時の時刻、キャスターが存在してテロップに装飾があるか否か、及びテロップがリスト表示されているか否か、等の特徴（特徴量）を抽出する。
【００４０】
なお、本実施の形態においては、先ず、入力画像から、文字情報を含む画像を表示候補画像として抽出し、この表示候補画像から特徴を抽出するものとしたが、例えば、全ての入力画像から特徴を抽出してもよい。
【００４１】
レベル判定部３０は、特徴抽出部２０で抽出した候補画像の特徴と、端子３１を介してその候補画像の放映開始時刻が入力される。そして、この特徴と放映開始時刻とからその候補画像の階層を求め、この階層に基づきその階層の高さに応じてレベル値を決定する。文字情報を含む画像の特徴に応じて複数の階層が予め設定されており、レベル判定部３０は、各階層毎の特徴が記録されたレベル判定テーブルを有しており、このレベル判定テーブルを参照して階層毎の特徴と、抽出された候補画像の特徴との類似度から、候補画像がいずれの階層に属するかを分類することができる。
【００４２】
表示装置制御部５０は、各更新判定部４０に対して識別情報（ＩＤ番号）を与える。本実施の形態においては、ＩＤ番号は、１からＮまでの数値を順に付すものとする。
【００４３】
更新判定部４０は、レベル判定部３０から入力された候補画像のレベル値と、表示装置制御部５０により与えられた自身のＩＤ番号とを比較することにより、メモリ６０に保存されている画像を更新するか否かを判定する。更新すると判定された場合にはメモリ６０の画像の更新を行う。
【００４４】
表示装置７０は、入力画像をそのまま表示し、それ以外の各表示装置８０１〜８０Ｎはメモリ６０に保存されている所定の画像の少なくとも一部を表示する。
【００４５】
以下、本実施の形態の画像表示装置について更に詳細に説明する。先ず、特徴抽出部２０について説明する。図３は、特徴抽出部を示すブロック図である。特徴抽出部２０は、図３に示すように、入力画像から文字情報を含む画像として抽出された表示候補画像が供給され、アニメーションを抽出するアニメーション抽出部２１、文字情報及び文字の装飾を抽出する文字抽出部２２、人工画像であるか否かを抽出する人工画像検出部２３、及びアンカーショットが含まれているか否かを検出するアンカーショット検出部（バストショット検出手段）２４と、文字抽出部２２により抽出された文字情報の大きさ、位置等の特徴を抽出する文字特徴抽出部２５、及び人工画像検出部２３により人工画像か否かが検出された後、その背景の特徴を抽出する背景特徴抽出部２６とから構成されている。
【００４６】
アニメーション検出部２１は、派手なアニメーション、動きが大きいアニメーションが出現したか否かを検出するものである。アニメーションの出現は、例えば以下の特徴等を利用して検出することができる。即ち、
１．フレーム間差分が所定の閾値以上で且つ一定時間以上続く
２．フレーム間差分の変動が所定の閾値以上で且つ一定時間以上続く
の条件を満たすとき、アニメーションが出現したものと判定することができる。
【００４７】
文字抽出部２２では、例えば、以下の特徴等を利用して、テロップ等の文字情報を抽出することができる。即ち、
１．現フレーム画像と数フレーム前の画像との輝度の差分が所定の閾値以上の画素の集合がある
２．輝度の平坦部とエッジ部とが存在する
３．エッジの密度が所定の閾値以上である
の条件を満たすとき、これ領域を文字情報を含む領域として抽出することができる。
【００４８】
平坦部及びエッジ部の検出は、例えば、隣接又は近傍の画素間の輝度変化が所定の閾値より小さい場合は平坦部とし、所定の閾値より大きい場合はエッジ部とすることができる。
【００４９】
また、例えば以下の特徴等を利用して文字情報の装飾を抽出することができる。即ち、
１．現フレーム画像と数フレーム前の画像との輝度の差分が所定の閾値以上の画素の集合である
２．輝度の平坦部とエッジ部とが存在する
３．エッジの密度が閾値以下である
の条件を満たすとき、これを文字情報の修飾として抽出することができる。ここで、文字情報の修飾とは、図４に示すように、視認性を高めるため等に文字情報近傍に付加されている例えば下線等の装飾１０１、又は文字情報の先頭文字近傍付加されている絵等の装飾１０２等を示す。
【００５０】
文字特徴抽出部２５は、文字抽出部２２で抽出した文字の大きさ、位置、及び出現時間を求める。これにより、例えば図４に示すように、画面下方に表示されている場合、又は図５に示すように、水平方向に並んだ文字情報が複数表示されている場合（以下、テロップリストという。）等を区別して認識することができる。
【００５１】
人工画像検出部２３は、例えば以下の特徴等を利用して、表示候補画像が人工画像であるかどうかを判定することができる。即ち、
１．輝度ヒストグラム又は色相ヒストグラムにおいて所定の値近傍の頻度が所定の閾値以上存在する
２．フレーム間差分が閾値以下の状態が一定時間以上続く
の条件を満たすものを人工画像と判定することができる。
【００５２】
その他、人工画像は、一般に、静止画像であって、ある少数の色の頻度が有意に多く、彩度が高い／輝度が極端に高い又は低い画素が多く、また、隣接画素と強い相関を有する画素が多い等の特徴を有する。このような特徴を利用し、例えば輝度又は色相のいずれかのヒストグラムにおいて、自然界には存在し得ないような人工的な色であって、且つそのような色の画像が意図的に存在することがわかる程度の量含まれていることを示す適当な閾値を設けて判定してもよい。
【００５３】
背景特徴抽出部２６は、人工画像と判定された画像が供給され、その背景の特徴を抽出する。具体的には、輝度、及び色相のヒストグラムから頻度順にソートする。
【００５４】
アンカーショット検出部２４は、例えば以下の特徴等を利用してアンカーショットを検出することができる。即ち、
１．フレーム間差分が所定の閾値以下の状態が一定時間以上続く
２．肌色領域が特定の位置に存在する
３．特定の領域に輝度差分が所定の閾値以上の点が所定の閾値以上ある
の条件を満たすものをアンカーショットであると判定することができる。
【００５５】
ここでは、アニメーション抽出部２１、文字抽出部２２、人工画像検出部２３、アンカーショット検出部２４、文字特徴抽出部２５、及び背景特徴抽出部２６は、上述したように、複数の条件から検出・抽出するものとしたが、常に全ての条件を満たす必要はなく、必要に応じて条件の種類及びそれらを判定する閾値は適宜変更するものとする。
【００５６】
次に、レベル判定部３０について説明する。先ず、レベル判定部３０において、参照されるレベル判定テーブルについて説明する。レベル判定部３０は、このレベル判定テーブルを参照して、表示候補画像の特徴からその階層のメインレベルを求めるため、文字情報を含む画像の特徴に対応した階層（メインレベル）が予め設定されたレベル判定テーブルを有している。そして、このレベル判定テーブルを参照し、上述した特徴抽出部で抽出された特徴から表示候補画像のレベルを推定するものである。
【００５７】
図６は、レベル判定テーブルを示す模式図である。図６のレベル判定テーブルに示すように、画像の特徴に応じて、Ａ〜Ｇの階層にレベル分けされている。上述したように、本実施の形態においては、表示候補画像の特徴から、文字情報を含む画像の有効期間の長さに対応する大まかな階層（メインレベル）を決定する。ここで、全てのメインレベルの特徴との類似度が低い場合は、いずれの階層にも分類されないものとする。
【００５８】
ここでは、文字情報の位置、大きさ、出現期間、及び背景の種類（人工画像であるか否か）等により、階層を図６に示すＡ〜Ｇの７つのメインレベルにレベル分けするものとし、その画像の有効期間が長いもの程、階層が高くなるように設定されている。ここで、本実施の形態においては、放映された映像から文字情報を含む画像を抽出し、その文字情報が有効期間内である画像を表示画像として抽出するため、同じ番組内であれば上位の階層ほど有効期間が長くなるような７つの階層を設定しているが、階層（メインレベル）のレベル分けの方法はこれに限らない。例えば、レベル分けする階層の数等は、適宜増減するものとし、更に、入力される映像、又は抽出対象となる画像に応じて適宜レベル判定テーブルを用意してもよい。
【００５９】
そして、レベル判定部３０では、大まかに決定された同一のメインレベルにおいても、人工画像の背景の類似性、文字の大きさの類似性等により、その文字情報の有効期間を更に正確に推定するため、メインレベルを更に複数の階層（以下、サブレベルという。）に分類する。以下、本実施の形態において推定される階層の構造、即ち、メインレベル及びサブレベルについて説明する。
【００６０】
図７は、メインレベル及びサブレベルの関係を説明する図である。図７に示すように、ある番組において、複数のスポーツ毎の情報を放映するスポーツコーナＣ１が設けられており、そのスポーツコーナＣ１内には、複数のスポーツのうち、サッカー情報及び野球情報を放映する夫々サッカーコーナＣ２１及び野球コーナＣ２２が設けられており、更にサッカーコーナＣ２１には、サッカー情報のうち特にワールドカップの情報を放映するワールドカップサッカーコーナＣ３が設けられているとする。
【００６１】
ここで、スポーツコーナＣ１、サッカーコーナＣ２１、野球コーナＣ２２、及びワールドカップサッカーコーナＣ３は、ある番組のコーナを構成するものとして、図６に示すレベル判定テーブルにおいてメインレベルが同一の階層で、例えばメインレベルＥに分類されるものとする。
【００６２】
ところで、サッカーコーナＣ２１及び野球コーナＣ２２は、スポーツコーナＣ１を構成するコーナの一部であるため、その有効期間がスポーツコーナＣ１より短く、更に、ワールドカップサッカーコーナＣ３は、サッカーコーナＣ２１を構成するコーナの一部であるため、その有効期間がサッカーコーナＣ２１より短いものとなる。即ち、同一の階層のメインレベルＥに分類されたとしても、これらのコーナには、スポーツコーナＣ１＞サッカーコーナＣ２１、野球コーナＣ２２＞ワールドカップサッカーコーナＣ３というような階層のレベルを有しているものとする。このような同一のメインレベルを示す階層に分類された中にも、更に包含関係を有しているような場合、更に細かく階層（サブレベル）を設定できる場合がある。
【００６３】
ここで、同じ番組内におけるメインレベルが同一で且つ類似性が特に高いものは、同一メインレベル且つ同一サブレベルとし、メインレベルが同一でも類似性が低いものは、同一メインレベル且つ非同一サブレベルであって、そのサブレベルは、その放映時刻が早い程、有効期間が長い、即ちサブレベルの階層が高くなるという傾向から、同一メインレベルの階層内に複数のサブレベルを設定することができる。即ち、サッカーコーナＣ２１と野球コーナＣ２２のように、同一メインレベル且つ同一サブレベルの場合は、その類似性が高くなり、サッカーコーナＣ２１及びワールドカップサッカーコーナＣ３のように、同一メインレベル且つ非同一サブレベルの場合は、その類似性が低くなり、且つサブレベルが高いサッカーコーナＣ２１の方が放映される時刻が早くなっていることを利用して、サブレベルを設定することができる。
【００６４】
このように、同一の階層（メインレベル）に推定されたものにおいても、その類似性を判定することにより、更に細かく階層（サブレベル）を分類することができ、これにより、更に正確に有効期間内の文字情報を含む画像を表示することが可能となる。レベル判定部３０は、このような表示候補画像の階層（メインレベル及びサブレベル）を決定するものである。
【００６５】
更新判定部４０は、レベル判定部３０において決定された各見出し画像の階層を比較することにより、見出し画像を更新するか否かを判定する。これにより、メモリ６０に記憶されている見出し画像のうち、有効期間が切れた見出し画像を有効期間内の見出し画像に更新することができる。ここで階層の高さ（メインレベル及びサブレベル）を比較することにより有効期間内の見出し画像を表示することができる原理について説明する。図８は、レベルを比較することで有効期間内の文字情報を含む画像を表示する原理を説明する図である。
【００６６】
図８には、ある番組Ｄ内にあるコーナＤ１１及びＤ１２が設けられ、更に、あるコーナＤ１１内にあるシーンＤ２が設けられているような場合を示す。そして、時刻ＴＤ＞ＴＤ１１＞ＴＤ２＞ＴＤ１２の順で、夫々番組Ｄの見出し画像、コーナＤ１１の見出し画像、シーンＤ２の見出し画像、コーナＤ１２の見出し画像が表示された場合を示す。これらの見出し画像は、レベル判定部３０により、そのメインレベルが同一であって、サブレベルが番組Ｄ＞コーナＤ１１＝Ｄ１２＞シーンＤ２であることが決定されている。
【００６７】
上述したように、このようにレベル判定部３０において決定されたレベルに基づき、更新判定部４０において、メモリ６０に既に記録されている画像の階層のレベルが比較され、既存の画像より階層が高い画像が検出された場合は、メモリ６０の画像が更新される。
【００６８】
図８に示すように、現時点での時刻Ｔ＝ＴＤ１２である場合、メモリ６０には、番組Ｄ、コーナＤ１１、シーンＤ２の見出し画像が保存されている。ここで、コーナＤ１２の見出し画像が更新判定部６０に供給されると、更新判定部６０では、新たに供給されたコーナＤ１２の見出し画像の階層とメモリ６０に保存されている各画像の階層とを比較し、新たに供給された画像の階層、即ちメインレベル以下の画像、メインレベルが同一である場合はそのサブレベルのレベル以下の画像を削除する。即ち、番組Ｄ、コーナＤ１１、シーンＤ２のうち、コーナＤ２を示す見出し画像は、時刻Ｔにおいて抽出され新たに供給されたコーナＤ１２を示す見出し画像より階層レベル（サブレベル）が低いので削除され、コーナＤ１１を示す見出し画像は、新たに供給されたコーナＤ１２を示す見出し画像と階層レベル（サブレベル）が同一であるため削除され、番組Ｄを示す見出し画像は、新たに供給されたコーナＤ１２を示す見出し画像より階層レベル（メインレベル）が高いので、そのまま保持される。ここで、供給された画像がシーンＤ２を示す見出し画像よりサブレベルが低かった場合は、全ての画像は保持されると共に、供給された画像も保持されることになる。
【００６９】
図８に示す例では、コーナＤ１２の見出し画像が供給された時刻Ｔにおいて、コーナＤ１１及びシーンＤ２はその放映が終了しているため、これらの見出し画像は既に有効ではなくなっており、このような有効期間に応じたメインレベル及びサブレベルを設定しておくことにより、レベルに応じて画像を更新することができ、その時刻Ｔにおいて、有効な画像のみを表示できる。ここで、本実施の形態においては、図６に示すレベル判定テーブルのメインレベルＡ〜Ｇの７つのメインレベルのうち、Ｅ，Ｆのみサブレベルが存在するものとする。このサブレベルについても、メインレベルと同様に、適宜必要に応じて設定するものとし、例えば全てのメインレベルについても設定してもよい。
【００７０】
次に、本実施の形態における画像表示装置の動作について説明する。先ず、レベル判定部３０の動作について説明する。図９は、レベル判定部３０において、供給される表示候補画像のレベルを決定する方法を示すフローチャートである。レベル判定部３０は、予め用意された図６に示すレベル判定テーブルの他に、現在有効である見出し画像のデータが、その階層が高い順序に記録された有効見出しテーブルを有し、先ず、レベル判定テーブルを参照して表示候補画像の特徴からそのメインレベルを決定し、この表示候補画像のメインレベ及び特徴と、有効見出しテーブルのレベル及び特徴とを比較することにより、表示候補画像のレベル値を決定し、出力するものである。更新判定部４０は、表示候補画像のレベル値を使用して更新判定を行う。本実施の形態においては、見出し画像の階層が高い順に、レベル値を１、２、３、・・・として設定していくものとする。
【００７１】
図９に示すように、先ず、特徴抽出部２０で得られた特徴及び時刻とから、図６に示すレベル判定テーブルを基に、表示候補画像のメインレベルを求める（ステップＳ１）。ここで、条件を満たすメインレベルが存在するか否かを判定し（ステップＳ２）、表示候補画像がいずれのメインレベルの条件も満たさなかった場合は処理を終了する。
【００７２】
次に、現在有効である見出し画像の情報が記述された有効見出しテーブルを読み出す（ステップＳ３）。図１０は、有効見出しテーブルを示す図である。図１０に示すように、有効見出しテーブルには、過去に入力され、現在においても有効であると推定される見出し画像のメインレベル、文字の大きさ、背景特徴が記録されている。更に、サブレベルが存在するときはそのサブレベルの高さも記録されている。ここでは、サブレベルは、その階層が高い順に１から順に番号を付すものとする。また、有効見出しテーブルにおける文字の大きさは、背景が自然画像のとき使用し、背景特徴は、背景が人工画像のとき使用するものとする。そして、現在有効である見出し画像が、メインレベルの高い順で、メインレベルが同一の場合はサブレベルの高い順に、レベル値が１から順に設定されて記録されている。
【００７３】
図９に戻って、ステップＳ３で図１０に示す有効見出しテーブルを読み出した後、レベル値が高い順にテーブルのメインレベルと表示候補画像のメインレベルとを比較する。即ち、先ず、レベル値ｉ（＝１）のメインレベルと表示候補画像のメインレベルとを比較し（ステップＳ４）、表示候補画像のメインレベルの方が小さい場合は、有効見出しテーブルのレベル値ｉをインクリメント（ｉ＝２）とし（ステップＳ６）、再び、レベル値ｉ＝２のメインレベルと表示候補画像のメインレベルとを比較する。このように、表示候補画像のメインレベル以下となるまで、有効見出しテーブルのレベル値ｉをインクリメントし、ステップＳ５及びステップＳ６を繰り返す。
【００７４】
そして、ステップＳ５で、表示候補画像のメインレベルが有効見出しテーブルのメインレベル以下であるレベル値ｉ＝Ｉに達した場合、メインレベルが同一であるか否かが判定され（ステップＳ７）、同一である場合、そのメインレベルがＡ，Ｂ，Ｃ，Ｄ，Ｇであるか否かが判定される（ステップＳ８）。即ち、上述したように、本実施の形態においては、メインレベルＥ，Ｆのみサブレベルを設定しているので、その他のメインレベルの表示候補画像が供給された場合、これと同一のメインレベルを有するレベル値ｉ＝Ｉ以下の見出し画像は削除する。また、ステップＳ７で、表示候補画像のメインレベルと有効見出しテーブルのレベル値ｉ＝Ｉのメインレベルとが一致しない場合、即ち、表示候補画像のメインレベルが見出しテーブルのレベル値ｉ＝Ｉにおけるメインレベルより小さくなった場合は、表示候補画像のレベル値をｉ＝Ｉとして出力する（ステップＳ１２）と共に、表示候補画像のデータを有効見出しテーブルのレベル値ｉ＝Ｉの位置に書き込み、それ以下のレベル値ｉを有する有効見出しテーブルの見出し画像を削除する（ステップＳ１３）。
【００７５】
ステップＳ８において、表示候補画像がメインレベルＥ，Ｆの場合、ステップ９に進み、レベル値ｉ＝Ｉの見出し画像における特徴、即ち、文字の大きさ及び背景特徴が類似しているか否かを判定する。そして、ステップＳ９にて、類似度が所定の閾値以上である場合、有効見出しテーブルから読み出す見出し画像のレベル値ｉ＝Ｉ＋１とし（ステップＳ１０）、このレベル値ｉ＝Ｉ＋１におけるメインレベルと表示候補画像のメインレベルとを比較し（ステップＳ１１）、メインレベルが同一である場合は、再びステップＳ９に戻って処理を繰り返す。一方、ステップＳ１１において、メインレベルが同一でないとされた場合、即ち、表示候補画像のメインレベルの方が大きくなった場合は、上述したステップＳ１２に進み、その時点でのレベル値、例えばレベル値ｉ＝Ｉ＋１であった場合は、このレベル値ｉ＝Ｉ＋１を表示候補画像のレベル値として出力し（ステップＳ１２）、有効見出しテーブルを更新する（ステップＳ１３）。
【００７６】
次に、有効見出しテーブル更新方法について更に具体的に説明する。図９のステップＳ８において、有効見出しテーブルのレベル値ｉ＝Ｉのメインレベルと表示候補画像のメインレベルとが同じで且つメインレベルがＡ，Ｂ，Ｃ，Ｄ，Ｇの場合は、その時のレベル値ｉ＝Ｉを出力し、テーブルの更新を行うが、テーブルの更新は、具体的には、表示候補画像のレベル値として出力したレベル値ｉにおけるテーブルのデータを表示候補画像のパラメータに更新し、出力したレベル値ｉより大きいレベル値を有するデータ（レベル値ｉに該当するデータよりも階層が低い画像のデータ）をテーブルから消去するものである。図１１（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、有効見出しテーブルのレベル値ｉ＝Ｉ＝１のメインレベルと表示候補画像のメインレベルがいずれもＡである例を示す。図１１（ａ）に示すように、更新前は、レベル値ｉ＝１〜４までの見出し画像のデータが保存されているが、新たに表示候補画像として、メインレベルＡが供給された場合、図１１（ｂ）に示すように、レベル値ｉ＝１の位置のデータが新たに供給された表示候補画像のデータに書き換えられ、保存されていたレベル値ｉ＝２以下の見出し画像のデータは破棄される。
【００７７】
また、図９のステップＳ８からステップＳ９に進む場合、即ち、テーブルのレベル値ｉ＝Ｉのメインレベルと表示候補画像のメインレベルとが同じ場合で、メインレベルがＥ，Ｆの場合は、サブレベルが高い順、即ち、レベル値が小さい順に、背景が自然画像の場合は文字の大きさ、背景が人工画像の場合は背景特徴を比較する。図１２（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、表示候補画像のメインレベルがＥ、テーブルに記憶されているメインレベルＥの画像とは類似度が低い場合のテーブル更新例を示す。
【００７８】
図１２に示すように、テーブルのレベル値ｉ＝Ｉ＝２において、そのメインレベルと表示候補画像のメインレベルが一致するため、ステップＳ９においてその類似度が判定される。ここで、レベル値ｉ＝Ｉ＝２との類似度が所定の閾値以下であるため、表示候補画像のメインレベルＥのサブレベルはサブレベル１より階層が低いと判定される。そして、ステップＳ１０において、レベル値ｉ＝Ｉ＋１＝３とされ、ここでもメインレベルが一致するため、再び類似度判定される。そして、ここでも類似度が閾値以下であるため、表示候補画像のメインレベルＥのサブレベルはサブレベル２より更に階層が低いと判定される。そして、再びステップＳ１０において、レベル値ｉ＝Ｉ＋２＝４とされ、この場合は、メインレベルがレベル値ｉ＝４のメインレベルＦより高くなるため、表示候補画像は、レベル値ｉ＝４の位置のデータと書き換えられる。
【００７９】
一方、有意に類似度が高いものがあれば、即ち、例えば、図１２（ａ）において、レベル値ｉ＝２において、類似度が高い場合、表示候補画像のメインレベルＥのサブレベルは、有効見出しテーブルのレベル値ｉ＝２のサブレベルと同一、即ち、サブレベルが１と判定され、その時のレベル値ｉ＝２のデータが表示候補画像のデータと書き換えられ、レベル値ｉ＝２より大きいレベル値、即ちレベル値ｉ＝２より下の階層のデータが破棄される。このような同一メインレベルにおける類似度の判定は、背景が自然画像の場合は、文字の大きさの差が所定の閾値以下であるか否かで判断し、背景が人工画像の場合は、背景特徴の相関係数が所定の閾値以上か否かで判定することができる。
【００８０】
更に、図１３（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、表示候補画像のメインレベルがＢでレベル値ｉ＝２と書き換えられる例を示す。図１３（ａ）に示すように、図９のステップ７において、表示候補画像のメインレベルＢがテーブルのレベル値ｉ＝Ｉ＝２のメインレベルＥよりも大きいため、ステップＳ１２，１３に進み、図１３（ｂ）に示すように、レベル値ｉ＝Ｉ＝２のデータと書き換えられ、レベル値ｉ＝２より大きいデータは破棄される。
【００８１】
次に、更新判定部４０の動作について詳細に説明する。図１４は、更新判定部の更新判定方法を示すフローチャートである。
【００８２】
図１４に示すように、先ず、更新判定部４０は、予め図２に示す表示装置制御部５０から与えられた自身のＩＤ番号を読み出す（ステップＳ２１）。次に、上述したように、レベル判定部３０で決定して出力される表示候補画像のレベル値ｉを受け取る（ステップＳ２２）。そして、表示候補画像のレベル値ｉの値が自身のＩＤ値以下であるか否かを判定する（ステップＳ２３）。表示候補画像のレベル値ｉが自身のＩＤ値以下であるである場合は、表示候補画像のレベル値ｉ＝自身のＩＤ値であるか否かを判定し（ステップＳ２４）、同一である場合は、表示候補画像を見出し画像（表示用画像）と判定してメモリ６０に書き込み、メモリ６０内の画像を更新する。表示候補画像のレベル値ｉの値が自身のＩＤより小さい場合は、表示候補画像が現在記憶されている見出し画像よりも高い階層の見出し画像であることを示す、即ち、記憶されている見出し画像の有効期間が切れたことを示し、従って、メモリ６０内の有効期間切れの見出し画像を消去する（ステップＳ２６）。一方、ステップＳ２３において、表示候補画像のレベル値ｉの値が自身のＩＤ番号より大きい場合は、表示候補画像がメモリ６０に記憶されている見出し画像よりも更に下の階層の見出し画像であることを示し、従って、この時点ではメモリ６０に記憶されている見出し画像の期限は有効であるためそのまま保持して、処理を終了する。
【００８３】
このように構成された画像表示装置１０により、抽出されメモリ６０に記録されている現在有効である画像（表示用画像）は、各表示装置８０１〜８０Ｎにおいて表示される。本実施の形態においては、各表示装置８０１〜８０Ｎは自身のＩＤ（１〜Ｎ）を有し、各表示装置８０１〜８０Ｎに表示されている画像は、このＩＤに対応してレベル値が小さい順、即ち階層が高い順に、有効期間内の見出し画像のみを表示することができる。
【００８４】
図１５は、図２の画像表示システムにおける複数の表示装置により、見出し画像を表示した様子を示す模式図である。図１５（ｂ）に示す中央のモニタは、表示装置７０を示し、テレビジョン放映された通常の映像が表示されている。図１５（ａ）及び（ｃ）は、夫々表示装置８０１、８０２に表示される画像を示し、夫々番組のタイトル及びコーナのタイトルを示す見出しを含む画像を表示している。
【００８５】
例えば、ある番組ＥのあるコーナＥ１のあるシーンＥ２が放映されている場合、図１５（ａ）に示すように表示装置８０１には、番組Ｅの番組タイトルを示す見出し画像が、図１５（ｂ）に示すように、表示装置８０２には、コーナＥ１のタイトルを示す見出し画像が、また、表示装置８０３（図示せず）には、シーンＥ２を示す見出し画像が表示される。こうして複数台の表示装置８０１〜８０Ｎに、階層順の見出し画像を表示することができる画像表示装置を接続することにより、視聴者は、番組の途中から視聴を始めた場合においても、そのときのコーナ又はシーン等が何であるかを直ちに把握することができて便利である。
【００８６】
また、上述の実施の形態においては、抽出された複数の見出し画像を表示可能な複数の表示装置を設けるものとしたが、例えば１つの表示装置の表示領域を４分割して、所定の領域に階層毎の見出し画像が同時に表示されるように、抽出された複数の見出し画像を合成するようにしてもよい。これにより、表示装置が通常の映像を視聴する表示装置の他に見出し画像表示用のモニタを１台用意するのみで、複数の見出し画像を同じに表示できて便利である。更に、上述の実施の形態においては、表示装置に見出し画像を表示するものとしたが、見出し画像に含まれる見出し（文字情報）領域のみを抽出して表示するようにしてもよい。
【００８７】
次に、上述した図３に示す特徴抽出部２０の前段に設けられる文字情報検出装置の具体例について説明する。図１６は、本具体例における文字情報検出装置におけるデータの流れを説明する説明図である。図１６に示すように、文字情報検出装置は、入力画像データが供給されるフレーム画像判定部（判定手段）２１０と、フレーム画像判定部２１０からのデータが供給され、画面上に予め設定されたテロップ出現領域（文字情報出現領域）において、このテロップ出現領域にテロップが出現するか否かを検出するテロップ出現検出部（文字情報出現フレーム画像検出手段）２２０と、フレーム画像判定部２１０又はテロップ出現検出部２２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部２３０と、エッジ密度検出部２３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部２４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部２５０と、推定部２５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部２６０と、テロップ類似度検出部２６０から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部（提示手段）２７０とから構成されている。
【００８８】
テロップ出現検出部２２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部２２１とテロップ出現領域の輝度変化を検出する局所変化検出部２２２とを有する。
【００８９】
また、推定部２５０は、エッジ密度検出部２３０から供給されるデータと記憶部２４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部２５１と、既検出テロップ候補が記憶部４０に保持される期間を検出する継続カウンタ２５２と、継続カウンタ２５２及び類似度検出部２５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部５３から構成されている。
【００９０】
以下、この文字情報検出装置について更に詳細に説明する。文字情報検出装置には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現検出部２２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部２３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（stateflg）に１が設定される。このフラグ（stateflg）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点、具体的には、後述するが、エッジ密度検出部２３０においてテロップ出現領域のエッジ密度が所定の閾値未満であることが検出された時点、テロップ類似度検出部２６０で同様の既に提示済みのテロップが検出された時点、及び提示画像生成部２７０からテロップと確定されて出力された時点で０が設定されるものである。
【００９１】
フレーム画像判定部２１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（stateflg）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現検出部２２０における処理は不要であるため、フラグ（stateflg）が１である間は、フレーム画像をエッジ密度検出部２３０に供給する。
【００９２】
テロップ出現検出部２２０は、フラグ（stateflg）が０である間、判定部２１０からフレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップ出現領域におけるテロップの出現を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、その輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００９３】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまう。これを防止するため、候補フレーム画像検出部２２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部２２２に供給する。
【００９４】
そして、局所変化検出部２２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（stateflg）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部２３０に供給する。
【００９５】
次に、候補フレーム画像検出部２２１及び局所変化検出部２２２について具体的に説明する。候補フレーム画像検出部２２１は、例えば図１７のように構成された輝度ヒストグラム生成部２８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部２８０は、フレーム画像判定部２１０からのフレーム画像のデータ（以下、フレームデータという。）が供給されるブロック分割部２８１及び遅延回路２８３、遅延回路２８３により所定時間遅延されたフレームデータが供給されるブロック分割部２８４、並びに、ブロック分割部２８１及び２８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部２８２及び２８５から構成されている。
【００９６】
このように構成された輝度ヒストグラム生成部２８０に対して、候補フレーム画像検出部２２１が、フレーム画像判定部２１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部２８０は、ブロック分割部２８１により、供給されたｉフレームの画像データ（情報列）を空間が規定サイズとなるブロックに分割し、このブロック単位のデータをヒストグラム計算部２８２に送る。
【００９７】
また、このｉフレームの画像データは、同時に遅延回路２８３にも供給され、遅延回路２８３により、例えば２フレーム分遅延された画像データがブロック分割部２２４に供給される。
【００９８】
ブロック分割部２８４は、ブロック分割部２８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロックに分割し、このブロック単位のデータをヒストグラム計算部２８５に送る。
【００９９】
ヒストグラム計算部２８２，２８５は、全画面において、ブロック単位で輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部２２１に送る。
【０１００】
そして、候補フレーム画像検出部２２１は、ヒストグラム計算部２８２，２８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Th_coef１）と比較し、相関係数が所定の閾値（Th_coef１）以下であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【０１０１】
【数１】
【０１０２】
そして、この変化ブロックの割合が所定の閾値（Th_diff１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Th_diff１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【０１０３】
また、局所変化検出部２２２も、候補フレーム画像検出部２２１と同様に、候補フレーム画像検出部２２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部２２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Th_coef１）以下である変化ブロックの割合が所定の閾値（Th_diff２）以上であるｉフレームを検出する。ここで変化ブロックの割合が所定の閾値（Th_diff２）以上であった場合は、上述した如くフラグ（stateflg）に１を立てると共にこのデータをエッジ密度検出部２３０に供給する。一方、変化ブロックの割合が閾値（Th_diff２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【０１０４】
このように、テロップ出現検出部２２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【０１０５】
なお、本具体例においては、輝度ヒストグラム生成部２８０を用意し、候補フレーム画像検出部２２１の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部２２１及び局所変化検出部２２２において、図１７に示すようなブロック分割部２８１，２８４及びヒストグラム計算部２８２，２８５等を個別に有するものとしてもよい。また、遅延回路２８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【０１０６】
図１６に戻って、エッジ密度検出部２３０は、フラグ（stateflg）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部２３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【０１０７】
エッジ密度検出部２３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、テロップであればエッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Th_den）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Th_den）未満であるときは、フラグ（stateflg）を０とする。これにより、以降のフレーム画像は、フラグ（stateflg）に１が設定されるまでの間、テロップ出現検出部２２０に供給されるようになる。
【０１０８】
記憶部２４０には、エッジ密度検出部２３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部２５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部２３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部２３０によりテロップ候補が検出されなかった場合、エッジ密度検出部２３０は、記憶部２４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ２５２のカウント値をリセットし、フラグ（stateflg）を０とし、次のフレームの処理へ移る。
【０１０９】
推定部２５０は、記憶部２４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【０１１０】
継続カウンタ２５２は、テロップが安定して出現したフレーム数（静止期間）をカウントするものである。例えば、エッジ密度検出部２３０及び後述する類似度検出部２５１等において、記憶部２４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ２５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ２５２により、記憶部２４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部２５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【０１１１】
類似度検出部２５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部２３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部２２１及び局所変化検出部２２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Th_coef２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部２４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部２４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【０１１２】
ここで、記憶部２４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ２５２のカウント値をリセットする。一方、記憶部２４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ２５２のカウント値をインクリメントする。
【０１１３】
また、相関係数が所定の閾値（Th_coef２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部２４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータに置き換えると共に、継続カウンタ２５２のカウント値をリセットする。
【０１１４】
このように、類似度検出部２５１は、テロップ候補と、記憶部２４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部２４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【０１１５】
安定度判定部２５３は、既検出テロップ候補が記憶部２４０に保持される期間を検出する期間検出手段として、継続カウンタ２５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部２４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部２６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部２６０に送られたものと判定し、記憶部２４０の既検出テロップ候補及び継続カウンタ２５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部２６０に送られる。
【０１１６】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部２６０に送出した後は、記憶部２４０に記憶されている既検出テロップ候補、及び継続カウンタ２５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部２６０には送出されず、同一のテロップを出力することを防止することができる。
【０１１７】
テロップ類似度検出部２６０は、安定度判定部２５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部２７０に保持されているテロップ等の既検出テロップと、安定度判定部２５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部２７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部２６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【０１１８】
提示画像生成部２７０は、類似度判定部２６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に表示する提示手段である。提示画像生成部２７０は、所定数のテロップを保持して表示し続けるため、テロップの出現領域が例えば水平方向の帯状の領域に設定されている場合、この帯状の領域を切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して出力する。
【０１１９】
このように、文字情報検出装置は、先ず、テロップ出現検出部２２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部２３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ゜候補を検出し、推定部２５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部６０を設け、これによりテロップが何度も検出されないようにして、提示画像を生成するものである。
【０１２０】
以下、本具体例における文字情報検出方法について詳細に説明する。図１８は、図１６に示すフレーム画像判定部２１０及びテロップ出現検出部２２０の処理方法を示すフローチャートである。上述したように、文字情報を検出する際には、予めテロップ出現領域を画面上に設定する。以下の説明においては、テロップ出現領域を画面下部に設定した場合について説明する。なお、複数のテロップ出現領域を設定する場合は、各テロップ出現領域について同様の処理を行うものとする。
【０１２１】
図１８に示すように、図１６のフレーム画像判定部２１０にｉフレームの画素値Ｆ（ｉ，ｐｘｌ）が入力されると、上述したフラグ（stateflg）が１であるか０であるかが検出される（ステップＳ５１）。ここで、フラグ（stateflg）が１である間は、後述するステップＳ５９に進む。一方、フラグ（stateflg）が０である間は、ステップＳ５２及びＳ５３に進む。
【０１２２】
ステップＳ５２では、ヒストグラム生成部２８０のヒストグラム計算部２８５から（ｉ−２）フレームの全画面においてブロック単位で計算された輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む。ここで、ｊは、フレーム内のｊ番目のブロック（ブロックＮｏ．）を示し、輝度ヒストグラムＨ（ｉ−２，ｊ）は、（ｉ−２）フレームにおけるｊ番目のブロックの輝度ヒストグラムを示す。このとき、同時に、ヒストグラム計算部２８２で、ｉフレームの全画面において、ブロック毎の輝度ヒストグラムが計算され、このｉフレームにおける輝度ヒストグラムＨ（ｉ，ｊ）がフレーム変化検出部２２６に供給される（ステップＳ３）。本具体例においては、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。
【０１２３】
次に、ステップＳ５４では、局所変化検出部２２６が、輝度ヒストグラムＨ（ｉ−２，ｊ）と輝度ヒストグラムＨ（ｉ，ｊ）とから対応ブロック毎に相関係数ｅ１（ｊ）を計算し、この相関係数ｅ１（ｊ）と所定の閾値（Th_coef１）とを比較し、相関係数ｅ１（ｊ）が、閾値（Th_coef１）以下であれば、変化ブロックと判定する。
【０１２４】
そして、ステップＳ５４で判定した全ブロックに対する変化ブロックの割合ｅ１（ｊ）が、所定の閾値（Th_diff１）以下であるか否かを判定し（ステップＳ５）、閾値（Th_diff１）より大きい場合は、現フレームの処理を終了し、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ１（ｊ）が閾値（Th_diff１）以下である場合は、ステップＳ５６に進む。
【０１２５】
ステップＳ５６では、局所変化検出部２２２において、ヒストグラム計算部２８２，２８５からのデータにより、フレーム内のテロップ出現領域、即ち、本具体例の場合は、例えば６４×５７６ピクセルのサイズを有する画面中央下部領域内の全ブロックに対する変化ブロックの割合ｅ２（ｊ）を計算し、ステップＳ５７において、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）以上であるか否かを判定する。変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）未満である場合は、現フレームの処理を終了して、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）以上である場合は、ステップＳ５８に進み、ｉフレームのテロップ出現領域はテロップ候補であるとみなし、テロップ候補が検出されたことを示すフラグ（stateflg）に１をたて、ｉフレームの画素値Ｆ（ｉ，ｐｘｌ）を推定部２５０へ送る。これにより、以降のフレーム画像の処理は、フラグ（stateflg）が１である間は、ステップＳ５２乃至ステップＳ５８の処理を行わず、ステップＳ５１からステップＳ５９に進む処理がなされることになる。
【０１２６】
次に、ヒストグラム生成部２８０において、輝度ヒストグラムを計算する方法について更に詳細に説明する。図１９は、ヒストグラム生成部２８０によりブロック単位で計算された輝度ヒストグラムから候補フレーム画像を検出する方法を示すブローチャートである。
【０１２７】
図１９に示すように、先ず、ブロック分割部２８１にｉフレームの画像データが入力され、このフレーム画像データを規定サイズ、例えば、３２×３２ピクセルのサイズのブロックに分割する（ステップＳ７１）。ブロック分割されたデータはヒストグラム計算部２８２に送られ、ここで、ｊ番目のブロックの輝度ヒストグラムＨ（ｉ，ｊ）を計算する（ステップＳ７２）。次に、ヒストグラム計算部２８５から、（ｉ−２）フレームのｊ番目のブロックの輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む（ステップＳ７３）。
【０１２８】
次に、ステップＳ７２で得られた輝度ヒストグラムＨ（ｉ，ｊ）と、ステップＳ７３で得られた輝度ヒストグラムＨ（ｉ−２，ｊ）とから、上記式（１）により、ヒストグラムの相関係数ｅ１（ｊ）を計算し（ステップＳ７４）、閾値（Th_coef１）により変化を判定する（ステップＳ７５）。この変化の判定には、例えばフラグＥ（ｉ，ｊ）を使用し、ｉフレームのｊ番目のブロックは変化がある（変化ブロック）と判定された場合は、フラグＥ（ｉ，ｊ）＝１とし、変化ブロックではないと判定された場合は、フラグＥ（ｉ，ｊ）＝０とする。そして、（ｉ＋２）フレームのフレーム変化を検出する際に使用するため、Ｈ（ｉ，ｊ）を保持すると共に、候補フレーム画像検出部２１内のブロックＮｏ．をカウントするカウンタ値ｊをインクリメントする（ステップＳ７６）。そして、全ブロックについて、ステップＳ７５の閾値判定が終了しているか否かを判定し（ステップＳ７６）、終了していない場合は、ステップＳ７２に戻り、次のブロック（ｊ＋１番目のブロック）について、同様の処理を繰り返す。
【０１２９】
一方、全てのブロックにおいて処理が終了した場合は、上述したように、変化ブロックの割合が所定の閾値より大きければ、現フレーム（ｉフレーム）の処理を終了し、次のフレームの処理へ進み、変化ブロックの割合が所定の閾値以下である場合は、局所変化検出部２２２へデータを供給する。具体的には、全ブロックのフラグＥ（ｉ，ｊ）の値を加算し、これが所定の閾値より大きい場合は処理を終了し、所定の閾値以下である場合は、局所変化検出部２２２へデータを供給する。局所変化検出部２２２においても、基本的には、ステップＳ７２乃至７７と同様の処理が繰り返される。即ち、テロップ出現領域内のブロック単位の輝度ヒストグラムＨ（ｉ，ｊ）及びＨ（ｉ−２，ｊ）が順次読み込まれ、テロップ出現領域内の変化ブロックを検出する処理を行う。
【０１３０】
次に、推定部２５０における既検出テロップ候補がテロップか否かを推定する方法について説明する。図２０は、推定部の推定方法を示すフローチャートである。先ず、フラグ（stateflg）＝１の間、画像データがエッジ密度検出部２３０に送られる。ここでは、エッジ密度検出部２３０に送られる画像データをｉフレームとする。先ず、図２０に示すように、エッジ密度検出部２３０において、ｉフレームにおけるテロップ出現領域におけるエッジ画像の密度ｄ（ｉ）が計算される（ステップＳ５９）。このエッジ密度ｄ（ｉ）が所定の閾値（Th_den）以上であるか否かが検出され（ステップＳ６０）、エッジ密度ｄ（ｉ）が閾値（Th_den）未満である場合は、ステップＳ６１に進み、記憶部２４０に記憶されている既検出テロップ候補を初期化、即ち、データを破棄し、継続カウンタ２５２のカウント値をリセットし、更にテロップ候補が検出されていることを示すフラグ（stateflg）を０にする（ステップＳ６１）。これにより、以降のフレーム画像は、フラグ（stateflg）が１になるまで、ステップＳ５２乃至ステップＳ５８を繰り替えすことになる。一方、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）が閾値（Th_den）以上である場合は、データを類似度検出部２５１へ送り、ステップＳ６２に進む。
【０１３１】
ステップＳ６２では、類似度検出部２５１において、記憶部２４０に記憶されている既検出テロップ候補と、ｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）を計算する。そして、相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）以上であるか否かを判定する（ステップＳ６３）。ステップＳ６３で、相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）以上であると判定された場合、即ち、既検出テロップ候補とｉフレームのテロップ出現領域とは同一のテロップを有するものと判定された場合はステップＳ６４に進み、記憶部２４０に記憶されている既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）と、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）とが比較される（ステップＳ６４）。そして、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上であるか否かが判定され（ステップＳ６５）、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上である場合、即ち、既検出テロップ候補の方がｉフレームのテロップ出現領域に出現する可能性のあるテロップよりも鮮明であると判定された場合は、ステップＳ６７に進む。
【０１３２】
一方、ステップＳ６３において、既検出テロップ候補とｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）未満である場合、即ち、ｉフレームのテロップ出現領域と既検出テロップ候補とでテロップが変化しているものと判断した場合と、ステップＳ６５において、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）より小さい場合、即ち、既検出テロップ候補よりもｉフレームのテロップ出現領域に出現する可能性があるテロップの方が、エッジ密度が高く鮮明であると判断した場合は、ステップＳ６６に進む。ステップＳ６６では、記憶部２４０に記憶されている既検出テロップ候補が、現フレーム、即ち、ｉフレームのテロップ出現領域のデータに入れ替えられる。具体的には、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）を、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）に入れ替え、更に継続カウンタ２５２のカウント値をリセット（tlplen＝０）し、ステップＳ６７に進む。
【０１３３】
ステップＳ６７においては、継続カウンタ２５２のカウント値をインクリメント（tlplen＝＋＋）し、ステップＳ６８において、継続カウンタ２５２のカウント値（tlplen）が所定値（Th_tlplen）であるか否かが判定される。
【０１３４】
上述したように、テロップであれば、一定フレームの間、安定して出現する。継続カウンタ２５２のカウント値は、テロップが安定して出現したフレーム数を示すものである。従って、ステップＳ６８において、カウント値が所定値（Th_tlplen）以外であると判定された場合は、カウント値及び既検出テロップ候補のデータを保持して次のフレームの処理へ進む。
【０１３５】
一方、カウント値が所定値（Th_tlplen）である場合、即ち、既検出テロップ候補が所定のフレーム数、出現し続けていると判定された場合は、このデータがテロップ類似度判定部２６０へ送られてステップＳ６９に進む。この際、記憶部２４０に保持されている既検出テロップ候補及び継続カウンタ２５２のカウント値はそのまま保持する。
【０１３６】
ステップＳ６９では、例えば、提示画像生成部２７０等に保持されている既にテロップと判定されものと、既検出テロップ候補との相関係数を計算し、ステップＳ７０にて、相関係数が所定の閾値以下であるか否かが判定される。ステップＳ７０にて相関係数が所定の閾値以下である場合、既検出テロップ候補は、まだテロップとして検出されていない新しいテロップであると判断され、このデータを提示画像生成部２７０へ送る。一方、相関係数が所定の閾値より大きい場合は、既検出テロップ候補に出現するテロップは既にテロップとして出力されていると判断され、次のフレームの処理に進む。
【０１３７】
ここで、ステップＳ６８及びステップＳ６９において、安定度判定部２５３及びテロップ類似度検出部２６０の夫々判定結果及び検出結果に関わらず、記憶部２４０の既検出テロップ候補のデータはそのまま保持され、且つ継続カウンタ２５２のカウンタ値もそのまま保持されているため、例えば、次に入力されるフレーム画像において同じテロップ候補が検出され、このテロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より小さい場合は、継続カウンタ２５２のカウンタ値がインクリメントされ、所定値（Th_tlplen）を超えるため、再びテロップ類似度検出部２６０に送られることはない。また、テロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より大きい場合は、既検出テロップ候補が置き換えられ、継続カウンタのカウント値が１となり、カウント値が所定値（Th_tlplen）に達するまで処理が繰り返される。
【０１３８】
以上、図２０に示す工程において、記憶部２４０には、既検出テロップ候補が記憶されているものとして説明したが、図１８に示すステップＳ５５、ステップＳ５８において、ｉフレームにおいてテロップ候補が検出されなかった場合、記憶部２４０に記憶されている既検出テロップ候補は初期化（破棄）される。このように、記憶部２４０には、既検出テロップ候補が記憶されていない状態で、推定部２５０にテロップ候補を有するフレーム画像が供給された場合、図２０に示すステップＳ６２乃至ステップＳ６５における処理は不要となる。従って、既検出テロップ候補が初期化された状態でステップＳ６０においてエッジ密度が所定の閾値以上であると判定された場合は、ステップＳ６６に進み、フレーム画像のテロップ出現領域のデータが既検出テロップ候補として記憶される。そして、同様に、ステップＳ６７において、継続カウンタtlplen＝１として、次のフレームの処理に進む。
【０１３９】
このように構成された本具体例に係る文字情報検出装置においては、テロップ出現検出部２２０において異なるフレーム間におけるブロック単位の輝度ヒストグラムの相関を用いてテロップ出現領域における輝度変化（局所変化）を求めることで画像上の小さな変化等による誤検出を軽減することが可能となると共に、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することが可能となる。また、エッジ密度検出部２３０によるエッジ密度を判定条件に用いることで、文字情報（テロップ）を更に精度よく検出することが可能となる。更に、類似度判定部２５１により、既検出テロップ候補とこれに連続するフレームのテロップ出現領域における類似度を判定すると共に、継続カウンタ２５２により継続して出現するフレーム数をカウントし、更に、テロップ類似度検出部２６０により既検出テロップとの類似度を判定することで、細かいテロップの変化等の場合にも、同内容のテロップを誤検出することを軽減することができる。
【０１４０】
また、本具体例においては、予めテロップ出現領域を設定しておき、文字情報を抽出するものであるので、上述した図３に示す文字特徴抽出部２５において行われる文字情報の大きさ及び位置の抽出処理をこの文字情報検出装置においてまとめて行い、文字特徴抽出部における処理を省略してもよい。また、テロップ出現領域は複数設定することができるので、文字情報の位置及び大きさ（テロップ出現領域の大きさ）によって階層を設定する場合は、各階層を設定するために必要な種類全てにテロップ出現領域を設定すればよい。
【０１４１】
【発明の効果】
以上詳細に説明したように、本発明に係る画像表示装置は、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示装置において、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、複数の階層毎に文字情報を含む画像の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに基づき該表示候補画像を表示するか否かを判定する表示画像判定手段とを有するので、ＴＶ放映された映像等から、見出しとなるような文字情報を含む候補画像を抽出し、その階層を求めて表示判定を行うことにより、現在放映中の映像においてその見出しが有効であるか否かを推定し、常に有効期間内の見出しを含む画像を表示することができる。
【０１４２】
また、本発明に係る画像表示システムは、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示システムにおいて、１以上の表示装置と、上記表示装置に上記所定の画像の少なくとも一部を供給する画像表示装置とを有し、上記画像表示装置は、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、複数の階層毎に文字情報を含む画像の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに基づき該表示候補画像を表示するか否かを判定する表示画像判定手段と、上記表示画像判定手段により表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示するよう制御する表示制御手段とを具備するので、複数の表示用画像が得られた場合に、異なる階層毎に複数の表示装置に表示することができ、視聴者は、現在放映中の映像において有効である見出しとして文字情報を含む画像の有効期間の長さ毎に分類された複数の見出し画像を同時に視ることができ視聴者の映像の理解を容易にする。
【図面の簡単な説明】
【図１】本発明の実施の形態における表示画像の有効期間と階層の順位（レベル）を説明する図である。
【図２】本発明の実施の形態に係る画像表示システムを示すブロック図である。
【図３】本発明の実施の形態に係る画像表示システムの画像表示装置における特徴抽出部を示すブロック図である。
【図４】装飾された文字情報を有する見出し画像を示す模式図である
【図５】リスト状に表示されたテロップを有する見出し画像を示す模式図である
【図６】本発明の実施の形態に係る画像表示システムの画像表示装置におけるレベル判定部のレベル判定テーブルを示す模式図である。
【図７】本発明の実施の形態に係る表示画像のメインレベル及びサブレベルの関係を説明する図である。
【図８】レベルを比較することで有効期間内の文字情報を含む画像を表示する仕組みを説明する図である
【図９】本発明の実施の形態に係る画像表示システムの画像表示装置におけるレベル判定部において階層レベルを推定して更新する方法を示すフローチャートである。
【図１０】レベル判定部において使用される有効見出しテーブルを示す図である
【図１１】（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、有効見出しテーブルのレベル値ｉ＝Ｉ＝１のメインレベルと表示候補画像のメインレベルがいずれもＡである例を示す。
【図１２】（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、表示候補画像のメインレベルがＥ、テーブルに記憶されているメインレベルＥの画像とは類似度が低い場合のテーブル更新例を示す。
【図１３】（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、表示候補画像のメインレベルがＢでレベル値ｉ＝２と書き換えられる例を示す
【図１４】本発明の実施の形態に係る画像表示システムの画像表示装置における更新判定部の更新判定方法を示すフローチャートである。
【図１５】本発明の実施の形態に係る画像表示システムにおける複数の表示装置により、見出し画像を表示した様子を示す模式図である。
【図１６】本発明の具体例に係る文字情報検出装置におけるデータの流れを説明する説明図である。
【図１７】輝度ヒストグラムを生成する際のデータの流れを説明する説明図である。
【図１８】本発明の具体例に係る文字情報検出方法を示す図であって、フレーム画像判定部及びテロップ出現検出部の処理方法を示すフローチャートである。
【図１９】同じく、本発明の具体例に係る文字情報検出方法を示す図であって、輝度ヒストグラムからフレーム変化を検出する方法を示すブローチャートである。
【図２０】同じく、本発明の具体例に係る文字情報検出方法を示す図であって、既検出テロップ候補がテロップか否かを推定する方法を示すブローチャートである。
【図２１】（ａ）乃至（ｄ）は、見出しとなる文字情報を含む画像の例を示す模式図である。
【図２２】見出しの有効期間を説明する模式図である。
【図２３】有効期間が切れた見出しを示す模式図である。
【符号の説明】
１ 画像表示システム、１０ 画像表示装置、２０ 特徴抽出部、２１ アニメーション抽出部、２２ 文字抽出部、２３ 人工画像検出部、２４ アンカーショット検出部、２５ 文字特徴抽出部、２６ 背景特徴抽出部、３０ レベル判定部、４０ 更新判定部、５０ 表示装置制御部、６０ メモリ、７０，８０１〜８０Ｎ 表示装置、２１０ 判定部、２２０ テロップ出現判定部、２２１候補フレーム画像検出部、２２２ 局所変化検出部、２３０ エッジ密度検出部、２４０ 記憶部、２５０ 推定部、２５１ 類似度検出部、２５２ 継続カウンタ、２５３ 安定度判定部、２６０ テロップ類似度検出部、２７０ 提示画像生成部、２８０ ヒストグラム生成部、２８１，２８４ ブロック分割部、２８２，２８５ ヒストグラム計算部
【発明の属する技術分野】
本発明は、例えばテレビジョン放映された映像から、所定の画像の少なくとも一部を抽出して表示する画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システムに関し、特に、番組等の見出しとなるような文字情報を含む所定の画像を表示する画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システムに関する。
【０００２】
【従来の技術】
通常、ＴＶ番組には、番組のタイトル、番組を構成する各コーナのタイトル、及び番組又は各コーナに含まれる所定のシーンに対するキャプション等のように、その後に続く夫々番組、コーナ及びシーンの内容を表す文字情報を含む映像が含まれている。本明細書においては、このような文字情報を見出しという。
【０００３】
図２１（ａ）乃至（ｄ）は、見出しとなる文字情報を含む画像の例を示す模式図である。例えば、図２１（ａ）に示す見出し画像は、番組名（番組タイトル）が画面の中央位置に表示されている例である。また、図２１（ｂ）に示す見出し画像は、ボクシングの試合を放映する番組内において、４ラウンド目が始まることを示す「ＲＯＵＮＤ４」というテロップが画面中央位置に表示されている例である。
【０００４】
更に、図２１（ｃ）は、例えば司会者が、ゲストに対して視聴者から寄せられた質問を行い、これにゲストが回答していくようなトークショウを放映するような番組等において、例えば、視聴者からゲストに対してよせられた「好きな言葉は何ですか」という質問が表示されている例であり、トーク番組においてはこのような質問毎に番組が区切られている場合がある。更にまた、図２１（ｄ）は、テロップリストを示す例であり、例えばニュース番組等において、最初に番組内で取り扱うニュースの要約をテロップとしてリスト表示される場合がある。
【０００５】
ところで、このような見出し情報が、例えは番組タイトルを示す場合は、その番組放映期間内、また、番組を構成するあるコーナタイトルを示す場合は、そのコーナの放映期間内に得られれば、視聴者は今どの番組でどのコーナが放送されているか等を知ることができ便利である。
【０００６】
図２２に示すように、番組Ａ、番組Ｂが順に放映される場合、通常、番組Ａが始まる時点Ｔａで番組Ａのタイトルが表示され、その後、番組Ａに設けられたコーナＡ１が始まる時点ＴｂでコーナＡ１のコーナタイトルが表示される。同様に、番組Ｂ、番組Ｂに設けられたコーナＢ１、Ｂ２が始まる時点Ｔｃ、Ｔｄ、Ｔｅにおいて、夫々番組Ｂの番組タイトル、コーナＢ１のコーナタイトル、コーナＢ２のコーナタイトルが表示されるものとする。このとき、この番組Ａの番組タイトルの有効期間、即ち、番組Ａの放映時間は、時刻Ｔａ〜Ｔｃであり、コーナＡ１の有効期間、即ち、コーナＡ１の放映時間は、Ｔｂ〜Ｔｃである。
【０００７】
例えば、時刻Ｔの時点で、視聴者が視聴を開始した場合等、視聴者は、番組タイトル、コーナタイトル等を表示した見出し画像が表示されていないため、現在の番組及びコーナが不明である。そこで、この時刻Ｔにおいて、番組Ｂの番組タイトル及びコーナＢ１のコーナタイトルが表示されていれば、視聴者は、直ちに番組の内容を理解することができ極めて便利である。
【０００８】
【発明が解決しようとする課題】
しかしながら、見出しとなる文字情報を含む映像は、ごく短い時間だけ放送されるものであり、従って、視聴者は、番組の任意の時点でこの見出しを含む映像を得ることはできない。従って、たとえ見出しとなる画像を抽出して表示したとしても、その画像が現在見ている時点でも有効かどうか、即ち、ある番組タイトルの見出しを表示していたとしても、その番組が現在放映中であるかどうかを判定することは難しい。
【０００９】
例えば、現在見ている映像に対して有効でない見出しを表示してしまうことがある。即ち、図２３に示すように、番組Ｂに含まれるコーナＢ１が時刻Ｔｄ〜Ｔｅに放映され、コーナＢ２が時刻Ｔｅ〜に放映されるものであるとき、時刻Ｔ＞Ｔｅにおいて、即ち、コーナＢ２の放映が開始されているのにも拘わらず、コーナＢ１のタイトルを示す見出しを含む画像を表示しても、コーナＢ１は既に終了しているため、視聴者にとって意味がないものとなってしまう。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＴＶ映像の中から見出しとなるような文字情報を含む画像を抽出し、抽出した画像の中で現時点において有効である画像のみを抽出して表示することができる画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像表示装置は、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示装置において、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定手段と、１以上の表示手段に接続され、上記表示画像判定手段により表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示するよう制御する表示制御手段とを有する。
【００１２】
本発明においては、映像から表示候補画像を抽出し、更にその特徴を抽出し、階層テーブルを参照して各階層の特徴と、表示候補画像の特徴の類似度から表示候補画像の階層を決定し、この階層に基づき表示候補画像を表示するか否かを判定するため、例えば常に階層が高い画像を表示することができ、見出しを含む画像の有効期間に対応するように階層のレベルを設定しておけば、階層レベルから画像の有効期間を推定して常に有効な見出しを含む画像を表示することが可能となる。
【００１３】
また、上記分類手段は、上記表示候補画像の特徴と、上記階層テーブルの各階層の特徴との類似度を比較し、該類似度が所定の閾値以上となる階層のうち最も類似度が大きい階層に上記表示候補画像を分類することができ、所定の類似度に達しない表示候補画像はいずれの階層にも分類しないことにより、誤検出を低減する。
【００１４】
更に、上記表示画像判定手段により表示すると判定された表示用画像又は該表示用画像から切り出した文字領域を上記階層毎に記憶する画像記憶手段を有することができる。
【００１５】
更にまた、上記表示画像判定手段は、上記表示候補画像の階層のレベルが、上記画像記憶手段に記憶されている過去に抽出された表示用画像の階層のレベル以上である場合、該表示候補画像を表示すると判定することができる。
【００１６】
また、上記表示画像判定手段により表示すると判定された表示用画像の階層レベルが、上記画像記憶手段に記憶されている過去に抽出された表示用画像の階層レベルと同一である場合、過去に抽出された表示用画像を新たに判定された表示用画像に書き換える更新手段を有することができ、常に階層レベルが高いものを記憶することができる。
【００１７】
更に、上記更新手段は、上記新たに判定された表示用画像の階層のレベルが、上記過去に抽出された表示用画像の階層のレベル以上である場合、上記過去に抽出された表示用画像を消去することができる。
【００１８】
更にまた、上記特徴抽出手段は、上記表示候補画像に含まれる文字の特徴を抽出する文字特徴抽出手段、上記表示候補画像が人工画像であるか否かを検出する人工画像検出手段、上記表示候補画像の中央位置に人物が存在するか否かを検出するバストショット検出手段、上記表示候補画像にアニメーションがあるか否かを検出するアニメーション検出手段、及び上記表示候補画像の入力時刻を検出する時刻検出手段のうち少なくとも１つを有することができる。
【００２０】
本発明に係る画像表示方法は、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示方法において、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出工程と、上記表示候補画像の特徴を抽出する特徴抽出工程と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルを使用し、該階層テーブルに記憶された各階層の特徴と上記特徴抽出工程にて抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類工程と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定工程と、上記表示画像判定工程にて表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を１以上の表示手段にて表示するよう制御する表示制御工程とを有する。
【００２１】
本発明に係るプログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体は、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する動作をコンピュータに実行させるためのプログラム及びこれが記録された記録媒体において、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出工程と、上記表示候補画像の特徴を抽出する特徴抽出工程と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルを使用し、該階層テーブルに記憶された各階層の特徴と上記特徴抽出工程にて抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類工程と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定工程と、上記表示画像判定工程にて表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を１以上の表示手段にて表示するよう制御する表示制御工程とを有する。
【００２２】
本発明に係る画像表示システムは、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示システムにおいて、１以上の表示装置と、上記表示装置に上記所定の画像の少なくとも一部を供給する画像表示装置とを有し、上記画像表示装置は、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定手段と、１以上の表示手段に接続され、上記表示画像判定手段により表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示するよう制御する表示制御手段とを具備する。
【００２３】
本発明においては、複数台の表示装置を使用すれば、例えば１つの表示装置に映像をそのまま表示し、この映像と同時に、他の表示装置に映像から抽出されその階層が分類された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。本実施の形態に係る画像表示装置は、テレビジョン放映された映像から文字情報を含む表示候補画像を抽出し、特徴検出手段により検出された表示候補画像の特徴に基づいてこの表示候補画像を複数の階層のうちいずれかの階層に分類することにより、分類された階層のレベルから、現時点において、画像に含まれる見出しが有効であるか否かを推定することができる。以下、階層のレベルから、見出しが有効である否かを推定することができる本実施の形態における動作原理について簡単に説明する。以下、見出しを含む画像を見出し画像という。
【００２５】
上述したように、テレビジョン放映された映像等には、図２１に示すような番組又は番組を構成する各コーナの区切りとなるような文字情報である見出しが含まれる。そこで、本実施の形態に係る画像表示装置は、最初にＴＶ映像からこのような見出しとなり得る文字情報を含む画像を表示候補画像として抽出し、この候補画像の階層レベルを求めることにより、見出しの有効期間を推定する。見出しの有効期間を推定することができれば、候補となっている画像に含まれる見出しが現在の映像においても有効であるか、又は上記見出しは既に放映済みの番組又はコーナに関するもので、現在の映像においては無効であるかを推定することができる。そして、現在有効である見出し画像のみを、この見出しの有効期間内に表示することができる。
【００２６】
ここで、有効期間とは、上述の図２２に示したように、例えば、番組タイトルであれば、その番組が放映されている期間であり、コーナタイトルであれば、そのコーナが放映されている期間である。
【００２７】
有効期間内の見出しを含む画像を画面に表示するために、本実施の形態においては、番組、コーナ、シーン等の構成に基づいて、即ち見出しの有効期間に基づいて見出し画像の階層を設定する。
【００２８】
即ち、ＴＶ映像から、例えば番組タイトル又は番組を構成するコーナタイトルを示す文字情報である見出しを有する見出し画像を抽出し、画像の特徴から見出しの階層がどの階層にあるかを推定することにより、抽出した画像群から、その見出しの有効期間の長さを推定し、現在の時点で有効期間内であると推定される画像のみを表示することができる。
【００２９】
次に、本実施の形態において、見出し画像に設定される階層について詳細に説明する。図１（ａ）及び（ｂ）は、本実施の形態の夫々階層の順位（レベル）及び見出しの有効期間を説明する図である。テレビジョン放映される映像は、一般に、複数の番組から構成され、各番組は複数のコーナから構成されている場合が多い。そして、図１（ｂ）に示すように、番組Ａは、コーナＡ１１，Ａ１２を有し、コーナＡ１１はシーンＡ２を有しているとき、番組Ａ、コーナＡ１１，Ａ１２、シーンＡ２の見出しは、上述したようにその有効期間が存在する。そして、例えば、番組Ａの有効期間Ｔ１、コーナＡ１１の有効期間Ｔ２、シーンＡ２の有効期間Ｔ３には、Ｔ１＞Ｔ２＞Ｔ３の関係がある。このような番組の構成に基づいて、図１（ａ）に示すように、見出しの階層のレベルを設定するものとする。
【００３０】
テレビジョン放映された映像は、番組等の上位の階層の有効期間（放映時間）と、各コーナ又はシーン等の下位の階層の放映時間とに包含関係がある、即ち、下位の階層の放映時間は上位の階層の放映時間に含まれるため、階層レベルを求めることにより、常に放映時間中の見出し画像を抽出することができるのである。
【００３１】
例えば、番組の見出しとなる文字情報として番組タイトルが挙げられるが、番組タイトルは、図１（ｂ）に示すように、その番組において最も階層が高いものとし、有効期間Ｔ１が最も長い。一方、番組に包含される各コーナの見出しは、番組タイトルよりも階層が低いものとし、番組タイトルよりも有効期間Ｔ２が短い。更に、各コーナに包含されるシーンは、コーナの階層より更に下の階層に分類され、その見出しは、コーナの有効期間Ｔ２よりも更に有効期間Ｔ３が短い。
【００３２】
階層が同様な見出し画像は、同様な特徴を有することから、番組の構成に基づいて複数の階層を設定することにより、このような見出し画像の階層を求めれば、その包含関係を推定する、即ち、見出しの有効期間を推定することができる。
【００３３】
ここで、階層が高い見出しを含む見出し画像の傾向として次のような特徴がある。
１．文字が中央に位置している
２．文字が大きい
３．背景が人工画像である
４．出現時に派手なアニメーションがある
５．出現時の時刻の分が５の倍数近傍である（特に、００分、５５分、３０分）
６．出現時の時刻の秒が００秒の近傍である
７．キャスターが存在してテロップに装飾がある（図４参照）
８．テロップがリスト表示されている（図５参照）
上述したように、同じ階層を有する見出し画像同士は、似たような特徴を有するという傾向があり、見出し画像の上記８つの特徴を検出すれば、似たような特徴を有する見出し画像毎に、大まかな階層を決定することができる。本実施の形態における画像表示装置は、このようにして画像の特徴から各見出し画像の階層を求めることにより、現時点においてどの見出し画像が有効期間内（有効である）か、又は有効期間を過ぎている（有効でない）かを推定することができる。即ち、新しく抽出された現時点での画像の階層が、過去に抽出された画像の階層と同一又はこれより高ければ、このような過去の見出し画像は現時点において有効でなく、逆に過去に抽出した画像の階層の方が現時点での画像の階層よりも高ければ、このような過去の見出し画像は依然として有効であると推定することができ、このような推定により、現在有効である見出し画像のみを表示することができるものである。
【００３４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＴＶ映像から見出しとなる文字情報を含む画像を候補画像として抽出し、抽出した画像の特徴から有効な見出し画像を抽出して複数の表示装置に供給して表示する画像表示システムに適用したものである。このシステムでは、表示装置の数が多いほど有効である見出しを含む画像を多く表示することができる。
【００３５】
図２は、本発明の実施の形態に係る画像表示システムを示すブロック図である。図２に示すように、本実施の形態における画像表示システム１は、有効な見出し画像を抽出する画像表示装置１０と、入力画像をそのまま表示する例えばテレビジョン受像機等の表示装置７０と、画像表示装置１０により抽出された有効な見出し画像を表示するための複数の表示装置８０１〜８０Ｎとから構成されている。
【００３６】
画像表示装置１０は、入力画像から文字情報を含む画像が表示候補画像として供給されこの候補画像の特徴（特徴量）を抽出する特徴抽出部２０と、階層毎に文字情報を含む画像の特徴が記憶されたレベル判定テーブル（階層テーブル）（図示せず）を有し、このレベル判定テーブルを参照して特徴抽出部２０により抽出された候補画像の特徴及び端子３１を介して入力されるその候補画像の入力時刻（放映開始時刻）とから、候補画像の階層レベルを求めるレベル判定部（分類手段）３０と、過去に抽出された見出し画像（表示用画像）が記録されたメモリ６０と、レベル判定部３０により求められた階層のレベルに基づいてメモリ６０に記録されている見出し画像を更新するか否かを判定する更新判定部４０と、更新判定部４０により更新された画像を複数の表示装置８０１〜８０Ｎのうち所定の表示装置に供給して表示するよう制御する表示装置制御部５０とから構成されている。
【００３７】
ここで、図２においては、表示装置８０１〜８０Ｎに対応する複数の特徴量抽出部２０、レベル判定部３０、更新判定部４０、及びメモリ６０が設けられている例を示すが、全ての表示装置８０１〜８０Ｎに共通に設けるものとしてもよい。
【００３８】
特徴抽出部２０は、入力画像から文字情報を含む画像として抽出された表示候補画像が供給される。このような表示画像候補は、公知の文字情報の検出方法等を使用して行うことができる。また、特徴抽出部２０の前段に、後述する文字情報検出装置（図示せず）設け、これにより文字情報が検出された画像を表示画像候補として特徴抽出部２０に供給することができる。この文字情報検出装置では、文字情報は、それを構成する画素が高輝度である、エッジ密度が高い、特徴的な出現・消失形態をとる、出現した後一定時間の安定状態を有する、自然界に無い色が使用されている、及び文字情報の内容と出現場所とに関係がある等の特徴を有することを利用して文字情報を検出するものである。
【００３９】
そして、特徴抽出部２０は、表示候補画像から上述した特徴、即ち、文字情報（テロップ）の画面における出現位置、文字情報の大きさ、背景が人工画像であるか又は自然画像であるか、出現時に派手なアニメーションがあるか否か、出現時の時刻、キャスターが存在してテロップに装飾があるか否か、及びテロップがリスト表示されているか否か、等の特徴（特徴量）を抽出する。
【００４０】
なお、本実施の形態においては、先ず、入力画像から、文字情報を含む画像を表示候補画像として抽出し、この表示候補画像から特徴を抽出するものとしたが、例えば、全ての入力画像から特徴を抽出してもよい。
【００４１】
レベル判定部３０は、特徴抽出部２０で抽出した候補画像の特徴と、端子３１を介してその候補画像の放映開始時刻が入力される。そして、この特徴と放映開始時刻とからその候補画像の階層を求め、この階層に基づきその階層の高さに応じてレベル値を決定する。文字情報を含む画像の特徴に応じて複数の階層が予め設定されており、レベル判定部３０は、各階層毎の特徴が記録されたレベル判定テーブルを有しており、このレベル判定テーブルを参照して階層毎の特徴と、抽出された候補画像の特徴との類似度から、候補画像がいずれの階層に属するかを分類することができる。
【００４２】
表示装置制御部５０は、各更新判定部４０に対して識別情報（ＩＤ番号）を与える。本実施の形態においては、ＩＤ番号は、１からＮまでの数値を順に付すものとする。
【００４３】
更新判定部４０は、レベル判定部３０から入力された候補画像のレベル値と、表示装置制御部５０により与えられた自身のＩＤ番号とを比較することにより、メモリ６０に保存されている画像を更新するか否かを判定する。更新すると判定された場合にはメモリ６０の画像の更新を行う。
【００４４】
表示装置７０は、入力画像をそのまま表示し、それ以外の各表示装置８０１〜８０Ｎはメモリ６０に保存されている所定の画像の少なくとも一部を表示する。
【００４５】
以下、本実施の形態の画像表示装置について更に詳細に説明する。先ず、特徴抽出部２０について説明する。図３は、特徴抽出部を示すブロック図である。特徴抽出部２０は、図３に示すように、入力画像から文字情報を含む画像として抽出された表示候補画像が供給され、アニメーションを抽出するアニメーション抽出部２１、文字情報及び文字の装飾を抽出する文字抽出部２２、人工画像であるか否かを抽出する人工画像検出部２３、及びアンカーショットが含まれているか否かを検出するアンカーショット検出部（バストショット検出手段）２４と、文字抽出部２２により抽出された文字情報の大きさ、位置等の特徴を抽出する文字特徴抽出部２５、及び人工画像検出部２３により人工画像か否かが検出された後、その背景の特徴を抽出する背景特徴抽出部２６とから構成されている。
【００４６】
アニメーション検出部２１は、派手なアニメーション、動きが大きいアニメーションが出現したか否かを検出するものである。アニメーションの出現は、例えば以下の特徴等を利用して検出することができる。即ち、
１．フレーム間差分が所定の閾値以上で且つ一定時間以上続く
２．フレーム間差分の変動が所定の閾値以上で且つ一定時間以上続く
の条件を満たすとき、アニメーションが出現したものと判定することができる。
【００４７】
文字抽出部２２では、例えば、以下の特徴等を利用して、テロップ等の文字情報を抽出することができる。即ち、
１．現フレーム画像と数フレーム前の画像との輝度の差分が所定の閾値以上の画素の集合がある
２．輝度の平坦部とエッジ部とが存在する
３．エッジの密度が所定の閾値以上である
の条件を満たすとき、これ領域を文字情報を含む領域として抽出することができる。
【００４８】
平坦部及びエッジ部の検出は、例えば、隣接又は近傍の画素間の輝度変化が所定の閾値より小さい場合は平坦部とし、所定の閾値より大きい場合はエッジ部とすることができる。
【００４９】
また、例えば以下の特徴等を利用して文字情報の装飾を抽出することができる。即ち、
１．現フレーム画像と数フレーム前の画像との輝度の差分が所定の閾値以上の画素の集合である
２．輝度の平坦部とエッジ部とが存在する
３．エッジの密度が閾値以下である
の条件を満たすとき、これを文字情報の修飾として抽出することができる。ここで、文字情報の修飾とは、図４に示すように、視認性を高めるため等に文字情報近傍に付加されている例えば下線等の装飾１０１、又は文字情報の先頭文字近傍付加されている絵等の装飾１０２等を示す。
【００５０】
文字特徴抽出部２５は、文字抽出部２２で抽出した文字の大きさ、位置、及び出現時間を求める。これにより、例えば図４に示すように、画面下方に表示されている場合、又は図５に示すように、水平方向に並んだ文字情報が複数表示されている場合（以下、テロップリストという。）等を区別して認識することができる。
【００５１】
人工画像検出部２３は、例えば以下の特徴等を利用して、表示候補画像が人工画像であるかどうかを判定することができる。即ち、
１．輝度ヒストグラム又は色相ヒストグラムにおいて所定の値近傍の頻度が所定の閾値以上存在する
２．フレーム間差分が閾値以下の状態が一定時間以上続く
の条件を満たすものを人工画像と判定することができる。
【００５２】
その他、人工画像は、一般に、静止画像であって、ある少数の色の頻度が有意に多く、彩度が高い／輝度が極端に高い又は低い画素が多く、また、隣接画素と強い相関を有する画素が多い等の特徴を有する。このような特徴を利用し、例えば輝度又は色相のいずれかのヒストグラムにおいて、自然界には存在し得ないような人工的な色であって、且つそのような色の画像が意図的に存在することがわかる程度の量含まれていることを示す適当な閾値を設けて判定してもよい。
【００５３】
背景特徴抽出部２６は、人工画像と判定された画像が供給され、その背景の特徴を抽出する。具体的には、輝度、及び色相のヒストグラムから頻度順にソートする。
【００５４】
アンカーショット検出部２４は、例えば以下の特徴等を利用してアンカーショットを検出することができる。即ち、
１．フレーム間差分が所定の閾値以下の状態が一定時間以上続く
２．肌色領域が特定の位置に存在する
３．特定の領域に輝度差分が所定の閾値以上の点が所定の閾値以上ある
の条件を満たすものをアンカーショットであると判定することができる。
【００５５】
ここでは、アニメーション抽出部２１、文字抽出部２２、人工画像検出部２３、アンカーショット検出部２４、文字特徴抽出部２５、及び背景特徴抽出部２６は、上述したように、複数の条件から検出・抽出するものとしたが、常に全ての条件を満たす必要はなく、必要に応じて条件の種類及びそれらを判定する閾値は適宜変更するものとする。
【００５６】
次に、レベル判定部３０について説明する。先ず、レベル判定部３０において、参照されるレベル判定テーブルについて説明する。レベル判定部３０は、このレベル判定テーブルを参照して、表示候補画像の特徴からその階層のメインレベルを求めるため、文字情報を含む画像の特徴に対応した階層（メインレベル）が予め設定されたレベル判定テーブルを有している。そして、このレベル判定テーブルを参照し、上述した特徴抽出部で抽出された特徴から表示候補画像のレベルを推定するものである。
【００５７】
図６は、レベル判定テーブルを示す模式図である。図６のレベル判定テーブルに示すように、画像の特徴に応じて、Ａ〜Ｇの階層にレベル分けされている。上述したように、本実施の形態においては、表示候補画像の特徴から、文字情報を含む画像の有効期間の長さに対応する大まかな階層（メインレベル）を決定する。ここで、全てのメインレベルの特徴との類似度が低い場合は、いずれの階層にも分類されないものとする。
【００５８】
ここでは、文字情報の位置、大きさ、出現期間、及び背景の種類（人工画像であるか否か）等により、階層を図６に示すＡ〜Ｇの７つのメインレベルにレベル分けするものとし、その画像の有効期間が長いもの程、階層が高くなるように設定されている。ここで、本実施の形態においては、放映された映像から文字情報を含む画像を抽出し、その文字情報が有効期間内である画像を表示画像として抽出するため、同じ番組内であれば上位の階層ほど有効期間が長くなるような７つの階層を設定しているが、階層（メインレベル）のレベル分けの方法はこれに限らない。例えば、レベル分けする階層の数等は、適宜増減するものとし、更に、入力される映像、又は抽出対象となる画像に応じて適宜レベル判定テーブルを用意してもよい。
【００５９】
そして、レベル判定部３０では、大まかに決定された同一のメインレベルにおいても、人工画像の背景の類似性、文字の大きさの類似性等により、その文字情報の有効期間を更に正確に推定するため、メインレベルを更に複数の階層（以下、サブレベルという。）に分類する。以下、本実施の形態において推定される階層の構造、即ち、メインレベル及びサブレベルについて説明する。
【００６０】
図７は、メインレベル及びサブレベルの関係を説明する図である。図７に示すように、ある番組において、複数のスポーツ毎の情報を放映するスポーツコーナＣ１が設けられており、そのスポーツコーナＣ１内には、複数のスポーツのうち、サッカー情報及び野球情報を放映する夫々サッカーコーナＣ２１及び野球コーナＣ２２が設けられており、更にサッカーコーナＣ２１には、サッカー情報のうち特にワールドカップの情報を放映するワールドカップサッカーコーナＣ３が設けられているとする。
【００６１】
ここで、スポーツコーナＣ１、サッカーコーナＣ２１、野球コーナＣ２２、及びワールドカップサッカーコーナＣ３は、ある番組のコーナを構成するものとして、図６に示すレベル判定テーブルにおいてメインレベルが同一の階層で、例えばメインレベルＥに分類されるものとする。
【００６２】
ところで、サッカーコーナＣ２１及び野球コーナＣ２２は、スポーツコーナＣ１を構成するコーナの一部であるため、その有効期間がスポーツコーナＣ１より短く、更に、ワールドカップサッカーコーナＣ３は、サッカーコーナＣ２１を構成するコーナの一部であるため、その有効期間がサッカーコーナＣ２１より短いものとなる。即ち、同一の階層のメインレベルＥに分類されたとしても、これらのコーナには、スポーツコーナＣ１＞サッカーコーナＣ２１、野球コーナＣ２２＞ワールドカップサッカーコーナＣ３というような階層のレベルを有しているものとする。このような同一のメインレベルを示す階層に分類された中にも、更に包含関係を有しているような場合、更に細かく階層（サブレベル）を設定できる場合がある。
【００６３】
ここで、同じ番組内におけるメインレベルが同一で且つ類似性が特に高いものは、同一メインレベル且つ同一サブレベルとし、メインレベルが同一でも類似性が低いものは、同一メインレベル且つ非同一サブレベルであって、そのサブレベルは、その放映時刻が早い程、有効期間が長い、即ちサブレベルの階層が高くなるという傾向から、同一メインレベルの階層内に複数のサブレベルを設定することができる。即ち、サッカーコーナＣ２１と野球コーナＣ２２のように、同一メインレベル且つ同一サブレベルの場合は、その類似性が高くなり、サッカーコーナＣ２１及びワールドカップサッカーコーナＣ３のように、同一メインレベル且つ非同一サブレベルの場合は、その類似性が低くなり、且つサブレベルが高いサッカーコーナＣ２１の方が放映される時刻が早くなっていることを利用して、サブレベルを設定することができる。
【００６４】
このように、同一の階層（メインレベル）に推定されたものにおいても、その類似性を判定することにより、更に細かく階層（サブレベル）を分類することができ、これにより、更に正確に有効期間内の文字情報を含む画像を表示することが可能となる。レベル判定部３０は、このような表示候補画像の階層（メインレベル及びサブレベル）を決定するものである。
【００６５】
更新判定部４０は、レベル判定部３０において決定された各見出し画像の階層を比較することにより、見出し画像を更新するか否かを判定する。これにより、メモリ６０に記憶されている見出し画像のうち、有効期間が切れた見出し画像を有効期間内の見出し画像に更新することができる。ここで階層の高さ（メインレベル及びサブレベル）を比較することにより有効期間内の見出し画像を表示することができる原理について説明する。図８は、レベルを比較することで有効期間内の文字情報を含む画像を表示する原理を説明する図である。
【００６６】
図８には、ある番組Ｄ内にあるコーナＤ１１及びＤ１２が設けられ、更に、あるコーナＤ１１内にあるシーンＤ２が設けられているような場合を示す。そして、時刻ＴＤ＞ＴＤ１１＞ＴＤ２＞ＴＤ１２の順で、夫々番組Ｄの見出し画像、コーナＤ１１の見出し画像、シーンＤ２の見出し画像、コーナＤ１２の見出し画像が表示された場合を示す。これらの見出し画像は、レベル判定部３０により、そのメインレベルが同一であって、サブレベルが番組Ｄ＞コーナＤ１１＝Ｄ１２＞シーンＤ２であることが決定されている。
【００６７】
上述したように、このようにレベル判定部３０において決定されたレベルに基づき、更新判定部４０において、メモリ６０に既に記録されている画像の階層のレベルが比較され、既存の画像より階層が高い画像が検出された場合は、メモリ６０の画像が更新される。
【００６８】
図８に示すように、現時点での時刻Ｔ＝ＴＤ１２である場合、メモリ６０には、番組Ｄ、コーナＤ１１、シーンＤ２の見出し画像が保存されている。ここで、コーナＤ１２の見出し画像が更新判定部６０に供給されると、更新判定部６０では、新たに供給されたコーナＤ１２の見出し画像の階層とメモリ６０に保存されている各画像の階層とを比較し、新たに供給された画像の階層、即ちメインレベル以下の画像、メインレベルが同一である場合はそのサブレベルのレベル以下の画像を削除する。即ち、番組Ｄ、コーナＤ１１、シーンＤ２のうち、コーナＤ２を示す見出し画像は、時刻Ｔにおいて抽出され新たに供給されたコーナＤ１２を示す見出し画像より階層レベル（サブレベル）が低いので削除され、コーナＤ１１を示す見出し画像は、新たに供給されたコーナＤ１２を示す見出し画像と階層レベル（サブレベル）が同一であるため削除され、番組Ｄを示す見出し画像は、新たに供給されたコーナＤ１２を示す見出し画像より階層レベル（メインレベル）が高いので、そのまま保持される。ここで、供給された画像がシーンＤ２を示す見出し画像よりサブレベルが低かった場合は、全ての画像は保持されると共に、供給された画像も保持されることになる。
【００６９】
図８に示す例では、コーナＤ１２の見出し画像が供給された時刻Ｔにおいて、コーナＤ１１及びシーンＤ２はその放映が終了しているため、これらの見出し画像は既に有効ではなくなっており、このような有効期間に応じたメインレベル及びサブレベルを設定しておくことにより、レベルに応じて画像を更新することができ、その時刻Ｔにおいて、有効な画像のみを表示できる。ここで、本実施の形態においては、図６に示すレベル判定テーブルのメインレベルＡ〜Ｇの７つのメインレベルのうち、Ｅ，Ｆのみサブレベルが存在するものとする。このサブレベルについても、メインレベルと同様に、適宜必要に応じて設定するものとし、例えば全てのメインレベルについても設定してもよい。
【００７０】
次に、本実施の形態における画像表示装置の動作について説明する。先ず、レベル判定部３０の動作について説明する。図９は、レベル判定部３０において、供給される表示候補画像のレベルを決定する方法を示すフローチャートである。レベル判定部３０は、予め用意された図６に示すレベル判定テーブルの他に、現在有効である見出し画像のデータが、その階層が高い順序に記録された有効見出しテーブルを有し、先ず、レベル判定テーブルを参照して表示候補画像の特徴からそのメインレベルを決定し、この表示候補画像のメインレベ及び特徴と、有効見出しテーブルのレベル及び特徴とを比較することにより、表示候補画像のレベル値を決定し、出力するものである。更新判定部４０は、表示候補画像のレベル値を使用して更新判定を行う。本実施の形態においては、見出し画像の階層が高い順に、レベル値を１、２、３、・・・として設定していくものとする。
【００７１】
図９に示すように、先ず、特徴抽出部２０で得られた特徴及び時刻とから、図６に示すレベル判定テーブルを基に、表示候補画像のメインレベルを求める（ステップＳ１）。ここで、条件を満たすメインレベルが存在するか否かを判定し（ステップＳ２）、表示候補画像がいずれのメインレベルの条件も満たさなかった場合は処理を終了する。
【００７２】
次に、現在有効である見出し画像の情報が記述された有効見出しテーブルを読み出す（ステップＳ３）。図１０は、有効見出しテーブルを示す図である。図１０に示すように、有効見出しテーブルには、過去に入力され、現在においても有効であると推定される見出し画像のメインレベル、文字の大きさ、背景特徴が記録されている。更に、サブレベルが存在するときはそのサブレベルの高さも記録されている。ここでは、サブレベルは、その階層が高い順に１から順に番号を付すものとする。また、有効見出しテーブルにおける文字の大きさは、背景が自然画像のとき使用し、背景特徴は、背景が人工画像のとき使用するものとする。そして、現在有効である見出し画像が、メインレベルの高い順で、メインレベルが同一の場合はサブレベルの高い順に、レベル値が１から順に設定されて記録されている。
【００７３】
図９に戻って、ステップＳ３で図１０に示す有効見出しテーブルを読み出した後、レベル値が高い順にテーブルのメインレベルと表示候補画像のメインレベルとを比較する。即ち、先ず、レベル値ｉ（＝１）のメインレベルと表示候補画像のメインレベルとを比較し（ステップＳ４）、表示候補画像のメインレベルの方が小さい場合は、有効見出しテーブルのレベル値ｉをインクリメント（ｉ＝２）とし（ステップＳ６）、再び、レベル値ｉ＝２のメインレベルと表示候補画像のメインレベルとを比較する。このように、表示候補画像のメインレベル以下となるまで、有効見出しテーブルのレベル値ｉをインクリメントし、ステップＳ５及びステップＳ６を繰り返す。
【００７４】
そして、ステップＳ５で、表示候補画像のメインレベルが有効見出しテーブルのメインレベル以下であるレベル値ｉ＝Ｉに達した場合、メインレベルが同一であるか否かが判定され（ステップＳ７）、同一である場合、そのメインレベルがＡ，Ｂ，Ｃ，Ｄ，Ｇであるか否かが判定される（ステップＳ８）。即ち、上述したように、本実施の形態においては、メインレベルＥ，Ｆのみサブレベルを設定しているので、その他のメインレベルの表示候補画像が供給された場合、これと同一のメインレベルを有するレベル値ｉ＝Ｉ以下の見出し画像は削除する。また、ステップＳ７で、表示候補画像のメインレベルと有効見出しテーブルのレベル値ｉ＝Ｉのメインレベルとが一致しない場合、即ち、表示候補画像のメインレベルが見出しテーブルのレベル値ｉ＝Ｉにおけるメインレベルより小さくなった場合は、表示候補画像のレベル値をｉ＝Ｉとして出力する（ステップＳ１２）と共に、表示候補画像のデータを有効見出しテーブルのレベル値ｉ＝Ｉの位置に書き込み、それ以下のレベル値ｉを有する有効見出しテーブルの見出し画像を削除する（ステップＳ１３）。
【００７５】
ステップＳ８において、表示候補画像がメインレベルＥ，Ｆの場合、ステップ９に進み、レベル値ｉ＝Ｉの見出し画像における特徴、即ち、文字の大きさ及び背景特徴が類似しているか否かを判定する。そして、ステップＳ９にて、類似度が所定の閾値以上である場合、有効見出しテーブルから読み出す見出し画像のレベル値ｉ＝Ｉ＋１とし（ステップＳ１０）、このレベル値ｉ＝Ｉ＋１におけるメインレベルと表示候補画像のメインレベルとを比較し（ステップＳ１１）、メインレベルが同一である場合は、再びステップＳ９に戻って処理を繰り返す。一方、ステップＳ１１において、メインレベルが同一でないとされた場合、即ち、表示候補画像のメインレベルの方が大きくなった場合は、上述したステップＳ１２に進み、その時点でのレベル値、例えばレベル値ｉ＝Ｉ＋１であった場合は、このレベル値ｉ＝Ｉ＋１を表示候補画像のレベル値として出力し（ステップＳ１２）、有効見出しテーブルを更新する（ステップＳ１３）。
【００７６】
次に、有効見出しテーブル更新方法について更に具体的に説明する。図９のステップＳ８において、有効見出しテーブルのレベル値ｉ＝Ｉのメインレベルと表示候補画像のメインレベルとが同じで且つメインレベルがＡ，Ｂ，Ｃ，Ｄ，Ｇの場合は、その時のレベル値ｉ＝Ｉを出力し、テーブルの更新を行うが、テーブルの更新は、具体的には、表示候補画像のレベル値として出力したレベル値ｉにおけるテーブルのデータを表示候補画像のパラメータに更新し、出力したレベル値ｉより大きいレベル値を有するデータ（レベル値ｉに該当するデータよりも階層が低い画像のデータ）をテーブルから消去するものである。図１１（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、有効見出しテーブルのレベル値ｉ＝Ｉ＝１のメインレベルと表示候補画像のメインレベルがいずれもＡである例を示す。図１１（ａ）に示すように、更新前は、レベル値ｉ＝１〜４までの見出し画像のデータが保存されているが、新たに表示候補画像として、メインレベルＡが供給された場合、図１１（ｂ）に示すように、レベル値ｉ＝１の位置のデータが新たに供給された表示候補画像のデータに書き換えられ、保存されていたレベル値ｉ＝２以下の見出し画像のデータは破棄される。
【００７７】
また、図９のステップＳ８からステップＳ９に進む場合、即ち、テーブルのレベル値ｉ＝Ｉのメインレベルと表示候補画像のメインレベルとが同じ場合で、メインレベルがＥ，Ｆの場合は、サブレベルが高い順、即ち、レベル値が小さい順に、背景が自然画像の場合は文字の大きさ、背景が人工画像の場合は背景特徴を比較する。図１２（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、表示候補画像のメインレベルがＥ、テーブルに記憶されているメインレベルＥの画像とは類似度が低い場合のテーブル更新例を示す。
【００７８】
図１２に示すように、テーブルのレベル値ｉ＝Ｉ＝２において、そのメインレベルと表示候補画像のメインレベルが一致するため、ステップＳ９においてその類似度が判定される。ここで、レベル値ｉ＝Ｉ＝２との類似度が所定の閾値以下であるため、表示候補画像のメインレベルＥのサブレベルはサブレベル１より階層が低いと判定される。そして、ステップＳ１０において、レベル値ｉ＝Ｉ＋１＝３とされ、ここでもメインレベルが一致するため、再び類似度判定される。そして、ここでも類似度が閾値以下であるため、表示候補画像のメインレベルＥのサブレベルはサブレベル２より更に階層が低いと判定される。そして、再びステップＳ１０において、レベル値ｉ＝Ｉ＋２＝４とされ、この場合は、メインレベルがレベル値ｉ＝４のメインレベルＦより高くなるため、表示候補画像は、レベル値ｉ＝４の位置のデータと書き換えられる。
【００７９】
一方、有意に類似度が高いものがあれば、即ち、例えば、図１２（ａ）において、レベル値ｉ＝２において、類似度が高い場合、表示候補画像のメインレベルＥのサブレベルは、有効見出しテーブルのレベル値ｉ＝２のサブレベルと同一、即ち、サブレベルが１と判定され、その時のレベル値ｉ＝２のデータが表示候補画像のデータと書き換えられ、レベル値ｉ＝２より大きいレベル値、即ちレベル値ｉ＝２より下の階層のデータが破棄される。このような同一メインレベルにおける類似度の判定は、背景が自然画像の場合は、文字の大きさの差が所定の閾値以下であるか否かで判断し、背景が人工画像の場合は、背景特徴の相関係数が所定の閾値以上か否かで判定することができる。
【００８０】
更に、図１３（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、表示候補画像のメインレベルがＢでレベル値ｉ＝２と書き換えられる例を示す。図１３（ａ）に示すように、図９のステップ７において、表示候補画像のメインレベルＢがテーブルのレベル値ｉ＝Ｉ＝２のメインレベルＥよりも大きいため、ステップＳ１２，１３に進み、図１３（ｂ）に示すように、レベル値ｉ＝Ｉ＝２のデータと書き換えられ、レベル値ｉ＝２より大きいデータは破棄される。
【００８１】
次に、更新判定部４０の動作について詳細に説明する。図１４は、更新判定部の更新判定方法を示すフローチャートである。
【００８２】
図１４に示すように、先ず、更新判定部４０は、予め図２に示す表示装置制御部５０から与えられた自身のＩＤ番号を読み出す（ステップＳ２１）。次に、上述したように、レベル判定部３０で決定して出力される表示候補画像のレベル値ｉを受け取る（ステップＳ２２）。そして、表示候補画像のレベル値ｉの値が自身のＩＤ値以下であるか否かを判定する（ステップＳ２３）。表示候補画像のレベル値ｉが自身のＩＤ値以下であるである場合は、表示候補画像のレベル値ｉ＝自身のＩＤ値であるか否かを判定し（ステップＳ２４）、同一である場合は、表示候補画像を見出し画像（表示用画像）と判定してメモリ６０に書き込み、メモリ６０内の画像を更新する。表示候補画像のレベル値ｉの値が自身のＩＤより小さい場合は、表示候補画像が現在記憶されている見出し画像よりも高い階層の見出し画像であることを示す、即ち、記憶されている見出し画像の有効期間が切れたことを示し、従って、メモリ６０内の有効期間切れの見出し画像を消去する（ステップＳ２６）。一方、ステップＳ２３において、表示候補画像のレベル値ｉの値が自身のＩＤ番号より大きい場合は、表示候補画像がメモリ６０に記憶されている見出し画像よりも更に下の階層の見出し画像であることを示し、従って、この時点ではメモリ６０に記憶されている見出し画像の期限は有効であるためそのまま保持して、処理を終了する。
【００８３】
このように構成された画像表示装置１０により、抽出されメモリ６０に記録されている現在有効である画像（表示用画像）は、各表示装置８０１〜８０Ｎにおいて表示される。本実施の形態においては、各表示装置８０１〜８０Ｎは自身のＩＤ（１〜Ｎ）を有し、各表示装置８０１〜８０Ｎに表示されている画像は、このＩＤに対応してレベル値が小さい順、即ち階層が高い順に、有効期間内の見出し画像のみを表示することができる。
【００８４】
図１５は、図２の画像表示システムにおける複数の表示装置により、見出し画像を表示した様子を示す模式図である。図１５（ｂ）に示す中央のモニタは、表示装置７０を示し、テレビジョン放映された通常の映像が表示されている。図１５（ａ）及び（ｃ）は、夫々表示装置８０１、８０２に表示される画像を示し、夫々番組のタイトル及びコーナのタイトルを示す見出しを含む画像を表示している。
【００８５】
例えば、ある番組ＥのあるコーナＥ１のあるシーンＥ２が放映されている場合、図１５（ａ）に示すように表示装置８０１には、番組Ｅの番組タイトルを示す見出し画像が、図１５（ｂ）に示すように、表示装置８０２には、コーナＥ１のタイトルを示す見出し画像が、また、表示装置８０３（図示せず）には、シーンＥ２を示す見出し画像が表示される。こうして複数台の表示装置８０１〜８０Ｎに、階層順の見出し画像を表示することができる画像表示装置を接続することにより、視聴者は、番組の途中から視聴を始めた場合においても、そのときのコーナ又はシーン等が何であるかを直ちに把握することができて便利である。
【００８６】
また、上述の実施の形態においては、抽出された複数の見出し画像を表示可能な複数の表示装置を設けるものとしたが、例えば１つの表示装置の表示領域を４分割して、所定の領域に階層毎の見出し画像が同時に表示されるように、抽出された複数の見出し画像を合成するようにしてもよい。これにより、表示装置が通常の映像を視聴する表示装置の他に見出し画像表示用のモニタを１台用意するのみで、複数の見出し画像を同じに表示できて便利である。更に、上述の実施の形態においては、表示装置に見出し画像を表示するものとしたが、見出し画像に含まれる見出し（文字情報）領域のみを抽出して表示するようにしてもよい。
【００８７】
次に、上述した図３に示す特徴抽出部２０の前段に設けられる文字情報検出装置の具体例について説明する。図１６は、本具体例における文字情報検出装置におけるデータの流れを説明する説明図である。図１６に示すように、文字情報検出装置は、入力画像データが供給されるフレーム画像判定部（判定手段）２１０と、フレーム画像判定部２１０からのデータが供給され、画面上に予め設定されたテロップ出現領域（文字情報出現領域）において、このテロップ出現領域にテロップが出現するか否かを検出するテロップ出現検出部（文字情報出現フレーム画像検出手段）２２０と、フレーム画像判定部２１０又はテロップ出現検出部２２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部２３０と、エッジ密度検出部２３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部２４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部２５０と、推定部２５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部２６０と、テロップ類似度検出部２６０から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部（提示手段）２７０とから構成されている。
【００８８】
テロップ出現検出部２２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部２２１とテロップ出現領域の輝度変化を検出する局所変化検出部２２２とを有する。
【００８９】
また、推定部２５０は、エッジ密度検出部２３０から供給されるデータと記憶部２４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部２５１と、既検出テロップ候補が記憶部４０に保持される期間を検出する継続カウンタ２５２と、継続カウンタ２５２及び類似度検出部２５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部５３から構成されている。
【００９０】
以下、この文字情報検出装置について更に詳細に説明する。文字情報検出装置には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現検出部２２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部２３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（stateflg）に１が設定される。このフラグ（stateflg）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点、具体的には、後述するが、エッジ密度検出部２３０においてテロップ出現領域のエッジ密度が所定の閾値未満であることが検出された時点、テロップ類似度検出部２６０で同様の既に提示済みのテロップが検出された時点、及び提示画像生成部２７０からテロップと確定されて出力された時点で０が設定されるものである。
【００９１】
フレーム画像判定部２１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（stateflg）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現検出部２２０における処理は不要であるため、フラグ（stateflg）が１である間は、フレーム画像をエッジ密度検出部２３０に供給する。
【００９２】
テロップ出現検出部２２０は、フラグ（stateflg）が０である間、判定部２１０からフレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップ出現領域におけるテロップの出現を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、その輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００９３】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまう。これを防止するため、候補フレーム画像検出部２２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部２２２に供給する。
【００９４】
そして、局所変化検出部２２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（stateflg）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部２３０に供給する。
【００９５】
次に、候補フレーム画像検出部２２１及び局所変化検出部２２２について具体的に説明する。候補フレーム画像検出部２２１は、例えば図１７のように構成された輝度ヒストグラム生成部２８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部２８０は、フレーム画像判定部２１０からのフレーム画像のデータ（以下、フレームデータという。）が供給されるブロック分割部２８１及び遅延回路２８３、遅延回路２８３により所定時間遅延されたフレームデータが供給されるブロック分割部２８４、並びに、ブロック分割部２８１及び２８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部２８２及び２８５から構成されている。
【００９６】
このように構成された輝度ヒストグラム生成部２８０に対して、候補フレーム画像検出部２２１が、フレーム画像判定部２１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部２８０は、ブロック分割部２８１により、供給されたｉフレームの画像データ（情報列）を空間が規定サイズとなるブロックに分割し、このブロック単位のデータをヒストグラム計算部２８２に送る。
【００９７】
また、このｉフレームの画像データは、同時に遅延回路２８３にも供給され、遅延回路２８３により、例えば２フレーム分遅延された画像データがブロック分割部２２４に供給される。
【００９８】
ブロック分割部２８４は、ブロック分割部２８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロックに分割し、このブロック単位のデータをヒストグラム計算部２８５に送る。
【００９９】
ヒストグラム計算部２８２，２８５は、全画面において、ブロック単位で輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部２２１に送る。
【０１００】
そして、候補フレーム画像検出部２２１は、ヒストグラム計算部２８２，２８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Th_coef１）と比較し、相関係数が所定の閾値（Th_coef１）以下であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【０１０１】
【数１】
そして、この変化ブロックの割合が所定の閾値（Th_diff１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Th_diff１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【０１０３】
また、局所変化検出部２２２も、候補フレーム画像検出部２２１と同様に、候補フレーム画像検出部２２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部２２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Th_coef１）以下である変化ブロックの割合が所定の閾値（Th_diff２）以上であるｉフレームを検出する。ここで変化ブロックの割合が所定の閾値（Th_diff２）以上であった場合は、上述した如くフラグ（stateflg）に１を立てると共にこのデータをエッジ密度検出部２３０に供給する。一方、変化ブロックの割合が閾値（Th_diff２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【０１０４】
このように、テロップ出現検出部２２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【０１０５】
なお、本具体例においては、輝度ヒストグラム生成部２８０を用意し、候補フレーム画像検出部２２１の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部２２１及び局所変化検出部２２２において、図１７に示すようなブロック分割部２８１，２８４及びヒストグラム計算部２８２，２８５等を個別に有するものとしてもよい。また、遅延回路２８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【０１０６】
図１６に戻って、エッジ密度検出部２３０は、フラグ（stateflg）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部２３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【０１０７】
エッジ密度検出部２３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、テロップであればエッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Th_den）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Th_den）未満であるときは、フラグ（stateflg）を０とする。これにより、以降のフレーム画像は、フラグ（stateflg）に１が設定されるまでの間、テロップ出現検出部２２０に供給されるようになる。
【０１０８】
記憶部２４０には、エッジ密度検出部２３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部２５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部２３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部２３０によりテロップ候補が検出されなかった場合、エッジ密度検出部２３０は、記憶部２４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ２５２のカウント値をリセットし、フラグ（stateflg）を０とし、次のフレームの処理へ移る。
【０１０９】
推定部２５０は、記憶部２４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【０１１０】
継続カウンタ２５２は、テロップが安定して出現したフレーム数（静止期間）をカウントするものである。例えば、エッジ密度検出部２３０及び後述する類似度検出部２５１等において、記憶部２４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ２５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ２５２により、記憶部２４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部２５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【０１１１】
類似度検出部２５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部２３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部２２１及び局所変化検出部２２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Th_coef２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部２４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部２４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【０１１２】
ここで、記憶部２４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ２５２のカウント値をリセットする。一方、記憶部２４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ２５２のカウント値をインクリメントする。
【０１１３】
また、相関係数が所定の閾値（Th_coef２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部２４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータに置き換えると共に、継続カウンタ２５２のカウント値をリセットする。
【０１１４】
このように、類似度検出部２５１は、テロップ候補と、記憶部２４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部２４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【０１１５】
安定度判定部２５３は、既検出テロップ候補が記憶部２４０に保持される期間を検出する期間検出手段として、継続カウンタ２５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部２４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部２６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部２６０に送られたものと判定し、記憶部２４０の既検出テロップ候補及び継続カウンタ２５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部２６０に送られる。
【０１１６】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部２６０に送出した後は、記憶部２４０に記憶されている既検出テロップ候補、及び継続カウンタ２５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部２６０には送出されず、同一のテロップを出力することを防止することができる。
【０１１７】
テロップ類似度検出部２６０は、安定度判定部２５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部２７０に保持されているテロップ等の既検出テロップと、安定度判定部２５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部２７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部２６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【０１１８】
提示画像生成部２７０は、類似度判定部２６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に表示する提示手段である。提示画像生成部２７０は、所定数のテロップを保持して表示し続けるため、テロップの出現領域が例えば水平方向の帯状の領域に設定されている場合、この帯状の領域を切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して出力する。
【０１１９】
このように、文字情報検出装置は、先ず、テロップ出現検出部２２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部２３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ゜候補を検出し、推定部２５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部６０を設け、これによりテロップが何度も検出されないようにして、提示画像を生成するものである。
【０１２０】
以下、本具体例における文字情報検出方法について詳細に説明する。図１８は、図１６に示すフレーム画像判定部２１０及びテロップ出現検出部２２０の処理方法を示すフローチャートである。上述したように、文字情報を検出する際には、予めテロップ出現領域を画面上に設定する。以下の説明においては、テロップ出現領域を画面下部に設定した場合について説明する。なお、複数のテロップ出現領域を設定する場合は、各テロップ出現領域について同様の処理を行うものとする。
【０１２１】
図１８に示すように、図１６のフレーム画像判定部２１０にｉフレームの画素値Ｆ（ｉ，ｐｘｌ）が入力されると、上述したフラグ（stateflg）が１であるか０であるかが検出される（ステップＳ５１）。ここで、フラグ（stateflg）が１である間は、後述するステップＳ５９に進む。一方、フラグ（stateflg）が０である間は、ステップＳ５２及びＳ５３に進む。
【０１２２】
ステップＳ５２では、ヒストグラム生成部２８０のヒストグラム計算部２８５から（ｉ−２）フレームの全画面においてブロック単位で計算された輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む。ここで、ｊは、フレーム内のｊ番目のブロック（ブロックＮｏ．）を示し、輝度ヒストグラムＨ（ｉ−２，ｊ）は、（ｉ−２）フレームにおけるｊ番目のブロックの輝度ヒストグラムを示す。このとき、同時に、ヒストグラム計算部２８２で、ｉフレームの全画面において、ブロック毎の輝度ヒストグラムが計算され、このｉフレームにおける輝度ヒストグラムＨ（ｉ，ｊ）がフレーム変化検出部２２６に供給される（ステップＳ３）。本具体例においては、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。
【０１２３】
次に、ステップＳ５４では、局所変化検出部２２６が、輝度ヒストグラムＨ（ｉ−２，ｊ）と輝度ヒストグラムＨ（ｉ，ｊ）とから対応ブロック毎に相関係数ｅ１（ｊ）を計算し、この相関係数ｅ１（ｊ）と所定の閾値（Th_coef１）とを比較し、相関係数ｅ１（ｊ）が、閾値（Th_coef１）以下であれば、変化ブロックと判定する。
【０１２４】
そして、ステップＳ５４で判定した全ブロックに対する変化ブロックの割合ｅ１（ｊ）が、所定の閾値（Th_diff１）以下であるか否かを判定し（ステップＳ５）、閾値（Th_diff１）より大きい場合は、現フレームの処理を終了し、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ１（ｊ）が閾値（Th_diff１）以下である場合は、ステップＳ５６に進む。
【０１２５】
ステップＳ５６では、局所変化検出部２２２において、ヒストグラム計算部２８２，２８５からのデータにより、フレーム内のテロップ出現領域、即ち、本具体例の場合は、例えば６４×５７６ピクセルのサイズを有する画面中央下部領域内の全ブロックに対する変化ブロックの割合ｅ２（ｊ）を計算し、ステップＳ５７において、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）以上であるか否かを判定する。変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）未満である場合は、現フレームの処理を終了して、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Th_diff２）以上である場合は、ステップＳ５８に進み、ｉフレームのテロップ出現領域はテロップ候補であるとみなし、テロップ候補が検出されたことを示すフラグ（stateflg）に１をたて、ｉフレームの画素値Ｆ（ｉ，ｐｘｌ）を推定部２５０へ送る。これにより、以降のフレーム画像の処理は、フラグ（stateflg）が１である間は、ステップＳ５２乃至ステップＳ５８の処理を行わず、ステップＳ５１からステップＳ５９に進む処理がなされることになる。
【０１２６】
次に、ヒストグラム生成部２８０において、輝度ヒストグラムを計算する方法について更に詳細に説明する。図１９は、ヒストグラム生成部２８０によりブロック単位で計算された輝度ヒストグラムから候補フレーム画像を検出する方法を示すブローチャートである。
【０１２７】
図１９に示すように、先ず、ブロック分割部２８１にｉフレームの画像データが入力され、このフレーム画像データを規定サイズ、例えば、３２×３２ピクセルのサイズのブロックに分割する（ステップＳ７１）。ブロック分割されたデータはヒストグラム計算部２８２に送られ、ここで、ｊ番目のブロックの輝度ヒストグラムＨ（ｉ，ｊ）を計算する（ステップＳ７２）。次に、ヒストグラム計算部２８５から、（ｉ−２）フレームのｊ番目のブロックの輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む（ステップＳ７３）。
【０１２８】
次に、ステップＳ７２で得られた輝度ヒストグラムＨ（ｉ，ｊ）と、ステップＳ７３で得られた輝度ヒストグラムＨ（ｉ−２，ｊ）とから、上記式（１）により、ヒストグラムの相関係数ｅ１（ｊ）を計算し（ステップＳ７４）、閾値（Th_coef１）により変化を判定する（ステップＳ７５）。この変化の判定には、例えばフラグＥ（ｉ，ｊ）を使用し、ｉフレームのｊ番目のブロックは変化がある（変化ブロック）と判定された場合は、フラグＥ（ｉ，ｊ）＝１とし、変化ブロックではないと判定された場合は、フラグＥ（ｉ，ｊ）＝０とする。そして、（ｉ＋２）フレームのフレーム変化を検出する際に使用するため、Ｈ（ｉ，ｊ）を保持すると共に、候補フレーム画像検出部２１内のブロックＮｏ．をカウントするカウンタ値ｊをインクリメントする（ステップＳ７６）。そして、全ブロックについて、ステップＳ７５の閾値判定が終了しているか否かを判定し（ステップＳ７６）、終了していない場合は、ステップＳ７２に戻り、次のブロック（ｊ＋１番目のブロック）について、同様の処理を繰り返す。
【０１２９】
一方、全てのブロックにおいて処理が終了した場合は、上述したように、変化ブロックの割合が所定の閾値より大きければ、現フレーム（ｉフレーム）の処理を終了し、次のフレームの処理へ進み、変化ブロックの割合が所定の閾値以下である場合は、局所変化検出部２２２へデータを供給する。具体的には、全ブロックのフラグＥ（ｉ，ｊ）の値を加算し、これが所定の閾値より大きい場合は処理を終了し、所定の閾値以下である場合は、局所変化検出部２２２へデータを供給する。局所変化検出部２２２においても、基本的には、ステップＳ７２乃至７７と同様の処理が繰り返される。即ち、テロップ出現領域内のブロック単位の輝度ヒストグラムＨ（ｉ，ｊ）及びＨ（ｉ−２，ｊ）が順次読み込まれ、テロップ出現領域内の変化ブロックを検出する処理を行う。
【０１３０】
次に、推定部２５０における既検出テロップ候補がテロップか否かを推定する方法について説明する。図２０は、推定部の推定方法を示すフローチャートである。先ず、フラグ（stateflg）＝１の間、画像データがエッジ密度検出部２３０に送られる。ここでは、エッジ密度検出部２３０に送られる画像データをｉフレームとする。先ず、図２０に示すように、エッジ密度検出部２３０において、ｉフレームにおけるテロップ出現領域におけるエッジ画像の密度ｄ（ｉ）が計算される（ステップＳ５９）。このエッジ密度ｄ（ｉ）が所定の閾値（Th_den）以上であるか否かが検出され（ステップＳ６０）、エッジ密度ｄ（ｉ）が閾値（Th_den）未満である場合は、ステップＳ６１に進み、記憶部２４０に記憶されている既検出テロップ候補を初期化、即ち、データを破棄し、継続カウンタ２５２のカウント値をリセットし、更にテロップ候補が検出されていることを示すフラグ（stateflg）を０にする（ステップＳ６１）。これにより、以降のフレーム画像は、フラグ（stateflg）が１になるまで、ステップＳ５２乃至ステップＳ５８を繰り替えすことになる。一方、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）が閾値（Th_den）以上である場合は、データを類似度検出部２５１へ送り、ステップＳ６２に進む。
【０１３１】
ステップＳ６２では、類似度検出部２５１において、記憶部２４０に記憶されている既検出テロップ候補と、ｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）を計算する。そして、相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）以上であるか否かを判定する（ステップＳ６３）。ステップＳ６３で、相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）以上であると判定された場合、即ち、既検出テロップ候補とｉフレームのテロップ出現領域とは同一のテロップを有するものと判定された場合はステップＳ６４に進み、記憶部２４０に記憶されている既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）と、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）とが比較される（ステップＳ６４）。そして、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上であるか否かが判定され（ステップＳ６５）、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上である場合、即ち、既検出テロップ候補の方がｉフレームのテロップ出現領域に出現する可能性のあるテロップよりも鮮明であると判定された場合は、ステップＳ６７に進む。
【０１３２】
一方、ステップＳ６３において、既検出テロップ候補とｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）が所定の閾値（Th_coef２）未満である場合、即ち、ｉフレームのテロップ出現領域と既検出テロップ候補とでテロップが変化しているものと判断した場合と、ステップＳ６５において、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）より小さい場合、即ち、既検出テロップ候補よりもｉフレームのテロップ出現領域に出現する可能性があるテロップの方が、エッジ密度が高く鮮明であると判断した場合は、ステップＳ６６に進む。ステップＳ６６では、記憶部２４０に記憶されている既検出テロップ候補が、現フレーム、即ち、ｉフレームのテロップ出現領域のデータに入れ替えられる。具体的には、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）を、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）に入れ替え、更に継続カウンタ２５２のカウント値をリセット（tlplen＝０）し、ステップＳ６７に進む。
【０１３３】
ステップＳ６７においては、継続カウンタ２５２のカウント値をインクリメント（tlplen＝＋＋）し、ステップＳ６８において、継続カウンタ２５２のカウント値（tlplen）が所定値（Th_tlplen）であるか否かが判定される。
【０１３４】
上述したように、テロップであれば、一定フレームの間、安定して出現する。継続カウンタ２５２のカウント値は、テロップが安定して出現したフレーム数を示すものである。従って、ステップＳ６８において、カウント値が所定値（Th_tlplen）以外であると判定された場合は、カウント値及び既検出テロップ候補のデータを保持して次のフレームの処理へ進む。
【０１３５】
一方、カウント値が所定値（Th_tlplen）である場合、即ち、既検出テロップ候補が所定のフレーム数、出現し続けていると判定された場合は、このデータがテロップ類似度判定部２６０へ送られてステップＳ６９に進む。この際、記憶部２４０に保持されている既検出テロップ候補及び継続カウンタ２５２のカウント値はそのまま保持する。
【０１３６】
ステップＳ６９では、例えば、提示画像生成部２７０等に保持されている既にテロップと判定されものと、既検出テロップ候補との相関係数を計算し、ステップＳ７０にて、相関係数が所定の閾値以下であるか否かが判定される。ステップＳ７０にて相関係数が所定の閾値以下である場合、既検出テロップ候補は、まだテロップとして検出されていない新しいテロップであると判断され、このデータを提示画像生成部２７０へ送る。一方、相関係数が所定の閾値より大きい場合は、既検出テロップ候補に出現するテロップは既にテロップとして出力されていると判断され、次のフレームの処理に進む。
【０１３７】
ここで、ステップＳ６８及びステップＳ６９において、安定度判定部２５３及びテロップ類似度検出部２６０の夫々判定結果及び検出結果に関わらず、記憶部２４０の既検出テロップ候補のデータはそのまま保持され、且つ継続カウンタ２５２のカウンタ値もそのまま保持されているため、例えば、次に入力されるフレーム画像において同じテロップ候補が検出され、このテロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より小さい場合は、継続カウンタ２５２のカウンタ値がインクリメントされ、所定値（Th_tlplen）を超えるため、再びテロップ類似度検出部２６０に送られることはない。また、テロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より大きい場合は、既検出テロップ候補が置き換えられ、継続カウンタのカウント値が１となり、カウント値が所定値（Th_tlplen）に達するまで処理が繰り返される。
【０１３８】
以上、図２０に示す工程において、記憶部２４０には、既検出テロップ候補が記憶されているものとして説明したが、図１８に示すステップＳ５５、ステップＳ５８において、ｉフレームにおいてテロップ候補が検出されなかった場合、記憶部２４０に記憶されている既検出テロップ候補は初期化（破棄）される。このように、記憶部２４０には、既検出テロップ候補が記憶されていない状態で、推定部２５０にテロップ候補を有するフレーム画像が供給された場合、図２０に示すステップＳ６２乃至ステップＳ６５における処理は不要となる。従って、既検出テロップ候補が初期化された状態でステップＳ６０においてエッジ密度が所定の閾値以上であると判定された場合は、ステップＳ６６に進み、フレーム画像のテロップ出現領域のデータが既検出テロップ候補として記憶される。そして、同様に、ステップＳ６７において、継続カウンタtlplen＝１として、次のフレームの処理に進む。
【０１３９】
このように構成された本具体例に係る文字情報検出装置においては、テロップ出現検出部２２０において異なるフレーム間におけるブロック単位の輝度ヒストグラムの相関を用いてテロップ出現領域における輝度変化（局所変化）を求めることで画像上の小さな変化等による誤検出を軽減することが可能となると共に、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することが可能となる。また、エッジ密度検出部２３０によるエッジ密度を判定条件に用いることで、文字情報（テロップ）を更に精度よく検出することが可能となる。更に、類似度判定部２５１により、既検出テロップ候補とこれに連続するフレームのテロップ出現領域における類似度を判定すると共に、継続カウンタ２５２により継続して出現するフレーム数をカウントし、更に、テロップ類似度検出部２６０により既検出テロップとの類似度を判定することで、細かいテロップの変化等の場合にも、同内容のテロップを誤検出することを軽減することができる。
【０１４０】
また、本具体例においては、予めテロップ出現領域を設定しておき、文字情報を抽出するものであるので、上述した図３に示す文字特徴抽出部２５において行われる文字情報の大きさ及び位置の抽出処理をこの文字情報検出装置においてまとめて行い、文字特徴抽出部における処理を省略してもよい。また、テロップ出現領域は複数設定することができるので、文字情報の位置及び大きさ（テロップ出現領域の大きさ）によって階層を設定する場合は、各階層を設定するために必要な種類全てにテロップ出現領域を設定すればよい。
【０１４１】
【発明の効果】
以上詳細に説明したように、本発明に係る画像表示装置は、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示装置において、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、複数の階層毎に文字情報を含む画像の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに基づき該表示候補画像を表示するか否かを判定する表示画像判定手段とを有するので、ＴＶ放映された映像等から、見出しとなるような文字情報を含む候補画像を抽出し、その階層を求めて表示判定を行うことにより、現在放映中の映像においてその見出しが有効であるか否かを推定し、常に有効期間内の見出しを含む画像を表示することができる。
【０１４２】
また、本発明に係る画像表示システムは、時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示システムにおいて、１以上の表示装置と、上記表示装置に上記所定の画像の少なくとも一部を供給する画像表示装置とを有し、上記画像表示装置は、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、複数の階層毎に文字情報を含む画像の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに基づき該表示候補画像を表示するか否かを判定する表示画像判定手段と、上記表示画像判定手段により表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示するよう制御する表示制御手段とを具備するので、複数の表示用画像が得られた場合に、異なる階層毎に複数の表示装置に表示することができ、視聴者は、現在放映中の映像において有効である見出しとして文字情報を含む画像の有効期間の長さ毎に分類された複数の見出し画像を同時に視ることができ視聴者の映像の理解を容易にする。
【図面の簡単な説明】
【図１】本発明の実施の形態における表示画像の有効期間と階層の順位（レベル）を説明する図である。
【図２】本発明の実施の形態に係る画像表示システムを示すブロック図である。
【図３】本発明の実施の形態に係る画像表示システムの画像表示装置における特徴抽出部を示すブロック図である。
【図４】装飾された文字情報を有する見出し画像を示す模式図である
【図５】リスト状に表示されたテロップを有する見出し画像を示す模式図である
【図６】本発明の実施の形態に係る画像表示システムの画像表示装置におけるレベル判定部のレベル判定テーブルを示す模式図である。
【図７】本発明の実施の形態に係る表示画像のメインレベル及びサブレベルの関係を説明する図である。
【図８】レベルを比較することで有効期間内の文字情報を含む画像を表示する仕組みを説明する図である
【図９】本発明の実施の形態に係る画像表示システムの画像表示装置におけるレベル判定部において階層レベルを推定して更新する方法を示すフローチャートである。
【図１０】レベル判定部において使用される有効見出しテーブルを示す図である
【図１１】（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、有効見出しテーブルのレベル値ｉ＝Ｉ＝１のメインレベルと表示候補画像のメインレベルがいずれもＡである例を示す。
【図１２】（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、表示候補画像のメインレベルがＥ、テーブルに記憶されているメインレベルＥの画像とは類似度が低い場合のテーブル更新例を示す。
【図１３】（ａ）及び（ｂ）は、夫々更新前後の有効見出しテーブルを示す図であって、表示候補画像のメインレベルがＢでレベル値ｉ＝２と書き換えられる例を示す
【図１４】本発明の実施の形態に係る画像表示システムの画像表示装置における更新判定部の更新判定方法を示すフローチャートである。
【図１５】本発明の実施の形態に係る画像表示システムにおける複数の表示装置により、見出し画像を表示した様子を示す模式図である。
【図１６】本発明の具体例に係る文字情報検出装置におけるデータの流れを説明する説明図である。
【図１７】輝度ヒストグラムを生成する際のデータの流れを説明する説明図である。
【図１８】本発明の具体例に係る文字情報検出方法を示す図であって、フレーム画像判定部及びテロップ出現検出部の処理方法を示すフローチャートである。
【図１９】同じく、本発明の具体例に係る文字情報検出方法を示す図であって、輝度ヒストグラムからフレーム変化を検出する方法を示すブローチャートである。
【図２０】同じく、本発明の具体例に係る文字情報検出方法を示す図であって、既検出テロップ候補がテロップか否かを推定する方法を示すブローチャートである。
【図２１】（ａ）乃至（ｄ）は、見出しとなる文字情報を含む画像の例を示す模式図である。
【図２２】見出しの有効期間を説明する模式図である。
【図２３】有効期間が切れた見出しを示す模式図である。
【符号の説明】
１ 画像表示システム、１０ 画像表示装置、２０ 特徴抽出部、２１ アニメーション抽出部、２２ 文字抽出部、２３ 人工画像検出部、２４ アンカーショット検出部、２５ 文字特徴抽出部、２６ 背景特徴抽出部、３０ レベル判定部、４０ 更新判定部、５０ 表示装置制御部、６０ メモリ、７０，８０１〜８０Ｎ 表示装置、２１０ 判定部、２２０ テロップ出現判定部、２２１候補フレーム画像検出部、２２２ 局所変化検出部、２３０ エッジ密度検出部、２４０ 記憶部、２５０ 推定部、２５１ 類似度検出部、２５２ 継続カウンタ、２５３ 安定度判定部、２６０ テロップ類似度検出部、２７０ 提示画像生成部、２８０ ヒストグラム生成部、２８１，２８４ ブロック分割部、２８２，２８５ ヒストグラム計算部
Claims (11)
- 時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示装置において、
上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、
上記表示候補画像の特徴を抽出する特徴抽出手段と、
上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルと、
上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、
分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定手段と、
１以上の表示手段に接続され、上記表示画像判定手段により表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示するよう制御する表示制御手段とを有する
画像表示装置。 - 上記分類手段は、上記表示候補画像の特徴と、上記階層テーブルの各階層の特徴との類似度を比較し、該類似度が所定の閾値以上となる階層のうち最も類似度が大きい階層に上記表示候補画像を分類する
請求項１記載の画像表示装置。 - 上記表示画像判定手段により表示すると判定された上記表示用画像又は該表示用画像から切り出した文字領域を上記階層毎に記憶する画像記憶手段を有し、
上記表示画像判定手段は、上記階層毎に記憶された上記表示用画像又は上記文字領域の内、現時点において有効となっている期間に対応する上記表示用画像又は上記文字領域を表示する判定を行う
請求項１記載の画像表示装置。 - 上記複数の階層における上位レベルの階層の期間内に下位レベルの階層の期間が包含され、上記表示画像判定手段は、上記表示候補画像の階層のレベルが、上記画像記憶手段に記憶されている過去に抽出された表示用画像の階層のレベル以上である場合、該表示候補画像を表示すると判定する
請求項３記載の画像表示装置。 - 上記表示画像判定手段により表示すると判定された表示用画像の階層レベルが、上記画像記憶手段に記憶されている過去に抽出された表示用画像の階層レベルと同一である場合、過去に抽出された表示用画像を新たに判定された表示用画像に書き換える更新手段を有する
請求項４記載の画像表示装置。 - 上記更新手段は、上記新たに判定された表示用画像の階層のレベルが、上記過去に抽出された表示用画像の階層のレベル以上である場合、上記過去に抽出された表示用画像を消去する
ことを特徴とする請求項５記載の画像表示装置。 - 上記特徴抽出手段は、上記表示候補画像に含まれる文字の特徴を抽出する文字特徴抽出手段、上記表示候補画像が人工画像であるか否かを検出する人工画像検出手段、上記表示候補画像の中央位置に人物が存在するか否かを検出するバストショット検出手段、上記表示候補画像にアニメーションがあるか否かを検出するアニメーション検出手段、及び上記表示候補画像の入力時刻を検出する時刻検出手段のうち少なくとも１つを有する
請求項１記載の画像表示装置。 - 時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示方法において、
上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出工程と、
上記表示候補画像の特徴を抽出する特徴抽出工程と、
上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルを使用し、該階層テーブルに記憶された各階層の特徴と上記特徴抽出工程にて抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類工程と、
分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定工程と、
上記表示画像判定工程にて表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を１以上の表示手段にて表示するよう制御する表示制御工程とを有する
画像表示方法。 - 時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する動作をコンピュータに実行させるためのプログラムにおいて、
上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出工程と、
上記表示候補画像の特徴を抽出する特徴抽出工程と、
上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルを使用し、該階層テーブルに記憶された各階層の特徴と上記特徴抽出工程にて抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類工程と、
分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定工程と、
上記表示画像判定工程にて表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を１以上の表示手段にて表示するよう制御する表示制御工程とを有する
プログラム。 - 時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出工程と、
上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルを使用し、該階層テーブルに記憶された各階層の特徴と上記特徴抽出工程にて抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類工程と、
分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定工程と、
上記表示画像判定工程にて表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を１以上の表示手段にて表示するよう制御する表示制御工程とを有する
プログラムが記録された記録媒体。 - 時系列の画像からなる映像から、所定の画像の少なくとも一部を抽出して表示する画像表示システムにおいて、
１以上の表示装置と、
上記表示装置に上記所定の画像の少なくとも一部を供給する画像表示装置とを有し、
上記画像表示装置は、上記映像から文字情報を含む画像を表示候補画像として抽出する画像抽出手段と、上記表示候補画像の特徴を抽出する特徴抽出手段と、上記映像の時系列構造に応じて複数の期間が階層的に設けられ、上記複数の階層毎に予め設定された期間の区切りを示す見出しとなる文字情報を含む見出し画像の各階層毎の特徴が記憶された階層テーブルと、上記階層テーブルに記憶された各階層の特徴と上記特徴抽出手段により抽出された特徴との類似度から上記表示候補画像を上記複数の階層のうちいずれかに分類する分類手段と、分類された階層のレベルに応じて上記表示候補画像の上記期間を推定して現時点において有効となっている期間に対応する表示候補画像を表示すると判定する表示画像判定手段と、１以上の表示手段に接続され、上記表示画像判定手段により表示すると判定された表示用画像の階層毎に該表示用画像又はこれに含まれる文字情報を表示するよう制御する表示制御手段とを具備する
画像表示システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002230379A JP4158449B2 (ja) | 2002-08-07 | 2002-08-07 | 画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002230379A JP4158449B2 (ja) | 2002-08-07 | 2002-08-07 | 画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004072504A JP2004072504A (ja) | 2004-03-04 |
| JP2004072504A5 JP2004072504A5 (ja) | 2005-10-27 |
| JP4158449B2 true JP4158449B2 (ja) | 2008-10-01 |
Family
ID=32016473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002230379A Expired - Fee Related JP4158449B2 (ja) | 2002-08-07 | 2002-08-07 | 画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4158449B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008130050A (ja) * | 2006-11-24 | 2008-06-05 | Canon Inc | 画像検索装置及びその方法 |
| JP2008166988A (ja) | 2006-12-27 | 2008-07-17 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| WO2010073905A1 (ja) * | 2008-12-25 | 2010-07-01 | シャープ株式会社 | 動画像視聴装置 |
| CN102289479A (zh) * | 2011-08-01 | 2011-12-21 | 百度在线网络技术（北京）有限公司 | 一种确定图像展现方式并展现图像的方法、装置和设备 |
| CN110781345B (zh) * | 2019-10-31 | 2022-12-27 | 北京达佳互联信息技术有限公司 | 视频描述生成模型的获取方法、视频描述生成方法及装置 |
-
2002
- 2002-08-07 JP JP2002230379A patent/JP4158449B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004072504A (ja) | 2004-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109922373B (zh) | 视频处理方法、装置及存储介质 | |
| US6704029B1 (en) | Method and apparatus for specifying scene information in a moving picture | |
| US8331760B2 (en) | Adaptive video zoom | |
| US8620037B2 (en) | Human image retrieval system | |
| JP2000106661A (ja) | 画像処理方法及びシステム並びに装置 | |
| US8421819B2 (en) | Pillarboxing correction | |
| KR101414669B1 (ko) | 적응형 비디오 표현을 위한 방법 및 디바이스 | |
| US20070291134A1 (en) | Image editing method and apparatus | |
| JP2009536490A (ja) | ユーザの関連フィードバックによりビデオのサマリを更新する方法 | |
| CN102246440B (zh) | 用于处理视频帧的方法和设备 | |
| US20080232697A1 (en) | Image presentation system and operating method thereof | |
| EP1482731A2 (en) | Broadcast program contents menu creation apparatus and method | |
| KR101652261B1 (ko) | 카메라를 이용한 오브젝트 검출 방법 | |
| CN104735521B (zh) | 一种滚动字幕检测方法及装置 | |
| JPH0993588A (ja) | 動画像処理方法 | |
| JP5360979B2 (ja) | 重要情報抽出方法および装置 | |
| JP4158449B2 (ja) | 画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システム | |
| CN116308530A (zh) | 一种广告植入方法、装置、设备和可读存储介质 | |
| JP2000350165A (ja) | 動画像記録再生装置 | |
| Fearghail et al. | Director’s cut-analysis of VR film cuts for interactive storytelling | |
| JP2004080156A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム | |
| US20040246259A1 (en) | Music program contents menu creation apparatus and method | |
| JP5962383B2 (ja) | 画像表示システムおよび画像処理装置 | |
| US7398003B2 (en) | Index data generation apparatus, index data generation method, index data generation program and recording medium on which the program is recorded | |
| Ekin et al. | Spatial detection of TV channel logos as outliers from the content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050727 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |