JP4788787B2 - 特定画像検出装置、特定画像検出方法、プログラム及び特定画像検出システム - Google Patents

Description

本発明は、連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する特定画像検出装置、特定画像検出方法、プログラム及び特定画像検出システムに関する。

従来、使用者（ユーザ）にとって重要である情報を予め登録しておき、その登録情報の特徴から画像を検索する技術がある。

例えば、特開２０００−３０８０１７号公報（特許文献１）には、限られた時間において関連する映像を効率よく視聴する映像視聴装置が開示されている。この公報に記載の映像視聴装置は、動画像信号及び音声信号を含む入力映像信号を記憶する入力映像記憶手段と、この入力映像記憶手段に記憶された所定の入力映像信号を所定位置から再生する映像再生手段と、その入力映像信号の特徴値を算出する算出手段と、この算出手段により算出された特徴値を記憶する特徴値記憶手段と、算出手段からの特徴値が特徴値記憶手段の特徴値のいずれかと類似するかを検索し、類似した場合にこれらの特徴値が関連していることを示す映像関連情報を作成する映像検索手段と、映像関連情報を記憶する関連情報記憶手段と、この関連情報記憶手段が関連情報を記憶したときに関連情報の存在を表示して視聴者に通知する通知手段と、通知された関連情報が示す特徴値に対応する映像信号の再生を要求する要求信号を入力する入力手段と、要求された映像信号を再生する挿入手段とを有している。これにより、記憶された映像信号の中から現在視聴している映像に関連する映像信号を検出して関連映像信号を視聴することができ、限られた時間において関連する映像を効率よく視聴することができる。

また、特開平１０−１４９３７３号公報（特許文献２）には、計算機中に大量の画像情報を蓄積・管理し、検索・利用を行う画像データベースシステムの検索のための画像蓄積・管理装置及び画像インデックス作成方法が開示されている。この公報に記載の画像蓄積・管理装置においては、原画像を入力する入力手段と、入力された原画像を蓄積する蓄積手段と、原画像の視覚特徴に基づいて領域分割をして領域分割情報を生成する領域分割手段と、原画像を格子状に分割し分割情報を生成するブロック分割手段と、これらの分割情報を入力し、各格子毎に代表領域番号を決定し配列化し、領域分割された領域毎に色情報を含む領域属性情報を抽出し画像インデックス情報を記述するインデックス生成手段と、画像インデックス情報を格納する格納手段とを有する。これにより、画像に対して利用者が持っている視覚的な手がかりを利用して画像を検索することができる。

特開２０００−３０８０１７号公報 特開平１０−１４９３７３号公報

しかしながら、上述の公報に記載の技術等の従来の技術においては、様々なパターンの画像の変化から目的の画像を効率よく検出する手法は確立されていない。即ち、様々なパターンの画像において、目的の画像を特定する特徴を示す物理量が得られていないこと、及び目的の画像を検索する際の厳密な検索が行えないこと等により、目的の画像を高効率で検出することができないという問題点がある。

本発明は、このような従来の実情に鑑みて提案されたものであり、連続する画像中から高効率で目的とする特定の画像をリアルタイムに検出することができる特定画像検出装置、特定画像検出方法、プログラム及び特定画像検出システムを提供することを目的とする。

上述した目的を達成するために、本発明に係る特定画像検出装置は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置であって、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記検出手段により検出された特定画像を表示手段に表示する提示手段と、少なくとも２つのチューナ手段とを有し、上記提示手段は、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、上記検出手段は、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出する。

また、本発明に係る特定画像検出装置は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置であって、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記検出手段により検出された特定画像を表示手段に表示する提示手段と、少なくとも２つのチューナ手段を有し、上記検出手段は、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、上記提示手段は第１の表示手段及び第２の表示手段に接続され、他方のチューナ手段により選局された受信チャンネルの映像を該第１の表示手段に表示し、上記特定画像を該第２の表示手段に表示する。

さらに、本発明に係る特定画像検出装置は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置であって、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記検出手段により検出された特定画像を表示手段に表示する提示手段とを有し、上記提示手段は、上記検出手段により検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示する。

本発明においては、輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出し、予め、ユーザ等により登録した登録画像に類似する候補画像を特定画像として検出することにより、ユーザにとって重要である等の理由で登録された画像を高効率に選択して検出することができ、候補画像を検出してから特徴量により画像を特定するため、誤検出の頻度を軽減することができる。

また、上記記憶手段に記憶される特徴量は、上記登録画像における輝度情報、色情報、エッジ量、エッジ密度、輝度ヒストグラム、上記登録画像の静止時間、及び上記登録画像を含む所定期間の映像に含まれる効果音に関する情報のうち１以上の情報を含むものとすることができ、複数の異なる特性の特徴量を使用して類似度を判定することにより、更に正確に登録画像を検出することができる。例えば、テレビジョン映像から特定画像を検出する場合は、類似度の判定に輝度ヒストグラム及び静止時間を使用することにより、ノイズが多いテレビジョン映像等から特定画像を検出する場合にもロバスト性を向上することができる。

更に、上記登録画像は使用者が指定した画像であって、上記特徴量検出手段は、上記使用者が指定した画像である登録画像における特性が異なる１以上の特徴量し、上記記憶手段は、上記特徴量検出手段により検出された上記登録画像の特徴量を記憶することができ、必要に応じて使用者は登録画像を随時登録することができる。

更にまた、上記記憶手段は、上記登録画像の特徴量と上記類似度の閾値とからなるデータを有し、上記検出手段により検出された特定画像に対する使用者の評価を入力する入力手段と、上記入力手段を介して入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え手段とを有することができ、使用者の評価によって類似度の閾値が書き換えられるため、更に誤検出が低減される。

また、上記検出手段により検出された特定画像を表示手段に表示する提示手段を有することができる。

更に、映像を供給する外部機器に接続され、上記検出手段は、上記外部機器から供給される映像から上記特定画像を検出することができる。

更にまた、少なくとも２つのチューナ手段を有し、上記提示手段は、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、上記検出手段は、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出することができ、使用者は、特定画像を検出させながら、テレビジョン映像を視聴することができる。

また、少なくとも２つのチューナ手段を有し、上記検出手段は、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、上記提示手段は第１の表示手段及び第２の表示手段に接続され、他方のチューナ手段により選局された受信チャンネルの映像を該第１の表示手段に表示し、上記特定画像を該第２の表示手段に表示することができ、使用者は一方の表示手段でテレビジョン映像を視聴しながら、使用者が見ているテレビジョン映像とは異なるチャンネルのテレビジョン映像等から特定画面を検出させ、他方の表示手段により、検出された特定画像を見ることができる。

更に、上記検出手段は、時分割で選局された複数のチャンネルの映像から上記特定画像を検出することができる。

更にまた、上記提示手段は、上記検出手段により検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示してもよい。

また、上記フレーム画像を予め規定したサイズのブロックに分割するブロック分割手段を有し、上記検出手段は、フレーム画像と上記近接フレーム画像とで対応するブロック間の輝度変化が所定の閾値以下であるとき、該フレーム画像を候補画像として検出することができる。

更に、上記ブロック分割手段により分割されたブロック毎に輝度ヒストグラムを算出する輝度ヒストグラム算出手段を有し、上記候補画像検出手段は、フレーム画像と上記近接フレーム画像とで対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値以下であるブロックの数が所定の閾値以下であるとき、該フレーム画像を候補画像として検出することができる。

更にまた、上記検出手段により特定画像が検出された際に使用者に知らせる通知手段を有してもよく、これにより、使用者の利便性を向上する。

本発明に係る特定画像検出方法は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置の特定画像検出方法であって、コンピュータに、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、上記検出工程にて検出された特定画像を表示手段に表示する提示工程とを実行させ、上記特定画像検出装置は、少なくとも２つのチューナ手段を有し、上記提示工程では、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、上記検出工程では、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出する。

また、本発明に係る特定画像検出方法は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置の特定画像検出方法であって、コンピュータに、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、上記検出工程にて検出された特定画像を表示手段に表示する提示工程とを実行させ、上記特定画像検出装置は、少なくとも２つのチューナ手段を有し、上記検出工程では、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、上記提示工程では、他方のチューナ手段により選局された受信チャンネルの映像を第１の表示手段に表示し、上記特定画像を第２の表示手段に表示する。

さらに、本発明に係る特定画像検出方法は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置の特定画像検出方法であって、コンピュータに、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、上記検出工程にて検出された特定画像を表示手段に表示する提示工程とを実行させ、上記提示工程では、上記検出工程にて検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示する。

本発明に係るプログラムは、連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する特定画像検出装置の動作をコンピュータに実行させるためのプログラムであって、コンピュータに、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、上記検出工程にて検出された特定画像を表示手段に表示する提示工程とを実行させ、上記特定画像検出装置は、少なくとも２つのチューナ手段を有し、上記提示工程では、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、上記検出工程では、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出する。

また、本発明に係るプログラムは、連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する特定画像検出装置の動作をコンピュータに実行させるためのプログラムであって、コンピュータに、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、上記検出工程にて検出された特定画像を表示手段に表示する提示工程とを実行させ、上記特定画像検出装置は、少なくとも２つのチューナ手段を有し、上記検出工程では、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、上記提示工程では、他方のチューナ手段により選局された受信チャンネルの映像を第１の表示手段に表示し、上記特定画像を第２の表示手段に表示する。

さらに、本発明に係るプログラムは、連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する動作をコンピュータに実行させるためのプログラムであって、コンピュータに、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、上記検出工程にて検出された特定画像を表示手段に表示する提示工程とを実行させ、上記提示工程では、上記検出工程にて検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示する。

本発明に係る特定画像検出システムは、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出し、該特定画像を少なくとも１つの表示手段に表示する特定画像検出システムであって、少なくとも１つの表示手段と、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記表示手段に接続され上記検出手段により検出された上記特定画像を上記少なくとも１つの表示手段に表示する提示手段と、少なくとも２つのチューナ手段とを具備する特定画像検出手段とを有し、上記提示手段は、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、上記検出手段は、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出する。

また、本発明に係る特定画像検出システムは、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出し、該特定画像を少なくとも１つの表示手段に表示する特定画像検出システムであって、少なくとも１つの表示手段と、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記表示手段に接続され上記検出手段により検出された上記特定画像を上記少なくとも１つの表示手段に表示する提示手段と、少なくとも２つのチューナ手段とを具備する特定画像検出手段とを有し、上記検出手段は、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、上記提示手段は、少なくとも第１及び第２の表示手段に接続され、他方のチューナ手段により選局された受信チャンネルの映像を該第１の表示手段に表示し、上記特定画像を該第２の表示手段に表示する。

さらに、本発明に係る特定画像検出システムは、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出し、該特定画像を少なくとも１つの表示手段に表示する特定画像検出システムであって、少なくとも１つの表示手段と、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記表示手段に接続され上記検出手段により検出された上記特定画像を上記少なくとも１つの表示手段に表示する提示手段と、少なくとも２つのチューナ手段とを具備する特定画像検出手段とを有し、上記提示手段は、上記検出手段により検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示する。

本発明によれば、予め、ユーザに特化した重要な画像等を登録画像として登録しておき、ＴＶ放送等の連続する画像中から、輝度変化の割合が所定の閾値以下であるフレーム画像のみを候補画像として検出し、登録画像に類似する候補画像を特定画像として検出することにより、ユーザにとって重要である等の理由で登録された画像を高効率に選択してリアルタイムで検出することができ、候補画像を検出してから特徴量により画像を特定するため、誤検出の頻度を軽減することができる。

本発明の実施の形態における特定画像検出システムを示すブロック図である。 本発明の実施の形態における特定画像検出装置におけるデータの流れを説明する説明図である。 本発明の実施の形態における特定画像検出装置における特定画像検出方法を示すフローチャートである。 本発明の実施の形態における特定画像検出装置の特徴量テーブルを示す模式図である。 本発明の実施の形態における登録画像の特徴量取得方法を示すフローチャートである。 本発明の実施の形態における静止判定方法（候補画像の検出方法）を示すフローチャートである。 本発明の実施の形態におけるヒストグラムの計算方法を示すフローチャートである。 （ａ）乃至（ｃ）は、ユーザが登録指示を出した登録画像の一例を示す図であって、夫々東日本の予報天気、東日本の予想気温及び東日本の週間天気を示す画面の模式図である。 （ａ）は検出された複数の特定画像を保存し、同時にサブモニタに表示した様子を示す模式図、（ｂ）は、そのときのメインモニタでの表示例、（ｃ）は、検出画面（特定画面）を示す模式図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、連続する画像中からユーザが指定した重要情報を有する特定画像を検出及び表示する特定画像検出システムに適用したものである。

この特定画像検出システムにおいては、予めユーザが登録画像を登録し、テレビジョン（ＴＶ）放送等の映像に含まれる画像を検索し、登録画像に類似した特定画像を検出し、これをリアルタイムで表示（提示、呈示）するものである。ここで、登録画像との類似度判定が行われ、特定画像が検出されるが、検出結果の表示は様々なタイミングで行われるため、本実施の形態においては、ユーザが検出結果を評価する評価手段を設けるものとする。即ち、その時のユーザの状態によって、検出結果の評価が変化しても、検出結果に対するその時のユーザの評価をフィードバックさせることができる。これにより、例えば類似度判定における判定基準を変化させることができ、以降の検出に反映させることができる。こうしてユーザとのやり取りで、効率的に重要な情報（特定画像）を検出して表示することができる。

図１は、本実施の形態の特定画像検出システムを示すブロック図である。図１に示すように、特定画像検出装置２０に、例えばＴＶ放送された映像からユーザが登録した特定画像を検出するものであって、ユーザが、例えば、ＴＶ放送、又はビデオ等の映像を視聴するメインモニタ１２と、映像から検出した特定画像を表示するサブモニタ１１とが接続され、特定画像検出システム３０が構成されている。本実施の形態においては、通常のＴＶ映像等を視聴する際に使用されるテレビ受像機等のメインモニタ１２に加え、検出した特定画像を表示するサブモニタ１１を使用することで効率的な表示を行う。

一般に、ＴＶ放送は、受信可能な放送が複数であり、各放送局が独自のコンテンツを放送しているが、それらがユーザにとって見やすい順に並んでいないことは多々あるといえる。例えば、ニュース番組を例にとってみると、複数の放送局が同時刻にニュース番組を放送しているという場合、同じニュース番組であってもその内容は各放送局で異なる。その為、目的とするニュースを見落としてしまう可能性があり、一方、ユーザにとって個人的に興味がないニュースを観ているという場合も考えられる。ここで要求されるのは、複数の番組のある特定部分をユーザにとって重要なものから順に効率よく視聴できるシステムである。ニュース以外でも、例えば天気予報を観たいときに、ニュース番組の中でいつ始まるか分からないという理由から興味がないニュースを観ていなければならなくなったり、ユーザの住む地方とは別の地方のものまで観ることになったりしてしまう等の不便な点がある。更に、ＴＶ放送以外であって、外部機器から供給される他の映像を視聴している場合において、ＴＶ放送の特定の情報を視聴したい場合、他の映像の視聴を一旦停止しなければならず不便である。本発明の特定画像検出システムは、このような不便な点を解消し、番組を効率よく表示することを可能にするものである。

ここで、本実施の形態においては、特定画像検出装置２０が複数のチューナ手段を有し、一方のチューナ手段により選局された受信チャンネルの映像をメインモニタ１２に表示し、他のチューナ手段により選局された受信チャンネルの映像から特定画像を検出してサブモニタ１１に表示することができる。例えば、２つのチューナ手段を有するときは、ＴＶ放送には複数のチャンネルがあるため、ユーザが指定した複数のチャンネル又は全チャンネルを時分割で選局し、この時分割で選局した各チャンネルのＴＶ映像から特定画像を検出することができる。また、メインモニタ１２用のチューナ手段と、特定画像を検出するために全ＴＶチャンネルに対応するチューナ手段を設けてもよい。

また、サブモニタ１１及びメインモニタ１２にチューナ手段を設け、サブモニタ１１及びメインモニタ１２がＴＶ放送を受信して特定画像検出装置２０に映像を供給するものとしてもよい。また、特定画像検出システムにチューナ手段を有する外部機器を接続して映像を供給するものとしてもよい。なお、特定画像検出装置２０には、外部機器として、例えばビデオデッキ、ＤＶＤ、ＢＳ（Broadcast Satelite）デジタルチューナ等のＳＴＢ等を接続すれば、例えばメインモニタ１２に各種映像を供給して視聴しながら、必要に応じてサブモニタ１１又はメインモニタ１２に特定画像を表示させることができる。

以下、本実施の形態に係る特定画像検出装置について詳細に説明する。図２は、本実施の形態の特定画像検出装置におけるデータの流れを説明する説明図である。 図２に示すように、特定画像検出装置２０は、入力端子１を介して映像信号が供給される画像特徴量取得部（特徴量検出手段）３、遅延回路（ＤＬ）５及び静止判定部（候補画像検出手段）６と、静止判定部６から静止判定された候補画像が供給される画像特徴量取得部（特徴量検出手段）７と、入力端子２を介してユーザからの登録指示信号が供給された場合の入力画像（登録画像）の特徴量が供給され、これを記憶する特徴量テーブル（記憶手段）４と、特徴量テーブル４の特徴と画像特徴量取得部７から供給される候補画像の特徴量との類似度を判定し、登録画像と類似している候補画像を検出する検出手段である類似度判定部８と、類似後判定部８で類似していると判定された類似画像をサブモニタ１１に供給すると共に、入力端子１０を介してサブモニタ１１に表示された類似画像に対するユーザの評価信号が供給され、この評価に応じて類似画像をメインモニタ１２に供給する提示制御部（提示手段）９とから構成されている。

ここでは、入力端子を介して映像信号（入力画像列）が供給されるものとしているが、上述したように、供給される映像信号は、装置内にチューナ手段を設け、これにより選局された受信チャンネルのＴＶ映像であっても、外部から供給される映像であってもよい。

遅延回路５は、入力されるフレーム単位の画像を、例えば１フレーム等、所定フレーム遅延して静止判定部６に供給する。静止判定部６は、入力フレーム画像と、遅延回路５から供給される入力画像より所定フレーム遅延された遅延フレームとの輝度変化が所定の閾値以下である場合、入力フレーム画像を候補画像であると判定する。ここで、候補画像は、静止画像又は静止画部分を含む画像である。ユーザが検出を希望する画像は登録画像として登録されるが、この登録画像が静止画像であるか、静止画部分を含む画像であるかによって、適宜上記閾値を設定するものとする。

画像特徴量取得部３は、端子２を介して登録指示信号が供給されると、そのときの入力画像（登録画像）から特徴量を取得し、特徴量テーブル４に送る。特徴量テーブル４は、入力画像のうち、ユーザが重要である、必要である等の理由により登録したい登録画像の特徴量が記憶されるものである。

また、画像特徴量取得手段７は、画像特徴量取得部３と同様に、候補画像から特徴量を取得する。なお、図２においては、画像検出装置２０は、画像特徴量取得部３，７を備えるものとしたが、いずれか一方の画像特徴量取得部において取得した特徴量を使用するものとしてもよい。

類似度判定部８は、特徴量テーブル４に記憶されている全ての特徴量と、候補画像から検出された特徴量とを比較し、類似度を判定する。具体的には、例えば、特徴量の類似度を所定の閾値（判定閾値）を使用して判定するため、特徴量テーブル４には、各登録画像の特徴量と共に、各特徴量に対する判定閾値が記憶されている。この類似度判定部８は、類似度が所定の判定閾値以上であった候補画像を類似画像として提示制御部９に出力し、サブモニタ１１に表示させる。

サブモニタ１１は、ユーザに評価させるため、検出された類似画像を表示するモニタである。ユーザの評価は端子１０を介して提示制御部９に入力される。そして、ユーザの評価を例えば複数用意しておき、この評価に基づき提示制御部９の制御を設定しておくことができる。

提示制御部９は、ユーザ評価が端子１０を介して入力されると、この評価に基づきサブモニタ１１、メインモニタ１２に出力する画像を制御すると共に特徴量テーブル４に記憶されているデータの書き換え等を行う。例えば、ユーザがサブモニタ１１に表示された類似画像を見て、この類似画像がユーザの希望した画像（登録画像）であった場合、これを評価するユーザからの評価信号により、類似画像を特定画像としてメインモニタ１２に出力するようにすること等ができる。一方、サブモニタ１１に表示された類似画像が登録画像と異なる画像、即ち、誤検出である場合、誤検出であることを指摘するユーザからの評価信号により、提示制御部９は、この類似画像を検出した際の特徴量テーブル４に記憶されている判定閾値を書き換えるよう制御すること等ができる。このように、ユーザの評価に応じて判定閾値を書き換えることで、不要である画像、誤検出である画像が再び検出されることを防止することができる。更に、以前登録した登録画像であって不要になった場合等、不要の登録画像に類似する画像が検出された場合は、これを破棄するよう設定すること等ができる。

また、本実施の形態の特定画像検出装置２０は、提示制御部９により、類似画像をサブモニタ１１に出力し、特定画像をメインモニタ１２に出力するため、例えば、ユーザが天気予報に関する画像が必要であってこれを登録しておくことにより、特定画像検出装置２０は、天気予報に関する画像を特定画像として検出するが、その間、ユーザは、メインモニタ１２において、例えばビデオ等により映画を視聴したり、他のＴＶ番組を視聴したりすることが可能であり、メインモニタ１２で視聴していないいわゆる裏番組から登録画像を検出してサブモニタ１１に表示することができる。

次に、下記表１に、特徴量テーブル４に保存される特徴量の例を示す。

本実施の形態においては、上記表１に示す特徴量の中から、輝度ヒストグラムと静止時間とを使用する場合について説明する。ここで、例えば上記表１に示す例えば全ての特徴量を使用する等して特定画像を検出するものとしてもよいが、入力される映像に合わせ、例えば厳しい判定基準を設定することがロバスト性に影響することがある場合等を考慮して特徴量の種類及び判定基準（判定閾値）等は適宜設定するものとする。本実施の形態において、ＴＶ放送される映像から特定画像を検出する際に、輝度ヒストグラム及び静止時間を利用する理由としては、ノイズが入ることが予想されるＴＶ放送においても、ロバスト性を向上するためである。また、以下の説明においては、検出する特定画像は静止画像とするが、上述したように、静止画部分を含む画像、即ち、例えば背景となる部分は動画であって、所定の領域のみが静止しているような場合等においても、同様に検出することができる。

図３は、本実施の形態の特定画像検出装置における特定画像検出方法を示すフローチャートである。図３（ａ）に示すように、先ず、入力されるテレビジョン放映された映像等、連続する画像から候補画像（以下、静止画像という。）を検出するための静止判定が行われる（ステップＳ１）。一方、入力画像と共に、ユーザにより画像登録信号が入力された場合は、その入力画像を登録画像として登録するため、当該登録画像の特徴量を取得（検出）し（ステップＳ１１）、この特徴量を特徴量テーブル４に記憶する（ステップＳ１２）。この特徴量テーブル４には、ユーザから指定された登録画像の特徴量、即ち、本実施の形態においては、ユーザから登録が指示される毎に、その登録画像の輝度ヒストグラム及び静止時間が取得されて随時記憶され保存される。

一方、入力画像から静止判定をして静止画像を検出した場合は、静止画像の特徴量を検出し、得られた特徴量は類似度判定部８に送られ、特徴量テーブル４に記憶されている全ての登録画像の特徴量と比較し、閾値を基に類似度判定が行われる（ステップＳ２）。本実施の形態においては、輝度ヒストグラムに対する後述する相関係数ｅ、変化がない無変化ブロックの割合、及び図示しない静止カウンタのカウント値である静止時間を基に、類似度判定を行う。

図４は、特徴量テーブル４を示す模式図である。図４に示すように、特徴量テーブル４には、各登録画像毎に識別番号（Ｎｏ．０、１、2・・・）が付され、各登録画像に対応する輝度ヒストグラム、静止時間、並びに相関係数、変化ブロックの割合、及び時間誤差等に関する判定閾値が記憶されている。

図３に戻って、ステップＳ３において、登録画像と静止画像とが類似していると判定された場合、提示制御部９にこの画像のデータが送られ、サブモニタ１１に表示指示が送られて表示される（ステップＳ３）。そして、本実施の形態においては、静止画像は表示された後、例えばユーザの注意を促すためのアラームを鳴らし、ユーザから、入力端子１０を介して入力される評価を待つ待機状態となる（ステップＳ４）。一方、類似していないと判定された場合は次のフレームの処理へ進む。

次に、表示された画像に対するユーザによる評価が行われる。ユーザの評価としては、上述したように、様々なものが考えられ、複数の評価を設定しておき、これに応じた処理を設定することができる。本実施の形態においては、表示された画像がユーザの指定した登録画像であると判定する（必要であると判定する）場合（Good）、及びユーザの指定した登録画像ではないと判定する（不要であると判定する）場合（Nogood）の２パターンとした場合について説明する。ここで、Nogoodの評価が入力された場合には、類似と判定した際に使用された特徴量テーブル４内の登録画像の判定閾値の値を変更（更新）し（ステップＳ６）、次のフレームの処理に進む。一方、Goodと評価され、類似画像が登録画像であると判定した場合は、この特定画像をメインモニタ１２に出力し（ステップＳ７）、次のフレームの処理に進む。上述したように、ユーザの評価がNogoodである場合は、判定閾値の値を書き換え、類似と判定する基準を厳しくすることにより、以降の検出において、同様の誤検出が生じることを防止する。また、ここでは、特定画像をメインモニタ１２に出力するものとしたが、メインモニタ１２には出力せず例えばサブモニタ１１に記憶手段を設けてこれを所定期間保持し、ユーザの都合で所望の時間に表示させるようにしてもよい。

以下、本実施の形態における特定画像検出方法について更に詳細に説明する。先ず、画像特徴量取得部３における登録画像の特徴量取得方法について説明する。 図５は、登録画像の特徴量取得方法を示すフローチャートである。図５では、フレーム（以下、ｉフレームという。）画像の画素値（Ｆ（ｉ，ｐｘｌ））が入力され、端子２を介してユーザから登録指示信号が入力された場合、即ち、ｉフレーム画像の特徴量取得の指示が出され、ｉフレーム画像を登録画像として登録する場合について説明する。本実施の形態においては、上述したように、登録画像の特徴量として、その輝度ヒストグラムと、静止時間とを取得し、特徴量メモリ４に記憶する。

図５に示すように、先ず、ｉフレーム画像のデータが端子１を介して供給されると共に端子２を介して登録指示信号が供給され、ｉフレームが登録画像として選択されると、画像特徴量取得部３は、このｉフレーム画像のデータを規定のブロックに分割し、各ブロック内で輝度値のヒストグラムを求め、得られた輝度ヒストグラムＨ（ｉ，ｊ）を保持する（ステップＳ２１）。ここで、Ｈ（ｉ，ｊ）は、ｉフレームにおけるｊ番目のブロックの輝度ヒストグラムを示すものとする。更に、得られた輝度ヒストグラムを特徴量としてコピーし、特徴量テーブル４に保存する（ステップＳ２２）。

次に、フレーム番号をインクリメントし（ステップＳ２３）、ｉフレームとは時間的に連続する（ｉ＋１）フレームの画素値（Ｆ（ｉ＋１，ｐｘｌ））を入力する。画像特徴量取得部３は、ｉフレームと同様に、（ｉ＋１）フレーム画像においても、ブロック単位の輝度ヒストグラムＨ（ｉ＋１，ｊ）を求めて保持する。

そして、得られた輝度ヒストグラムＨ（ｉ＋１，ｊ）と先に求めた輝度ヒストグラムＨ（ｉ，ｊ）との間で、空間的に対応するブロック間の相関係数ｅを下記式（１）により計算する。

そして、計算した相関係数ｅと、所定の閾値（Th_coef）とを比較する（ステップＳ２６）。ｊ番目のブロックにおける相関係数ｅ（ｊ）が閾値（Th_coef）以下ならば、これを変化ブロックとしてカウントし、カウントされた変化ブロックの割合ｅ２（ｊ）が閾値（Th_diff）未満ならば静止画像として静止カウンタのカウント値（stillcnt）の値をインクリメントし（ステップＳ２７）、次のフレーム（（ｉ＋２）フレーム）へ移り、ステップＳ２３乃至ステップＳ２７の処理を繰り返す。一方、変化ブロックの割合ｅ２（ｊ）が閾値（Th_diff）以上なら静止カウンタのカウント値を特徴量テーブル４に保存し（ステップＳ２８）、終了する。ここで、静止カウンタのカウント値が画像特徴量取得部３で取得された登録画像の静止時間である。このようにして、画像特徴量取得部３は、登録画像に指定されたｉフレーム画像の特徴量としてその輝度ヒストグラムと静止時間とを取得し、特徴量テーブル４に記憶させることができる。

次に、静止判定部の静止画像検出方法について説明する。静止画像は、フレーム遅延回路５を通した遅延フレーム画像と入力フレーム画像とが静止判定部６に送られ、上述のステップＳ２７と同様に、両者の変化ブロックの割合から静止しているか否かが判定されて静止画像（候補画像）が検出される。図６は、静止判定部６における静止画像の検出方法を示すフローチャートである。

静止判定部６は、端子１を介して入力されたｉフレーム画像を規定のブロックに分割し、各ブロック内で輝度値のヒストグラムを求め、得られた輝度ヒストグラムＨ（ｉ，ｊ）を保持する（ステップＳ３１）。次に、フレーム番号を例えば１つインクリメントし（ステップＳ３２）、（ｉ＋１）フレームの画素値（Ｆ（ｉ＋１，ｐｘｌ））を入力し（ステップＳ３３）、ｉフレームと同様に、（ｉ＋１）フレーム画像においても、ブロック単位の輝度ヒストグラムＨ（ｉ＋１，ｊ）を求めて保持する（ステップＳ３４）。

そして、得られた輝度ヒストグラムＨ（ｉ＋１，ｊ）と先に求めた輝度ヒストグラムＨ（ｉ，ｊ）との間で、空間的に対応するブロック間の相関係数ｅ（ｊ）を上記式（１）により計算し、この相関係数ｅ（ｊ）と、所定の閾値（Th_coef）とを比較し（ステップＳ３５）、変化ブロックの割合を検出する（ステップＳ３６）。ｊ番目のブロックの相関係数ｅ（ｊ）が閾値（Th_coef）以下ならば、これを変化ブロックとしてカウントし、カウントされた変化ブロックの割合ｅ２（ｊ）が閾値（Th_diff）未満ならば、ｉフレーム画像の輝度ヒストグラムおよび静止カウンタのカウンタ値を保存し（ステップ３７）、このｉフレーム画像を静止画像とみなして、画像特徴量取得部７に送る。一方、変化ブロックの割合が閾値（Th_diff）以上なら、処理を終了し、次のフレームの処理に進む。

静止画像とみなされ画像特徴量取得部７に送られたｉフレーム画像は、上述の図５に示す特徴量取得部３の静止時間の取得と同様に静止時間がカウントされ、特徴量として取得される。

なお、図６において、説明を簡単にするため、ｉフレームと（ｉ＋１）フレームとで対応するブロックの相関係数を比較するものとしたが、静止判定部６は、実際には、時間的に近接するフレーム間での相関が所定の閾値以下であるか否かを判定するものであり、例えば、図２に示す例では、静止判定部６には、入力フレーム画像（ｉフレーム画像）と、遅延回路５を介して、入力フレーム画像より所定フレーム遅延されたフレーム画像（（ｉ−２）フレーム画像）とが供給され、両者の間の相関が判定されている。

次に、画像特徴量取得部３，７におけるヒストグラムの計算方法について説明する。本実施の形態においては、上述したように、静止判定部６の静止判定及び特徴量として輝度ヒストグラムを使用する。輝度ヒストグラムを計算するヒストグラム生成部は、例えば画像特徴量取得部３，７、及び静止判定部６に個別に用意されていてもよく、又は、図２において図示しない輝度ヒストグラム生成部を用意し、その輝度ヒストグラム生成部に必要に応じて画像のデータを送り、輝度ヒストグラムを生成するようにしてもよい。

図７は、ヒストグラム計算及びこのヒストグラムをフレーム間で比較する方法を示すフローチャートである。ここでは、ｉフレームと（ｉ−２）フレームとの間の輝度ヒストグラムを比較する場合について説明する。図７に示すように、先ず、入力されるフレーム画像（ｉフレーム画像とする。）を規定のサイズのブロックに分割する（ステップＳ４１）。例えば、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。そして、ｉフレームにおいて分割したｊ番目のブロックの輝度ヒストグラムＨ（ｉ，ｊ）を計算する。次に、既に計算済みの（ｉ−２）フレームのｊ番目の輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込み（ステップＳ４３）、上記式（１）により、ｉフレームにおけるｊ番目のブロックの輝度ヒストグラムの相関係数ｅ（ｉ，ｊ）を計算し（ステップＳ４５）、閾値判定により変化ブロックであるか否かを判定する。このとき、変化ブロックであると判定された場合には、フラグＥ（ｉ，ｊ）に１を、無変化ブロックであると判定された場合には、フラグＥ（ｉ，ｊ）に０を立てる。輝度ヒストグラムＨ（ｉ，ｊ）は、（ｉ＋２）フレームとの相関係数を比較する際に使用するため保存し、カウンタｊをインクリメントし（ステップＳ４６）、全部ロックが終了しているか否かを判定し（ステップＳ４７）、全部ロックについて変化ブロックの判定が終了していない場合は、ステップＳ４２乃至ステップＳ４７の処理を繰り返し、全てのブロックにおいて変化ブロックの判定がなされている場合は処理を終了する。こうして、得られた全部ロックのフラグＥ（ｉ，ｊ）の値を加算し、この値が所定値以下である場合は、ｉフレーム画像を静止画像と判定することができる。

以下、本実施の形態の具体例として、天気予報番組を登録画像とし、これを検出する場合について説明する。天気予報番組の特徴として、以下に示すものがある。即ち、
１．毎回、同様の画面を組み合わせて構成される
２．毎回ほぼ同時刻に放送される
３、番組枠として設定されていないものが多く、番組表からは正確な開始時刻が不明
４．静止画像を使用する頻度が高い
５．地域の依存性など、ユーザ毎に重要とされる画面にばらつきがある
等の特徴を有する。

このような天気予報番組は、同様の画像が繰り返し使用されているため、登録画像（登録画面）が長期に亘り使用可能である。また、天気予報番組は、おおよその開始時刻を知ることは可能だが、ニュース番組に含まれる等の状況で天気予報番組のみを正確に試聴することは困難であり、特に他局の放送を試聴しているとき等には、ユーザにとって関心が薄い内容を見ることになり極めて不便である。更に、ユーザが住む地域によって必要ではない情報となる内容もあることから、選択的に画像を抽出するメリットが大きい。

ユーザは、番組試聴時に、希望する画像があれば登録指示を出す。図８（ａ）乃至（ｃ）は、ユーザが登録指示を出した登録画像の一例を示す図であって、夫々東日本の予想天気、東日本の予想気温及び東日本の週間天気を示す画面の模式図である。

ここでは、ユーザが関東地方の情報を重要とし、関連する画像を登録した場合について説明する。先ず、登録された画像に類似した画像が検出されるとサブ画面に検出結果として表示される。図９（ａ）は、サブ画面（検出画面）に表示される類似画像を示す模式図、図９（ｂ）は、そのときのメインモニタ１２での表示例、図９（ｃ）は、検出された複数の特定画像を保存し、同時にサブモニタ１１に表示した様子を示す模式図である。例えば、図９（ｂ）に示すように、メインモニタ１２で、ユーザが映画等、天気予報番組が表示されない映像を試聴していた場合に、図９（ａ）に示すように、予め登録しておいた登録画像と類似した画像が他局で放送された場合、この登録画像の類似画像が検出されてサブモニタ１１に表示される。

ここで、ユーザは検出結果の続きを試聴するか否かの判断を行い、例えば、ユーザが試聴する指示を出すとサブモニタ１１に表示されていた検出画像がメインモニタ１２が切り替わって表示されるようにすること等が可能である。ここで、ユーザに判断を委ねることでその場の状況によって不愉快な表示を行うことを防ぐことができる。また、登録画像とは異なる画面等が検出されユーザによって試聴を選択されなかった場合には、その検出結果に対応する登録画面の判定閾値を変化させることで、その後の誤検出を防止して更に検出効率を向上すると共に、画面に固有の精度が高い検出判定閾値を生成することができる。

更に、本実施の形態においては、サブモニタ１１を複数台用意し、図９（ｃ）に示すように、検出された画像を保存し、縮小して過去の一覧としてリスト表示してもよい。制作者の意図を考えると、静止画像は、視聴者に注目してもらいたい重要な情報が含まれる場合が多い。更に、何らかの情報をその１枚で表現するために工夫された画像である。そのため、通常の動画における１フレームに比して、静止画像が有する情報量は多く、その１枚を表示するだけでも多くの情報伝達が可能となる。よって、保存すること、一定時間表示すること、及び縮小してリスト表示すること等により、使用者が後から振り返って情報を確認することができ、また、情報を整理する際に極めて便利である。

また、チューナ手段を有するサブモニタ１１を複数台用意し、各サブモニタ１１のチューナを使用し、各サブモニタ１１から映像信号を供給することにより、同時に検索できる放送局の数を増やすことができる。

また、天気予報番組と同様の効果を奏する例として、ニュース番組のニュースタイトル画面等がある。ニュース番組では、ニュース毎にアナウンサのアンカショット（バストショット）とニュースタイトルのテロップが表示されることが多く、一定時間ほぼ変化がない状態が続く。また、ニュース番組に依存してテロップの演出及び背景等も一定であり、検出対象に好適である。更に、ニュース番組は、必ずしも番組表の時間通り放映されない場合があり、このような画像を登録することにより、任意の番組を見ながら、これとは異なる放送局のニュースタイトルを検出結果として知ることができ、ユーザにとって関心がある場合、又は関心がある内容である場合のみ視聴することが可能である。このような登録に適した登録画像としては、例えば、マーケット情報、スポーツの試合結果、及び番組内の特定コーナのタイトル画面等がある。

本実施の形態においては、ＴＶ放送等の連続する画像中から予めユーザに特化した重要な画像を選択しておき、この画像の類似画像をリアルタイムに検出しユーザに知らせることで、より効率的な重要情報の表示が可能になる。更に、複数のチューナ手段を有するか、時分割で複数のチャンネルを検索する等により複数の放送から特定画像を検出することで、ユーザが現在視聴している番組とは異なる裏番組の監視も可能となる。

更に、静止判定することにより、候補となる静止画像を絞込み、この静止画像と登録画像との類似度を判定することにより、特徴量を取得して類似度判定するデータが少なくてよく、ＴＶ放送等の映像からリアルタイムに特定画像を検出することが可能であり、ユーザにとっての重要な情報を効率的に選択して視聴することができると共に、重要な情報の見落としを防止することができる。

また、複数の特徴量を統合的に使用することで、誤検出の頻度を軽減することができる。更に、検出結果を一定時間表示し、ユーザからの評価を促すことで、困難である画像検出の精度を柔軟に設定することができる。更にまた、精度を柔軟にすることでロバスト性を向上し、表示された状態でのユーザの判断を活かすことができる。

１，２，１０ 入力端子、３ 画像特徴量取得部、４ 特徴量テーブル、５ 遅延回路、６ 静止判定部、７ 画像特徴量取得部、８ 類似度判定部、９ 提示制御部、１１ サブモニタ、１２ メインモニタ、２０ 特定画像検出装置

Claims (13)

1. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置であって、
   登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、
   フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、
   上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、
   上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、
   上記検出手段により検出された特定画像を表示手段に表示する提示手段と、
   少なくとも２つのチューナ手段とを有し、
   上記提示手段は、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、
   上記検出手段は、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出する
   特定画像検出装置。
2. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置であって、
   登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、
   フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、
   上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、
   上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、
   上記検出手段により検出された特定画像を表示手段に表示する提示手段と、
   少なくとも２つのチューナ手段を有し、
   上記検出手段は、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、
   上記提示手段は第１の表示手段及び第２の表示手段に接続され、他方のチューナ手段により選局された受信チャンネルの映像を該第１の表示手段に表示し、上記特定画像を該第２の表示手段に表示する
   特定画像検出装置。
3. 上記検出手段は、時分割で選局された複数の受信チャンネルの映像から上記特定画像を検出する
   請求項２記載の特定画像検出装置。
4. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置であって、
   登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、
   フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、
   上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、
   上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、
   上記検出手段により検出された特定画像を表示手段に表示する提示手段とを有し、
   上記提示手段は、上記検出手段により検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示する
   特定画像検出装置。
5. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置の特定画像検出方法であって、
   コンピュータに、
   フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
   上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
   上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、
   上記検出工程にて検出された特定画像を表示手段に表示する提示工程と
   を実行させ、
   上記特定画像検出装置は、少なくとも２つのチューナ手段を有し、
   上記提示工程では、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、
   上記検出工程では、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出する
   特定画像検出方法。
6. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置の特定画像検出方法であって、
   コンピュータに、
   フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
   上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
   上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、
   上記検出工程にて検出された特定画像を表示手段に表示する提示工程と
   を実行させ、
   上記特定画像検出装置は、少なくとも２つのチューナ手段を有し、
   上記検出工程では、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、
   上記提示工程では、他方のチューナ手段により選局された受信チャンネルの映像を第１の表示手段に表示し、上記特定画像を第２の表示手段に表示する
   特定画像検出方法。
7. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置の特定画像検出方法であって、
   コンピュータに、
   フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
   上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
   上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、
   上記検出工程にて検出された特定画像を表示手段に表示する提示工程と
   を実行させ、
   上記提示工程では、上記検出工程にて検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示する
   特定画像検出方法。
8. 連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する特定画像検出装置の動作をコンピュータに実行させるためのプログラムであって、
   コンピュータに、
   フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
   上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
   上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、
   上記検出工程にて検出された特定画像を表示手段に表示する提示工程と
   を実行させ、
   上記特定画像検出装置は、少なくとも２つのチューナ手段を有し、
   上記提示工程では、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、
   上記検出工程では、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出する
   プログラム。
9. 連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する特定画像検出装置の動作をコンピュータに実行させるためのプログラムであって、
   コンピュータに、
   フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
   上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
   上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、
   上記検出工程にて検出された特定画像を表示手段に表示する提示工程と
   を実行させ、
   上記特定画像検出装置は、少なくとも２つのチューナ手段を有し、
   上記検出工程では、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、
   上記提示工程では、他方のチューナ手段により選局された受信チャンネルの映像を第１の表示手段に表示し、上記特定画像を第２の表示手段に表示する
   プログラム。
10. 連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する動作をコンピュータに実行させるためのプログラムであって、
    コンピュータに、
    フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
    上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
    上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程と、
    上記検出工程にて検出された特定画像を表示手段に表示する提示工程と
    を実行させ、
    上記提示工程では、上記検出工程にて検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示する
    プログラム。
11. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出し、該特定画像を少なくとも１つの表示手段に表示する特定画像検出システムであって、
    少なくとも１つの表示手段と、
    登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記表示手段に接続され上記検出手段により検出された上記特定画像を上記少なくとも１つの表示手段に表示する提示手段と、少なくとも２つのチューナ手段とを具備する特定画像検出手段と
    を有し、
    上記提示手段は、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、
    上記検出手段は、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出する
    特定画像検出システム。
12. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出し、該特定画像を少なくとも１つの表示手段に表示する特定画像検出システムであって、
    少なくとも１つの表示手段と、
    登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記表示手段に接続され上記検出手段により検出された上記特定画像を上記少なくとも１つの表示手段に表示する提示手段と、少なくとも２つのチューナ手段とを具備する特定画像検出手段と
    を有し、
    上記検出手段は、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、
    上記提示手段は、少なくとも第１及び第２の表示手段に接続され、他方のチューナ手段により選局された受信チャンネルの映像を該第１の表示手段に表示し、上記特定画像を該第２の表示手段に表示する
    特定画像検出システム。
13. 連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出し、該特定画像を少なくとも１つの表示手段に表示する特定画像検出システムであって、
    少なくとも１つの表示手段と、
    登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段と、上記表示手段に接続され上記検出手段により検出された上記特定画像を上記少なくとも１つの表示手段に表示する提示手段と、少なくとも２つのチューナ手段とを具備する特定画像検出手段と
    を有し、
    上記提示手段は、上記検出手段により検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示する
    特定画像検出システム。

Images