JP4292762B2 - Specific image detection apparatus, specific image detection method, program and recording medium, and specific image detection system - Google Patents
Specific image detection apparatus, specific image detection method, program and recording medium, and specific image detection system Download PDFInfo
- Publication number
- JP4292762B2 JP4292762B2 JP2002221838A JP2002221838A JP4292762B2 JP 4292762 B2 JP4292762 B2 JP 4292762B2 JP 2002221838 A JP2002221838 A JP 2002221838A JP 2002221838 A JP2002221838 A JP 2002221838A JP 4292762 B2 JP4292762 B2 JP 4292762B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- detecting
- feature amount
- candidate
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する特定画像検出装置、特定画像検出方法、プログラム及び記録媒体、並びに特定画像検出システムに関する。
【０００２】
【従来の技術】
従来、使用者（ユーザ）にとって重要である情報を予め登録しておき、その登録情報の特徴から画像を検索する技術がある。
【０００３】
例えば、特開２０００−３０８０１７号公報には、限られた時間において関連する映像を効率よく視聴する映像視聴装置が開示されている。この公報に記載の映像視聴装置は、動画像信号及び音声信号を含む入力映像信号を記憶する入力映像記憶手段と、この入力映像記憶手段に記憶された所定の入力映像信号を所定位置から再生する映像再生手段と、その入力映像信号の特徴値を算出する算出手段と、この算出手段により算出された特徴値を記憶する特徴値記憶手段と、算出手段からの特徴値が特徴値記憶手段の特徴値のいずれかと類似するかを検索し、類似した場合にこれらの特徴値が関連していることを示す映像関連情報を作成する映像検索手段と、映像関連情報を記憶する関連情報記憶手段と、この関連情報記憶手段が関連情報を記憶したときに関連情報の存在を表示して視聴者に通知する通知手段と、通知された関連情報が示す特徴値に対応する映像信号の再生を要求する要求信号を入力する入力手段と、要求された映像信号を再生する挿入手段とを有している。これにより、記憶された映像信号の中から現在視聴している映像に関連する映像信号を検出して関連映像信号を視聴することができ、限られた時間において関連する映像を効率よく視聴することができる。
【０００４】
また、特開平１０−１４９３７３号公報には、計算機中に大量の画像情報を蓄積・管理し、検索・利用を行う画像データベースシステムの検索のための画像蓄積・管理装置及び画像インデックス作成方法が開示されている。この公報に記載の画像蓄積・管理装置においては、原画像を入力する入力手段と、入力された原画像を蓄積する蓄積手段と、原画像の視覚特徴に基づいて領域分割をして領域分割情報を生成する領域分割手段と、原画像を格子状に分割し分割情報を生成するブロック分割手段と、これらの分割情報を入力し、各格子毎に代表領域番号を決定し配列化し、領域分割された領域毎に色情報を含む領域属性情報を抽出し画像インデックス情報を記述するインデックス生成手段と、画像インデックス情報を格納する格納手段とを有する。これにより、画像に対して利用者が持っている視覚的な手がかりを利用して画像を検索することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の公報に記載の技術等の従来の技術においては、様々なパターンの画像の変化から目的の画像を効率よく検出する手法は確立されていない。即ち、様々なパターンの画像において、目的の画像を特定する特徴を示す物理量が得られていないこと、及び目的の画像を検索する際の厳密な検索が行えないこと等により、目的の画像を高効率で検出することができないという問題点がある。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、連続する画像中から高効率で目的とする特定の画像をリアルタイムに検出することができる特定画像検出装置、特定画像検出方法、プログラム及び記録媒体、並びに特定画像検出システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る特定画像検出装置は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置であって、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段とを有し、上記記憶手段には、上記登録画像の特徴量と上記類似度の閾値とからなるデータが記憶され、さらに、上記検出手段により検出された特定画像に対する使用者の評価を入力する入力手段と、上記入力手段を介して入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え手段とを有する。
【０００８】
本発明においては、輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出し、予め、ユーザ等により登録した登録画像に類似する候補画像を特定画像として検出することにより、ユーザにとって重要である等の理由で登録された画像を高効率に選択して検出することができ、候補画像を検出してから特徴量により画像を特定するため、誤検出の頻度を軽減することができる。
【０００９】
また、上記記憶手段に記憶される特徴量は、上記登録画像における輝度情報、色情報、エッジ量、エッジ密度、輝度ヒストグラム、上記登録画像の静止時間、及び上記登録画像を含む所定期間の映像に含まれる効果音に関する情報のうち１以上の情報を含むものとすることができ、複数の異なる特性の特徴量を使用して類似度を判定することにより、更に正確に登録画像を検出することができる。例えば、テレビジョン映像から特定画像を検出する場合は、類似度の判定に輝度ヒストグラム及び静止時間を使用することにより、ノイズが多いテレビジョン映像等から特定画像を検出する場合にもロバスト性を向上することができる。
【００１０】
更に、上記登録画像は使用者が指定した画像であって、上記特徴量検出手段は、上記使用者が指定した画像である登録画像における特性が異なる１以上の特徴量し、上記記憶手段は、上記特徴量検出手段により検出された上記登録画像の特徴量を記憶することができ、必要に応じて使用者は登録画像を随時登録することができる。
【００１１】
更にまた、上記記憶手段は、上記登録画像の特徴量と上記類似度の閾値とからなるデータを有し、上記検出手段により検出された特定画像に対する使用者の評価を入力する入力手段と、上記入力手段を介して入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え手段とを有することができ、使用者の評価によって類似度の閾値が書き換えられるため、更に誤検出が低減される。
【００１２】
また、上記検出手段により検出された特定画像を表示手段に表示する提示手段を有することができる。
【００１３】
更に、映像を供給する外部機器に接続され、上記検出手段は、上記外部機器から供給される映像から上記特定画像を検出することができる。
【００１４】
更にまた、少なくとも２つのチューナ手段を有し、上記提示手段は、一方のチューナ手段により選局された受信チャンネルの映像を上記表示手段に表示し、上記検出手段は、他方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出することができ、使用者は、特定画像を検出させながら、テレビジョン映像を視聴することができる。
【００１５】
また、少なくとも２つのチューナ手段を有し、上記検出手段は、一方のチューナ手段により選局された受信チャンネルの映像から上記特定画像を検出し、上記提示手段は第１の表示手段及び第２の表示手段に接続され、他方のチューナ手段により選局された受信チャンネルの映像を該第１の表示手段に表示し、上記特定画像を該第２の表示手段に表示することができ、使用者は一方の表示手段でテレビジョン映像を視聴しながら、使用者が見ているテレビジョン映像とは異なるチャンネルのテレビジョン映像等から特定画面を検出させ、他方の表示手段により、検出された特定画像を見ることができる。
【００１６】
更に、上記検出手段は、時分割で選局された複数のチャンネルの映像から上記特定画像を検出することができる。
【００１７】
更にまた、上記提示手段は、上記検出手段により検出された上記特定画像を複数保持し、該複数の特定画像を縮小して上記表示手段に同時に表示してもよい。
【００１８】
また、上記フレーム画像を予め規定したサイズのブロックに分割するブロック分割手段を有し、上記検出手段は、フレーム画像と上記近接フレーム画像とで対応するブロック間の輝度変化が所定の閾値以下であるとき、該フレーム画像を候補画像として検出することができる。
【００１９】
更に、上記ブロック分割手段により分割されたブロック毎に輝度ヒストグラムを算出する輝度ヒストグラム算出手段を有し、上記候補画像検出手段は、フレーム画像と上記近接フレーム画像とで対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値以下であるブロックの数が所定の閾値以下であるとき、該フレーム画像を候補画像として検出することができる。
【００２０】
更にまた、上記検出手段により特定画像が検出された際に使用者に知らせる通知手段を有してもよく、これにより、使用者の利便性を向上する。
【００２１】
本発明に係る特定画像検出方法は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置の特定画像検出方法であって、コンピュータに、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が上記記憶手段に記憶された所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程とを実行させ、上記検出工程では、上記登録画像の特徴量と上記候補画像の特徴量との類似度が所定の閾値以上である特定画像に対する使用者の評価を入力する入力工程と、上記入力工程にて入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え工程とをコンピュータに実行させる。
【００２２】
本発明に係るプログラム及びこれを記録した記録媒体は、連続するフレーム単位の画像からなる映像に含まれる静止画像から特定の画像を検出する動作をコンピュータに実行させるためのプログラム及びこれを記録した記録媒体であって、コンピュータに、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が上記記憶手段に記憶された所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程とを実行させ、上記検出工程では、上記登録画像の特徴量と上記候補画像の特徴量との類似度が所定の閾値以上である特定画像に対する使用者の評価を入力する入力工程と、上記入力工程にて入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え工程とをコンピュータに実行させる。
【００２３】
本発明に係る特定画像検出システムは、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出し、該特定画像を少なくとも１つの表示手段に表示する特定画像検出システムであって、少なくとも１つの表示手段と、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段とを具備する特定画像検出手段とを有し、上記記憶手段には、上記登録画像の特徴量と上記類似度の閾値とからなるデータが記憶され、上記特定画像検出手段は、さらに、上記検出手段により検出された特定画像に対する使用者の評価を入力する入力手段と、上記入力手段を介して入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え手段とを有する。
【００２４】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、連続する画像中からユーザが指定した重要情報を有する特定画像を検出及び表示する特定画像検出システムに適用したものである。
【００２５】
この特定画像検出システムにおいては、予めユーザが登録画像を登録し、テレビジョン（ＴＶ）放送等の映像に含まれる画像を検索し、登録画像に類似した特定画像を検出し、これをリアルタイムで表示（提示、呈示）するものである。ここで、登録画像との類似度判定が行われ、特定画像が検出されるが、検出結果の表示は様々なタイミングで行われるため、本実施の形態においては、ユーザが検出結果を評価する評価手段を設けるものとする。即ち、その時のユーザの状態によって、検出結果の評価が変化しても、検出結果に対するその時のユーザの評価をフィードバックさせることができる。これにより、例えば類似度判定における判定基準を変化させることができ、以降の検出に反映させることができる。こうしてユーザとのやり取りで、効率的に重要な情報（特定画像）を検出して表示することができる。
【００２６】
図１は、本実施の形態の特定画像検出システムを示すブロック図である。図１に示すように、特定画像検出装置２０に、例えばＴＶ放送された映像からユーザが登録した特定画像を検出するものであって、ユーザが、例えば、ＴＶ放送、又はビデオ等の映像を視聴するメインモニタ１２と、映像から検出した特定画像を表示するサブモニタ１１とが接続され、特定画像検出システム３０が構成されている。本実施の形態においては、通常のＴＶ映像等を視聴する際に使用されるテレビ受像機等のメインモニタ１２に加え、検出した特定画像を表示するサブモニタ１１を使用することで効率的な表示を行う。
【００２７】
一般に、ＴＶ放送は、受信可能な放送が複数であり、各放送局が独自のコンテンツを放送しているが、それらがユーザにとって見やすい順に並んでいないことは多々あるといえる。例えば、ニュース番組を例にとってみると、複数の放送局が同時刻にニュース番組を放送しているという場合、同じニュース番組であってもその内容は各放送局で異なる。その為、目的とするニュースを見落としてしまう可能性があり、一方、ユーザにとって個人的に興味がないニュースを観ているという場合も考えられる。ここで要求されるのは、複数の番組のある特定部分をユーザにとって重要なものから順に効率よく視聴できるシステムである。ニュース以外でも、例えば天気予報を観たいときに、ニュース番組の中でいつ始まるか分からないという理由から興味がないニュースを観ていなければならなくなったり、ユーザの住む地方とは別の地方のものまで観ることになったりしてしまう等の不便な点がある。更に、ＴＶ放送以外であって、外部機器から供給される他の映像を視聴している場合において、ＴＶ放送の特定の情報を視聴したい場合、他の映像の視聴を一旦停止しなければならず不便である。本発明の特定画像検出システムは、このような不便な点を解消し、番組を効率よく表示することを可能にするものである。
【００２８】
ここで、本実施の形態においては、特定画像検出装置２０が複数のチューナ手段を有し、一方のチューナ手段により選局された受信チャンネルの映像をメインモニタ１２に表示し、他のチューナ手段により選局された受信チャンネルの映像から特定画像を検出してサブモニタ１１に表示することができる。例えは、２つのチューナ手段を有するときは、ＴＶ放送には複数のチャンネルがあるため、ユーザが指定した複数のチャンネル又は全チャンネルを時分割で選局し、この時分割で選局した各チャンネルのＴＶ映像から特定画像を検出することができる。また、メインモニタ１２用のチューナ手段と、特定画像を検出するために全ＴＶチャンネルに対応するチューナ手段を設けてもよい。
【００２９】
また、サブモニタ１１及びメインモニタ１２にチューナ手段を設け、サブモニタ１１及びメインモニタ１２がＴＶ放送を受信して特定画像検出装置２０に映像を供給するものとしてもよい。また、特定画像検出システムにチューナ手段を有する外部機器を接続して映像を供給するものとしてもよい。なお、特定画像検出装置２０には、外部機器として、例えばビデオデッキ、ＤＶＤ、ＢＳ（Broadcast Satelite）デジタルチューナ等のＳＴＢ等を接続すれば、例えばメインモニタ１２に各種映像を供給して視聴しながら、必要に応じてサブモニタ１１又はメインモニタ１２に特定画像を表示させることができる。
【００３０】
以下、本実施の形態に係る特定画像検出装置について詳細に説明する。図２は、本実施の形態の特定画像検出装置におけるデータの流れを説明する説明図である。
【００３１】
図２に示すように、特定画像検出装置２０は、入力端子１を介して映像信号が供給される画像特徴量取得部（特徴量検出手段）３、遅延回路（ＤＬ）５及び静止判定部（候補画像検出手段）６と、静止判定部６から静止判定された候補画像が供給される画像特徴量取得部（特徴量検出手段）７と、入力端子２を介してユーザからの登録指示信号が供給された場合の入力画像（登録画像）の特徴量が供給され、これを記憶する特徴量テーブル（記憶手段）４と、特徴量テーブル４の特徴と画像特徴量取得部７から供給される候補画像の特徴量との類似度を判定し、登録画像と類似している候補画像を検出する検出手段である類似度判定部８と、類似後判定部８で類似していると判定された類似画像をサブモニタ１１に供給すると共に、入力端子１０を介してサブモニタ１１に表示された類似画像に対するユーザの評価信号が供給され、この評価に応じて類似画像をメインモニタ１２に供給する提示制御部（提示手段）９とから構成されている。
【００３２】
ここでは、入力端子を介して映像信号（入力画像列）が供給されるものとしているが、上述したように、供給される映像信号は、装置内にチューナ手段を設け、これにより選局された受信チャンネルのＴＶ映像であっても、外部から供給される映像であってもよい。
【００３３】
遅延回路５は、入力されるフレーム単位の画像を、例えば１フレーム等、所定フレーム遅延して静止判定部６に供給する。静止判定部６は、入力フレーム画像と、遅延回路５から供給される入力画像より所定フレーム遅延された遅延フレームとの輝度変化が所定の閾値以下である場合、入力フレーム画像を候補画像であると判定する。ここで、候補画像は、静止画像又は静止画部分を含む画像である。ユーザが検出を希望する画像は登録画像として登録されるが、この登録画像が静止画像であるか、静止画部分を含む画像であるかによって、適宜上記閾値を設定するものとする。
【００３４】
画像特徴量取得部３は、端子２を介して登録指示信号が供給されると、そのときの入力画像（登録画像）から特徴量を取得し、特徴量テーブル４に送る。特徴量テーブル４は、入力画像のうち、ユーザが重要である、必要である等の理由により登録したい登録画像の特徴量が記憶されるものである。
【００３５】
また、画像特徴量取得手段７は、画像特徴量取得部３と同様に、候補画像から特徴量を取得する。なお、図２においては、画像検出装置２０は、画像特徴量取得部３，７を備えるものとしたが、いずれか一方の画像特徴量取得部において取得した特徴量を使用するものとしてもよい。
【００３６】
類似度判定部８は、特徴量テーブル４に記憶されている全ての特徴量と、候補画像から検出された特徴量とを比較し、類似度を判定する。具体的には、例えば、特徴量の類似度を所定の閾値（判定閾値）を使用して判定するため、特徴量テーブル４には、各登録画像の特徴量と共に、各特徴量に対する判定閾値が記憶されている。この類似度判定部８は、類似度が所定の判定閾値以上であった候補画像を類似画像として提示制御部９に出力し、サブモニタ１１に表示させる。
【００３７】
サブモニタ１１は、ユーザに評価させるため、検出された類似画像を表示するモニタである。ユーザの評価は端子１０を介して提示制御部９に入力される。そして、ユーザの評価を例えば複数用意しておき、この評価に基づき提示制御部９の制御を設定しておくことができる。
【００３８】
提示制御部９は、ユーザ評価が端子１０を介して入力されると、この評価に基づきサブモニタ１１、メインモニタ１２に出力する画像を制御すると共に特徴量テーブル４に記憶されているデータの書き換え等を行う。例えば、ユーザがサブモニタ１１に表示された類似画像を見て、この類似画像がユーザの希望した画像（登録画像）であった場合、これを評価するユーザからの評価信号により、類似画像を特定画像としてメインモニタ１２に出力するようにすること等ができる。一方、サブモニタ１１に表示された類似画像が登録画像と異なる画像、即ち、誤検出である場合、誤検出であることを指摘するユーザからの評価信号により、提示制御部９は、この類似画像を検出した際の特徴量テーブル４に記憶されている判定閾値を書き換えるよう制御すること等ができる。このように、ユーザの評価に応じて判定閾値を書き換えることで、不要である画像、誤検出である画像が再び検出されることを防止することができる。更に、以前登録した登録画像であって不要になった場合等、不要の登録画像に類似する画像が検出された場合は、これを破棄するよう設定すること等ができる。
【００３９】
また、本実施の形態の特定画像検出装置２０は、提示制御部９により、類似画像をサブモニタ１１に出力し、特定画像をメインモニタ１２に出力するため、例えば、ユーザが天気予報に関する画像が必要であってこれを登録しておくことにより、特定画像検出装置２０は、天気予報に関する画像を特定画像として検出するが、その間、ユーザは、メインモニタ１２において、例えばビデオ等により映画を視聴したり、他のＴＶ番組を視聴したりすることが可能であり、メインモニタ１２で視聴していないいわゆる裏番組から登録画像を検出してサブモニタ１１に表示することができる。
【００４０】
次に、下記表１に、特徴量テーブル４に保存される特徴量の例を示す。
【００４１】
【表１】
本実施の形態においては、上記表１に示す特徴量の中から、輝度ヒストグラムと静止時間とを使用する場合について説明する。ここで、例えば上記表１に示す例えば全ての特徴量を使用する等して特定画像を検出するものとしてもよいが、入力される映像に合わせ、例えば厳しい判定基準を設定することがロバスト性に影響することがある場合等を考慮して特徴量の種類及び判定基準（判定閾値）等は適宜設定するものとする。本実施の形態において、ＴＶ放送される映像から特定画像を検出する際に、輝度ヒストグラム及び静止時間を利用する理由としては、ノイズが入ることが予想されるＴＶ放送においても、ロバスト性を向上するためである。また、以下の説明においては、検出する特定画像は静止画像とするが、上述したように、静止画部分を含む画像、即ち、例えば背景となる部分は動画であって、所定の領域のみが静止しているような場合等においても、同様に検出することができる。
【００４３】
図３は、本実施の形態の特定画像検出装置における特定画像検出方法を示すフローチャートである。図３（ａ）に示すように、先ず、入力されるテレビジョン放映された映像等、連続する画像から候補画像（以下、静止画像という。）を検出するための静止判定が行われる（ステップＳ１）。一方、入力画像と共に、ユーザにより画像登録信号が入力された場合は、その入力画像を登録画像として登録するため、当該登録画像の特徴量を取得（検出）し（ステップＳ１１）、この特徴量を特徴量テーブル４に記憶する（ステップＳ１２）。この特徴量テーブル４には、ユーザから指定された登録画像の特徴量、即ち、本実施の形態においては、ユーザから登録が指示される毎に、その登録画像の輝度ヒストグラム及び静止時間が取得されて随時記憶され保存される。
【００４４】
一方、入力画像から静止判定をして静止画像を検出した場合は、静止画像の特徴量を検出し、得られた特徴量は類似度判定部８に送られ、特徴量テーブル４に記憶されている全ての登録画像の特徴量と比較し、閾値を基に類似度判定が行われる（ステップＳ２）。本実施の形態においては、輝度ヒストグラムに対する後述する相関係数ｅ、変化がない無変化ブロックの割合、及び図示しない静止カウンタのカウント値である静止時間を基に、類似度判定を行う。
【００４５】
図４は、特徴量テーブル４を示す模式図である。図４に示すように、特徴量テーブル４には、各登録画像毎に識別番号（Ｎｏ．０、１、2・・・）が付され、各登録画像に対応する輝度ヒストグラム、静止時間、並びに相関係数、変化ブロックの割合、及び時間誤差等に関する判定閾値が記憶されている。
【００４６】
図３に戻って、ステップＳ３において、登録画像と静止画像とが類似していると判定された場合、提示制御部９にこの画像のデータが送られ、サブモニタ１１に表示指示が送られて表示される（ステップＳ３）。そして、本実施の形態においては、静止画像は表示された後、例えばユーザの注意を促すためのアラームを鳴らし、ユーザから、入力端子１０を介して入力される評価を待つ待機状態となる（ステップＳ４）。一方、類似していないと判定された場合は次のフレームの処理へ進む。
【００４７】
次に、表示された画像に対するユーザによる評価が行われる。ユーザの評価としては、上述したように、様々なものが考えられ、複数の評価を設定しておき、これに応じた処理を設定することができる。本実施の形態においては、表示された画像がユーザの指定した登録画像であると判定する（必要であると判定する）場合（Good）、及びユーザの指定した登録画像ではないと判定する（不要であると判定する）場合（Nogood）の２パターンとした場合について説明する。ここで、Nogoodの評価が入力された場合には、類似と判定した際に使用された特徴量テーブル４内の登録画像の判定閾値の値を変更（更新）し（ステップＳ６）、次のフレームの処理に進む。一方、Goodと評価され、類似画像が登録画像であると判定した場合は、この特定画像をメインモニタ１２に出力し（ステップＳ７）、次のフレームの処理に進む。上述したように、ユーザの評価がNogoodである場合は、判定閾値の値を書き換え、類似と判定する基準を厳しくすることにより、以降の検出において、同様の誤検出が生じることを防止する。また、ここでは、特定画像をメインモニタ１２に出力するものとしたが、メインモニタ１２には出力せず例えばサブモニタ１１に記憶手段を設けてこれを所定期間保持し、ユーザの都合で所望の時間に表示させるようにしてもよい。
【００４８】
以下、本実施の形態における特定画像検出方法について更に詳細に説明する。先ず、画像特徴量取得部３における登録画像の特徴量取得方法について説明する。
【００４９】
図５は、登録画像の特徴量取得方法を示すフローチャートである。図５では、フレーム（以下、ｉフレームという。）画像の画素値（Ｆ（ｉ，ｐｘｌ））が入力され、端子２を介してユーザから登録指示信号が入力された場合、即ち、ｉフレーム画像の特徴量取得の指示が出され、ｉフレーム画像を登録画像として登録する場合について説明する。本実施の形態においては、上述したように、登録画像の特徴量として、その輝度ヒストグラムと、静止時間とを取得し、特徴量メモリ４に記憶する。
【００５０】
図５に示すように、先ず、ｉフレーム画像のデータが端子１を介して供給されると共に端子２を介して登録指示信号が供給され、ｉフレームが登録画像として選択されると、画像特徴量取得部３は、このｉフレーム画像のデータを規定のブロックに分割し、各ブロック内で輝度値のヒストグラムを求め、得られた輝度ヒストグラムＨ（ｉ，ｊ）を保持する（ステップＳ２１）。ここで、Ｈ（ｉ，ｊ）は、ｉフレームにおけるｊ番目のブロックの輝度ヒストグラムを示すものとする。更に、得られた輝度ヒストグラムを特徴量としてコピーし、特徴量テーブル４に保存する（ステップＳ２２）。
【００５１】
次に、フレーム番号をインクリメントし（ステップＳ２３）、ｉフレームとは時間的に連続する（ｉ＋１）フレームの画素値（Ｆ（ｉ＋１，ｐｘｌ））を入力する。画像特徴量取得部３は、ｉフレームと同様に、（ｉ＋１）フレーム画像においても、ブロック単位の輝度ヒストグラムＨ（ｉ＋１，ｊ）を求めて保持する。
【００５２】
そして、得られた輝度ヒストグラムＨ（ｉ＋１，ｊ）と先に求めた輝度ヒストグラムＨ（ｉ，ｊ）との間で、空間的に対応するブロック間の相関係数ｅを下記式（１）により計算する。
【００５３】
【数１】
そして、計算した相関係数ｅと、所定の閾値（Th_coef）とを比較する（ステップＳ２６）。ｊ番目のブロックにおける相関係数ｅ（ｊ）が閾値（Th_coef）以下ならば、これを変化ブロックとしてカウントし、カウントされた変化ブロックの割合ｅ２（ｊ）が閾値（Th_diff）未満ならば静止画像として静止カウンタのカウント値（stillcnt）の値をインクリメントし（ステップＳ２７）、次のフレーム（（ｉ＋２）フレーム）へ移り、ステップＳ２３乃至ステップＳ２７の処理を繰り返す。一方、変化ブロックの割合ｅ２（ｊ）が閾値（Th_diff）以上なら静止カウンタのカウント値を特徴量テーブル４に保存し（ステップＳ２８）、終了する。ここで、静止カウンタのカウント値が画像特徴量取得部３で取得された登録画像の静止時間である。このようにして、画像特徴量取得部３は、登録画像に指定されたｉフレーム画像の特徴量としてその輝度ヒストグラムと静止時間とを取得し、特徴量テーブル４に記憶させることができる。
【００５５】
次に、静止判定部の静止画像検出方法について説明する。静止画像は、フレーム遅延回路５を通した遅延フレーム画像と入力フレーム画像とが静止判定部６に送られ、上述のステップＳ２７と同様に、両者の変化ブロックの割合から静止しているか否かが判定されて静止画像（候補画像）が検出される。図６は、静止判定部６における静止画像の検出方法を示すフローチャートである。
【００５６】
静止判定部６は、端子１を介して入力されたｉフレーム画像を規定のブロックに分割し、各ブロック内で輝度値のヒストグラムを求め、得られた輝度ヒストグラムＨ（ｉ，ｊ）を保持する（ステップＳ３１）。次に、フレーム番号を例えば１つインクリメントし（ステップＳ３２）、（ｉ＋１）フレームの画素値（Ｆ（ｉ＋１，ｐｘｌ））を入力し（ステップＳ３３）、ｉフレームと同様に、（ｉ＋１）フレーム画像においても、ブロック単位の輝度ヒストグラムＨ（ｉ＋１，ｊ）を求めて保持する（ステップＳ３４）。
【００５７】
そして、得られた輝度ヒストグラムＨ（ｉ＋１，ｊ）と先に求めた輝度ヒストグラムＨ（ｉ，ｊ）との間で、空間的に対応するブロック間の相関係数ｅ（ｊ）を上記式（１）により計算し、この相関係数ｅ（ｊ）と、所定の閾値（Th_coef）とを比較し（ステップＳ３５）、変化ブロックの割合を検出する（ステップＳ３６）。ｊ番目のブロックの相関係数ｅ（ｊ）が閾値（Th_coef）以下ならば、これを変化ブロックとしてカウントし、カウントされた変化ブロックの割合ｅ２（ｊ）が閾値（Th_diff）未満ならば、ｉフレーム画像の輝度ヒストグラムおよび静止カウンタのカウンタ値を保存し（ステップ３７）、このｉフレーム画像を静止画像とみなして、画像特徴量取得部７に送る。一方、変化ブロックの割合が閾値（Th_diff）以上なら、処理を終了し、次のフレームの処理に進む。
【００５８】
静止画像とみなされ画像特徴量取得部７に送られたｉフレーム画像は、上述の図５に示す特徴量取得部３の静止時間の取得と同様に静止時間がカウントされ、特徴量として取得される。
【００５９】
なお、図６において、説明を簡単にするため、ｉフレームと（ｉ＋１）フレームとで対応するブロックの相関係数を比較するものとしたが、静止判定部６は、実際には、時間的に近接するフレーム間での相関が所定の閾値以下であるか否かを判定するものであり、例えば、図２に示す例では、静止判定部６には、入力フレーム画像（ｉフレーム画像）と、遅延回路５を介して、入力フレーム画像より所定フレーム遅延されたフレーム画像（（ｉ−２）フレーム画像）とが供給され、両者の間の相関が判定されている。
【００６０】
次に、画像特徴量取得部３，７におけるヒストグラムの計算方法について説明する。本実施の形態においては、上述したように、静止判定部６の静止判定及び特徴量として輝度ヒストグラムを使用する。輝度ヒストグラムを計算するヒストグラム生成部は、例えば画像特徴量取得部３，７、及び静止判定部６に個別に用意されていてもよく、又は、図２において図示しない輝度ヒストグラム生成部を用意し、その輝度ヒストグラム生成部に必要に応じて画像のデータを送り、輝度ヒストグラムを生成するようにしてもよい。
【００６１】
図７は、ヒストグラム計算及びこのヒストグラムをフレーム間で比較する方法を示すフローチャートである。ここでは、ｉフレームと（ｉ−２）フレームとの間の輝度ヒストグラムを比較する場合について説明する。図７に示すように、先ず、入力されるフレーム画像（ｉフレーム画像とする。）を規定のサイズのブロックに分割する（ステップＳ４１）。例えば、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。そして、ｉフレームにおいて分割したｊ番目のブロックの輝度ヒストグラムＨ（ｉ，ｊ）を計算する。次に、既に計算済みの（ｉ−２）フレームのｊ番目の輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込み（ステップＳ４３）、上記式（１）により、ｉフレームにおけるｊ番目のブロックの輝度ヒストグラムの相関係数ｅ（ｉ，ｊ）を計算し（ステップＳ４５）、閾値判定により変化ブロックであるか否かを判定する。このとき、変化ブロックであると判定された場合には、フラグＥ（ｉ，ｊ）に１を、無変化ブロックであると判定された場合には、フラグＥ（ｉ，ｊ）に０を立てる。輝度ヒストグラムＨ（ｉ，ｊ）は、（ｉ＋２）フレームとの相関係数を比較する際に使用するため保存し、カウンタｊをインクリメントし（ステップＳ４６）、全部ロックが終了しているか否かを判定し（ステップＳ４７）、全部ロックについて変化ブロックの判定が終了していない場合は、ステップＳ４２乃至ステップＳ４７の処理を繰り返し、全てのブロックにおいて変化ブロックの判定がなされている場合は処理を終了する。こうして、得られた全部ロックのフラグＥ（ｉ，ｊ）の値を加算し、この値が所定値以下である場合は、ｉフレーム画像を静止画像と判定することができる。
【００６２】
以下、本実施の形態の具体例として、天気予報番組を登録画像とし、これを検出する場合について説明する。天気予報番組の特徴として、以下に示すものがある。即ち、
１．毎回、同様の画面を組み合わせて構成される
２．毎回ほぼ同時刻に放送される
３、番組枠として設定されていないものが多く、番組表からは正確な開始時刻が不明
４．静止画像を使用する頻度が高い
５．地域の依存性など、ユーザ毎に重要とされる画面にばらつきがある
等の特徴を有する。
【００６３】
このような天気予報番組は、同様の画像が繰り返し使用されているため、登録画像（登録画面）が長期に亘り使用可能である。また、天気予報番組は、おおよその開始時刻を知ることは可能だが、ニュース番組に含まれる等の状況で天気予報番組のみを正確に試聴することは困難であり、特に他局の放送を試聴しているとき等には、ユーザにとって関心が薄い内容を見ることになり極めて不便である。更に、ユーザが住む地域によって必要ではない情報となる内容もあることから、選択的に画像を抽出するメリットが大きい。
【００６４】
ユーザは、番組試聴時に、希望する画像があれば登録指示を出す。図８（ａ）乃至（ｃ）は、ユーザが登録指示を出した登録画像の一例を示す図であって、夫々東日本の予想天気、東日本の予想気温及び東日本の週間天気を示す画面の模式図である。
【００６５】
ここでは、ユーザが関東地方の情報を重要とし、関連する画像を登録した場合について説明する。先ず、登録された画像に類似した画像が検出されるとサブ画面に検出結果として表示される。図９（ａ）は、サブ画面（検出画面）に表示される類似画像を示す模式図、図９（ｂ）は、そのときのメインモニタ１２での表示例、図９（ｃ）は、検出された複数の特定画像を保存し、同時にサブモニタ１１に表示した様子を示す模式図である。例えば、図９（ｂ）に示すように、メインモニタ１２で、ユーザが映画等、天気予報番組が表示されない映像を試聴していた場合に、図９（ａ）に示すように、予め登録しておいた登録画像と類似した画像が他局で放送された場合、この登録画像の類似画像が検出されてサブモニタ１１に表示される。
【００６６】
ここで、ユーザは検出結果の続きを試聴するか否かの判断を行い、例えば、ユーザが試聴する指示を出すとサブモニタ１１に表示されていた検出画像がメインモニタ１２が切り替わって表示されるようにすること等が可能である。ここで、ユーザに判断を委ねることでその場の状況によって不愉快な表示を行うことを防ぐことができる。また、登録画像とは異なる画面等が検出されユーザによって試聴を選択されなかった場合には、その検出結果に対応する登録画面の判定閾値を変化させることで、その後の誤検出を防止して更に検出効率を向上すると共に、画面に固有の精度が高い検出判定閾値を生成することができる。
【００６７】
更に、本実施の形態においては、サブモニタ１１を複数台用意し、図９（ｃ）に示すように、検出された画像を保存し、縮小して過去の一覧としてリスト表示してもよい。制作者の意図を考えると、静止画像は、視聴者に注目してもらいたい重要な情報が含まれる場合が多い。更に、何らかの情報をその１枚で表現するために工夫された画像である。そのため、通常の動画における１フレームに比して、静止画像が有する情報量は多く、その１枚を表示するだけでも多くの情報伝達が可能となる。よって、保存すること、一定時間表示すること、及び縮小してリスト表示すること等により、使用者が後から振り返って情報を確認することができ、また、情報を整理する際に極めて便利である。
【００６８】
また、チューナ手段を有するサブモニタ１１を複数台用意し、各サブモニタ１１のチューナを使用し、各サブモニタ１１から映像信号を供給することにより、同時に検索できる放送局の数を増やすことができる。
【００６９】
また、天気予報番組と同様の効果を奏する例として、ニュース番組のニュースタイトル画面等がある。ニュース番組では、ニュース毎にアナウンサのアンカショット（バストショット）とニュースタイトルのテロップが表示されることが多く、一定時間ほぼ変化がない状態が続く。また、ニュース番組に依存してテロップの演出及び背景等も一定であり、検出対象に好適である。更に、ニュース番組は、必ずしも番組表の時間通り放映されない場合があり、このような画像を登録することにより、任意の番組を見ながら、これとは異なる放送局のニュースタイトルを検出結果として知ることができ、ユーザにとって関心がある場合、又は関心がある内容である場合のみ視聴することが可能である。このような登録に適した登録画像としては、例えば、マーケット情報、スポーツの試合結果、及び番組内の特定コーナのタイトル画面等がある。
【００７０】
本実施の形態においては、ＴＶ放送等の連続する画像中から予めユーザに特化した重要な画像を選択しておき、この画像の類似画像をリアルタイムに検出しユーザに知らせることで、より効率的な重要情報の表示が可能になる。更に、複数のチューナ手段を有するか、時分割で複数のチャンネルを検索する等により複数の放送から特定画像を検出することで、ユーザが現在視聴している番組とは異なる裏番組の監視も可能となる。
【００７１】
更に、静止判定することにより、候補となる静止画像を絞込み、この静止画像と登録画像との類似度を判定することにより、特徴量を取得して類似度判定するデータが少なくてよく、ＴＶ放送等の映像からリアルタイムに特定画像を検出することが可能であり、ユーザにとっての重要な情報を効率的に選択して視聴することができると共に、重要な情報の見落としを防止することができる。
【００７２】
また、複数の特徴量を統合的に使用することで、誤検出の頻度を軽減することができる。更に、検出結果を一定時間表示し、ユーザからの評価を促すことで、困難である画像検出の精度を柔軟に設定することができる。更にまた、精度を柔軟にすることでロバスト性を向上し、表示された状態でのユーザの判断を活かすことができる。
【００７３】
【発明の効果】
以上詳細に説明したように本発明に係る特定画像検出装置は、連続するフレーム単位の画像からなる映像に含まれる静止画部分を含む特定の画像を検出する特定画像検出装置であって、登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段とを有するので、予め、ユーザに特化した重要な画像等を登録画像として登録しておき、ＴＶ放送等の連続する画像中から、輝度変化の割合が所定の閾値以下であるフレーム画像のみを候補画像として検出し、登録画像に類似する候補画像を特定画像として検出することにより、ユーザにとって重要である等の理由で登録された画像を高効率に選択してリアルタイムで検出することができ、候補画像を検出してから特徴量により画像を特定するため、誤検出の頻度を軽減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における特定画像検出システムを示すブロック図である。
【図２】本発明の実施の形態における特定画像検出装置におけるデータの流れを説明する説明図である。
【図３】本発明の実施の形態における特定画像検出装置における特定画像検出方法を示すフローチャートである。
【図４】本発明の実施の形態における特定画像検出装置の特徴量テーブルを示す模式図である。
【図５】本発明の実施の形態における登録画像の特徴量取得方法を示すフローチャートである。
【図６】本発明の実施の形態における静止判定方法（候補画像の検出方法）を示すフローチャートである。
【図７】本発明の実施の形態におけるヒストグラムの計算方法を示すフローチャートである。
【図８】（ａ）乃至（ｃ）は、ユーザが登録指示を出した登録画像の一例を示す図であって、夫々東日本の予報天気、東日本の予想気温及び東日本の週間天気を示す画面の模式図である。
【図９】（ａ）は検出された複数の特定画像を保存し、同時にサブモニタに表示した様子を示す模式図、（ｂ）は、そのときのメインモニタでの表示例、（ｃ）は、検出画面（特定画面）を示す模式図である。
【符号の説明】
１，２，１０ 入力端子、３ 画像特徴量取得部、４ 特徴量テーブル、５ 遅延回路、６ 静止判定部、７ 画像特徴量取得部、８ 類似度判定部、９ 提示制御部、１１ サブモニタ、１２ メインモニタ、２０ 特定画像検出装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a specific image detection apparatus, a specific image detection method, a program and a recording medium, and a specific image detection system for detecting a specific image from still images included in a video composed of images in units of continuous frames.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is a technique in which information that is important for a user (user) is registered in advance and an image is searched from the characteristics of the registered information.
[0003]
For example, Japanese Patent Application Laid-Open No. 2000-308017 discloses a video viewing apparatus that efficiently views related video in a limited time. The video viewing device described in this publication reproduces a predetermined input video signal stored in the input video storage means from a predetermined position, and an input video storage means for storing an input video signal including a moving image signal and an audio signal. Video reproduction means, calculation means for calculating the feature value of the input video signal, feature value storage means for storing the feature value calculated by the calculation means, and feature values from the calculation means are features of the feature value storage means A video search unit that searches for video related information indicating that these feature values are related, and a related information storage unit that stores video related information; When the related information storage means stores the related information, it notifies the viewer of the presence of the related information and notifies the viewer, and requests the reproduction of the video signal corresponding to the feature value indicated by the notified related information. Input means for inputting a request signal, and a insertion means for reproducing the requested video signal. Thereby, it is possible to detect a video signal related to the currently viewed video from the stored video signals and view the related video signal, and efficiently view the related video in a limited time Can do.
[0004]
Japanese Patent Laid-Open No. 10-149373 discloses an image storage / management apparatus and an image index creation method for searching an image database system that stores and manages a large amount of image information in a computer and performs search / use. Has been. In the image storage / management apparatus described in this publication, input means for inputting an original image, storage means for storing the input original image, and area division information by dividing an area based on visual characteristics of the original image Area dividing means for generating the original image, block dividing means for dividing the original image into a grid and generating division information, and inputting the division information, determining and arraying the representative area number for each grid, and dividing the area Index generation means for extracting area attribute information including color information for each area and describing image index information; and storage means for storing image index information. Thereby, it is possible to search for an image using a visual clue that the user has with respect to the image.
[0005]
[Problems to be solved by the invention]
However, in conventional techniques such as the technique described in the above-mentioned publication, a method for efficiently detecting a target image from changes in images of various patterns has not been established. In other words, in various patterns of images, the physical quantity indicating the characteristics that identify the target image is not obtained, and the target image cannot be accurately searched. There is a problem that it cannot be detected efficiently.
[0006]
The present invention has been proposed in view of such a conventional situation, and a specific image detection apparatus and a specific image detection capable of detecting a target specific image with high efficiency from a continuous image in real time. It is an object to provide a method, a program and a recording medium, and a specific image detection system.
[0007]
[Means for Solving the Problems]
In order to achieve the above-described object, a specific image detection apparatus according to the present invention is a specific image detection apparatus that detects a specific image including a still image part included in a video composed of images in consecutive frames. The ratio of the luminance change between the storage means for storing one or more feature quantities having different characteristics in the registered image and the frame image and the adjacent frame image close in time to the frame image is calculated, and the luminance change ratio is predetermined. A candidate image detecting means for detecting a frame image that is equal to or less than a threshold value as a candidate image, a feature quantity detecting means for detecting one or more feature quantities having different characteristics in the candidate image, a feature quantity of the candidate image, and the registration Detecting means for detecting the candidate image as a specific image when the similarity with the feature quantity of the image is equal to or greater than a predetermined threshold, and the storage means includes the feature quantity of the registered image Based on the user's evaluation inputted through the input means for inputting the user's evaluation with respect to the specific image detected by the detecting means and the data including the threshold value of the similarity is stored. And rewriting means for rewriting the threshold value of the similarity of the storage meansThe
[0008]
In the present invention, a frame image having a luminance change rate equal to or less than a predetermined threshold is detected as a candidate image, and a candidate image similar to a registered image registered in advance by a user or the like is detected as a specific image. The registered image can be selected and detected with high efficiency because of its importance, and the frequency of false detection can be reduced because the image is specified by the feature amount after the candidate image is detected. .
[0009]
In addition, the feature amount stored in the storage unit includes luminance information, color information, edge amount, edge density, luminance histogram, stationary time of the registered image, and video of a predetermined period including the registered image. One or more pieces of information regarding the included sound effects can be included, and the registered image can be detected more accurately by determining the degree of similarity using feature quantities having a plurality of different characteristics. For example, when a specific image is detected from a television image, the robustness is improved even when the specific image is detected from a noisy television image by using a luminance histogram and a still time for determining the similarity. can do.
[0010]
Further, the registered image is an image designated by a user, and the feature amount detecting means has one or more feature amounts having different characteristics in the registered image, which is an image designated by the user, and the storage means The feature amount of the registered image detected by the feature amount detecting means can be stored, and the user can register the registered image as needed.
[0011]
Furthermore, the storage means has data consisting of the feature amount of the registered image and the similarity threshold, and an input means for inputting a user's evaluation for the specific image detected by the detection means; Rewriting means for rewriting the similarity threshold of the storage means based on the user's evaluation input via the input means, and the similarity threshold is rewritten by the user's evaluation. False detection is reduced.
[0012]
Moreover, it can have a presentation means which displays the specific image detected by the said detection means on a display means.
[0013]
Further, connected to an external device that supplies video, the detection means can detect the specific image from the video supplied from the external device.
[0014]
Furthermore, the apparatus has at least two tuner means, the presenting means displays the video of the reception channel selected by one tuner means on the display means, and the detecting means is selected by the other tuner means. The specific image can be detected from the received video of the receiving channel, and the user can view the television video while detecting the specific image.
[0015]
Also, it has at least two tuner means, and the detection means detects the specific image from the video of the reception channel selected by one of the tuner means, and the presentation means includes a first display means and a second display means An image of the reception channel connected to the display means and selected by the other tuner means can be displayed on the first display means, and the specific image can be displayed on the second display means. While viewing the television image on one display means, a specific screen is detected from a television image or the like of a channel different from the television image that the user is viewing, and the detected specific image is detected by the other display means. Can see.
[0016]
Furthermore, the detection means can detect the specific image from videos of a plurality of channels selected in time division.
[0017]
Furthermore, the presenting means may hold a plurality of the specific images detected by the detecting means, reduce the plurality of specific images, and display them simultaneously on the display means.
[0018]
Further, the image processing apparatus includes block dividing means for dividing the frame image into blocks of a predetermined size, and the detection means has a luminance change between corresponding blocks in the frame image and the adjacent frame image being equal to or less than a predetermined threshold value. At this time, the frame image can be detected as a candidate image.
[0019]
Furthermore, it has a luminance histogram calculating means for calculating a luminance histogram for each block divided by the block dividing means, and the candidate image detecting means is a luminance histogram between blocks corresponding to the frame image and the adjacent frame image. When the number of blocks whose correlation coefficient is equal to or smaller than a predetermined threshold is equal to or smaller than the predetermined threshold, the frame image can be detected as a candidate image.
[0020]
Furthermore, a notification means for notifying the user when a specific image is detected by the detection means may be provided, thereby improving the convenience for the user.
[0021]
A specific image detection method according to the present invention is a specific image detection method of a specific image detection apparatus for detecting a specific image including a still image portion included in a video composed of images in units of continuous frames. A candidate image detection step of calculating a ratio of a luminance change between the image and a close frame image that is temporally close to the image, and detecting a frame image in which the ratio of the luminance change is equal to or less than a predetermined threshold; A candidate image feature amount detecting step for detecting one or more feature amounts having different characteristics in the candidate image, a feature amount of the candidate image, and one or more feature amounts having different characteristics in the registered image stored in the storage unit A detection step of detecting the candidate image as a specific image when the similarity is equal to or greater than a predetermined threshold stored in the storage unit, and the registration step Based on an input step of inputting a user's evaluation for a specific image whose similarity between the feature amount of the image and the feature amount of the candidate image is equal to or greater than a predetermined threshold, and the user's evaluation input in the input step Rewriting step of rewriting the threshold value of the similarity of the storage meansThe
[0022]
A program according to the present invention and a recording medium on which the program is recorded are provided for causing a computer to execute an operation of detecting a specific image from a still image included in a video composed of continuous frame-unit images.as well asRecording medium on which this is recordedsoThen, the computer calculates the ratio of the luminance change between the frame image and the adjacent frame image close in time to the frame image, and detects the frame image whose luminance change ratio is equal to or less than a predetermined threshold as a candidate image. The candidate image detecting step, the candidate image feature amount detecting step for detecting one or more feature amounts having different characteristics in the candidate image, the feature amounts of the candidate image, and the characteristics in the registered image stored in the storage means are different. When the similarity with one or more feature quantities is equal to or greater than a predetermined threshold stored in the storage unit, a detection step of detecting the candidate image as a specific image is executed. In the detection step, An input step for inputting a user's evaluation for a specific image whose similarity between the feature amount and the feature amount of the candidate image is equal to or greater than a predetermined threshold, and a user's evaluation input in the input step To execute a rewriting process of rewriting the threshold of the similarity of the storage means to the computer on the basis of theThe
[0023]
A specific image detection system according to the present invention detects a specific image including a still image portion included in a video composed of images of successive frames, and displays the specific image on at least one display means. The ratio of the luminance change between at least one display means, storage means for storing one or more feature quantities having different characteristics in the registered image, and the frame image and the adjacent frame image temporally adjacent thereto And a candidate image detection unit that detects a frame image having a luminance change rate equal to or less than a predetermined threshold as a candidate image, and a feature amount detection unit that detects one or more feature amounts having different characteristics in the candidate image. Detecting means for detecting the candidate image as a specific image when the similarity between the feature amount of the candidate image and the feature amount of the registered image is equal to or greater than a predetermined threshold; Specific image detection means provided, and the storage means stores data including the feature amount of the registered image and the threshold value of the similarity, and the specific image detection means is further controlled by the detection means. Input means for inputting the user's evaluation for the detected specific image, and rewriting means for rewriting the similarity threshold of the storage means based on the user's evaluation input via the input meansThe
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to a specific image detection system that detects and displays a specific image having important information designated by a user from consecutive images.
[0025]
In this specific image detection system, a user registers a registered image in advance, searches for an image included in a video such as a television (TV) broadcast, detects a specific image similar to the registered image, and displays this in real time. (Presentation, presentation). Here, the similarity determination with the registered image is performed, and the specific image is detected. Since the detection result is displayed at various timings, in this embodiment, the user evaluates the detection result. Means shall be provided. That is, even if the evaluation of the detection result changes depending on the state of the user at that time, the user's evaluation at that time with respect to the detection result can be fed back. Thereby, for example, the determination criterion in similarity determination can be changed and reflected in subsequent detection. In this way, important information (specific image) can be efficiently detected and displayed through interaction with the user.
[0026]
FIG. 1 is a block diagram showing a specific image detection system according to the present embodiment. As shown in FIG. 1, the specific
[0027]
In general, TV broadcasts have a plurality of receivable broadcasts, and each broadcast station broadcasts its own content, but it can often be said that they are not arranged in an order that is easy for the user to see. For example, taking a news program as an example, if a plurality of broadcasting stations are broadcasting a news program at the same time, the contents of the same news program are different for each broadcasting station. Therefore, there is a possibility that the target news may be overlooked. On the other hand, there may be a case where the user is watching news that is not personally interesting to the user. What is required here is a system that can efficiently view a specific part of a plurality of programs in order from the important part to the user. Other than news, for example, when you want to watch the weather forecast, you must watch news that you are not interested in because you do not know when it starts in the news program, or it is in a region other than the region where the user lives There are inconveniences such as going to see. In addition, when viewing other video supplied from an external device other than TV broadcast, if you want to view specific information of TV broadcast, you must temporarily stop viewing the other video. Inconvenient. The specific image detection system of the present invention eliminates such inconveniences and makes it possible to display a program efficiently.
[0028]
Here, in the present embodiment, the specific
[0029]
Further, tuner means may be provided in the
[0030]
Hereinafter, the specific image detection apparatus according to the present embodiment will be described in detail. FIG. 2 is an explanatory diagram for explaining the flow of data in the specific image detection apparatus of the present embodiment.
[0031]
As shown in FIG. 2, the specific
[0032]
Here, it is assumed that the video signal (input image sequence) is supplied via the input terminal. However, as described above, the supplied video signal is selected by providing the tuner means in the apparatus. It may be a TV image of the receiving channel or an image supplied from the outside.
[0033]
The
[0034]
When the registration instruction signal is supplied via the
[0035]
In addition, the image feature amount acquisition unit 7 acquires feature amounts from the candidate images, similarly to the image feature
[0036]
The similarity determination unit 8 compares all the feature amounts stored in the feature amount table 4 with the feature amounts detected from the candidate images, and determines the similarity. Specifically, for example, in order to determine the similarity of feature amounts using a predetermined threshold (determination threshold), the feature amount table 4 includes a determination threshold for each feature amount together with the feature amount of each registered image. It is remembered. The similarity determination unit 8 outputs a candidate image whose similarity is equal to or higher than a predetermined determination threshold value to the presentation control unit 9 as a similar image, and causes the sub monitor 11 to display the candidate image.
[0037]
The sub monitor 11 is a monitor that displays the detected similar image for the user to evaluate. The user's evaluation is input to the presentation control unit 9 via the
[0038]
When the user evaluation is input via the terminal 10, the presentation control unit 9 controls the image output to the sub-monitor 11 and the
[0039]
In addition, the specific
[0040]
Next, Table 1 below shows examples of feature amounts stored in the feature amount table 4.
[0041]
[Table 1]
In the present embodiment, a case where a luminance histogram and a stationary time are used from the feature amounts shown in Table 1 will be described. Here, for example, the specific image may be detected by using, for example, all the feature values shown in Table 1 above. However, it is robust to set a strict judgment criterion according to the input video, for example. The type of feature amount, the determination criterion (determination threshold), and the like are set as appropriate in consideration of cases that may be affected. In this embodiment, the reason for using the luminance histogram and the stationary time when detecting a specific image from TV broadcast video is to improve the robustness even in TV broadcast where noise is expected to enter. Because. In the following description, the specific image to be detected is a still image. However, as described above, an image including a still image portion, that is, a background portion, for example, is a moving image, and only a predetermined area is still. Even in such a case, it can be detected in the same manner.
[0043]
FIG. 3 is a flowchart showing a specific image detection method in the specific image detection apparatus of the present embodiment. As shown in FIG. 3A, first, stillness determination is performed to detect a candidate image (hereinafter referred to as a still image) from continuous images such as an input television broadcast video (step S1). ). On the other hand, when an image registration signal is input together with the input image by the user, the input image is registered as a registered image, so that the feature amount of the registered image is acquired (detected) (step S11). It is stored in the feature quantity table 4 (step S12). In the feature amount table 4, the feature amount of the registered image designated by the user, that is, in this embodiment, whenever the registration is instructed by the user, the luminance histogram and the still time of the registered image are acquired. Is stored and saved as needed.
[0044]
On the other hand, when a still image is detected by performing still determination from the input image, the feature amount of the still image is detected, and the obtained feature amount is sent to the similarity determination unit 8 and stored in the feature amount table 4. It compares with the feature-value of all the registration images which exist, and similarity determination is performed based on a threshold value (step S2). In the present embodiment, similarity determination is performed based on a correlation coefficient e, which will be described later, with respect to a luminance histogram, a ratio of unchanged blocks without change, and a still time that is a count value of a still counter (not shown).
[0045]
FIG. 4 is a schematic diagram showing the feature amount table 4. As shown in FIG. 4, the feature amount table 4 is assigned an identification number (No. 0, 1, 2,...) For each registered image, and a luminance histogram, a stationary time, and a sequence corresponding to each registered image. Determination thresholds relating to correlation coefficients, ratios of changed blocks, time errors, and the like are stored.
[0046]
Returning to FIG. 3, when it is determined in step S <b> 3 that the registered image and the still image are similar, the data of this image is sent to the presentation control unit 9, and a display instruction is sent to the sub-monitor 11 for display. (Step S3). In the present embodiment, after the still image is displayed, for example, an alarm for prompting the user's attention is sounded, and a standby state is waited for an evaluation input from the user via the input terminal 10 (steps). S4). On the other hand, if it is determined that they are not similar, processing proceeds to the next frame.
[0047]
Next, the user evaluates the displayed image. As described above, various user evaluations are conceivable. A plurality of evaluations can be set, and processing corresponding to the evaluations can be set. In this embodiment, when it is determined that the displayed image is a registered image specified by the user (determined that it is necessary) (Good), and it is determined that it is not a registered image specified by the user (unnecessary) A case where two patterns of “Nogood” are determined will be described. Here, when the evaluation of Nogood is input, the value of the determination threshold value of the registered image in the feature amount table 4 used when it is determined to be similar is changed (updated) (step S6), and the next frame Proceed to the process. On the other hand, if it is evaluated as Good and it is determined that the similar image is a registered image, the specific image is output to the main monitor 12 (step S7), and the process proceeds to the next frame. As described above, when the user's evaluation is Nogood, by rewriting the value of the determination threshold value and tightening the criteria for determining similarity, it is possible to prevent the same erroneous detection from occurring in subsequent detections. In this example, the specific image is output to the
[0048]
Hereinafter, the specific image detection method in the present embodiment will be described in more detail. First, a feature amount acquisition method for registered images in the image feature
[0049]
FIG. 5 is a flowchart illustrating a method for acquiring a feature amount of a registered image. In FIG. 5, when a pixel value (F (i, pxl)) of a frame (hereinafter referred to as i frame) image is input and a registration instruction signal is input from the user via the
[0050]
As shown in FIG. 5, first, when the i-frame image data is supplied via the
[0051]
Next, the frame number is incremented (step S23), and the pixel value (F (i + 1, pxl)) of the (i + 1) frame that is temporally continuous with the i frame is input. Similarly to the i frame, the image feature
[0052]
A correlation coefficient e between spatially corresponding blocks between the obtained luminance histogram H (i + 1, j) and the previously obtained luminance histogram H (i, j) is expressed by the following equation (1). calculate.
[0053]
[Expression 1]
Then, the calculated correlation coefficient e is compared with a predetermined threshold value (Th_coef) (step S26). If the correlation coefficient e (j) in the j-th block is equal to or less than the threshold (Th_coef), this is counted as a change block. If the counted change block ratio e2 (j) is less than the threshold (Th_diff), a still image As a result, the count value (stillcnt) of the still counter is incremented (step S27), the process proceeds to the next frame ((i + 2) frame), and the processing from step S23 to step S27 is repeated. On the other hand, if the change block ratio e2 (j) is equal to or greater than the threshold (Th_diff), the count value of the stationary counter is stored in the feature amount table 4 (step S28), and the process ends. Here, the count value of the still counter is the still time of the registered image acquired by the image feature
[0055]
Next, a still image detection method of the stillness determination unit will be described. As for the still image, the delayed frame image and the input frame image that have passed through the
[0056]
The
[0057]
Then, between the obtained luminance histogram H (i + 1, j) and the previously obtained luminance histogram H (i, j), the correlation coefficient e (j) between spatially corresponding blocks is expressed by the above formula ( 1), the correlation coefficient e (j) is compared with a predetermined threshold (Th_coef) (step S35), and the ratio of changed blocks is detected (step S36). If the correlation coefficient e (j) of the j-th block is equal to or less than the threshold (Th_coef), this is counted as a change block. If the counted change block ratio e2 (j) is less than the threshold (Th_diff), i The brightness histogram of the frame image and the counter value of the still counter are stored (step 37), and this i-frame image is regarded as a still image and sent to the image feature quantity acquisition unit 7. On the other hand, if the ratio of changed blocks is greater than or equal to the threshold value (Th_diff), the process ends and the process proceeds to the next frame.
[0058]
The i-frame image that is regarded as a still image and sent to the image feature amount acquisition unit 7 is counted and acquired as a feature amount in the same manner as the acquisition of the still time of the feature
[0059]
In FIG. 6, for simplification of explanation, the correlation coefficient of the corresponding block is compared between the i frame and the (i + 1) frame. For example, in the example illustrated in FIG. 2, the
[0060]
Next, a histogram calculation method in the image feature
[0061]
FIG. 7 is a flowchart showing a histogram calculation and a method for comparing this histogram between frames. Here, a case where the luminance histograms between the i frame and the (i-2) frame are compared will be described. As shown in FIG. 7, first, an input frame image (referred to as an i-frame image) is divided into blocks of a prescribed size (step S41). For example, the frame image can be 720 × 480 pixels, for example, and the block size can be 32 × 32 pixels, for example. Then, the luminance histogram H (i, j) of the jth block divided in the i frame is calculated. Next, the already calculated jth luminance histogram H (i-2, j) of the (i-2) frame is read (step S43), and the luminance of the jth block in the i frame is calculated by the above equation (1). A correlation coefficient e (i, j) of the histogram is calculated (step S45), and it is determined whether or not the block is a change block by threshold determination. At this time, if it is determined that the block is a change block, 1 is set in the flag E (i, j), and if it is determined that the block is a non-change block, 0 is set in the flag E (i, j). . The luminance histogram H (i, j) is saved for use when comparing the correlation coefficient with the (i + 2) frame, the counter j is incremented (step S46), and whether or not all the locks have been completed. If it is determined (step S47) that the change block determination has not been completed for all locks, the processing from step S42 to step S47 is repeated, and if the change block determination has been made for all blocks, the process ends. . Thus, the value of the obtained all-lock flag E (i, j) is added, and if this value is equal to or less than a predetermined value, the i-frame image can be determined as a still image.
[0062]
Hereinafter, as a specific example of the present embodiment, a case where a weather forecast program is a registered image and this is detected will be described. The following are the features of the weather forecast program. That is,
1. Each time, similar screens are combined
2. Broadcast at almost the same time every time
3. Many programs are not set as program frames, and the exact start time is unknown from the program guide
4). Frequent use of still images
5). There are variations in the screens that are important for each user, such as regional dependence.
Etc.
[0063]
In such a weather forecast program, similar images are used repeatedly, so that a registered image (registration screen) can be used for a long time. In addition, although it is possible to know the approximate start time of a weather forecast program, it is difficult to accurately audition only the weather forecast program in situations such as being included in a news program. When viewing the content, it is extremely inconvenient because the user is not interested in the content. Furthermore, since there are contents that become unnecessary information depending on the area where the user lives, the advantage of selectively extracting images is great.
[0064]
The user issues a registration instruction if there is a desired image at the time of program preview. FIGS. 8A to 8C are diagrams showing examples of registration images for which the user has issued a registration instruction, and are schematic diagrams of screens showing predicted weather in East Japan, predicted temperature in East Japan, and weekly weather in East Japan, respectively. It is.
[0065]
Here, a case where the user registers information related to the Kanto region as important information will be described. First, when an image similar to the registered image is detected, it is displayed as a detection result on the sub-screen. 9A is a schematic diagram showing a similar image displayed on the sub screen (detection screen), FIG. 9B is a display example on the
[0066]
Here, the user determines whether or not to audition the continuation of the detection result. For example, when the user gives an instruction to audition, the detection image displayed on the
[0067]
Furthermore, in the present embodiment, a plurality of
[0068]
Further, by preparing a plurality of
[0069]
An example of an effect similar to a weather forecast program is a news title screen of a news program. In news programs, an announcer's anchor shot (bust shot) and news title telop are often displayed for each news item, and there is almost no change for a certain period of time. Also, depending on the news program, the effect and background of the telop are constant, which is suitable for the detection target. In addition, news programs may not always be broadcast as scheduled in the program guide. By registering such images, you can view news programs from different broadcast stations as detection results while viewing any program. It can be viewed only if it is of interest to the user or if the content is of interest. Examples of registered images suitable for such registration include market information, sports game results, and a title screen of a specific corner in a program.
[0070]
In the present embodiment, an important image specialized for the user is selected in advance from continuous images such as TV broadcasts, and a similar image of this image is detected in real time and notified to the user in a more efficient manner. Important information can be displayed. In addition, by detecting specific images from multiple broadcasts by having multiple tuner means or searching multiple channels in a time-sharing manner, it is possible to monitor back programs that are different from the program that the user is currently viewing It becomes.
[0071]
Further, by determining still images, candidate still images are narrowed down, and by determining the similarity between the still image and the registered image, the amount of data for acquiring the feature amount and determining the similarity may be small. It is possible to detect a specific image in real time from a video such as the above, and it is possible to efficiently select and view important information for the user and to prevent oversight of important information.
[0072]
Moreover, the frequency of erroneous detection can be reduced by using a plurality of feature amounts in an integrated manner. Furthermore, the accuracy of image detection, which is difficult, can be set flexibly by displaying the detection result for a certain period of time and prompting evaluation from the user. Furthermore, by making the accuracy flexible, the robustness can be improved, and the user's judgment in the displayed state can be utilized.
[0073]
【The invention's effect】
As described above in detail, the specific image detection apparatus according to the present invention is a specific image detection apparatus that detects a specific image including a still image part included in a video composed of images in units of continuous frames. Calculating a luminance change ratio between the storage means for storing one or more feature quantities having different characteristics in the frame, and a frame image and a neighboring frame image close in time to the frame image, and the luminance change ratio is a predetermined threshold value Candidate image detection means for detecting a frame image as a candidate image, feature quantity detection means for detecting one or more feature quantities having different characteristics in the candidate image, feature quantities of the candidate image, and the registered image When the similarity with the feature amount is equal to or greater than a predetermined threshold value, the image processing apparatus includes a detection unit that detects the candidate image as a specific image. Then, only frame images whose luminance change rate is equal to or less than a predetermined threshold are detected as candidate images from continuous images such as TV broadcasts, and candidate images similar to the registered images are detected as specific images. By doing so, registered images can be selected with high efficiency for reasons such as being important to the user and detected in real time. Can be reduced in frequency.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a specific image detection system in an embodiment of the present invention.
FIG. 2 is an explanatory diagram illustrating a data flow in the specific image detection apparatus according to the embodiment of the present invention.
FIG. 3 is a flowchart showing a specific image detection method in the specific image detection apparatus according to the embodiment of the present invention.
FIG. 4 is a schematic diagram showing a feature amount table of the specific image detection apparatus according to the embodiment of the present invention.
FIG. 5 is a flowchart showing a method for acquiring a feature amount of a registered image according to an embodiment of the present invention.
FIG. 6 is a flowchart showing a stillness determination method (candidate image detection method) in the embodiment of the present invention.
FIG. 7 is a flowchart showing a histogram calculation method according to the embodiment of the present invention.
FIGS. 8A to 8C are diagrams showing examples of registration images for which a user has issued a registration instruction, each of which shows forecast weather for East Japan, forecast temperature for East Japan, and weekly weather for East Japan. It is a schematic diagram.
9A is a schematic diagram showing a state in which a plurality of detected specific images are stored and simultaneously displayed on the sub-monitor, FIG. 9B is a display example on the main monitor at that time, and FIG. It is a schematic diagram which shows a detection screen (specific screen).
[Explanation of symbols]
1, 2, 10 input terminals, 3 image feature amount acquisition unit, 4 feature amount table, 5 delay circuit, 6 stillness determination unit, 7 image feature amount acquisition unit, 8 similarity determination unit, 9 presentation control unit, 11 sub monitor, 12 main monitor, 20 specific image detection device
Claims (5)
登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、
フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、
上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、
上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段とを有し、
上記記憶手段には、上記登録画像の特徴量と上記類似度の閾値とからなるデータが記憶され、
さらに、上記検出手段により検出された特定画像に対する使用者の評価を入力する入力手段と、
上記入力手段を介して入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え手段と
を有する特定画像検出装置。A specific image detection device for detecting a specific image including a still image portion included in a video composed of images in consecutive frames,
Storage means for storing one or more feature quantities having different characteristics in the registered image;
Candidate image detecting means for calculating a ratio of luminance change between the frame image and a neighboring frame image close in time to the frame image, and detecting a frame image having the luminance change ratio equal to or less than a predetermined threshold as a candidate image; ,
Feature quantity detection means for detecting one or more feature quantities having different characteristics in the candidate image;
Detection means for detecting the candidate image as a specific image when the similarity between the feature amount of the candidate image and the feature amount of the registered image is equal to or greater than a predetermined threshold;
In the storage means, data including the feature amount of the registered image and the similarity threshold is stored,
Furthermore, input means for inputting the user's evaluation for the specific image detected by the detection means,
A specific image detection apparatus comprising: a rewriting unit that rewrites the similarity threshold of the storage unit based on a user's evaluation input via the input unit.
コンピュータに、
フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が上記記憶手段に記憶された所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程とを実行させ、
上記検出工程では、上記登録画像の特徴量と上記候補画像の特徴量との類似度が所定の閾値以上である特定画像に対する使用者の評価を入力する入力工程と、上記入力工程にて入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え工程とをコンピュータに実行させる
特定画像検出方法。A specific image detection method of a specific image detection device for detecting a specific image including a still image portion included in a video composed of images of successive frames,
On the computer,
A candidate image detecting step of calculating a luminance change ratio between the frame image and a close frame image that is temporally adjacent thereto and detecting a frame image having the luminance change ratio equal to or less than a predetermined threshold as a candidate image; ,
A candidate image feature amount detecting step of detecting one or more feature amounts having different characteristics in the candidate image;
When the similarity between the feature amount of the candidate image and one or more feature amounts having different characteristics in the registered image stored in the storage unit is equal to or greater than a predetermined threshold stored in the storage unit, the candidate image is identified A detection step of detecting as an image,
In the detection step, an input step for inputting a user's evaluation for a specific image in which the similarity between the feature amount of the registered image and the feature amount of the candidate image is equal to or greater than a predetermined threshold, and the input step are input. A specific image detection method for causing a computer to execute a rewriting step of rewriting the threshold value of the similarity of the storage unit based on a user's evaluation.
コンピュータに、
フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が上記記憶手段に記憶された所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程とを実行させ、
上記検出工程では、上記登録画像の特徴量と上記候補画像の特徴量との類似度が所定の閾値以上である特定画像に対する使用者の評価を入力する入力工程と、上記入力工程にて入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え工程とをコンピュータに実行させる
プログラム。A program for causing a computer to execute an operation of detecting a specific image from a still image included in a video composed of continuous frame-unit images,
On the computer,
A candidate image detecting step of calculating a luminance change ratio between the frame image and a close frame image that is temporally adjacent thereto and detecting a frame image having the luminance change ratio equal to or less than a predetermined threshold as a candidate image; ,
A candidate image feature amount detecting step of detecting one or more feature amounts having different characteristics in the candidate image;
When the similarity between the feature amount of the candidate image and one or more feature amounts having different characteristics in the registered image stored in the storage unit is equal to or greater than a predetermined threshold stored in the storage unit, the candidate image is identified A detection step of detecting as an image,
In the detection step, an input step for inputting a user's evaluation for a specific image in which the similarity between the feature amount of the registered image and the feature amount of the candidate image is equal to or greater than a predetermined threshold, and the input step are input. A program that causes a computer to execute a rewriting step of rewriting the similarity threshold of the storage unit based on user evaluation.
コンピュータに、
フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出工程と、
上記候補画像における特性が異なる１以上の特徴量を検出する候補画像特徴量検出工程と、
上記候補画像の特徴量と、記憶手段に記憶された登録画像における特性が異なる１以上の特徴量との類似度が上記記憶手段に記憶された所定の閾値以上であるとき、該候補画像を特定画像として検出する検出工程とを実行させ、
上記検出工程では、上記登録画像の特徴量と上記候補画像の特徴量との類似度が所定の閾値以上である特定画像に対する使用者の評価を入力する入力工程と、上記入力工程にて入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え工程とをコンピュータに実行させる
プログラムが記録された記録媒体。A computer-readable recording medium on which a program for causing a computer to execute an operation of detecting a specific image from a still image included in a video composed of continuous frame-unit images is recorded,
On the computer,
A candidate image detecting step of calculating a luminance change ratio between the frame image and a close frame image that is temporally adjacent thereto and detecting a frame image having the luminance change ratio equal to or less than a predetermined threshold as a candidate image; ,
A candidate image feature amount detecting step of detecting one or more feature amounts having different characteristics in the candidate image;
When the similarity between the feature amount of the candidate image and one or more feature amounts having different characteristics in the registered image stored in the storage unit is equal to or greater than a predetermined threshold stored in the storage unit, the candidate image is identified A detection step of detecting as an image,
In the detection step, an input step for inputting a user's evaluation for a specific image in which the similarity between the feature amount of the registered image and the feature amount of the candidate image is equal to or greater than a predetermined threshold, and the input step are input. A recording medium on which is recorded a program that causes a computer to execute a rewriting step of rewriting the threshold value of the similarity of the storage unit based on user evaluation.
少なくとも１つの表示手段と、
登録画像における特性が異なる１以上の特徴量を記憶する記憶手段と、フレーム画像とこれに時間的に近接する近接フレーム画像との間の輝度変化の割合を算出し、該輝度変化の割合が所定の閾値以下であるフレーム画像を候補画像として検出する候補画像検出手段と、上記候補画像における特性が異なる１以上の特徴量を検出する特徴量検出手段と、上記候補画像の特徴量と、上記登録画像の特徴量との類似度が所定の閾値以上であるとき、該候補画像を特定画像として検出する検出手段とを具備する特定画像検出手段と
を有し、
上記記憶手段には、上記登録画像の特徴量と上記類似度の閾値とからなるデータが記憶され、
上記特定画像検出手段は、さらに、上記検出手段により検出された特定画像に対する使用者の評価を入力する入力手段と、
上記入力手段を介して入力される使用者の評価に基づいて上記記憶手段の上記類似度の閾値を書き換える書き換え手段と
を有する
特定画像検出システム。A specific image detection system for detecting a specific image including a still image portion included in a video composed of continuous frame-unit images and displaying the specific image on at least one display means,
At least one display means;
The ratio of the luminance change between the storage means for storing one or more feature quantities having different characteristics in the registered image and the frame image and the adjacent frame image close in time to the frame image is calculated, and the luminance change ratio is predetermined. A candidate image detecting means for detecting a frame image that is equal to or less than a threshold value as a candidate image, a feature quantity detecting means for detecting one or more feature quantities having different characteristics in the candidate image, a feature quantity of the candidate image, and the registration A specific image detection means comprising: a detection means for detecting the candidate image as a specific image when the similarity with the feature amount of the image is equal to or greater than a predetermined threshold;
In the storage means, data including the feature amount of the registered image and the similarity threshold is stored,
The specific image detection means further includes an input means for inputting a user's evaluation for the specific image detected by the detection means;
A specific image detection system comprising: a rewriting unit that rewrites the similarity threshold of the storage unit based on a user's evaluation input via the input unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002221838A JP4292762B2 (en) | 2002-07-30 | 2002-07-30 | Specific image detection apparatus, specific image detection method, program and recording medium, and specific image detection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002221838A JP4292762B2 (en) | 2002-07-30 | 2002-07-30 | Specific image detection apparatus, specific image detection method, program and recording medium, and specific image detection system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009031752A Division JP4788787B2 (en) | 2009-02-13 | 2009-02-13 | Specific image detection apparatus, specific image detection method, program, and specific image detection system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004062664A JP2004062664A (en) | 2004-02-26 |
| JP2004062664A5 JP2004062664A5 (en) | 2005-10-27 |
| JP4292762B2 true JP4292762B2 (en) | 2009-07-08 |
Family
ID=31942040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002221838A Expired - Fee Related JP4292762B2 (en) | 2002-07-30 | 2002-07-30 | Specific image detection apparatus, specific image detection method, program and recording medium, and specific image detection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4292762B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101033296B1 (en) | 2009-03-30 | 2011-05-09 | 한국전자통신연구원 | Apparatus and method for extracting and decision-making of spatio-temporal feature in broadcasting and communication systems |
-
2002
- 2002-07-30 JP JP2002221838A patent/JP4292762B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004062664A (en) | 2004-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11682208B2 (en) | Methods and apparatus to measure brand exposure in media streams | |
| CN108024145B (en) | Video recommendation method and device, computer equipment and storage medium | |
| US20070230781A1 (en) | Moving image division apparatus, caption extraction apparatus, method and program | |
| CN108293140B (en) | Detection of common media segments | |
| US7676821B2 (en) | Method and related system for detecting advertising sections of video signal by integrating results based on different detecting rules | |
| KR100821623B1 (en) | Method and apparatus for recommending broadcasting program and computer readable recoding media storing program for executing method thereof in computer | |
| KR20030026529A (en) | Keyframe Based Video Summary System | |
| JP2000106661A (en) | Image processing method and system and device | |
| US7778470B2 (en) | Moving picture processor, method, and computer program product to generate metashots | |
| CN101466013B (en) | Signal processor and signal processing method | |
| US20040019899A1 (en) | Method of and system for signal detection | |
| US20090158157A1 (en) | Previewing recorded programs using thumbnails | |
| CN100508594C (en) | Commercial information searching method and apparatus, and provid method and apparatus accompanying information | |
| JP4710350B2 (en) | CM additional information supply method, CM additional information supply apparatus, CM additional information receiving apparatus, and CM additional information supply system | |
| JP4788787B2 (en) | Specific image detection apparatus, specific image detection method, program, and specific image detection system | |
| JP4292762B2 (en) | Specific image detection apparatus, specific image detection method, program and recording medium, and specific image detection system | |
| US20050283793A1 (en) | Advertising detection method and related system for detecting advertising according to specific beginning/ending images of advertising sections | |
| JP2007073123A (en) | Content storage device, content storage method, and program recording medium | |
| EP1484763A1 (en) | Music program contents menu creation apparatus and method | |
| JP4288909B2 (en) | Character information detecting apparatus, character information detecting method, program, and recording medium | |
| JP2008028901A (en) | Content receiving and reproducing apparatus, view history information recording program and content preference tendency discriminating method | |
| JP4609244B2 (en) | Content playback apparatus and content playback method | |
| JP2000125243A (en) | Video recording and reproducing device and recording medium | |
| KR20140135090A (en) | Method and apparatus for reproducing contents | |
| JP2009021732A (en) | Storage type broadcasting receiver and digest video reproduction program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050712 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090330 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |