JP4139145B2 - 動画画像検索装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画画像の記録された内容、例えば、ＶＴＲ、ＤＶＤ、コンピュータの記憶装置に記録され、再生されるビデオオンデマンド装置などにおいて記録された１番組（例えば、放送用の番組）における、目的の画面の位置検出を行い、番組の目的とする動画画像の検索に関する技術であり、多数のフレームで構成される動画画像情報から必要なフレームとその位置を検索可能にした動画画像検索装置に関する。
【０００２】
【従来の技術】
以下、従来例について説明する。
【０００３】
▲１▼：従来のＴＶ放送（ＮＴＳＣビデオ）の画像の説明
図１４は、従来のＴＶ放送（ＮＴＳＣビデオ）の画像説明図である。以下、図１４に基づき、従来のＴＶ放送（ＮＴＳＣビデオ）の画像について概要を説明する。
【０００４】
図１４において、(1) 図は１画面（１フレーム）の構成を示した図であり、アスペクト比は４対３、走査線の数（縦のライン）は５２５本、みかけ上の横方向の画素数は７００画素、１画面（１フレーム）＝１／３０秒、カラーは色差の圧縮型信号（人間の目の認識差の利用圧縮）である。
【０００５】
(2) 図はカラー画像の情報（フルカラー画像全体の情報量）を示した図である。この例では、画素数については、Ｘ方向（水平走査線方向）の画素数＝７００画素、Ｙ方向（垂直走査線方向）のライン＝５２５本である。また、カラーの種類については、光の３原色であるＲ（赤）、Ｇ（緑）、Ｂ（青）である。また、１画面の階調レベルの例では、例えば、Ｒ（赤）画面１枚分を抽出表示すると、図示のようになる。この例では、１画素：８ビットの構成例であり、階調は２⁸ ＝０〜２５５：２５６レベルである。
【０００６】
▲２▼：従来の動画画像検索の概要
図１５は、従来の記録された番組画像の説明図である。この図では、必要番組の頭部のフレームと、終わりのフレームの間に、目的番組の画像が記録されている。従って、このような記録媒体から必要な目的番組の画像を検索するには、必要番組の頭部のフレームと、終わりのフレームを検索して取り出すことが必要である。
【０００７】
従来、多数のフレームで構成される動画情報から必要なフレームと位置を検索する方法としては、記録された番組の磁気媒体を再生（又は高速再生）を行い、目的とする画像の検出を、人の目で画像を確認して判断しているのが現状であり、自動化例は少ない。
【０００８】
また、ディジタルビデオデマンドを行った場合でも、時刻情報から検索する様な補助情報を用い検索しているのが現状であり、ほぼ目的の位置検出で正確なフレームの判定は行っていない。
【０００９】
【発明が解決しようとする課題】
前記のような従来のものにおいては、次のような課題があった。
【００１０】
▲１▼：従来、ＶＴＲ等の記録動画画像を検索する場合は、検索に非常に時間を要していた。また、デジタルビデオデマンドを行った場合でも、取り扱いデータ量が膨大で検索情報が多くなり、短時間処理が不可能なため、フレームの検出に時間を要し、実現に無理があった。また、目的の画像を探すために、全体の記録画像を目視でサーチする必要があった。
【００１１】
▲２▼：目的のシーンを見つけるために、人が目視で従事しなければならず、操作者の疲労が蓄積される。
【００１２】
▲３▼：動画の一致シーンを検索するには情報量が膨大で一致を取るだけでも多くの処理時間を必要とする。
【００１３】
▲４▼：情報量が多いため、記憶容量（検索の為の一次保存領域）が非常に大きく、システム負荷がかかる。
【００１４】
▲５▼：従って、目的の位置を知るためには、予め、時刻情報等を同期させて記録するなど別の情報を加える必要があるため、保存記録動画（ＶＴＲテープ等）からの検索には適用に困難さがある。
【００１５】
▲６▼：映像情報であるため、多少の劣化があり得る事があり、一致したシーンを検索する際に僅かの差異を生じる事が起き、目的のシーンが見つからない事が発生する。
【００１６】
本発明は、このような従来の課題を解決し、記録された番組画像の必要な部分の検索が高速かつ正確に行えるようにすることを目的とする。
【００１７】
【課題を解決するための手段】
本発明は前記の目的を達成するため、次のように構成した。
【００１８】
(1) ：動画画像の１フレームを検索目標フレームとして標本化し、標本原本として登録しておく記憶手段と、
検索対象の動画画像から１フレームを取り出し、この取り出した１フレームを、前記記憶手段に登録した標本原本の１フレームと比較照合し、両者が合致したら、順次、次フレームについても同様の比較照合を行う比較照合手段と、
前記比較照合手段の比較照合により、標本原本のフレームと、予め決めた数の全てのフレームが合致した場合に、その画像を目的画像として抽出する目的画像抽出手段を備えると共に、
前記標本原本は、動画画像の１フレームから複数の代表点を選び、該代表点での各色（Ｒ、Ｇ、Ｂ）の座標位置と、その座標位置での各色（Ｒ、Ｇ、Ｂ）毎の階調を含む画素情報を求め、この代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものであり、
前記比較照合手段は、前記標本原本の代表点の画素情報と、それに対応する検索対象の動画画像から抽出した代表点の画素情報との比較照合を行い、前記標本原本を基に、検索対象画像の該当するフレームの色毎の階調の相関をとり、両者が合致したフレームかどうかを比較照合することで、合致したフレームを見つけ出す機能を備えていることを特徴とする。
【００１９】
(2) ：前記(1) の動画画像検索装置において、前記標本原本は、動画画像の水平走査線方向１ラインの走査線の総画素から、該総画素の数より少ない数の予め決めた代表点を選び、その代表点の画素の座標位置と、その位置での光の三原色であるＲ、Ｇ、Ｂの階調を代表点の画素情報として抽出し、更に、垂直走査線方向の総ライン数から、この総ライン数より少ない数の予め決めたラインを選び、その選んだラインに対して、前記と同様な水平走査線方向の代表点の画素情報を抽出し、前記水平及び垂直走査線方向の代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものであることを特徴とする。
【００２０】
(3) ：前記(1) の動画画像検索装置において、前記比較照合手段は、
２つのフレームを比較照合する場合、前記Ｒ、Ｇ、Ｂ階調を演算比較し算出された結果に予め定めた許容範囲を設けておくことで、近似した画像を許容し、ほぼ同等な画像フレームとみなす機能を備えていることを特徴とする。
【００２１】
(4) ：前記(1) の動画画像検索装置において、前記比較照合手段は、
ほぼ同一フレームが何枚か連続する確率が高いことを利用し、数枚のフレームが連続していることで明らかに同じフレームであると判断する機能を備えていることを特徴とする。
【００２２】
(5) ：前記(1) の動画画像検索装置において、前記目的画像抽出手段は、
目的番組を検索する動画画像の記録から、目的番組の先頭フレーム及び最終フレームの位置を割り出す機能を備えていることを特徴とする。
【００２３】
（作用）
前記構成に基づく本発明の作用を説明する。
【００２４】
(a) ：前記(1) では、予め、動画画像の１フレームを検索目標フレームとして標本化し、標本原本として記憶手段に記憶しておく。その後、比較照合手段は、検索対象の動画画像から１フレームを取り出し、この取り出した１フレームを、前記記憶手段に記憶しておいた標本原本のフレームと比較照合し、両者が合致したら、順次、次フレームについても前記と同様の比較照合を行う。
【００２５】
そして、目的画像抽出手段は、前記比較照合手段の比較照合により、標本原本の各フレームと全てのフレームが合致した場合に、その画像を目的画像として抽出する。
【００２６】
この場合、前記比較照合手段は、前記標本原本の代表点の画素情報と、それに対応する検索対象動画画像の代表点の画素情報との比較照合を行う。そして、前記標本原本を基に、検索対象画像の該当するフレームとの階調相関をとり、両者が合致したフレームかどうかを比較照合することで、合致したフレームを見つけ出す。
【００２７】
また、前記標本原本は、動画画像の１フレームから複数の代表点を選び、該代表点での各色（Ｒ、Ｇ、Ｂ）の座標位置と、その座標位置での各色（Ｒ、Ｇ、Ｂ）毎の階調を含む画素情報を求め、この代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものである。
【００２８】
そして、前記比較照合手段は、前記標本原本の代表点の画素情報と、それに対応する検索対象動画画像の代表点の画素情報との比較照合を行う。そして、前記標本原本を基に、検索対象画像の該当するフレームとの階調相関をとり、両者が合致したフレームかどうかを比較照合することで、合致したフレームを見つけ出す。
【００２９】
このようにすれば、前記代表点での画素情報を用いて比較照合ができるので、前記代表点の数を必要最小限にすれば、比較照合する画素情報の量が少なくなり、比較照合処理における演算数も減り、その分、高速で検索を行うことが可能になる。
【００３０】
従って、動画画像の検索を行う際に、予め必要な番組の頭の１フレーム内の代表点を選び、その代表点の色（Ｒ、Ｇ、Ｂ）の座標位置と、その位置の階調を含む画素情報を標本原本として記憶手段に記録しておくことで、検索したい動画画像の中から目的の番組の１フレームの頭出しを確実に行い、高速に検索することが可能になる。
【００３１】
(b) ：前記(2) では、標本原本は、動画画像の水平走査線方向１ラインの走査線の総画素から、該総画素の数より少ない数の予め決めた代表点を選び、その代表点の画素の座標位置と、その位置での光の三原色であるＲ、Ｇ、Ｂの階調を代表点の画素情報として抽出し、更に、垂直走査線方向の総ライン数から、この総ライン数より少ない数の予め決めたラインを選び、その選んだラインに対して、前記と同様な水平走査線方向の代表点の画素情報を抽出し、前記水平及び垂直走査線方向の代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものである。
【００３２】
このようにすれば、目的の画像を検索する場合に、代表点の数を必要最小限にすることで、比較照合する画素情報量や演算数を少なくすることが可能であり、記録された番組画像の必要な部分の検索が高速に行える。
【００３３】
(c) ：前記(3) では、比較照合手段は、２つのフレームを比較照合する場合、前記Ｒ、Ｇ、Ｂ階調を演算比較し算出された結果に予め定めた許容範囲を設けることで、近似した画像を許容し、ほぼ同等な画像フレームとみなす。このようにすれば、記録された番組画像の必要な部分の検索が、確実に、かつ高速に行える。
【００３４】
(d) ：前記(4) では、比較照合手段は、前記比較照合を行う場合、ほぼ同一フレームが何枚か連続する確率が高いことを利用し、数枚のフレームが連続していることで明らかに同じフレームであると判断する。このようにすれば、記録された番組画像の必要な部分の検索が、確実に、かつ高速に行える。
【００３５】
(e) ：前記(5) では、目的画像抽出手段は、目的画像を抽出する場合、目的番組を検索する動画画像の記録から、目的番組の先頭フレーム及び最終フレームの位置を割り出す。そして、先頭フレームと最終フレームの間にある画像を目的の画像として取り出すことができる。このようにすれば、記録された番組画像の必要な部分の検索が、確実に、かつ高速に行える。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００３７】
§１：動画画像検索装置の概要説明
(1) ：動画画像検索処理の概要
本発明に係る動画画像検索装置（以下「本装置」とも記す）では、動画画像の検索を行う際に、例えば、予め必要な番組の頭の１フレーム内から代表点を選び、その代表点の色（Ｒ、Ｇ、Ｂ）の座標位置と、その位置での階調を画素情報として記憶手段（メモリ、ハードディスク等）に記録しておき、検索したい動画画像の中から検索目的の番組の１フレーム（頭のフレームと終わりのフレーム）の頭出しを確実に行い、高速に検索できるようにする。
【００３８】
また、動画画像の場合は、ある同様なフレームが何枚か連続し少しずつ変化する特性があることから、１画面の中から最初に設定した位置の代表点を複数点（かなりの数）に決定し、そのポイントの色（Ｒ、Ｇ、Ｂ）の階調の相関をそれぞれの色ごとに行い、階調の合致する許可範囲を与えてほぼ近い画像である事を検出する。
【００３９】
すなわち、動画画像の１フレームを検索目標フレームとして標本化し、標本原本として記憶手段に登録しておく。その後、検索対象の動画画像から１フレームを取り出し、この取り出した１フレームを、前記記憶手段に登録した標本原本のフレームと比較照合し、両者が合致したら、順次、次フレームについても同様の比較照合を行う。そして、前記比較照合により、標本原本の各フレームと、予め決めた数（例えば、２〜３）の全てのフレームが合致した場合に、その画像を目的画像として抽出する。
【００４０】
また、前記比較照合を行う場合、前記標本原本の代表点の画素情報と、それに対応する検索対象の動画画像から抽出した代表点の画素情報との比較照合を行うが、この場合、標本原本を基に、検索対象画像の該当するフレームの色毎の階調の相関をとり、両者が合致したフレームかどうかを比較照合することで、合致したフレームを見つけ出す。
【００４１】
前記処理において、２つのフレームを比較照合する場合、前記Ｒ、Ｇ、Ｂ階調を演算比較し算出された結果に予め定めた許容範囲（例えば、±ｎの許容値）を設けることで、近似した画像を許容し、ほぼ同等な画像フレームと見なす。
【００４２】
また、前記比較照合において、ほぼ同一フレームが何枚か連続する確率が高いことを利用し、数枚のフレームが連続していることで明らかに同じフレームであると判断する。また、前記目的画像の抽出処理は、目的番組を検索する動画画像の記録から、目的番組の先頭フレーム及び最終フレームの位置を割り出す処理である。
【００４３】
(2) ：原本の標本化の説明
図１は原本の標本化の例を示した図である。動画画像検索装置では、原本の標本化を行うが、この処理では、検索目標としての原本の登録を行う。この場合、事前に、画像監視表示をしている時に、マークして１フレーム抽出し標本化する方法と、事後に、再生読み出しをして、同様に標本化する方法がある。以下、原本の標本化の例を図１に基づいて説明する。
【００４４】
▲１▼：例えば、図１に示した画面の１８点のＲ、Ｇ、Ｂ階調を、ａ１〜ｅ４までを取得し保存する（検索の基本情報の保存）。この例では、階調範囲は０〜２５５であり、ａ１では、Ｒ＝１２３、Ｇ＝３２、Ｂ＝２０８となっている。
【００４５】
▲２▼：この基本情報を基に、階調相関をとり合致したフレームを見つけ出す。
【００４６】
この場合、例えば、３０分フレーム数＝３０枚×６０秒×３０分＝１０，８００フレームである。従って、（３０枚／秒）×記録時間）は、例えば、３０分〜２時間であるとすると、フレーム数は１０，８００〜４３，２００フレームとなる。
【００４７】
▲３▼：僅かの誤差を許し、±何階調（例えば、１２３±５）までを許可するようにし、多少の画像劣化を許容する方法。
【００４８】
▲４▼：フレームも何枚か同一性があり、数枚の同様と思われるフレームがあったら合致とする方法。
【００４９】
前記標本原本は、動画画像の１フレームから複数の代表点を選び（例えば、オペレータ等が決定し）、該代表点での各色（Ｒ、Ｇ、Ｂ）の座標位置と、その座標位置での各色（Ｒ、Ｇ、Ｂ）毎の階調を含む画素情報を求め、この代表点での画素情報で構成した１フレームを検索目標フレームとして標本化したものであり、更に具体的には、次の通りである。
【００５０】
すなわち、前記標本原本は、動画画像の水平走査線方向１ラインの走査線の総画素から、該総画素の数より少ない数の予め決めた代表点を選び、その代表点の画素の座標位置と、その位置での光の三原色であるＲ、Ｇ、Ｂの階調を代表点の画素情報として抽出し、更に、垂直走査線方向の総ライン数から、この総ライン数より少ない数の予め決めたラインを選び、その選んだラインに対して、前記と同様な水平走査線方向の代表点の画素情報を抽出し、前記水平及び垂直走査線方向の代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものである。なお、前記標本原本の登録処理は、オペレータ等の操作により行うものであり、標本原本の登録後の処理はコンピュータ内のプログラムが自動的に行うものである。
【００５１】
§２：本装置の運用システムの説明
(1) ：本装置の運用システムの説明
図２は、本装置の運用システム概念図の例である。以下、図２に基づいて、本装置の運用システムを説明する。本装置の運用システムは、入力制御部１と、多チャンネル表示装置２と、インタフェース３と、コンピュータシステム４と、複数の監視端末５等で構成されている。
【００５２】
前記入力制御部１は、チューナ、分配器等の機器で構成されており、放送波をチューナで受信したり、カメラ等からの画像データを入力したり、ＶＴＲからの画像データを入力して、画像データを出力するものである。また、前記コンピュータシステム４は、インタフェース３を介して入力制御部１から取り込んだ画像データを保存するための記憶装置１０や、該記憶装置１０から画像データを抽出して、その抽出した画像データで構成された抽出データベース（抽出ＤＢ）を格納するための抽出データベース記憶装置（抽出ＤＢ記憶装置）１１等を備えており、複数のコンピュータを備えている。以下、更に具体的に説明する。
【００５３】
▲１▼：入力制御部１は、入力情報である、放送波（ＴＶ放送）をチューナで受信し、受信した画像データを出力したり、ビデオカメラで撮影された画像データを入力し、出力したり、ＶＴＲからの再生ビデオ信号を入力し、分配器等を介して出力した際の各種制御を行うものである。
【００５４】
▲２▼：多チャンネル表示装置２は、入力されるビデオ番組の全番組をモニタするものである。この場合、上部と、左１画面に４分割表示を行い、全番組を一望できるように構成されている。
【００５５】
▲３▼：特に着目する番組については、画面Ａ〜Ｄのオリジナル画像で監視員等が直接監視を行い、抽出登録が必要な時に監視端末５より、マーキングを実施する。この場合、番組の頭の部分と終わり部分にマークをする。
【００５６】
▲４▼：下部のコンピュータシステム４は、各番組のビデオ信号をインタフェース３を介し、画像データの保存・抽出ＤＢ用のコンピュータにより、ディスク装置等の記憶装置１０に保存される。マークされて指定された番組情報の頭の部分から終わり部分まで抽出ＤＢ（ＤＢ：データベース）化し、抽出ＤＢ記憶装置１１に記憶する。
【００５７】
▲５▼：抽出ＤＢ化された画像情報をオンライン（ビデオオンデマンド）にて、多くの各端末（監視卓及び他の多くの別端末等）のユーザへ提供する。
【００５８】
(2) ：本装置の運用システムのハードウェアイメージの説明
図３は本装置の運用システムのハードウェアイメージ説明図である。以下、図３に基づいて、本装置の運用システムのハードウェアイメージを説明する。本装置の運用システムは、次のようなハードウェア構成である。
【００５９】
▲１▼：アンテナとＴＶチューナにより各放送波を受信し、映像情報をインタフェース３に入力する。
【００６０】
▲２▼：カメラ等、及びＶＴＲからの映像情報をインタフェース３に入力する。
【００６１】
▲３▼：インタフェース３によりディジタル情報に変換後、コンピュータシステム４の記憶装置１０に保存する。また、１３は各種情報を表示するための表示装置である。
【００６２】
▲４▼：コンピュータシステム４は、インタフェース３を介して画像情報を入力し、画像記録保存、再生、画像情報の検索等を行う。また、コンピュータシステム４にはソフトウエア（プログラム）が格納されており、この例の場合、前記ソフトウエアにより画像情報の検索等の処理を行うが、ハードウェアでも実施可能である。
【００６３】
(3) ：画像情報の記録指示の流れの説明
図４は、画像記録指示と画像データベース作成例の説明図である。以下、図４に基づいて、画像記録指示と画像データベース作成例を説明する。
【００６４】
前記本装置の運用システムでは、常時、チャンネル１〜チャンネル２４（ＣＨ１〜ＣＨ２４）を監視している。そして、必要に応じて番組画像にマークをし画像データベースに保存（抽出データベース記憶装置１１に記憶）している。この場合、マークと共に、頭のフレームが自動登録される。画像記録指示と画像データベース作成の１例は、次の通りである。
【００６５】
▲１▼：図４において、番組ＣＨ１の網かけ部分の期間を時々刻々、抽出し、画像データベースに登録する。
【００６６】
▲２▼：同様に、番組ＣＨ１、ＣＨ２・・・ＣＨ２４までの必要画像を抽出、画像データベース（画像ＤＢ）に登録する。
【００６７】
▲３▼：登録された画像データベースをネットワークで各端末に映像情報として提供する。
【００６８】
§３：標本原本の登録と比較サーチの説明
(1) ：サンプルポイントの抽出（標本原本の登録）の説明
図５はサンプルポイントの抽出（標本原本の登録）の説明図である。以下、図５に基づいて、サンプルポイントの抽出（標本原本の登録）を説明する。
【００６９】
サンプルポイントの抽出（標本原本の登録）を行う場合、図５に示した画面では、階調範囲は０〜２５５となっており、ａ１〜ｅ４までの１８点の画素が対象である。そして、例えば、前記画面の１８点（代表点）の色（Ｒ、Ｇ、Ｂ）の階調を、ａ１〜ｅ４までを取得し検索の基本情報として保存する（検索の基本情報の保存）。
【００７０】
そして、この基本情報を基に、階調相関をとり合致したフレームを見つけ出し、僅かの誤差を許し、±何階調（例えば、１２３±５）までを許可するようにし、多少の画像劣化を許容する。更に、フレームも何枚か同一性があり、枚数迄の同様と思われるフレームがあったら合致とする処理を行う。
【００７１】
(2) ：原本の標本と検索標本の比較サーチの説明
図６は標本原本の登録と比較サーチの説明図である。以下、図６に基づいて、原本の標本と検索標本の比較サーチの処理を説明する。
【００７２】
この処理では、前記登録した標本原本のＲ、Ｇ、Ｂの画像データと、選択したフレームの始め（比較の標本）とを比較する。この処理を次のフレームの始めと比較し、以降、次々と同様の比較処理を行う（連続検索）。このような処理において、原本の標本と、比較の標本が合致した場合、又は、両者が合致しない場合でも、その誤差が予め設定した許容範囲内であれば、そのフレームの画像データを抽出する。
【００７３】
この場合、ａ１＝ｕ１、ａ２＝ｕ２、ａ３＝ｕ３比較と同様、ａ４：ｕ４〜ｅ４：ｙ４も同様の比較サーチを行う。
【００７４】
§４：複数フレーム合致手法の説明
図７は複数フレームの合致手法の説明図（その１）、図８は複数フレームの合致手法の説明図（その２）であり、図７のＡ図に番組の情報を示し、図７のｂ図にフレームの構成を示し、図８のＣ図に登録フレームと検索対象のフレームの比較イメージを示す。
【００７５】
番組の情報は、記録媒体の始めから終わりの間に存在する。そして、この番組の情報は、目的の頭出しフレームから始まり、目的の終わりのフレームまでの範囲にある。フレームの構成は、フレームの枚数＝静止画象１フレーム×３０枚×時間（秒）である。
【００７６】
前記のように、目的の頭出しフレームから始まり、目的の終わりのフレームまでの範囲にある番組の情報を取り出し、登録フレームと検索対象のフレームの比較を行う。この処理では、最初に検索登録したフレームとＮ枚目のフレーム（最初のフレーム）との比較照合を行う。
【００７７】
次に、最初に検索登録したフレームと、Ｎ＋１枚目のフレーム（２枚目のフレーム）との比較照合を行い、次に、最初に検索登録したフレームと、Ｎ＋２枚目のフレーム（３枚目のフレーム）との比較照合を行い、以降同様にして、比較照合を行う。この比較手法をそれぞれ、目的の頭出しフレームと終わりのフレームに適用する。
【００７８】
§５：ソフトウェアの説明
図９はソフトウェアの概念図である。以下、図９に基づいて、前記本装置の運用システムにおけるソフトウェアについて説明する。なお、このソフトウェア（プログラム）は、図３に示したコンピュータシステム４内にあり、図９ではソフトウェアの部分を点線で示してある。
【００７９】
前記コンピュータシステム４内にあるソフトウェア（プログラム）は、コマンド指示・制御監視部２１と、入力収集処理部２２と、検索処理部２３と、表示制御部２４と、記録媒体への格納処理を行う格納処理部２５等で構成されている。また、前記検索処理部２３には、原本処理部２６と、比較処理部２７が設けてある。
【００８０】
前記コマンド指示・制御監視部２１は、コマンド指示や制御監視の処理を行うものである。入力収集処理部２２は入力情報の収集処理を行うものである。格納処理部２５は、入力収集処理部２２で収集したデータを記録媒体（例えば、図２に示した記憶装置１０）に格納する処理を行うものである。検索処理部２３は、必要な画像情報を検索するものであり、原本処理部２６は、標本原本の作成、登録等の処理を行うものであり、比較処理部２７は、標本原本のフレームと検索対象画像のフレームとの比較照合処理を行うものである。
【００８１】
前記ソフトウェアでは、入力した画像情報をインタフェース（ＩＦ）を介し、入力収集処理部２２を経由して検索処理部２３に伝達される。格納処理部２５では、記録媒体に画像情報を格納する処理を行う。検索処理部２３は、標本原本の登録や比較するフレームの検索処理等を行う。なお、標本等比較テーブルなどもこの部分で管理している。
【００８２】
表示制御部２４は、表示装置１３への画像表示制御を行う。コマンド指示・制御監視部２１は、コマンド指示や全体の制御監視を行う。記録媒体は、画像情報を保存するための磁気ディスク装置等の記録媒体である。
【００８３】
なお、前記ソフトウェアは、該ソフトウェアのアルゴリズムをハードウェアによりＬＳＩ等で実現可能であり、高速ハードウェア処理も実現可能である。
【００８４】
§６：処理の説明
図１０は処理フローチャート（その１）、図１１は処理フローチャート（その２）、図１２は処理フローチャート（その３）、図１３は処理フローチャート（その４）である。以下、図１０〜図１３に基づいて、前記運用システムにおける処理を説明する。なお、Ｓ１〜Ｓ１８は各処理ステップを示す。なお、Ｓ１、Ｓ２、Ｓ３の処理はオペレータ（監視員等）の操作を伴った処理であり、その他のステップは、コンピュータシステム４内の各部（図９参照）のプログラムが自動的に行う処理である。
【００８５】
先ず、原本の標本登録済みか否かを判断し（Ｓ１）、登録済であれば、検索可能状態か否かの判断を行い（Ｓ２）、検索可能状態でなければＳ１の処理へ移行する。しかし、Ｓ１の処理で、登録済みでなければ、原本の標本の登録を行う（Ｓ３）。この時、目的動画画像の頭出し画と、最終画について原本の標本の登録を行う。また、オペレータの操作により、オリジナル動画から抽出する（Ｒ、Ｇ、Ｂ）値及び許容値を設定する。その後、Ｓ２の処理へ移行する。
【００８６】
次に、Ｓ２の処理で、検索可能状態になれば、標本の検索取り込み開始（ｕ１）〜（ｙ４）する（Ｓ４）。そして、比較対象の画像フレームと標本原本のフレームとの比較照合を行い、ａ１＝ｕ１又は許容範囲内か否かを判断し（Ｓ５）、ａ１＝ｕ１又は許容範囲内でなければＳ４の処理へ移行し、ａ１＝ｕ１又は許容範囲内であれば、原本の標本全て合致したか否かを判断し（Ｓ６）、合致しなければＳ４の処理に移行し、合致したら、次のフレームを取り込む（Ｓ７）。
【００８７】
そして、原本の標本と次フレームも全て合致（予め決めたフレーム数の全てが合致）したか否かを判断し（Ｓ８）、合致しなければＳ４の処理へ移行し、合致したら、自動動画の頭出し完了とする（Ｓ９）。この場合、予め決めたフレーム数は、例えば、２〜３フレームとする。
【００８８】
そして、最終画面で検索条件可能状態か否かを判断し（Ｓ１０）、最終画面で検索条件可能状態でなければ、最終画面検索情報を読み出し、取り込みを行い（Ｓ１３）、Ｓ１０の処理に移行する。しかし、Ｓ１０の処理で、最終画面で検索条件可能状態ならば、画像再生と保存蓄積（一定期間記録する）を行い（Ｓ１１）、標本の検索取り込み開始（Ｕ１）〜（ｙ４）する（Ｓ１２）。
【００８９】
そして、ａ１＝ｕ１又は許容範囲内か否かを判断し（Ｓ１４）、ａ１＝ｕ１又は許容範囲内でなければＳ１１の処理へ移行し、ａ１＝ｕ１又は許容範囲内であれば、原本の標本全て合致したか否かを判断し（Ｓ１５）、合致しなければＳ１１の処理に移行し、合致したら、次のフレームを取り込む（Ｓ１６）。
【００９０】
そして、原本の標本と次フレームも全て合致したか否かを判断し（Ｓ１７）、合致しなければＳ１１の処理へ移行し、合致したら、目的動画の抽出を完了とする（Ｓ１８）。
【００９１】
前記の説明に対し、次の構成を付記する。
【００９２】
（付記１）
動画画像の１フレームを検索目標フレームとして標本化し、標本原本として登録しておく記憶手段と、
検索対象の動画画像から１フレームを取り出し、この取り出した１フレームを、前記記憶手段に登録した標本原本の１フレームと比較照合し、両者が合致したら、順次、次フレームについても同様の比較照合を行う比較照合手段と、
前記比較照合手段の比較照合により、標本原本のフレームと、予め決めた数の全てのフレームが合致した場合に、その画像を目的画像として抽出する目的画像抽出手段を備えると共に、
前記標本原本は、動画画像の１フレームから複数の代表点を選び、該代表点での各色（Ｒ、Ｇ、Ｂ）の座標位置と、その座標位置での各色（Ｒ、Ｇ、Ｂ）毎の階調を含む画素情報を求め、この代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものであり、
前記比較照合手段は、前記標本原本の代表点の画素情報と、それに対応する検索対象の動画画像から抽出した代表点の画素情報との比較照合を行い、前記標本原本を基に、検索対象画像の該当するフレームの色毎の階調の相関をとり、両者が合致したフレームかどうかを比較照合することで、合致したフレームを見つけ出す機能を備えていることを特徴とする動画画像検索装置。
【００９３】
（付記２）
前記標本原本は、動画画像の水平走査線方向１ラインの走査線の総画素から、該総画素の数より少ない数の予め決めた代表点を選び、その代表点の画素の座標位置と、その位置での光の三原色であるＲ、Ｇ、Ｂの階調を代表点の画素情報として抽出し、更に、垂直走査線方向の総ライン数から、この総ライン数より少ない数の予め決めたラインを選び、その選んだラインに対して、前記と同様な水平走査線方向の代表点の画素情報を抽出し、前記水平及び垂直走査線方向の代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものであることを特徴とする（付記１）記載の動画画像検索装置。
【００９４】
（付記３）
前記比較照合手段は、
２つのフレームを比較照合する場合、前記Ｒ、Ｇ、Ｂ階調を演算比較し算出された結果に予め定めた許容範囲を設けておくことで、近似した画像を許容し、ほぼ同等な画像フレームとみなす機能を備えていることを特徴とする（付記１）記載の動画画像検索装置。
【００９５】
（付記４）
前記比較照合手段は、
ほぼ同一フレームが何枚か連続する確率が高いことを利用し、数枚のフレームが連続していることで明らかに同じフレームであると判断する機能を備えていることを特徴とする（付記１）記載の動画画像検索装置。
【００９６】
（付記５）
前記目的画像抽出手段は、
目的番組を検索する動画画像の記録から、目的番組の先頭フレーム及び最終フレームの位置を割り出す先頭フレーム／最終フレーム位置割り出し手段を備えていることを特徴とする（付記１）記載の動画画像検索装置。
【００９７】
（付記６）
前記比較照合手段は、
前記抽出された各々のＲ、Ｇ、Ｂデータを、全体フレームからサンプルした情報に基づき、演算数を減らして画像の比較が行える機能を備えていることを特徴とする（付記１）記載の動画画像検索装置。
【００９８】
（付記７）
前記比較照合手段は、
目標のフレームから抽出して記憶された画素のＲ、Ｇ、Ｂ階調の座標位置の階調を演算比較し、結果を算出する機能を備えていることを特徴とする（付記１）記載の動画画像検索装置。
【００９９】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
【０１００】
(1) ：例えば、ビデオオンデマンドのデータベースから、検索する時間が速く、高速に目的の画像を検索できる。
【０１０１】
(2) ：各フレームの画像を代表点で処理するため、代表点の数を必要最小限にすれば、計算量が少なくて済む。
【０１０２】
(3) ：検索結果が非常に確率高く見つかり、コストダウンが可能になる。
【０１０３】
(4) ：画質劣化に対する対処がしてあり、多少劣化したテープデータでも再生情報等も所望の検索が可能になる。
【０１０４】
(5) ：比較照合のための演算処理は、代表点の抽出画像の処理のため、代表点の数を必要最小限にすれば、ソフトウェアによる演算が十分可能である。
【０１０５】
(6) ：シーン毎の相関結果を求め、連続次のフレームの結果をそれぞれ比較照合し、合致に近いフレームを選び、動画の画像検索を高速に可能にできる。
【０１０６】
(7) ：色の階調の相関をそれぞれとるので、ハードウェアによりビデオレートで同時に何ポイントかの相関処理を高速で行い、誤差も通常の演算処理で可能であり、専用機で高速処理も可能である。
【０１０７】
更に、前記各請求項に対応した効果は次の通りである。
【０１０８】
(8) ：請求項１では、予め、動画画像の１フレームを検索目標フレームとして標本化し、標本原本として記憶手段に記憶しておく。その後、比較照合手段は、検索対象の動画画像から１フレームを取り出し、この取り出した１フレームを、前記記憶手段に記憶しておいた標本原本のフレームと比較照合し、両者が合致したら、順次、次フレームについても前記と同様の比較照合を行う。
【０１０９】
そして、目的画像抽出手段は、前記比較照合手段の比較照合により、標本原本の各フレームと全てのフレームが合致した場合に、その画像を目的画像として抽出する。
【０１１０】
この場合、前記比較照合手段は、前記標本原本の代表点の画素情報と、それに対応する検索対象動画画像の代表点の画素情報との比較照合を行う。そして、前記標本原本を基に、検索対象画像の該当するフレームとの階調相関をとり、両者が合致したフレームかどうかを比較照合することで、合致したフレームを見つけ出す。
【０１１１】
また、前記標本原本は、動画画像の１フレームから複数の代表点を選び、該代表点での各色（Ｒ、Ｇ、Ｂ）の座標位置と、その座標位置での各色（Ｒ、Ｇ、Ｂ）毎の階調を含む画素情報を求め、この代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものである。
【０１１２】
そして、前記比較照合手段は、前記標本原本の代表点の画素情報と、それに対応する検索対象動画画像の代表点の画素情報との比較照合を行う。そして、前記標本原本を基に、検索対象画像の該当するフレームとの階調相関をとり、両者が合致したフレームかどうかを比較照合することで、合致したフレームを見つけ出す。
【０１１３】
このようにすれば、前記代表点での画素情報を用いて比較照合ができるので、前記代表点の数を必要最小限にすれば、比較照合する画素情報の量が少なくなり、比較照合処理における演算数も減り、その分、高速で検索を行うことが可能になる。
【０１１４】
従って、動画画像の検索を行う際に、予め必要な番組の頭の１フレーム内の代表点を選び、その代表点の色（Ｒ、Ｇ、Ｂ）の座標位置と、その位置の階調を含む画素情報を標本原本として記憶手段に記録しておくことで、検索したい動画画像の中から目的の番組の１フレームの頭出しを確実に行い、高速に検索することが可能になる。
【０１１５】
(9) ：請求項２では、標本原本は、動画画像の水平走査線方向１ラインの走査線の総画素から、該総画素の数より少ない数の予め決めた代表点を選び、その代表点の画素の座標位置と、その位置での光の三原色であるＲ、Ｇ、Ｂの階調を代表点の画素情報として抽出し、更に、垂直走査線方向の総ライン数から、この総ライン数より少ない数の予め決めたラインを選び、その選んだラインに対して、前記と同様な水平走査線方向の代表点の画素情報を抽出し、前記水平及び垂直走査線方向の代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものである。
【０１１６】
このようにすれば、目的の画像を検索する場合に、代表点の数を必要最小限にすることで、比較照合する画素情報量や演算数を少なくすることが可能であり、記録された番組画像の必要な部分の検索が高速に行える。
【０１１７】
(10)：請求項３では、比較照合手段は、２つのフレームを比較照合する場合、前記Ｒ、Ｇ、Ｂ階調を演算比較し算出された結果に予め定めた許容範囲を設けることで、近似した画像を許容し、ほぼ同等な画像フレームとみなす。このようにすれば、記録された番組画像の必要な部分の検索が、確実に、かつ高速に行える。
【０１１８】
(11)：請求項４では、比較照合手段は、前記比較照合を行う場合、ほぼ同一フレームが何枚か連続する確率が高いことを利用し、数枚のフレームが連続していることで明らかに同じフレームであると判断する。このようにすれば、記録された番組画像の必要な部分の検索が、確実に、かつ高速に行える。
【０１１９】
(12)：請求項５では、目的画像抽出手段は、目的画像を抽出する場合、目的番組を検索する動画画像の記録から、目的番組の先頭フレーム及び最終フレームの位置を割り出す。そして、先頭フレームと最終フレームの間にある画像を目的の画像として取り出すことができる。このようにすれば、記録された番組画像の必要な部分の検索が、確実に、かつ高速に行える。
【図面の簡単な説明】
【図１】本発明の実施の形態における原本の標本化の例である。
【図２】本発明の実施の形態における本装置の運用システム概念図の例である。
【図３】本発明の実施の形態における本装置の運用システムのハードウェアイメージ説明図である。
【図４】本発明の実施の形態における画像記録指示と画像データベース作成例の説明図である。
【図５】本発明の実施の形態におけるサンプルポイントの抽出（標本原本の登録）の説明図である。
【図６】本発明の実施の形態における標本原本の登録と比較サーチの説明図である。
【図７】本発明の実施の形態における複数フレームの合致手法の説明図（その１）である。
【図８】本発明の実施の形態における複数フレームの合致手法の説明図（その２）である。
【図９】本発明の実施の形態におけるソフトウェアの概念図である。
【図１０】本発明の実施の形態における処理フローチャート（その１）である。
【図１１】本発明の実施の形態における処理フローチャート（その２）である。
【図１２】本発明の実施の形態における処理フローチャート（その３）である。
【図１３】本発明の実施の形態における処理フローチャート（その４）である。
【図１４】従来のＴＶ放送（ＮＴＳＣビデオ）の画像説明図である。
【図１５】従来の記録された番組画像の説明図である。
【符号の説明】
１ 入力制御部
２ 多チャンネル表示装置
３ インタフェース
４ コンピュータシステム
５ 監視端末
１０ 記憶装置
１１ 抽出データベース記憶装置（抽出ＤＢ記憶装置）
１３ 表示装置
２２ 入力収集処理部
２３ 検索処理部
２４ 表示制御部
２５ 格納処理部
２６ 原本処理部
２７ 比較処理部

Claims (5)

1. 動画画像の１フレームを検索目標フレームとして標本化し、標本原本として登録しておく記憶手段と、
   検索対象の動画画像から１フレームを取り出し、この取り出した１フレームを、前記記憶手段に登録した標本原本の１フレームと比較照合し、両者が合致したら、順次、次フレームについても同様の比較照合を行う比較照合手段と、
   前記比較照合手段の比較照合により、標本原本のフレームと、予め決めた数の全てのフレームが合致した場合に、その画像を目的画像として抽出する目的画像抽出手段を備えると共に、
   前記標本原本は、動画画像の１フレームから複数の代表点を選び、該代表点での各色（Ｒ、Ｇ、Ｂ）の座標位置と、その座標位置での各色（Ｒ、Ｇ、Ｂ）毎の階調を含む画素情報を求め、この代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものであり、
   前記比較照合手段は、前記標本原本の代表点の画素情報と、それに対応する検索対象の動画画像から抽出した代表点の画素情報との比較照合を行い、前記標本原本を基に、検索対象画像の該当するフレームの色毎の階調の相関をとり、両者が合致したフレームかどうかを比較照合することで、合致したフレームを見つけ出す機能を備えていることを特徴とする動画画像検索装置。
2. 前記標本原本は、動画画像の水平走査線方向１ラインの走査線の総画素から、該総画素の数より少ない数の予め決めた代表点を選び、その代表点の画素の座標位置と、その位置での光の三原色であるＲ、Ｇ、Ｂの階調を代表点の画素情報として抽出し、更に、垂直走査線方向の総ライン数から、この総ライン数より少ない数の予め決めたラインを選び、その選んだラインに対して、前記と同様な水平走査線方向の代表点の画素情報を抽出し、前記水平及び垂直走査線方向の代表点の画素情報で構成した１フレームを検索目標フレームとして標本化したものであることを特徴とする請求項１記載の動画画像検索装置。
3. 前記比較照合手段は、
   ２つのフレームを比較照合する場合、前記Ｒ、Ｇ、Ｂ階調を演算比較し算出された結果に予め定めた許容範囲を設けておくことで、近似した画像を許容し、ほぼ同等な画像フレームとみなす機能を備えていることを特徴とする請求項１記載の動画画像検索装置。
4. 前記比較照合手段は、
   ほぼ同一フレームが何枚か連続する確率が高いことを利用し、数枚のフレームが連続していることで明らかに同じフレームであると判断する機能を備えていることを特徴とする請求項１記載の動画画像検索装置。
5. 前記目的画像抽出手段は、
   目的番組を検索する動画画像の記録から、目的番組の先頭フレーム及び最終フレームの位置を割り出す機能を備えていることを特徴とする請求項１記載の動画画像検索装置。

Images