JPH04365283A - 画像検索方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像に対して編集等
を行う際に使用される画像検索方法に関する。

【０００２】

【従来の技術】従来、たとえば、ビデオテープ等の磁気
媒体に記録されている動画像を検索及び編集するような
場合、検索及び編集の対象となる範囲が時間軸上で対象
動画像全体に渡ると考えられる時には、検索対象の動画
像（映像）を早送りすることにより検索を行っている。

【０００３】また、予め検索対象の動画像の１画面毎に
タイムコード等の標識を付けておき、その標識を利用し
て検索の容易化を図ることも知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、早送り
により画像を検索する方法では、目視により画像の内容
を確認する必要があるので、再生速度を極端に速くする
ことはできず、検索対象の動画像の量が多い場合には、
早送りを行ったとしても、検索に時間と手間が掛かって
いた。

【０００５】また、検索対象の動画像にタイムコード等
の標識が付されている場合でも、この標識は検索対象の
動画像の内容とは無関係に付されているので、検索中の
画像の時間軸上の位置や、検索の結果決定された編集位
置を知ることはできても、検索作業自体は、目視により
行うしかなかった。

【０００６】本発明は、前記問題点を解決するために案
出されたものであって、検索対象の動画像の検索を迅速
かつ容易に行えるようにすることを目的とする。

【０００７】

【課題を解決するための手段】本発明の画像検索方法は
、前記目的を達成するため、検索すべき画像の特徴を表
す情報を検索鍵情報として設定し、検索の対象となる画
像データが複数枚分記憶されている画像データ記憶装置
から画像データを１枚分毎に順次読み出して前記検索鍵
情報と比較し、前記画像データ記憶装置から読み出され
た画像データと前記検索鍵情報とが一致した場合には、
一致した画像データが記憶されている前記画像データ記
憶装置上のアドレスを検索用記憶装置に記憶させること
を特徴とする。

【０００８】

【作用】本発明においては、画像信号再生装置からの映
像信号がＡ／Ｄ変換された後に、ランダムアクセス可能
な大容量記憶装置等の画像データ記憶装置に保存される
。この記憶の際には、たとえば、画像の１フレームが画
像データ記憶装置の一つのフィールドに記憶される。 次に、検索の際には、予め検索の鍵となる情報が設定さ
れる。そして、画像データ記憶装置に保存されている画
像データを１画面分づつ読み込み、検索の鍵となる情報
との比較を行う。両者が一致しない場合、次の画面の画
像データが読み込まれて比較が繰り返される。両者が一
致した場合、検索の鍵となる情報と一致した画像データ
の属していた大容量記憶装置上のフィールドのアドレス
が抽出され、この抽出されたアドレスを標識として索引
が設定される。

【０００９】

【実施例】以下、図面を参照しながら実施例に基づいて
本発明の特徴を具体的に説明する。

【００１０】図１は、本発明が適用される画像検索シス
テムの全体構成を模式的に示すブロック図である。この
動画像検索システムは、コンピュータ１と、このコンピ
ュータ１に接続された被制御機器としてのＶＴＲ（ｖｉ
ｄｅｏ　　ｔａｐｅｒｅｃｏｒｄｅｒ）、レーザーディ
スク（登録商標）等の画像信号再生装置２とから構成さ
れている。コンピュータ１においては、バス３に対して
ＣＰＵ（中央処理装置）４及びメモリ５が接続されてお
り、更に、バス３には、キーボード，マウス等の入力装
置６、ＣＲＴ（陰極線管）ディスプレイ等の出力装置７
、ハードディスク装置，光ディスク装置等の大容量記憶
装置８が、それぞれインタフェース９，１０，１１を介
して接続されている。

【００１１】また、バス３と画像信号再生装置２との間
には、画像信号再生装置２を操作する機器操作入力手段
として機能する入力装置６からの操作入力を、接続され
た機器、すなわち画像信号再生装置２に伝送するＲＳ−
２３２Ｃ等の通信インタフェース１２と、画像信号再生
装置２からの画像信号をコンピュータ１が取り扱えるデ
ィジタル信号に変換するための、Ａ／Ｄ変換器等の信号
変換インタフェース１３とが接続されている。なお、コ
ンピュータ１に接続される機器（この場合、画像信号再
生装置２）は、一般に使用される映像機器であり、単独
で使用することができるものである。また、コンピュー
タ１はワークステーションを構成している。

【００１２】次に、上述の動画像検索システムにおける
検索動作について、図２，図３，図５のフローチャート
を参照して説明する。

【００１３】検索動作は、図２に示すように、前処理（
ステップ１００）、検索条件設定（ステップ２００）、
及び検索実行（ステップ３００）の三つの部分からなる
。

【００１４】図３は、前処理を示しており、画像信号再
生装置２からの映像信号をコンピュータ１で取り扱える
ように、信号変換インタフェース１３を用いてＡ／Ｄ変
換等の処理を行い（ステップ１０１）、その後、ランダ
ムアクセス可能な大容量記憶装置８へ、たとえば、映像
信号の一つのフレーム（１画面）を単位として、大容量
記憶装置８の一つのフィールドへ保存を行う（ステップ
１０２）。このとき、そのそのフィールドの大容量記憶
装置８中のアドレス情報も大容量記憶装置８に書き込ま
れる。

【００１５】図４は、画像データの大容量記憶装置８へ
の記憶状態を模式的に示すものであり、連続するフレー
ムが、連続するフィールドに順次記憶される。なお、こ
こでいう順次とは論理的に順次であればよく、物理的に
並んでいる必要はない。また、ここでいうフィールドと
は、大容量記憶装置８上の単位記憶領域を意味している
。たとえば、通常のＮＴＳＣ信号の１秒分の動画像すな
わち３０フレーム分の動画像を記憶する場合には、３０
フィールド分の領域が必要となる。この際、画像信号再
生装置２の操作、たとえば再生開始操作は、入力装置６
により行われる。すなわち、入力装置６から入力された
指示がＣＰＵ４により解釈され、この指示が画像信号再
生装置２の再生開始の指示であるときは、ＣＰＵ４から
画像信号再生装置２へ再生開始を指示する制御信号が通
信インタフェース１２を介して送信され、画像信号再生
装置２が再生動作を開始する。

【００１６】次に、図５に示すように検索条件の設定を
行う。すなわち、検索対象領域の指定及び検索の鍵とな
る情報の設定を行う。検索対象領域の指定は、たとえば
、指定された動画ファイルの開始時刻と継続時間、或い
は、データファイル内の相対パーセント位置の指定によ
り行われる（ステップ２０１）。なお、図３に示す前処
理が終了した時点で動画像データはファイルの形で保存
されており、ファイルの管理はファイル管理テーブルに
より行われている。そのため、そのファイルが特定でき
ればどこになにが格納されているかを知る必要はない。 ファイルが特定できればファイル管理テーブルによりに
よりそのファイルサイズが判明し、さらにファイル全体
の時間（画面数に対応）も判明する。

【００１７】図４の例では、ｍ番目のフィールドから（
ｍ＋ｎ）番目のフィールドまでを検索対象領域としてい
る。そして、指定された検索対象領域に基づいて、大容
量記憶装置８に記憶された画像データのうち、検索対象
領域に対応する画像データの保存されている前記フィー
ルド中のアドレスを、ファイル管理テーブルの参照と一
つのフィールドのデータ量の計算から求め（ステップ２
０２）、その領域に対して検索の鍵となる情報を設定す
る（ステップ２０３）。

【００１８】この検索の鍵となる情報とは、たとえば、
画像の色，明るさ，形等のことである。具体的には、た
とえば、水平線から昇る日の出のシーンを検索する場合
には、画面上部の輝度が画面下部の輝度に対して著しく
明るいという情報が鍵となる。また、日の出の瞬間のシ
ーンを検索する場合には、或るシーンの画面の平均の明
るさと、そのシーンから数フレーム後のシーンの画面の
平均の明るさとを比較し、明るさが急激に増加するとい
う情報が鍵となる。

【００１９】更に、何かが画面を横切ったシーンを検索
する場合には、時間的に隣接する二つのフレームの画像
データの差を検出し、画面全体の動きに対して異なった
移動量を持った物体の画像を切り出し、切り出された物
体の移動量が一定距離以上であるという情報が鍵となる
。これらの検索の鍵となる情報は、入力装置６から入力
される。また、明るさや移動量の他に、画面の色合いの
分布状態を検索の鍵とすることもできる。更には、シー
ンの切れ目をフレーム間圧縮を行った際のデータ量の変
化から検索することもできる。すなわち、シーンの切れ
目ではフレーム相関が無くなるため圧縮後のデータ量が
急増する。

【００２０】また、これらの検索の鍵となる情報の設定
は、画面全体にではなく、画面の一部分を指定すること
により、指定された範囲に対してのみ検索を行うことが
できる。さらには、複数の検索の鍵を組合せて検索を効
率化することができる。

【００２１】検索の鍵となる情報のデータ構造の一例を
図６に示す。検索の鍵となる情報は、たとえば、検索の
鍵の有効領域を矩形の一頂点の座標，高さ，幅で示す「
位置情報」、検索の鍵となる情報の種類、例えば、明る
さ、色等を区別する「検索属性識別子」、検索の鍵とな
る情報のデータの量を示す「データ長」、検索の鍵とな
る情報のデータ本体を示す「データ」、検索の鍵と検索
対象との相関の許容範囲を示す「類似許容度」、データ
の終わりを示す「ＥＯＦ］等から構成されている。なお
、「類似許容度」で例えば６０％が指定されたときは、
類似度が６０％以上であれば索引に登録される。

【００２２】次に、図７に示すように検索を実行する。 ここでは、先ず大容量記憶装置８に保存されている各フ
ィールドの情報の中から、検索条件設定工程のステップ
２０２により計算されたアドレスに対応する部分の情報
（画像データ）と、そのフィールドの大容量記憶装置８
中のアドレス情報を大容量記憶装置８から読み出す（ス
テップ３０１）。ここで、アドレス情報を大容量記憶装
置８から読み出すのは、大容量記憶装置８中の画像デー
タがアドレス情報により管理されているからである。な
お、アドレス情報は図３に示す前処理のステップ１０２
の時点で大容量記憶装置８は格納されている。

【００２３】次に、大容量記憶装置８から読み出された
画像データから、検索条件設定工程のステップ２０３に
より設定された検索の鍵となる情報の成分を抽出する（
ステップ３０２）。この情報の成分としては、たとえば
、色、明るさ、形状、パターン等がある。たとえば、先
に説明した日の出のシーンを検索する場合には、検索の
対象となる画像を上下に分割し、上側領域と下側領域の
それぞれの平均輝度を検出する。次に、ステップ３０２
によりデータから抽出された情報と、検索条件設定工程
のステップ２０３で設定された検索の鍵となる情報との
比較を行う（ステップ３０３）。両者が一致しない場合
はステップ３０１に戻り、大容量記憶装置８中の次のフ
ィールドに対してステップ３０１，３０２の処理を繰り
返す。両者が一致した場合は、当該フィールドの大容量
記憶装置８上のアドレス情報（以下、標識アドレスと呼
ぶ）を変数などの形で保存する（ステップ３０４）。

【００２４】大容量記憶装置８中に保存されている、映
像信号を変換したフィールドの集合の単位をファイルと
よぶが、検索対象となっている映像のファイルが終わり
でない場合、すなわち検索対象のフィールドがまだ存在
している場合はステップ３０１に戻り、大容量記憶装置
８中の次のフィールドに対して処理を行う。検索対象と
なっている映像の検索対象領域が終わりの場合、すなわ
ち検索対象のフィールドが存在していない場合は検索は
終了する（ステップ３０５）。そして、標識アドレスの
保存されている変数などから検索の鍵となる情報に対す
る索引が作られる。この索引は、図８に示すように、検
索の鍵の識別符号ＩＤ１，ＩＤ２，・・・と、この検索
の鍵により抽出された対応するアドレスＡＤＲＳ１，Ａ
ＤＲＳ２，・・・の表から構成されている。なお、この
索引はメモリ５上或いは大容量記憶装置８上におかれる
。

【００２５】編集の際には、標識アドレスの保存されて
いる変数を参照することにより、大容量記憶装置８の対
応フィールドから検索対象領域において検索の鍵となる
情報をもつ映像のフレームを直接的に指定することがで
き、該当フレームの出力装置７への表示を高速に行うこ
とができる。

【００２６】

【発明の効果】以上に述べたように、本発明においては
、検索すべき画像の特徴を示す検索鍵情報を予め設定し
ておき、この検索鍵情報と大容量記憶装置に記憶されて
いる画像データを順次比較し、一致した画像のデータが
格納されているアドレスに自動的に索引を付けることに
より、目的とする画像を短時間で容易に検索することが
できる。

【図面の簡単な説明】

【図１】　　本発明が適用される画像検索システムの全
体構成を模式的に示すブロック図である。

【図２】　　図１に示す画像検索システムにおける検索
動作全体の流れを示すフローチャートである。

【図３】　　前処理工程における処理の流れを示すフロ
ーチャートである。

【図４】　　画像データの大容量記憶装置への記憶状態
を示す説明図である。

【図５】　　検索条件設定工程における処理の流れを示
すフローチャートである。

【図６】　　索引の鍵となる情報のデータ構造例を示す
説明図である。

【図７】　　検索実行工程における処理の流れを示すフ
ローチャートである。

【図８】　　索引の構造例を示す説明図である。

【符号の説明】

１　　コンピュータ、２　　画像信号再生装置、３　　
バス、４　　ＣＰＵ、５　　メモリ、６　　入力装置、
７　　出力装置、８　　大容量記憶装置、９〜１１　　
インタフェース、１２　　通信インタフェース、１３　
　信号変換インタフェース

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　検索すべき画像の特徴を表す情報を検
   索鍵情報として設定し、検索の対象となる画像データが
   複数枚分記憶されている画像データ記憶装置から画像デ
   ータを１枚分毎に順次読み出して前記検索鍵情報と比較
   し、前記画像データ記憶装置から読み出された画像デー
   タと前記検索鍵情報とが一致した場合には、一致した画
   像データが記憶されている前記画像データ記憶装置上の
   アドレスを検索用記憶装置に記憶させることを特徴とす
   る画像検索方法。