JP3738631B2 - 画像検索システムおよび画像検索方法 - Google Patents
画像検索システムおよび画像検索方法 Download PDFInfo
- Publication number
- JP3738631B2 JP3738631B2 JP34325699A JP34325699A JP3738631B2 JP 3738631 B2 JP3738631 B2 JP 3738631B2 JP 34325699 A JP34325699 A JP 34325699A JP 34325699 A JP34325699 A JP 34325699A JP 3738631 B2 JP3738631 B2 JP 3738631B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- feature
- image
- video
- feature descriptor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7857—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Description
【０００１】
【発明の属する技術分野】
本発明は、アナログまたはデジタルで記録された映像、静止画などの画像データから特徴量や属性情報を抽出し、抽出された特徴量や属性情報を利用して画像データの検索を行う画像検索システムおよび画像検索方法に関する。
【０００２】
【従来の技術】
図１４に、従来の画像検索処理システムの一例として、電子情報通信学会論文誌D-II 1996年4月号（Vol.79-D-II No.4, pp.476-483）に記載されたシステムの構成を示す。ここでは、静止画像を対象とし、画像を前処理部101の領域分割部103により各セグメントに領域分割し、分割された各セグメントに対してキーワードが付与される。キーワードには概念キーワードとシーン記述キーワードの2種類が用意されている。概念キーワード抽出部104は、色情報に対してあらかじめ割り当てられている概念キーワードを用いて、各セグメントの色および特徴量から概念キーワード108を得るものである。シーン記述キーワード記述部105は、各セグメントの画像特徴量から「位置」「色」「形状」「大きさ」「向き」などに関する述語を得るものであり、ユーザ107によってあらかじめ定義されている述語から選択して記述する操作106を必要とし、シーン記述キーワード109を出力する。検索ツール102は、あらかじめ概念キーワードやシーン記述キーワードを用意しておき、ユーザ111は用意されているキーワードから選択を行う。特徴同定部110は、ユーザが選択したキーワード112と、各画像に付与されたキーワード108、109から特徴量の同定を行い、画像検索処理を実行する。
【０００３】
【発明が解決しようとする課題】
しかし、前述の画像検索処理システムでは、ユーザが選択した概念キーワードやシーン記述キーワード等のキーワードと、各画像に付与されたキーワードから特徴量の同定を行い、その特徴量に基づいて画像検索処理を実行するようにしていたため、すべての画像を特徴量のみにより検索することになり、検索に時間がかかっていた。
【０００４】
また、前述の画像検索処理システムでは、各キーワードの記述方法や、記憶方法等について考慮されていないため、画像サーバと、クライアントである検索ツール等とは、1対1に対応している必要があり、ネットワークを介して多くのユーザが様々な検索ツールを用いて画像の検索を行うシステムを構築することができなかった。
【０００５】
また、静止画像のみを対象としているため、動画像を検索することが困難であった。
【０００６】
そこで、本発明は、このような問題に鑑みてなされたもので、効率良く画像検索処理を実行できる画像検索システムおよび画像検索方法を提供することを第１の目的とする。
【０００７】
また、本発明は、検索のキーワードを共通のシンタックスで記述して生成することにより、ネットワーク上に分散する複数の画像サーバに依存しない画像検索システムおよび画像検索方法を提供することを第２の目的とする。
【０００８】
また、本発明は、動画像からキーワードを抽出するときに、フレーム単位ではなく、複数のフレームをまとめたビデオセグメント単位で特徴量を抽出することにより、動画像の検索を容易に行うことのできる画像検索システムおよび画像検索方法を提供することを第３の目的とする。
【０００９】
【課題を解決するための手段】
前記課題を解決するため、本発明では、入力画像データから画像特徴量を抽出し特徴記述子を生成する特徴記述子生成部と、生成された特徴記述子を入力画像データと対応づけて蓄積する画像情報蓄積部と、入力画像データに付随して入力する属性情報に基づいて属性リストを生成する属性リスト生成部と、属性情報に関する検索条件が入力すると前記属性リストを検索して当該検索条件に適合する属性情報を出力すると共に、特徴記述子に関する検索条件が入力すると前記画像情報蓄積部を検索して当該検索条件に適合する画像データを出力する画像検索部と、を備えることを特徴とする。
【００１０】
特に、前記属性リスト生成部は、属性リストのデータ構造を定義したシンタックスに基づいて当該属性リストを生成し、前記画像検索部は、前記属性リストのシンタックスに従って検索することを特徴とする。
【００１１】
また、前記特徴記述子生成部は、特徴記述子のデータ構造を定義したシンタックスに基づいて当該特徴記述子を生成し、前記画像検索部は、前記特徴記述子のシンタックスに従って検索することを特徴とする。
【００１２】
また、前記特徴記述子生成部は、フレーム単位で特徴量を抽出し、複数のフレームをまとめたビデオセグメント単位で特徴記述子を生成することを特徴とする。
【００１３】
また、前記特徴記述子生成部は、イントラフレームとインターフレームとからなる圧縮映像データを入力画像データとし、イントラフレームの場合、所定の符号化単位領域における各画素値の平均値マトリクスを抽出してビデオセグメント中に含まれるイントラフレーム分だけ累積し、その累積値をイントラフレーム数により平均した値と標準偏差とをイントラフレームの特徴記述子として生成する一方、インターフレームの場合、所定の符号化単位領域における各画素の動きベクトルマトリクスを抽出してフレーム内の動きベクトルの平均値を求め、その平均値を閾値処理してゼロランの長さを分類して抽出し、前記平均値と前記ゼロランの長さの分類とをそれぞれビデオセグメント中に含まれるインターフレーム数により平均した値をインターフレームの特徴記述子として生成する、ことを特徴とする。
【００１４】
また、前記特徴記述子生成部は、非圧縮映像データを入力画像データとし、前記非圧縮映像データデータから特徴量を抽出し特徴記述子を生成し、前記画像情報蓄積部は、前記非圧縮映像データが所定の映像圧縮方式に基づいて圧縮された後の圧縮映像データと、前記特徴記述子セットとを対応付けて蓄積することを特徴とする。
【００１５】
また、前記画像検索部は、前記画像情報蓄積部を検索し、指定された特徴記述子に適合する画像データを出力する際、予め記憶していた所定の条件式を読み出し、その所定の条件式に基づいて当該指定された特徴記述子に対し適合しているか否かを判定することを特徴とする。
【００１６】
また、入力画像データは、監視カメラにより記録された監視画像であることを特徴とする。
【００１７】
また、入力画像データは、蓄積されたビデオメールの画像であることを特徴とする。
【００１８】
また、入力画像データは、蓄積された放送番組の画像であることを特徴とする。
【００１９】
また、入力画像データは、ビデオカメラにより記録された映像であることを特徴とする。
【００２０】
また、次の発明では、入力画像データから画像特徴量を抽出し特徴記述子を生成する特徴記述子生成部と、入力画像データの時空間構造に関連付けて前記特徴記述子を検索用記述データに記述する検索用記述データ生成部と、検索用記述データを対応する入力画像データとともに蓄積する画像情報蓄積部と、第１の検索処理部と、第２の検索処理部と、ユーザインターフェース部からなり、前記第２の検索処理部は、前記ユーザインターフェース部を介したユーザからの検索要求を検索要求情報として前記第1の検索処理部へ送信すると共に、前記第１の検索処理部から送信される検索結果を受信して前記ユーザインターフェース部を介しユーザに提示し、前記第1の検索処理部は、前記第２の検索処理部から送信される前記検索要求情報に従って前記画像情報蓄積部に蓄積された入力画像データの前記検索用記述データを解析して前記特徴記述子を取り出し、取り出した前記特徴記述子に基づいて適合判定処理を行って検索結果を求め、その検索結果を前記第２の検索処理部へ送信し、前記ユーザインターフェース部を介しユーザに提示させる、ことを特徴とする。
【００２１】
さらに、前記特徴記述子生成部によって生成された特徴記述子の信頼度を算出する特徴記述子信頼度算出部を備え、前記検索用記述データ生成部は、入力画像データの時空間構造に関連付けて前記特徴記述子および信頼度を検索用記述データに記述し、前記第1の検索処理部は、前記第２の検索処理部から送信される前記検索要求情報に従って前記画像情報蓄積部に蓄積された入力画像データの前記検索用記述データを解析して前記特徴記述子および信頼度を取り出し、取り出した前記特徴記述子および信頼度に基づいて適合判定処理を行って検索結果を求め、その検索結果を前記第２の検索処理部へ送信し、前記ユーザインターフェース部を介しユーザに提示させる、ことを特徴とする。
【００２２】
また、前記第１の検索処理部は、適合判定処理の際、特徴記述子の信頼度に基づいて、特徴記述子による適合判定の必要性を評価し、適合性判定を行う必要がないと判断した場合、適合判定処理をスキップすることを特徴とする。
【００２３】
さらに、前記特徴記述子信頼度算出部によって算出された信頼度に基づいて各特徴記述子の検索使用順序を決定する特徴記述子検索順序決定部を備え、前記検索用記述データ生成部は、入力画像データの時空間構造に関連付けて前記特徴記述子、信頼度および検索使用順序を検索用記述データに記述し、前記第1の検索処理部は、前記第２の検索処理部から送信される前記検索要求情報に従って前記画像情報蓄積部に蓄積された入力画像データの前記検索用記述データを解析して前記特徴記述子、信頼度および検索使用順序を取り出し、取り出した前記特徴記述子、信頼度および検索使用順序に基づいて適合判定処理を行って検索結果を求め、その検索結果を前記第２の検索処理部へ送信し、前記ユーザインターフェース部を介しユーザに提示させる、ことを特徴とする。
【００２４】
また、前記第２の検索処理部は、前記ユーザインターフェース部を介したユーザからの検索要求として各特徴記述子の検索使用順序を含む検索要求情報を前記第1の検索処理部へ送信し、前記第１の検索処理部は、前記第２の検索処理部から送信される検索要求情報中の検索使用順序に従って、特徴記述子の検索順序を更新して、ユーザからの検索要求に見合う検索処理を行うことを特徴とする。
【００２５】
また、前記第１の検索処理部は、適合判定処理を行う際、各特徴記述子の信頼度に基づいて、検索使用順序で定められる各検索ステップにおける検索結果候補数を決定して適合判定処理を行うことを特徴とする。
【００２６】
さらに、ビデオデータ再生サーバと、ビデオデータ復号再生部とを備え、前記入力画像データは、ビデオデータであり、前記第1の検索処理部は、検索によって特定された各ビデオデータを代表する各キー画像データを検索結果として前記第２の検索処理部へ送信し、前記第２の検索処理部は、前記第１の検索処理部からの検索結果としての前記各キー画像データを受信してユーザインターフェース部を介しユーザに提示させ、前記ビデオ再生サーバは、ユーザインターフェース部から前記各キー画像のうちユーザによって特定のキー画像を選択した再生要求を受けると、画像情報蓄積部からその選択されたキー画像を代表とするビデオデータを読み出して前記ビデオデータ復号再生部へ送信し、前記ビデオデータ復号再生部は、前記ビデオ再生サーバから送信されたビデオデータを受信して復号し再生する、ことを特徴とする。
【００２７】
また、次の発明では、入力画像データから画像特徴量を抽出し特徴記述子を生成すると共に、入力画像データの時空間構造に関連付けて前記特徴記述子を検索用記述データに記述して、検索用記述データを対応する入力画像データとともに蓄積し、ユーザからの検索要求に従って前記蓄積された入力画像データの検索用記述データを解析して前記特徴記述子を取り出し、取り出した前記特徴記述子に基づいて適合判定処理を行って検索結果を求め、その検索結果をユーザに提示する画像検索方法であることを特徴とする。
【００２８】
さらに、入力画像データは、ビデオデータであり、検索によって特定された各ビデオデータを代表する各キー画像データを検索結果としてユーザに提示し、前記各キー画像のうちユーザによって特定のキー画像を選択した再生要求を受けると、その選択されたキー画像を代表とするビデオデータを読み出して復号し再生する、ことを特徴とする。
【００２９】
【発明の実施の形態】
実施の形態１．
本実施の形態１では、ネットワーク上に散在する複数、すなわち1つ以上のデータベースに蓄積された画像データからユーザが所望の画像データを検索して利用することができる画像検索システムについて説明する。画像データは利用方法によって、圧縮静止画像（JPEG画像等）、圧縮動画像（MPEG画像等）、非圧縮画像いずれでもよく、画像フォーマットについては特に限定しない。本実施の形態１では、本発明の一例として、インターネット上のWWW（World Wide Web）により、画像情報の発信や収集を行うことを想定するが、本発明はこれに限るものではなく、有線または無線通信によるサービスや、放送網によるサービス等に本システムを適用することもできる。
【００３０】
図１は、本実施の形態１における画像検索システムの構成を説明するブロック図である。以下、「クラス」をデータの定義、「インスタンス」をクラス定義に基づき値として具象化したデータそのもの、例えばファイル、変数などの意味で用いる。
【００３１】
図１において、１は画像データベース生成部、２は画像に関連する属性を示すテキスト情報の属性情報および画像データ、３は画像データから所定の特徴量セットを抽出する特徴抽出部、４は他の画像データベース生成部１あるいはサーバと共通の特徴量記述データクラスによる定義に基づき特徴量セットからインスタンスセットである特徴記述子セットを生成する特徴記述子セット生成部、５は画像データと特徴記述子セットとを対で蓄積する画像情報蓄積部である。
【００３２】
また、図１において、６は他の画像データベース生成部１あるいはサーバと共通のテキスト情報記述データクラスによる定義に基づき属性情報からインスタンスセットである属性リストを生成する属性リスト生成部、７は属性リストを蓄積する属性リスト蓄積部である。さらに８は画像検索部であり、９は検索対象の画像データのカテゴリやキー画像から検索したい画像を選択するユーザインターフェース部、１０はユーザインターフェース部で指示された検索条件に基づき検索処理を行う検索処理部、１１は検索されたキー画像および検索画像を表示する表示部である。なお、本実施の形態１において、属性リストや特徴記述子を総称してメタデータと定義する。
【００３３】
また、図１では、特徴抽出部３、特徴記述子セット生成部４、画像情報蓄積部５、属性リスト生成部６および属性リスト蓄積部７からなる画像データベース生成部１と、画像検索部８の検索処理部１０がサーバを構成し、画像検索部８のユーザインターフェース部９および表示部１１がクライアントを構成して、サーバとクライントとにより本発明の画像検索システムを構築しているが、本発明では、このような構成に限らず、クライアント側に検索処理部１０を持ってきたり、あるいはサーバ自身にもユーザインターフェース部９および表示部１１のクライアントの機能を付加する等するようにしても勿論よい。また、画像データベース生成部１ないしはサーバ、および画像検索部８ないしはクライアントは、それぞれ、複数存在し、かつ、インターネット等のネットワークを介して接続されており、その複数の画像データベース生成部１ないしはサーバでは、上述の通り、共通の特徴量記述データクラスおよびテキスト情報記述データクラスに基づき特徴記述子セットおよび属性リストを生成する。
【００３４】
次に、各部の処理を詳述する。
（１）画像データベース生成部１の処理
図２に、画像データベース生成部１の処理をフローチャートにより示す。
ここで、新規の画像データを画像データベースに登録する場合を考える。画像データベースの登録は、主に２つの処理からなる。１つは画像データに附随する画像属性を示すテキスト情報から属性リストを生成し、属性リスト蓄積部７へ蓄積する処理である。もう１つは画像データから特徴量を抽出して、特徴記述子を生成し、画像データと特徴記述子とをデータベースである画像情報蓄積部５へに蓄積する処理である。次にそれぞれの処理の詳細について説明する。
【００３５】
先に、属性リストを生成し登録するまでの処理（ステップＳ１〜Ｓ３）について詳述する。
まず、画像情報に附随して入力される画像属性を示すテキスト情報を抽出する（ステップＳ１）。画像属性を示すテキスト情報としては、例えば、画像データがビデオメールの動画像データである場合には、動画像データと一緒に送信されるビデオメールの送信者、送信日時、タイトル等の情報である。これらの情報は、ビデオメールの動画像データの作成者や作成日などを示しており、動画像データの属性を示すテキスト情報である。また、別の例では、画像データが、放送局から送信されるテレビ放送等の映像プログラムである場合には、画像属性を示すテキスト情報としては、映像プログラムと一緒に送信される番組情報（出演者、演出者、タイトル、放送日など）が考えられる。ホームビデオやデジタル写真などを家庭内サーバに蓄積する例を想定する場合は、撮影日や被写体に関する情報をユーザがテキスト情報として直接入力したり、ビデオやカメラなどの装置からサーバにテキストの形式で転送されることも考えられる。
【００３６】
抽出されたテキスト情報は、属性リスト生成部６において属性リストの形式にインスタンス化される（ステップＳ２）。属性リストのデータ形式としては、例えばXML（eXtensible Markup Languate）により記述された文書がある。
【００３７】
図３に、画像属性のテキスト情報からテキスト情報のインスタンスであるXML文書を生成する処理の一例を示す。
図３の例では、属性情報としてビデオメールに付属するテキスト情報を抽出して、抽出したテキスト情報をXML言語で記述した文書を生成している。このXML文書は、属性リストの構成単位となるデータであり、個々のビデオメールに対して作成されたこれらの文書をひとつのリストデータの形態に統合したものが属性リストである。XML文書の記述には、文書構造を規定した定義ファイル（DTD（Document Type Definition））が必要である。DTDは、文書構造に含まれる要素と要素間の関係（どの要素が別の要素の中に出現するか等）、要素の出現順序等の規定を定めたものである。
【００３８】
図３に示すXML文書生成処理では、DTDは、TextInfoという要素に、Category, Author, Date, Time, Title, Locatorの各要素が含まれていて、これらの各要素が文字型のデータであることを示している。抽出されたテキスト情報はこのDTDに従ってXML文書に変換される。図３のXML文書の例における各要素の値は、要素の開始を表すタグ<aaa>と、要素の終わりを示すタグ</aaa>で囲まれており、aaaはDTDで定義された要素名を示している。すなわち、<TextInfo>〜</TextInfo>で囲まれる単位はひとつのビデオメールに関する属性を記述しており、検索対象となるすべてのビデオメールについてこれらのデータが統合された属性リストを持っておけば、<TextInfo>〜</TextInfo>の単位で属性による個々のビデオメールの検索を行うことが可能になる。
【００３９】
尚、属性リストのデータ形式は、これに限ったものではなく、予め定義されたデータ構造に基づいて記述されたものであればよい。例えば、属性リストのデータ形式として、XML文書として記述する以外に、ビットストリーム型のバイナリデータでもよい。この場合、XML文書と同様に、バイナリデータ構造を定義するシンタックス、すなわち各要素の並び方と各要素に割り当てられたビット数等を規定したものが必要となる。
【００４０】
以上のようにして生成された属性リストは、属性リスト蓄積部７に蓄積される（ステップＳ３）。なお、画像データと、その属性情報であるテキスト情報とが異なるデータベースに蓄積される場合、属性リストは、画像データが蓄積されたアドレスを含んで属性リスト蓄積部７に蓄積される。たとえば、WWWにおいては、画像データが位置するネットワークアドレス（URL（Universal Resource Locator））を指定すればよい。図３の例においては、属性リストであるXML文書に、“Locator”という画像データのURLを指定するための要素が含まれており、各々のビデオメールの属性情報に対して、対応する画像データのアドレスを指定することができる。
【００４１】
次に、画像の特徴量を抽出して特徴量記述子を生成し登録するまでの処理（ステップＳ４〜Ｓ６）について詳述する。
本実施の形態１における特徴記述子生成処理では、入力して蓄積される画像データは、MPEGやH.261/H.263等の所定の符号化方式によって圧縮符号化されたビデオ（動画像）ビットストリームであるものとする。
【００４２】
まず、特徴抽出部３において、画像ビットストリームより画像の特徴量を抽出する（ステップＳ４）。本実施の形態１においては、特徴量として、圧縮ビデオビットストリーム中の動き情報、イントラ符号化フレームの輝度、色差それぞれの直流成分のデータを抽出する。圧縮ビデオビットストリームは、MPEGやH.261/H.263などの国際標準符号化方式によるものを想定しており、これらの方式においてはビデオフレーム信号は、図４に示すようにマクロブロックという単位で動き補償予測（以下、インターという）／フレーム内（以下、イントラという）適応符号化されている。マクロブロックは、輝度信号16x16画素、色差信号8x8画素x2の画像データから構成される。特に、1フレームのすべてのマクロブロックをイントラ符号化する場合をイントラフレームと呼び、この場合、当該フレームの画像データはそれ自身の圧縮データのみで伸長・復元可能である。このようなフレームにおいては、イントラ符号化マクロブロックの各信号の直流成分が画像全体の概略を表現するデータであると考えることができる（図４中、左側最下段に図示）。イントラフレームは、図４に示すようにランダムアクセスなどの要求条件から通常ビデオ信号中に周期的に挿入されることが多い。
【００４３】
一方、動き補償予測によって予測残差信号を符号化するインター符号化マクロブロックでは、動き予測によって近似しきれなかったデータのみを符号化するため、その符号化情報中、最も本質的なデータはマクロブロックの大方の画像情報を近似する動きベクトルであると言える（図４中、右側最下段に図示）。以上の観点から、特徴抽出部３では、画像ビットストリームより画像の特徴量として、イントラフレームにおける各マクロブロックの輝度・色差信号の直流成分と、インター符号化マクロブロックの動きベクトルとを抽出するものとする。
【００４４】
以下の説明のため、所定の期間のフレーム群をビデオセグメントと呼ぶこととする。例えば、最も単純なビデオセグメントはイントラフレームから始まり、次のイントラフレームの直前のフレームで終了する単位と考えられる。または、より長い期間でイントラフレームからイントラフレーム直前フレームまでのフレーム群を一まとめにしたフレームセットと考えることもできる。ビデオセグメントの長さはビデオセグメント内のコンテンツの意味内容に従い、任意に設定されてよい。
【００４５】
本実施の形態１では、前記特徴抽出部３によって抽出された特徴量セットに基づいて、特徴記述子セット生成部４において、ビデオセグメントを記述するための特徴記述子セットを生成する（ステップＳ５）。以下、特徴量セットの抽出手順と特徴記述子セットの生成手順について詳しく説明する。
【００４６】
図５は、図２におけるＳ４の特徴抽出処理およびＳ５の特徴記述子生成処理を含めたトータルの特徴記述子セット生成手順を詳細に示すフローチャートである。
尚、特徴抽出部３に入力する画像データであるビデオビットストリームは、あらかじめ切り出されたビデオセグメントを単位とするビットストリームであってもよいし、複数のビデオセグメントに分けられる前のビデオプログラムのような長時間に渡るビットストリームでもよい。後者の場合、特徴抽出部３において、ビデオセグメントの単位を外部からの指示、もしくは適当な内部での識別処理により特定し、その単位で特徴抽出・特徴記述子セットを抽出するよう処理すればよい。以下では、基本となるビデオセグメント単位のビットストリームが入力される場合の処理について述べる。ビデオセグメントは、上述の通り、イントラフレームで始まる一連のフレームセットから構成されているものとする。特徴抽出は、フレームを単位として、イントラフレームとインターフレームとに分けて実施する。イントラフレームの場合は輝度・色差信号の直流成分、インターフレームの場合は動きベクトルを抽出する。
【００４７】
具体的には、まず、ステップＳ7においてフレームのヘッダ情報をサーチして当該フレームがイントラフレーム（I-frame）の場合は（ステップＳ７“Ｙ”）、ステップＳ8によりマクロブロックごとに各画素値の平均値マトリクスである輝度・色差信号の直流成分のデータを抽出する。図５において、マクロブロックの位置はフレーム上のラスタスキャン順でnで表し、位置nのマクロブロックの輝度信号の直流成分をDCY[n]、色差信号の直流成分をDCU[n]、DCV[n]と表す。ｎの最大値はフレームの水平・垂直画素数で与えられる。MPEG,H.26xシリーズなどの国際標準ビデオ符号化方式では、直流成分はマクロブロックを構成する各8x8画素のサブブロック単位で実施されるDCT（離散コサイン変換）の（0,0）位置のDC成分で表されるため、マクロブロック単位にこのデータをサーチして取り出せばよい。ただし、輝度信号については1マクロブロックあたり4つのサブブロックがあるため、輝度信号の直流成分としては4つのサブブロックのDC成分を平均した値とする。
【００４８】
次いでステップＳ9において、イントラフレーム対応の特徴量を累積する。このステップは、特徴記述子セット生成部４にて行われる。具体的には、DCY[n]、DCU[n]、DCV[n]をそれぞれ下式１に基づいて累積する。
【００４９】
【数１】
【００５０】
尚、avgYpre[n],avgUpre[n],avgVpre[n],stdYpre[n],stdUpre[n],stdV
[n]の各値は、抽出処理開始時にゼロにリセットしておく。
【００５１】
イントラフレーム中のすべてのｎについて抽出および累積の処理が終了したら（ステップＳ10“Ｙ”）、ビデオセグメント中のイントラフレーム出現数カウンタＮIをインクリメントし、次のフレームの処理に移る（ステップＳ11“Ｎ”）。ビデオセグメントの終了であれば（ステップＳ11“Ｙ”）、特徴記述子セット生成処理のステップＳ17に移る。
【００５２】
次にインターフレームの特徴量抽出について述べる。
ステップＳ7でイントラフレームでないと判断されると（ステップＳ７“Ｎ”）、ステップＳ12で前（片）方向予測のインターフレーム（P-frame）かどうかを調べる。ここで、P-frameとしたのは、MPEGでは、インターフレームとして、P-frameの他に、時間的に過去および未来のフレームの両方を参照して動き補償予測を行う両方向予測フレーム（B-frame）や、スプライトと呼ばれる全景画像からの変形合成で復号画像を復元するスプライト予測フレーム（ステップＳ-frame,S-VOP）などのフレーム符号化タイプがあり、これらとの区別を行うためである。ここでは、インターフレームとして、過去のフレームのみを参照して前（片）方向の動き補償予測を行うインターフレーム（P-frame）のみを対象とする。したがって、ステップＳ12でP-frameでないと判断された場合は（ステップＳ１２“Ｎ”）、特徴量の抽出を行わず、次のフレームの処理に移行する。
【００５３】
ところで、ステップＳ12でインターフレーム（P-frame）であると判断された場合には（ステップＳ12“Ｙ”）、特徴抽出部３において、フレーム内のすべてのマクロブロックの動きベクトルMV[n]を抽出する（ステップＳ13）。ここで、MV[n]は下式２で表される値とする。
【００５４】
【数２】
【００５５】
そして、ステップＳ14ですべてのマクロブロックについてMV[n]の抽出が終了したと判断されたら（ステップＳ14“Ｙ”）、ステップＳ15において、当該フレームに対応するインターフレームの特徴記述子セットを生成する。この処理は、特徴記述子セット生成部４にて行われる。
【００５６】
図６に、図５におけるステップＳ１５の特徴記述子セット処理の具体的な生成手順をフローチャートにより示す。まず、ステップＳ13の処理により1フレーム分蓄積されたMV[n]について、フレーム内の平均動き量として下式３の値を求める（ステップＳ15-1）。
【００５７】
【数３】
【００５８】
ただし、Nはフレーム内マクロブロック総数を示す。
つぎにステップＳ15-2において、各MV[n]に対して下式４の閾値処理を施す。
【００５９】
【数４】
【００６０】
こうして得られた新しい動きベクトル分布に対し、MV'[n]をラスタスキャン順にスキャンし、以下の動き分布を特徴づける量を求める（ステップＳ15-3）。
【００６１】
【００６２】
尚、図７からわかるように、short runが多いフレームでは動きの複雑度が大きく、広い範囲に動きが分布していることを示し、long runが多いフレームでは動きが局在化されていることを示す。
【００６３】
インターフレーム中のすべてのｎについて抽出および累積の処理が終了し（ステップＳ14“Ｙ”）、ビデオセグメント中のインターフレーム出現数カウンタＮpをインクリメントし、次のフレームの処理に移る（ステップＳ16“Ｎ”）。ビデオセグメントの終了であれば（ステップＳ16“Ｙ”）、特徴記述子セット生成処理のステップＳ17に移る。
【００６４】
以上の結果、ビデオセグメント中の各インターフレームについてその特徴記述子セット(ＣNp，Ｎsr，Ｎmr，Ｎlr）が得られる。これらはステップＳ17のビデオセグメントの特徴記述子セット生成のために、インターフレームのたびに累積される。
【００６５】
以上のように、各フレームごとの特徴抽出もしくは特徴記述子の生成をビデオセグメント中のすべてのフレームについて実施した後、最後にステップＳ17において、ビデオセグメントの特徴記述子セットを生成する。この処理も特徴記述子セット生成部４にて行う。
【００６６】
具体的には、イントラフレームについて、累積された特徴量avgYsum[n]、avgUsum[n]、avgVsum[n] 、stdYsum[n]、stdUsum[n]、stdVsum[n]と、ビデオセグメント内のイントラフレーム数ＮIとを用いて、下式５の特徴記述子セット（avgY[n], avgU[n], avgV[n], stdY[n], stdU[n], stdV[n]）を生成する。
【００６７】
【数５】
【００６８】
以上の結果、イントラフレームに関して、nx6個の特徴記述子セットが生成される。これらの特徴記述子セットの意味を図８を用いて説明する。
【００６９】
まず、各フレームにおいて各マクロブロックの直流成分を求めることは、図８における各マクロブロック位置の画像データの平均的な明るさと色とを時間方向にプロットした波形を得ることと同値である。すなわち、avgY[n]の時間系列は、各マクロブロック位置nにおける時間方向の明るさの変化を表し、avgU[n], avgV[n] の時間系列は各マクロブロック位置nにおける時間方向の色の変化を示す。また、stdY[n]は、図８の波形の平均（avgY[n]）からのバラツキの度合いを示し、stdU[n], stdV[n]もそれぞれ平均（avgU[n], avgV[n]）からのバラツキの度合いを示している。したがって、これらの特徴記述子セットは、イントラフレーム系列の明るさと色に関する時間的変化を特徴づける記述子と考えることができる。波形をそのまま記述子として保持するとビデオセグメントの長さに応じて際限なく記述子の数が増えてしまうが、以上の記述子を用いることで時間的変化の特徴を保持しつつ、ビデオセグメントの長さに依存せずに一定数の記述子によってビデオセグメントの明るさ、色に係る特徴を記述することが可能となる。
【００７０】
一方、インターフレームに関しては、各インターフレームごとに生成した特徴記述子セット(ＣNp，Ｎsr，Ｎmr，Ｎlr）をインターフレームの総数ＮPで平均する。よって、インターフレームについてはビデオセグメントあたり4つの特徴記述子セットが生成される。
【００７１】
さらに、特徴記述子セットは、検索に関して利便性が高くなるよう構造化して表現する。特徴記述子セットのデータ形式としては、属性リストと同様、例えばXML文書とする場合がある。
【００７２】
図９に、抽出された特徴量から特徴記述子セットを生成する処理の一例を示す。
図９に示すように、特徴抽出部３にてビデオビットストリームより抽出された特徴量セットは、DTDに従って特徴記述子セットであるXML文書に変換される。図９に示す特徴記述子セットには、上述した動きベクトルに関する特徴記述子セットと輝度・色差信号の直流成分に関する特徴記述子セットが含まれている。<MotionInfo>〜</MotionInfo>で囲まれた情報が動きベクトルに関する特徴記述子セットであり、(ＣNp，Ｎsr，Ｎmr，Ｎlr）のそれぞれがAverage, ShortRun, MediumRun, LongRunのタグで囲まれて記述されている。
【００７３】
また<ColourTexture>〜</ColourTexture>で囲まれた情報が輝度・色差信号の直流成分に関する特徴記述子セットであり、その中の<YDC>〜</YDC>で囲まれた情報が輝度信号の直流成分に関する特徴記述子セットであり、（avgY[n], stdY[n]）のそれぞれがAverage, Stdのタグで囲まれて記述されている。また同様に<UDC>〜</UDC>または<VDC>〜</VDC>で囲まれた情報が色差信号の直流成分に関する特徴記述子セットであり、それぞれの中でAverage, Stdのタグで囲まれて記述されている情報が（avgU[n],stdU[n]）, （avgV[n],stdV[n]）である。
【００７４】
また図９に示す特徴記述子セットには、上述した動きベクトルに関する特徴記述子セットおよび輝度・色差信号の直流成分に関する特徴記述子セットの他に、メディアに関する補助情報が含まれている。図９において<MediaInfo>〜</MediaInfo>で囲まれた情報がそれであり、MPEG-1やJPEG等の画像フォーマット（Format）、CD, DVD等の蓄積媒体の種類（Medium）、その他、カラー画像かモノクロ画像かといった色に関する情報や、画像サイズ、その他画像の表示に必要な端末能力の情報等の補助情報が含まれている。これらの情報は、検索した画像をユーザが再生、表示する際に必要であると同時に検索条件として指定することも可能である。また、補助情報には、画像が蓄積されているアドレスを示す情報が含まれている。図９の例では<Locator>〜</Locator>で囲まれた情報がそれであり、URLで指定している。
【００７５】
尚、図９に示す例以外の特徴記述子として、画像の意味的な特徴を記述した特徴記述子セット等がある。これは例えば、スポーツ映像に写っている選手の所属しているチーム名や、映像に写っている人物の関係等を表現する特徴記述子である。これらの情報はホームビデオやデジタル写真などを家庭内サーバに蓄積する例を想定する場合には、被写体が持つ意味的な特徴をユーザがテキスト情報として直接入力したり、またテレビ放送を家庭内サーバに蓄積する例を想定する場合には番組情報より自動的に抽出することができる。
【００７６】
さらに別の特徴記述子セットとして、インターフレームの特徴記述子セット(ＣNp，Ｎsr，Ｎmr，Ｎlr）に対して、ビデオセグメント内の平均だけでなく、その時間的変化の複雑さ、すなわち動きの推移に関する複雑さを表す指標として、前記イントラフレームの特徴記述子セットと同じように、ビデオセグメント内の分散（標準偏差）を算出して特徴記述子セットに加えてもよい。これにより、動きの推移に関しても時間的変化の特徴量を加えることが可能である。
【００７７】
さらに、イントラフレームの特徴記述子セットについて、インターフレームの特徴記述子セット生成と同様の処理を行って特徴記述子の数を削減することも考えられる。たとえば、各イントラフレームについて下式６の量(ＣY,NI，ＣU,NI，ＣV,NI）を求める。これらはそれぞれ、NI番目のイントラフレームに関する輝度の画面内平均、色差の画面内平均に相当する。
【００７８】
【数６】
【００７９】
これらの値をインターフレームにおけるＣNpと同様に用いて、画面内で輝度・色差に関して(Ｎsr，Ｎmr，Ｎlr）に該当する値を得ることが可能である。これらの値のセットは、いわば輝度・色差の空間内の分布の複雑さを記述する量であるといえる。これらを各イントラフレームの特徴記述子セットとし、ビデオセグメント内で平均、分散（標準偏差）をとることにより、ビデオセグメントトータルの記述子数を削減した記述も可能である。逆に、インターフレームの特徴記述子セットを、イントラフレームの特徴記述子のように、より詳細なマクロブロックの精度で時間的変化を含めて記述するようにしてもよい。
【００８０】
また、本実施の形態１で述べたイントラフレームのマクロブロック単位の特徴記述子セットにおいて、階層的な検索を実現するために、特徴記述子セットを、図１０に示すように上位レイヤから下位レイヤの階層的に生成して記述することも可能である。これにより、画面全体を対象とする大局的な輝度・色差の変化から、画面内のマクロブロックを単位とする局所的な輝度・色差の変化までを一括して記述可能であり、ニーズに応じた検索処理を実現可能である。さらに、階層数を別途指定すれば、特徴記述子セットとして目的にあった階層数分だけのデータを保持すればよいので、特徴記述子セットのデータ量も適宜調整することができる。
【００８１】
さらに、本実施の形態１におけるイントラフレームの特徴記述子セットの数は、マクロブロックの数に依存しているため、マクロブロック数の異なるビデオセグメントとは厳密な適合判定処理ができないが、この問題に対処するためには、検索元と検索先のそれぞれの画像データのマクロブロック数に応じて、適宜いずれかの特徴記述子セットを補間または間引いてマクロブロック数を合わせてからマッチングをとるようにすればよい。このようなケースは、様々な画像フォーマットのビデオコンテンツが混在するデータベースに対して検索をかける処理に該当するが、実質的なアプリケーション（例えば、デジタル放送など）では導入設備などの都合上、画像フォーマットがほぼ統一されることが多く、事例としては多くないと考えられる。なお、本実施の形態においては、特徴記述子セットの記述にXMLを用いたが、属性リストのときと同様に、特徴記述子セットも、XMLに限らず、予め定義されたデータ構造に基づいて記述されていればよい。
【００８２】
以上のようにして、ステップＳ５の処理により特徴記述子セット生成部４によって特徴記述子セットが生成されると、その生成された特徴記述子セットは、画像データとともに画像情報蓄積部５に蓄積される（ステップＳ６）。なお、特徴記述子セットと画像データとは、異なるデータベースに蓄積されることも可能である。この場合、特徴記述子セットに画像データの記憶位置を示すアドレスが含まれていればよい。図９に示す例においては、特徴記述子セットにLocatorという要素が含まれており、この要素の値にURLを設定している。
【００８３】
（２）画像検索部８の処理
次に画像検索部８の処理について説明する。
図１１に、画像検索部８の処理を示すフローチャートを示す。画像検索の処理は主に２つの処理からなる。属性リストに基づく検索と、特徴記述子セットによる特徴類似検索である。
【００８４】
先に、属性リストに基づく検索処理について詳述する。
まず、ユーザインタフェース部９を介してユーザから検索条件が入力する（ステップＳ18）。ここでは、例えば検索しようとする画像のカテゴリや、画像が作成された日時、画像の作成者等のテキスト情報を入力する。ユーザから入力されたテキスト情報は、検索処理部１０に渡され、検索処理部１０では、属性リスト蓄積部７に蓄積された属性リストと適合判定処理を行う（ステップＳ19）。例えば、ユーザからの検索条件として、画像の作成日時と画像の作成者とが指定された場合を考える。図３の例では、Date, Time, Authorのタグを探索し、タグに囲まれる値とマッチングをとればよい。
【００８５】
属性リストとの適合判定処理の結果、Date, Time, Authorのすべての要素が一致したビデオメールの属性情報があった場合は（ステップＳ19“Ｙ”）、適合結果であるDate, Time, Authorのすべての要素が一致したビデオメールの属性情報を属性リストから取り出し、表示部１１へ渡す（ステップＳ20）。このように、画像データの属性情報であるテキスト情報が構造化されて記述されているため、データ構造の定義に基づき、検索に必要な要素のみを取り出し、容易にマッチングをとることができる。
【００８６】
以上のステップＳ20，21の処理が属性リスト蓄積部７に蓄積されている属性リストの最後まで繰り返され（ステップＳ21“Ｎ”）、属性リストの最後まで終了すると（ステップＳ21“Ｙ”）、ステップＳ20の処理によりユーザからの検索条件に適合した属性情報はすべて表示部１１に渡されることになる。
【００８７】
蓄積されている属性リストの最後まで適合結果の転送処理が終了すると（ステップＳ21“Ｙ”）、表示部１１では、ユーザからの検索条件に適合した属性情報の一覧を表示する（ステップＳ22）。図３の例では、Date, Time, Authorの値がユーザから入力された値と一致した属性情報の一覧をテキスト情報として表示する。このとき、図３の例のようなXML文書で属性データが記述されている場合には、表示部ではXML文書をブラウザ上で表示可能なHTML形式に変換し表示すればよい。また、その際に属性情報にハイパーリンクを割り付けておくことで、次段のユーザアクセスを容易に行えるようにできる。画像データが映像データであって所定の表示面積がある場合は、属性情報と一緒に映像データのキーフレームを表示させ、キーフレームデータから映像データへのリンクを張っておけば、ユーザは直観的に映像データへのアクセスを行えるようになる。
【００８８】
以上述べたように、属性リストが予め決められたデータ形式により構造化されているため、ユーザ側ではデータ形式を定義したファイル（例えばDTD）により、属性リストのデータ構造を解析し、表示可能なデータ形式に容易に変更することができる。
【００８９】
次に、表示された属性リストの中に所望の画像の属性情報がある場合、ユーザは、インターフェース部９を介して再生指示を入力する（ステップＳ23）と同時に、再生したい画像の属性情報を選択する（ステップＳ24）。すると、検索処理部１０では、ユーザによって選択された画像の属性情報に含まれるアドレス（URL）から画像データを表示部１１へ転送し、表示部１１はその画像データの再生／表示を行う（ステップＳ25）。
【００９０】
一方、表示部１１に表示された属性リストの一覧の中に所望の画像の属性情報に一致はしないが、所望の画像の属性情報に近い属性情報がある場合、あるいは属性フレームとともに表示されているキーフレームが所望の画像に類似している場合は、ユーザは、インターフェース部９を介して類似検索指示を入力する（ステップＳ23）と同時に、類似検索に用いる所望の画像の属性情報に近い属性情報を選択する（ステップＳ26）ことにより、所望の画像と類似する画像を画像情報蓄積部５にて検索することができる。
【００９１】
つまり、ユーザによりインターフェース部９を介して類似検索指示が入力し（ステップＳ23）、続いて類似検索に用いる属性情報が選択されると（ステップＳ26）、検索処理部１０は、特徴記述子セットによる特徴類似検索を行ない、ステップＳ26により選択された画像の特徴記述子セットを画像情報蓄積部５より抽出して、画像情報蓄積部５に蓄積されている他の画像の特徴記述子セットとの適合判定処理を行う（ステップＳ27）。尚、以下の説明では、上述したように特徴量が動きベクトルや輝度・色差信号の直流成分に関する特徴記述子セットで記述されている場合を例にとり説明する。
【００９２】
図１２は、図１１におけるステップＳ２７の適合判定処理の一例を詳細に示すフローチャートである。
まず、ビデオセグメント内のインターフレームの特徴記述子である動きベクトルに関する４つの特徴記述子ＣNp，Ｎsr，Ｎmr，Ｎlrと、イントラフレームの特徴記述子である輝度・色差成分の直流成分に関するNmb個の特徴記述子avgY[n], avgU[n], avgV[n], stdY[n], stdU[n], stdV[n]のそれぞれについて、ステップＳ26により選択された画像の特徴記述子セットの各特徴記述子の値に基づいて閾値により規定した当該各特長記述子の所定の範囲内にあるか否かを比較し（ステップＳ27-1〜S27-11）、すべての特徴記述子の値が所定の範囲内の値をとる場合には適合であると判定し、それ以外の場合は不適合とする。
【００９３】
そして、適合であると判定された特徴記述子を持つ画像のアドレス情報（URL）は、表示部１１へ転送される（ステップＳ28）。以上のようにして、特徴記述子セットリスト中の全ての特徴記述子セットについて適合判定処理が終了するまで（ステップＳ29“Ｙ”）、同様に残りの特徴記述子セットとの適合判定処理を行う。
【００９４】
そして、特徴記述子セットリスト中の全ての特徴記述子セットについて適合判定処理が終了した場合（ステップＳ29“Ｎ”）、表示部１１は、適合であると判定された特徴記述子を持つ画像のアドレス情報に基づき画像情報蓄積部５から画像を取り出し、その画像を再生／表示する（ステップＳ22）。なお、動画像の場合には、適合であると判定された特徴記述子を持つ動画像のキーフレームのアドレス情報を表示部１１へ転送し、表示部１１はそのキーフレームを再生／表示する。そして、ユーザは、表示部１１に表示されたキーフレームの一覧から表示したい動画像をインターフェース部９により選択し（ステップＳ24）、動画像を再生／表示する（ステップＳ25）。尚、再度、類似検索したい画像を選択し（ステップＳ26）、上述したように類似検索を行う（ステップＳ27）ことも可能である。
【００９５】
従って、本実施の形態１の画像検索システムによれば、属性リストを参照しての属性情報に基づく検索を行った後に、特徴記述子に基づく検索を行うようにしたので、効率よく検索を行うことができる。
【００９６】
なお、ステップＳ27の適合判定処理については、他にも様々な方法が考えられる。つまり、上述した図１２の例では、すべての特徴記述子について均一な重みをつけて閾値との比較処理を行っているが、例えば動きに重点をおいて検索したい場合は、インターフレームの特徴記述子の比較処理の結果に重みをかけて最終的な結果を導くよう構成することもできる。さらに、図１２の例では一つ一つの特徴記述子についての比較結果をカスケード接続して最終的な結果を得ているが、全部の特徴記述子の比較処理を適切な正規化処理のもとで結合して、一括判定させるよう構成することもできる。これらの適合判定処理は、特徴記述子のデータを検索目的に応じてもっとも効率よく検索に利用できるよう調整することができる。
【００９７】
また、複数種類の特徴記述子を用いた検索では、あらかじめアプリケーション（検索システム、データベースなど）のタイプに応じて、適合判定処理（検索式）を記述子の形態で保持しておくことも考えられる。判定処理自体を標準的な記法に従って記述することにより、検索に使用する複数の特徴記述子をいかに検索に利用するかをアプリケーションに依存することなく記述することができるので、様々なタイプのアプリケーションを統一的に実装することができる。また、例えば、インターネットで接続され、まったく同様の特徴記述子を検索に利用する別のデータベース上のデータを共通の適合判定処理によって検索処理することも可能となる。適合判定処理の記述例としては、例えば、以下の（1）〜（5）に示すようなものが考えられる。
【００９８】
（1）複数の特徴記述子をどのように適合判定に利用するかを記述する。例えば、一括検索か、カスケード検索か等である。
（2）一括検索処理を行うにあたっての各特徴記述子の重要度に応じた重み係数を与える。
（3）一括検索を行うにあたって、各特徴記述子の正規化方法を与える。
（4）記述子を検索に使用する順序を与える。
（5）カスケード接続による検索の場合に、各特徴記述子によって得られる検索候補の数を与える。
（6）各特徴記述子の記述の精度（どれくらい正確に特徴を記述しているか）を示す値を与える。
（7）各特徴記述子のマッチングによって得られる検索候補を、それぞれANDして出力するか、ORして出力するかの判断基準を与える
【００９９】
これらの適合判定処理手順の記述子は、アプリケーション固有の固定的な記述であってもよいし、アプリケーションが許容する範囲においてユーザによるカスタマイズが可能となるよう構成することもできる。例えば、ユーザは検索利用可能な特徴記述子の種類をシステムから知らされ、それらの性質に応じて自らの好みを反映した独自の適合判定処理を記述子として更新できるようになれば、ユーザにとってより柔軟な検索処理を行うことができるようになる。このような検索システムのカスタマイズはある程度アプリケーション独自に実装することができるが、共通の標準的な記述フォーマットを用意することにより、広範なシステムの実装が容易になるほか、検索に利用可能なデータを異なるアプリケーション間で共有することも可能である。
【０１００】
また本システムの応用例として、本システムを監視システムに適用することが考えられる。例えば、監視カメラにより侵入者の監視を行う監視システムの場合、画像の動きの特徴量により、侵入者の検出が可能であるから、画像の動きの特徴量を記述したメタデータを監視画像ビットストリームとともにデータベースに登録し、属性リストには、監視画像が記録された日時等の情報を登録する。ユーザは記録された監視画像を再生する際に、検索キーとして、日時等のテキスト情報を入力し、さらに「侵入者」というキーワードを検索キーとして入力する。登録されたリストから検索画像候補を選択し、次に検索画像候補に付随するメタデータを検索し、侵入者のあったと思われる画像を表示する。ユーザは表示された画像から見たい画像を選択して再生することができる。さらに、一旦検索して得られた映像に対し、正確な記録日や記録時刻が不明な類似映像をさらに詳細に蓄積映像中から検索するような要求に対しても、特徴記述子セットを用いて映像間のマッチングをとることによりユーザに対して詳細な検索結果を与えることが可能となる。
【０１０１】
また、本システムの別の応用例として、携帯端末等に蓄積されたビデオメールや、ホームサーバに蓄積された放送番組から、ユーザが見たいメールあるいは放送番組を検索して再生するシステムに適用することが考えらる。属性リストは、ホームサーバに番組が録画された日時や番組情報から抽出された番組のタイトル、出演者等の情報から構成される。ユーザは見たい番組の情報を入力することにより検索を行うが、検索結果に所望の情報が得られない時には映像に付加された特徴記述子セットによる類似検索を行うこともできる。これにより正確な番組の情報を覚えていなくても映像に対する印象により検索することも可能となる。
【０１０２】
さらに、以上述べた特徴抽出部３、特徴記述子セット生成部４の動作や抽出される特徴量、生成される特徴記述子セットについては、他にも様々な例がある。例えば、図１２に示すように、特徴抽出部３がビデオ圧縮符号化部１２により圧縮符号化される前の非圧縮状態の画像データから特徴量を抽出して、それらを特徴記述子セット生成部４に受け渡す場合も考えられる。このような構成されたシステムの応用例としては、例えば、長時間の監視映像を圧縮しながら蓄積するシステムにおいて、カメラからのデジタイズされた入力映像に対して直接移動物体や侵入物などの特徴（色、形状、サイズ、動きの大きさ・方向など）を検出して特徴量として抽出し、特徴量記述子セット生成部４において特徴記述子セットを生成した後、ビデオ圧縮符号化部１２において圧縮符号化されるビデオセグメントに付加して蓄積するという運用形態が考えられる。この例では、画像データとしての詳細な特徴を保持した非圧縮映像について特徴量を抽出するので、圧縮データから特徴量を抽出する場合に比べてより詳細な特徴記述子（被写体の種類や軌跡の記述など）を生成できるという利点がある。一方、詳細な特徴記述子の生成には複雑な演算処理系が必要となり、特徴抽出部３、特徴記述子セット生成部４には、より高い演算性能が要求されることになる。
【０１０３】
このような系は、監視だけでなく、コストよりも品質・信頼性を重視する放送業務用途のビデオカメラにも適用可能である。その場合は、本実施の形態に述べたシステム全体が放送番組制作用の映像ライブラリシステムとして機能する。ビデオカメラから取得された映像の特徴記述子セットが記録された映像と一緒にデータベースに記録されることにより、映像自体の持つ類似性をキーとして効率的な素材検索を行うことが可能となる。また、パーソナルユースのビデオカメラにおいても、圧縮符号化の前に簡易な前処理機能を持たせることで、例えば人物の顔画像に関する特徴記述子を生成して、対応する映像と一緒に媒体（ビデオテープでもPCもしくはホームサーバ上のハードディスクでもよい）に記録できるようにしておけば、膨大な未整理映像の中から特定の顔に該当する映像を特徴記述子セットのマッチングによって検索することが可能となる。
【０１０４】
以上のいずれのアプリケーションにおいても、属性リストを用いることにより、複数の媒体やデータベースを記録映像の属性の観点から一元管理することができ、さらに検索候補となる映像の追加や削除などを属性リストのレベルで簡単に行うことができるようになるため、検索処理だけでなく、システムの構築自体を統一的かつ簡易に行うことができる。
【０１０５】
実施の形態２．
本実施の形態２では、特に動画像データに関して、動きや明るさ、色など、複数の種類の特徴記述子を組み合わせて特徴記述子セットを構成し、これらを検索のキーとして用いて、ユーザの意図する検索方針の反映等を可能にした画像検索システムおよび画像検索方法の具体例について説明する。尚、上記実施の形態１では、検索処理部１０をサーバ側に設けて説明したが、本実施の形態２の画像検索システムでは、検索処理部１０をサーバ側とクライアント側とに分けて、サーバ側とクライアント側とを２つのネットワークＡ，Ｂを介し接続したことを特徴の一つとするものである。
【０１０６】
図１５は、本実施の形態２の画像検索システムにおけるサーバ側の特徴部分の構成を示すブロック図である。つまり、図１５は、図１における特徴記述子セット生成部４の詳細な構成を示すと共に、検索処理部１０を2つの検索処理部１０Ａ，１０Ｂに分割したうちのサーバ側の検索処理部１０Ａの詳細ブロックを示し、かつ検索結果を再生するために必要なビデオ再生サーバ２１８とを示したものである。
【０１０７】
図１５において、２０１は圧縮ビデオデータ、２０２は特徴記述子抽出部、２０３は特徴記述子データ、２０４は特徴記述子信頼度算出部、２０５は特徴記述子信頼度、２０６は特徴記述子検索使用順序決定部、２０７は特徴記述子検索使用順序(サーチプライオリティ)データ、２０８は圧縮ビデオデータ格納位置情報、２０９は検索用記述データ生成部である。
【０１０８】
また、２１０は検索用記述データファイル、２１１は検索用記述データ解析部、２１２は解析された特徴記述子データ等、２１３は適合判定処理部、２１４は適合判定処理結果、２１５は検索結果符号化・伝送部、２１６は検索要求情報、２１７は検索結果情報、２１８はビデオ再生サーバ、２１９は再生要求情報、２２０は再生制御部、２２１は再生コンテンツ特定情報、２２２は再生するビデオコンテンツデータ、２２３はビデオデータ送信部、２２４は配信ビデオデータである。
【０１０９】
図１６は、本実施の形態２の画像検索システムにおける主にクライント側の特徴部分の構成を示すブロック図である。つまり、図１６は、図１における検索処理部１０を２つの検索処理部１０Ａ，１０Ｂに分割したうちのクライアント側の検索処理部１０Ｂの詳細ブロックを示すと共に、検索結果をユーザのために再生するビデオ復号・再生部、ユーザとのインタラクション、再生ビデオの表示などのために設けられたユーザインタフェース等を示す。
【０１１０】
図１６において、２２５はネットワークＡ、２２７は検索要求情報符号化・送信部、２２８は検索結果受信・表示部、２２９はユーザインタフェース部、２３０はユーザからの検索要求、２３１はユーザインタフェース部２２９に表示される検索結果、２３２はユーザ、２３３は検索結果再生要求、２３４は検索動画再生、２３５はビデオ再生制御部、２３７はネットワークＢ、２３９はビデオ復号・再生部である。
【０１１１】
尚、図１６に示すクライアント側の検索処理部１０Ｂ、ビデオ再生制御部２３５、およびビデオ復号・再生部２３９と、図１５に示すサーバ側の検索処理部１０Ａおよびビデオ再生サーバ２１８との間では、ネットワークＡ２２５，Ｂ２３７を介して、検索要求情報２１６、検索結果情報２１７、再生要求情報２１９および配信ビデオデータ２２４をやり取りする。ここで、ネットワークＡ２２５は、例えば、データ伝送の高速性よりも信頼性に重点を置いたネットワークを意味し、たとえば、TCP/IPなどのコネクションを意味する。また、ネットワークＢ２３７は、例えば、データ伝送の信頼性よりもリアルタイム伝送のための高速性を重視したネットワークを意味し、たとえば、RTP/UDP/IPなどのコネクションを意味する。
【０１１２】
また、図１６におけるユーザインタフェース部２２９は、図１におけるクライアントの部分に該当し、図１におけるユーザインタフェース部９と表示部１１を併せ持つクライアントアプリケーションを示すものとする。
【０１１３】
また、上述したように、図１５に示す構成は主としてサーバ側に設置されるコンポーネント、図１６に示す構成は主としてクライアント側に設置されるコンポーネントを意図している。これらの図からわかるように、本システムでは、実際の検索適合判定処理などの検索処理自体は検索処理部１０Ａによりサーバ側で行われることを想定し、クライアント側は検索処理に対するユーザの趣向などの要求情報を所定のルールにしたがって符号化してサーバ側に送信することにより、サーバがそれらの情報を解釈して検索処理に反映させることを想定する。
【０１１４】
このようなシステムとすることにより、多数の検索用のビデオ記述データを格納するファイルを、ネットワークを介してクライアント側に送信する必要がなくなり、ネットワーク使用効率を高めることができる。また、通常の検索結果の提示形態としては、いくつかの検索候補をユーザに提示する形が一般的であるが、検索結果情報として検索候補となったビデオデータすべてをクライアント側に伝送することなく、リアルタイムビデオ再生系と組合せることによって、ユーザが真に必要とする検索結果だけをクライアント側に伝送するようにすることができる。これもトータルのネットワーク使用効率を高める効果が得られる。
【０１１５】
本システムの検索処理の特徴として、複数のビデオ特徴記述子に対して、それぞれ記述の信頼性を示す数値を算出し、その値に応じて、検索に使用する順番を定め、それらの値を記述データの一部としてXMLファイルなどの検索用記述データに格納する点が挙げられる。また、この、検索に使用する順序に関する記述子は、検索に関するユーザの趣向などを反映するため、クライアントからのユーザ要求に応じて更新可能なデータとすることによって、複数のビデオ特徴記述子の組合せ検索のパラメータを与える記述子として機能させる。
【０１１６】
また、各特徴記述子の信頼性を示す数値は、各特徴記述子を検索に用いるステップでの検索結果絞り込み候補数などのシステムパラメータの決定に利用する。以下、特徴記述子を検索に使用する順序の記述子を「サーチプライオリティ」、各特徴記述子の信頼性を示す数値を「信頼度」と呼ぶ。両者の詳細な意味、使用方法は後述する。
【０１１７】
図１７に、本システムにおける検索用記述データ生成および検索処理のフローチャートを示す。以下、図１５〜１７に基づいて、本実施の形態２におけるシステムの詳細な動作を説明する。
【０１１８】
( １ ) 検索用記述データファイル２１０の生成（Ｓ３０〜Ｓ３３）
はじめに、検索用記述データを付加しようとする入力画像データとしての圧縮ビデオデータ２０１に対し、以下に述べる処理を行うことにより、検索用記述データファイル２１０の生成を行う。以下では、検索用記述データを生成する対象となる圧縮ビデオデータ２０１をビデオセグメントと呼ぶ。ビデオセグメントは、実施の形態１にも述べたように、任意の数のフレーム群から構成される単位ビデオデータを示す。したがって、ビデオセグメントは、たとえば１本のテレビプログラムやビデオソフトを示す場合もあるし（以下、このような場合を「ビデオプログラム」と呼ぶ）、テレビプログラム中の特定の意味内容に応じて分類されるシーン（以下、「ビデオシーン」と呼ぶ）や、シーンを構成する個々のカメラショット（以下、「ビデオショット」と呼ぶ）などを示す場合もある。これらはフレーム数の観点から言えば、異なるフレーム数を持つビデオセグメントである。
【０１１９】
（１ - １）検索用記述データの構成
図１８に、本実施の形態２における検索用記述データファイル２１０を構成する検索用記述データの構造の記述例を示す。具体的には、検索用記述データは、ビデオプログラム２４０を最上位階層とし、ビデオプログラム２４０を構成するビデオシーン（図では、「シーン」と略す）２４３群を次の階層とし、さらに各シーン２４３を構成するビデオショット（図では、「ショット」と略す）２４４群を最下位階層として構成される。尚、図上では、ビデオセグメント(ビデオプログラム２４０、ビデオシーン２４３、ビデオショット２４４)、サーチプライオリティ２４１、および信頼度２４２は“□”で示している一方、各ビデオセグメント、特にビデオショットを記述する特徴記述子２４５〜２４９群を“○”で示している。本システムでは、ビデオショット２４４に関する以下の特徴記述子２４５〜２４９のセットを生成する。
【０１２０】
・動き量２４５
ビデオセグメント中の動きベクトルの大きさに関する特徴記述子である。
・動き方向２４６
ビデオセグメント中の動きベクトルの方向に関する特徴記述子である。
・動き分布２４７
ビデオセグメント中の動きベクトルの画面内分布に関する特徴記述子である。
・明るさ２４８
ビデオセグメント中の平均的な明るさに関する特徴記述子である。
・代表色２４９
ビデオセグメント中の代表色に関する特徴記述子である。
【０１２１】
尚、各階層２４０〜２４４および特徴記述子２４５〜２４９には、後述する信頼度２４２が設定される。
【０１２２】
また、サーチプライオリティ２４１については、最上位階層のビデオプログラム２４０に対して１つ付加する。
【０１２３】
各特徴記述子に代表される特徴量は、その検索使用順序が変わることによって異なった結果を返す。この例では、多くの初期データベースの段階から、動き量的によく適合するビデオセグメントがはじめに絞り込まれるので、最終的にユーザに提示される検索結果には、確実に動き量の観点で類似度の高い結果が得られることが期待される。こういった情報をビデオセグメントに対して付与することにより、ユーザは常にサーチプライオリティ２４１の情報に基づいた検索結果を得ることができ、さらにユーザがこの情報を動的に変更することを可能にすることにより、ユーザの意図に応じた検索結果を柔軟に引き出すことが期待できる。
【０１２４】
また、本実施の形態２では、ビデオプログラム２４０中のある特定のビデオショット２４４に対し、類似する他のビデオショット２４４を同一ビデオプログラム２４０中から検索する処理を想定するため、サーチプライオリティ２４１は、ビデオプログラム２４０に対して１つ付加することとし、ビデオシーン２４３やビデオショット２４４の階層に相当するビデオセグメントには付与しないものとする。
【０１２５】
次に、各特徴記述子に設定される信頼度２４２について説明する。信頼度２４２とは、たとえば動き量に関する特徴記述子を例にとると、その記述子がビデオコンテンツの動き量をどれだけ正確に記述できているかを客観的な数値として表現するものである。数値化の方法については、各々の特徴記述子の生成に関する説明の項目で詳述する。本実施の形態２では、信頼度２４２は、ビデオショット２４４の個々の特徴記述子２４５〜２４９等に対して算出および付与される信頼度２４２Ｃと、各ビデオシーン２４３に対し付与される各ビデオシーン２４３を構成する全ビデオショット２４４の信頼度の値の平均値である信頼度２４２Ｂと、ビデオプログラム２４０に対し付与される当該ビデオプログラム２４０を構成する全ビデオシーン２４３の信頼度の値の平均値である信頼度２４２Ａとがある。検索用記述データを構成する各要素に付与された以上の信頼度２４２は、主にサーチプライオリティ２４１の初期設定と、検索処理段階でのパラメータ設定に利用する。詳細は後述する。
【０１２６】
（１ - ２）検索用記述データ生成処理
( １ - ２ - １ ) 特徴記述子の生成処理（Ｓ３０ )
個々の特徴記述子の生成は、まず、特徴抽出部３が特徴記述子の生成に必要な動きベクトルやDC成分値などの画像特徴量を圧縮ビデオデータ２０１中から抽出し、これらに基づいて特徴記述子生成部２０２が各特徴記述子の生成を行う（Ｓ３０)。以下、各特徴記述子の生成方法の詳細について述べる。
【０１２７】
(a) 動き量に関する特徴記述子２４５
ビデオセグメント中のk番目のインターフレーム(P-frame)に対し、下式に従い、フレーム内のすべてのマクロブロック(1≦n≦N；Nはフレーム内マクロブロック総数)の動きベクトルＭＶk[n]の大きさＣk[n]を抽出する。
【０１２８】
【数７】
【０１２９】
次いで、１フレーム分蓄積されたＣk[n]について、以下の平均値および分散を求める。
【０１３０】
【数８】
【０１３１】
【数９】
【０１３２】
以上の結果、インターフレームkの動き量に関する特徴記述子のデータセット(Ｃk avg，σk 2)が得られる。さらに、ビデオセグメントあたりの値を得るため、ビデオセグメント内のインターフレームの総数で平均をとる。
【０１３３】
(b) 動き方向に関する特徴記述子２４６
各インターフレームにおいて、動きベクトルＭＶk[n]の角度Ａk[n]を下式で求める。角度はDegree表記とする。
【０１３４】
【数１０】
【０１３５】
一方、イントラマクロブロックでは、Ａk[n]=0とする。１フレーム分蓄積されたＡk[n]について、下式により平均をとる。さらに、ビデオセグメントあたりの値を得るため、ビデオセグメント内のインターフレームの総数で平均をとる。
【０１３６】
【数１１】
【０１３７】
(c) 動き分布に関する特徴記述子２４７
(a)においてインターフレームkについて求めた各動きベクトルＣk[n]に対して、以下の閾値処理を施す。
【０１３８】
【数１２】
【０１３９】
こうして得られた新しい動きベクトル分布に対し、Ｃk '[n]をラスタスキャン順にスキャンし、以下の動き分布を特徴づける量を求める。
【０１４０】
【０１４１】
尚、実施の形態１でも説明したが、図７からわかるように、short runが多いフレームでは動きの複雑度が大きく、広い範囲に動きが分布していることを示し、long runが多いフレームでは動きが局在化されていることを示す。
【０１４２】
そして、さらに、ビデオセグメントあたりの値を得るため、ビデオセグメント内のインターフレームの総数で平均をとる。
【０１４３】
(d) 明るさに関する特徴記述子２４８
イントラフレームの輝度信号成分に含まれる各マクロブロックの直流(DC)成分のヒストグラムを用いる。DC成分は０〜２５５の範囲の値とし、その範囲を１６個のサンプルへ量子化し、各サンプルに対してヒストグラムを求める。イントラフレームごとに求めたヒストグラムを各サンプルごとにビデオセグメント中の全イントラフレーム数で平均する。最後に、下式により、全イントラフレーム(N枚)の平均をとる。
【０１４４】
【数１３】
【０１４５】
(e) 代表色に関する特徴記述子２４９
イントラフレームの輝度および色差信号成分に含まれる各マクロブロックの直流(DC)成分のヒストグラムを用いる。DC成分は０〜２５５の範囲の値とし、その範囲を１６個のサンプルへ量子化し、各サンプルに対してヒストグラムを求める。イントラフレームごとに求めたヒストグラムを各サンプルごとにビデオセグメント中の全イントラフレーム数で平均する。最後に、下式により、全イントラフレーム(N枚)の平均をとる。
【０１４６】
【数１４】
【０１４７】
( １ - ２ - ２ ) 信頼度の算出処理（Ｓ３１ )
次いで、特徴記述子信頼度算出部２０４において、Ｓ３０で求めた各特徴記述子２４５〜２４９に対する特徴記述子信頼度２４２(図１５における特徴記述子信頼度２０５と等価)を算出する（Ｓ３１)。各特徴記述子ごとの算出方法を以下に述べる。
【０１４８】
(a) 動き量２４５に関する特徴記述子
ビデオセグメント内の全インターフレームについて(Ｃk avg，σk 2)の抽出を行った後、個々の要素に対して、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度を基準とするビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、(Ｃk avg，σk 2)に対する各信頼度の平均値とする。
【０１４９】
(b) 動き方向２４６に関する特徴記述子
ビデオセグメント内の全インターフレームについてＡk avgの抽出を行った後、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。
【０１５０】
(c) 動き分布２４７に関する特徴記述子
ビデオセグメント内の全インターフレームについて(ＳＲk,ＭＲk,ＬＲk)の抽出を行った後、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、(ＳＲk,ＭＲk,ＬＲk)に対する各信頼度の平均値とする。
【０１５１】
(d) 明るさ２４８に関する特徴記述子
各ヒストグラムサンプルごとに、最終的に得られるビデオセグメントとしての値と各フレームの値との間の差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、各ヒストグラムサンプルに対する信頼度の平均値とする。
【０１５２】
(e) 代表色２４９に関する特徴記述子
各色空間の各ヒストグラムサンプルごとに、最終的に得られるビデオセグメントとしてのヒストグラムと各フレームのヒストグラムとの間の差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、各ヒストグラムサンプルに対する各信頼度の平均値とする。
【０１５３】
( １ - ２ - ３ ) サーチプライオリティ２４１の設定処理（Ｓ３２）
ビデオプログラム２４０中に含まれるすべてのビデオショット２４４に対して特徴記述子２４５〜２４９および信頼度２４２の算出が終了した後、特徴記述子検索使用順序決定部２０６において、ビデオプログラム２４０に対するサーチプライオリティ２４１の初期設定を行う（Ｓ３２)。初期設定方法はシステムの設計に応じて自由に規定することが可能であるが、本実施の形態２では、ビデオプログラム２４０中の全特徴記述子の信頼度２４２Ａに基づいて決定する。ビデオプログラム２４０の各特徴記述子の信頼度２４２Ａをk、ビデオシーンmの各特徴記述子の信頼度２４２Ｂをk(m)、ビデオシーンm中のビデオショットnの各特徴記述子の信頼度２４２Ｃをk(m,n)とすると、これらk、k(m)、k(m,n)の間には、下式の関係が成立することにとなる。
【０１５４】
【数１５】
【０１５５】
【数１６】
【０１５６】
従って、kの値が大きい特徴記述子ほど、ビデオプログラム２４０中でより良いコンテンツ記述を与えるものと考えられるため、k値の大きいものから順に、サーチプライオリティ２４１を決定する。
【０１５７】
( １ - ２ - ４ ) 検索用記述データファイル２１０の書き出し（Ｓ３３）
以上の処理過程を経て、最後に検索用記述データ生成部２０９において、図１８の構造に従って圧縮ビデオデータ２０１の時空間構造に関連付けて、ビデオプログラム、ビデオシーン、ビデオショットの全特徴記述子ならびにサーチプライオリティ、信頼度を、XMLファイルなどの形式に書き下すことにより検索用記述データファイル２１０を生成し、生成した検索用記述データファイル２１０を画像情報蓄積部５へ出力して格納する（Ｓ３３)。なお、この過程では、生成された検索用記述データファイル２１０がどのビデオデータを記述するものかを参照できるようにするため、圧縮ビデオデータ格納位置情報２０８も一緒にファイル化して検索用記述データファイル２１０として画像情報蓄積部５へ出力することにより、ファイルを解析することにより記述対象となったビデオデータの所在を特定できるようにしている。
【０１５８】
( ２ ) 検索処理
次に、クライアント側からユーザが指定するクエリー(検索元ビデオショット)に対して行う検索処理について詳述する。検索処理は、図１５に示す検索処理部１０Ａ、および図１６に示す検索処理部１０Ｂによって実行される。
【０１５９】
検索処理部１０Ａは、クライアント側から送信される検索要求情報２１６を解釈して、クエリーを特定し、画像情報蓄積部５に格納された検索用記述データファイル２１０を用いた適合判定処理によって所定の検索結果を求め、所定のルールで検索結果情報２１７を符号化し、クライアント側に返送する。
【０１６０】
検索処理部１０Ｂは、ユーザからの検索要求をユーザインタフェース部２２９から受け入れ、それを所定の手順に従って検索要求情報２１６として符号化してサーバ側の検索処理部１０Ａへ送信するとともに、サーバから所定のルールに従って送信された検索結果情報２１７を受信し、ユーザに提示できる形に変換し、ユーザインタフェース部２２９上に表示する処理を行う。
【０１６１】
本実施の形態２では、図１８に示すように記述されたビデオプログラム２４０中の特定のビデオショット２４４を検索元ビデオセグメント（クエリー）として、同じビデオプログラム２４０中からクエリーに類似するビデオショットを検索する状況を想定する。
【０１６２】
クエリーとなるビデオショットの特定方法については、様々なケースが考えられる。例えば、ビデオプログラムを制作する側があらかじめ検索のキーとなるようなビデオショットをクエリーとして登録しておき、それをユーザに提示していずれかを指定させる方法や、ビデオプログラムを視聴するユーザが任意の場所で再生を停止し、その時点のビデオショットをクエリーとして指定するなどが考えられる。以下では、クエリーが特定された後の検索処理について詳述する。
【０１６３】
( ２ - １ ) クエリーの特定と検索用記述データの解析（Ｓ３４〜Ｓ３６）
ユーザは、まず、ユーザインタフェース部２２９上に提示されたクエリーリストなどから検索元となるクエリーを選定する（Ｓ３４)。クエリーリストとしては、あらかじめサーバ側の画像情報蓄積部５から、クエリー候補のビデオセグメントを代表するキーフレームなどのデータをユーザインタフェース部２９に提示しておく形式などを想定する。
【０１６４】
検索処理部１０Ｂは、検索要求情報符号化・送信部２２７において、ユーザから指定されたクエリーをサーバ側で特定するための情報を検索要求情報２１６として検索処理部１０Ａに送信する。これは、例えば、ビデオプログラムおよびその構成要素であるビデオショットの時系列番号であったり、適当なIDデータであればよい。また、このようなコンテンツ特定情報は、もともと検索用記述データファイル２１０の中にコンテンツへのリンク情報として記述されており、ユーザにクエリーリストを提示する際にコンテンツ特定情報を付加してクライアントに送信するという構成にすることもできる。
【０１６５】
すると、検索処理部１０Ａでは、検索処理部１０Ｂから送られる検索要求情報２１６を検索用記述データ解析部２１１が受け取り、検索用記述データ解析部２１１は、受信した検索要求情報２１６に基づいてクエリーとなるビデオショットに関する検索用記述データファイル２１０を特定し、それを解析して特徴記述子などのデータを抽出する（Ｓ３５)。
【０１６６】
また、検索用記述データ解析部２１１は、クエリーが属するビデオプログラムのサーチプライオリティ２４１と、各ビデオシーンの信頼度２４２Ｂのデータをあらかじめ抽出して、適合判定処理部２１３へ引き渡しておき、クエリーに関する特徴記述子などのデータを適合判定処理部２１３に引き渡した後、クエリーが属するビデオプログラム中の各ビデオショットに対応する検索用記述データファイル２１０を順次解析して、適合判定処理部２１３に引き渡す（Ｓ３６)。
【０１６７】
なお、検索用記述データファイル２１０の構成方法は任意であり、ビデオプログラム２４０内のすべてのビデオショット２４３の検索用記述データが１つのファイル内に格納されていてもよいし、個々のビデオショット２４４ごとにファイル分割されていてもよい。後者の場合は、ビデオプログラム２４０の記述データファイル２１０から個々のビデオショット２４４の記述データファイルを特定するリンク情報が含まれていればよい。
【０１６８】
( ２ - ２ ) 検索ルールの決定および適合判定処理（Ｓ３７〜Ｓ３８ )
適合判定処理は、検索処理部１０Ａの適合判定処理部２１３にて行われ、その動作は大きく分けると、検索ルールの決定と、各特徴記述子による適合判定処理に分類される。
【０１６９】
(２ - ２ - １ ) 検索ルールの決定
適合判定処理部２１３は、検索用記述データ解析部２１１より受け取ったビデオプログラムのサーチプライオリティ２４１と、ビデオシーンの信頼度２４２Ｂのデータとに基づき、検索ルールおよび検索のためのパラメータを設定する（Ｓ３７)。本実施の形態２では、後述する図１９に示すようにサーチプライオリティ２４１に基づいて各特徴記述子を検索に使用する順序を検索ルールとして決定し、その次に、信頼度に基づいて、以下の検索パラメータを決定する。
【０１７０】
(a) 各特徴記述子による検索ステップにおける検索候補数
まず、検索結果としてユーザに返信する最終検索結果数Ｔを定める。これはシステムがデフォルト値としてもっていてもよいし、ユーザ要求としてユーザインタフェース部２２９→検索処理部１０Ｂ→検索処理部１０Ａという順に受け渡されて設定されるようにしてもよい。検索エンジンは、各ビデオシーンについてＴ個以下の検索結果を求め、検索候補となった全ビデオシーン中の全ビデオショットのうち、適合判定結果の上位Ｔ個のビデオショットを最終的な結果としてユーザに返すものとする。
【０１７１】
ビデオシーンmの検索時における検索候補数Ｔkを、信頼度k(m)に基づき、以下のように決定する。
【０１７２】
【数１７】
【０１７３】
ここで、Ｐkは、K(1≦k≦5)番目の特徴記述子のサーチプライオリティ(1≦Ｐk≦5)である。この設定により、各特徴記述子をサーチプライオリティの順序で検索する各ステップにおける検索候補数Ｔkが決定される。基本的に各検索ステップごとに検索候補数Ｔkが絞られていくので、検索処理を高速化することができる。場合によってはこのような検索によりユーザの真に期待するビデオショットをある検索ステップで見落としてしまう可能性もあるため、各検索ステップの検索候補数は一定として、そのなかでの最終検索候補の決定に際して信頼度を利用する方法も考えられる。
【０１７４】
（ b ）閾値処理に基づく検索スキップ判定
各ビデオショットの適合判定処理の際、下式の条件を満たすビデオショット、すなわちサーチプライオリティの最も高い特徴記述子の信頼度が極端に低いビデオショットは、検索条件に見合わないものとして適合判定処理の候補から外すものとする。信頼度は０に近いほど信頼性が低く、１００に近いほど信頼性が高いとみなすので、下式のＴＨは適当に小さな値を設定しておけばよい。
【０１７５】
【数１８】
【０１７６】
本判定により、明らかに検索結果候補として適当でないビデオショットを適合判定処理を行う前に除外することができ、検索処理の高速化を図ることが可能である。
【０１７７】
尚、本実施の形態２の説明では、サーチプライオリティの最も高い特徴記述子を判定に用いることとしたが、これ以外にも信頼度を用いた様々なスキップ判定方法を実現可能である。また、本実施の形態２の判定は、各ビデオショットに対する適合判定処理を行う際に、ビデオショットごとに行われる。
【０１７８】
( ２ - ２ - ２ ) 各特徴記述子の適合判定処理
以下の基準に基づいて、各検索ステップにおいてサーチプライオリティ２４１によって定められる特徴記述子の適合判定処理を行う。（Ｓ３８)
【０１７９】
(a) 動き量に関する特徴記述子
個々のデータ間のユークリッド距離をすべて加算する。各データ要素の値域の違いを吸収するため、正規化処理を行う。クエリーをＳq、検索先ビデオショットをＳとし、ＳqとＳとの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８０】
【数１９】
(b) 動き方向に関する特徴記述子
クエリーＳq、検索先ビデオショットＳの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８１】
【数２０】
【０１８２】
(c) 動き分布に関する特徴記述子
クエリーＳq、検索先ビデオショットＳの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８３】
【数２１】
【０１８４】
(d) 明るさに関する特徴記述子
クエリーＳq、検索先ビデオショットＳの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。ただし、Ｈi(Ｓ)をI番目のサンプルのヒストグラム値とする。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８５】
【数２２】
【０１８６】
(e) 代表色に関する特徴記述子
クエリーＳq、テストＳの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。ただし、[Ｈi Y(Ｓ),Ｈi U(Ｓ),Ｈi V(Ｓ)]をi番目のサンプルのヒストグラム値とする。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８７】
【数２３】
【０１８８】
図１９に、適合判定処理部２１１におけるサーチプライオリティ２４１によって定められる特徴記述子の適合判定処理の一例を示す。例えば、ビデオセグメントあたり３つの特徴記述子D1〜D3があるとする。サーチプライオリティPk（Kは自然数）は、各特徴記述子Dkが検索に使用される順序を規定する値である。例えば、D1が動き量、D2が動き分布、D3が明るさに関する特徴記述子であるとすると、図１９の例では、適合判定処理部２１１は、クエリー(検索元ビデオショット)２５０に対し、動き量に関する特徴記述子D1を最初に用いて適合判定処理２５１を行い、検索用記述データ解析部２１１から転送される画像情報蓄積部５に格納されていた多数のデータベース２５７の中から、動き量の観点で類似度が高くよく適合するビデオセグメントデータを絞り込む。その絞り込み結果２５２に対して、動き分布に関する特徴記述子D2を用いて適合判定処理２５３を行い、動き分布の観点で類似度が高くよく適合するビデオセグメントデータを絞り込み、さらにその結果２５４に対して、明るさに関する特徴記述子D3を用いて適合判定処理２５５を行い、明るさの観点で類似度が高くよく適合するビデオセグメントデータを絞り込み、最終結果２５６(図１５における適合判定処理結果２１４と等価)を得る。
【０１８９】
( ２ - ３ ) 検索結果の提示とユーザフィードバックに基づく再検索（Ｓ３９〜Ｓ４１）
以上の検索ルールと適合判定処理に基づいて選択されたＴ個の検索結果のビデオショットに関して、その情報をユーザインターフェース部２２９によりユーザ２３２に提示する（Ｓ３９)。提示の方法は任意であるが、本実施の形態２では、例えば、最初にクエリーリストを提示したように、検索結果のビデオショットを代表するキーフレームデータやビデオショットの属性情報（ビデオショット内の被写体の名前など）を所定のルールに基づいて符号化して検索結果情報２１７としてクライアント側の検索処理部１０Ｂに送信し、検索処理部１０Ｂの検索結果受信・表示部２２８がサーバ側から送信されるキーフレームデータや属性情報を符号化した検索結果情報２１７を受信して、ユーザインタフェース部２２９に表示可能な形式に変換してユーザインタフェース部２２９に引き渡す。以上の処理を経ることによって、ユーザ２３２は、検索結果をユーザインタフェース部２２９上に見ることができる。
【０１９０】
次いで、ユーザフィードバックに基づく再検索の手順について説明する。
ユーザは、最初はサーチプライオリティ２４１や信頼度２４２などに基づいて上記のように定められる検索ルールに従って得られた検索結果を確認するが、この結果がユーザの主観上、期待されるものと異なる場合が考えられる。そのような場合に柔軟に対処するため、本実施の形態２では、ユーザがサーチプライオリティを変更し、その変更値に基づいて再検索を行うことが可能となるようシステムを構成する（Ｓ４０)。
【０１９１】
図２０に、ユーザが特に着目したい主観的な意味と、特徴記述子との関連の一例を示す。同図からわかるように、特定の被写体が一定方向に移動するビデオショットをユーザがクエリーとして選択した際、検索結果として特に「動きの方向という特徴に対して類似するビデオショット」を期待していることが多いと考えることができる。しかし、最初の初期設定では、サーチプライオリティが信頼度に基づいて決定されるので、必ずしもこのような主観的な重み付けが検索過程に反映されていない可能性がある。
【０１９２】
そこで、図２０に示されるような主観的意味をユーザが検索処理に反映できるよう、ユーザインタフェース部２２９等を介してサーチプライオリティ２４１を変更できるように構成する。例えば、上記の例で、ユーザ２３２は「動き方向の特徴記述子に関するサーチプライオリティをより高い値に設定する」ことを可能にする。このようにすることによって、検索処理は動き方向の特徴記述子の適合判定処理を先行して行うことになるので、最終的な検索結果に「動き方向」のファクタがより反映されやすくなる。
【０１９３】
ユーザ２３２によって更新されたサーチプライオリティ２４１は、検索要求情報符号化・送信部２２７によって所定のルールで符号化され、検索要求情報２１６の一部として、ネットワークＡ２２５を介し、サーバ側の検索処理部１０Ａにおける検索用記述データ解析部２１１へ送信される。
【０１９４】
検索用記述データ解析部２１１は、送られたサーチプライオリティ２４１の更新値を以降の検索処理に再利用できるよう、検索用記述データファイル２１０におけるビデオプログラム２４０に対応するサーチプライオリティ２４１の値を当該更新値によってアップデートする（Ｓ４１)。
【０１９５】
また、検索用記述データ解析部２１１は、一連の検索処理が終了した時点で、その時点で最新のサーチプライオリティ２４１の値を更新した状態で、検索用記述データファイル２１０を画像情報蓄積部５に再保存する。
【０１９６】
このような構成をとることにより、ユーザは、同じビデオプログラムを再度同様の基準で検索する場合に、過去のユーザの主観要求を反映した形で再検索を行うようにすることができる。
【０１９７】
また、複数の異なるユーザ２３２がシステムを利用するような場合、検索用記述データファイル２１０は、個々のユーザ２３２ごとにサーチプライオリティ２４１を格納可能なファイル構成とすることも考えられる。こうしておくことにより、適当なユーザ認証の手続きを組み込むことによって、個々のユーザ２３２に適した検索ルールを適宜再現することが可能となる。
【０１９８】
以上のようにして更新されたサーチプライオリティ２４１を用いて、Ｓ３７以降の検索処理を繰り返すことにより、再検索が行われることになる。これで図１７に示す本システムにおける検索用記述データ生成および検索処理が終了する。
【０１９９】
（３）ビデオショット再生処理
以上述べた動作により、ユーザは所望の検索結果をユーザインタフェース部２２９上に引き出すことが可能となる。しかし、一般に検索結果は複数の検索候補を提示するものであり、それらをすべてビデオデータとして表示するにはサーバ側からクライアント側へ多量の情報伝送が必要となる。そこで、上述したように、ユーザインタフェース部２２９としては、ビデオショットを代表するキーフレームのようなデータを提示して、そこから選択的に映像再生が可能となるよう構成することにより、トータルの情報伝送量を効果的に削減することが可能である。そのようなシステム構成とするため、本実施の形態２では、図１５および図１６に示すビデオ再生サーバ２１８、ビデオ復号・再生部２３９、再生制御部２３５等を導入したものである。ユーザ２３２は、本機能を選択したビデオショットやビデオプログラムを再生するために利用する。
【０２００】
次に、ユーザ２３２による本機能を選択したビデオショットやビデオプログラムを再生動作について説明する。
【０２０１】
まず、ユーザ２３２がユーザインタフェース部２２９上に提示されたキーフレームにより再生したいビデオショット２４４やビデオプログラム２４０を選択すると、その選択情報が検索結果再生要求２３３としてユーザインターフェース部２２９からビデオ再生制御部２３５へ出力される。
【０２０２】
ビデオ再生制御部２３５では、所定の手順でその検索結果再生要求２３３を再生要求情報２１９に変換し、ネットワークＡ２２５を介してサーバ側のビデオ再生サーバ２１８の再生制御部２２０に送る。
【０２０３】
再生制御部２２０では、再生要求情報２１９にコンテンツを特定するコンテンツ特定情報などを含めた再生コンテンツ特定情報２２１を生成するようにする。このような再生コンテンツ特定情報２２１は、もともと検索用記述データファイル２１０の中にコンテンツへのリンク情報として予め記述されており、ユーザに対し検索結果情報２１７を提示する際に、検索結果情報２１７にそのコンテンツ特定情報を付加してクライアント側に送信しておき、再生要求情報２１９として利用するという構成にすることもできる。
【０２０４】
そして再生制御部２２０は、受信した再生要求情報２１９に基づく再生コンテンツ特定情報２２１を画像情報蓄積部５へ送り、画像情報蓄積部５から再生対象のビデオコンテンツデータ２２２を特定し、特定した再生対象のビデオコンテンツデータ２２２をビデオデータ送信部２２３へ送出する。
【０２０５】
ビデオデータ送信部２２３では、再生対象のビデオコンテンツデータ２２２をリアルタイム配信可能なデータ形式の配信ビデオデータ２２４に変換した後、ネットワークＢ２３７へ送出する。
【０２０６】
尚、ビデオデータ送信部２２３は、このような高速性を重視するネットワークＢ２３７に対してビデオデータを送出するにあたって、網内もしくはクライアント側で信頼性を確保することを可能とするためのデータ形式への変換を行うようにしても良い。例えば、ビデオデータをビデオのフレームを単位に分割し、その単位でタイムスタンプを付与したり、伝送単位のパケットに対する優先度の情報を付加したりすることなどが考えられる。
【０２０７】
一方、クライアント側は、高速なネットワークＢ２３７を通じて送られてくる配信ビデオデータ２２４を、ビデオ復号・再生部２３９が受信して、別途ビデオ再生制御部２３５から渡される再生に必要な制御情報２６２に基づいて、ユーザインタフェース部２２９上にビデオ再生を行う。その際、ビデオ復号・再生部２３９およびビデオ再生制御部２３５は、伝送上の問題で伝送データの信頼性が低くなっているような場合は、適宜、再生品質を補うための品質管理制御を行うようにする。
【０２０８】
以上のように、本実施の形態２の画像検索システムおよび検索方法によれば、サーバ・クライアント型のシステム構成をとることによって、ローカルな環境だけでなく、IP網などの分散ネットワーク環境においてもビデオデータを効率的に検索・配信できる。
【０２０９】
また、サーチプライオリティ２４１と信頼度２４２を検索用記述データとして画像情報蓄積部５に格納することにより、検索システムがそれらの値に基づいて共通的な検索ルールの決定指針を定めることができる。
【０２１０】
また、サーチプライオリティ２４１の更新機能により、ユーザがビデオコンテンツの主観的な意味に基づいた優先付け検索を行うことができる。
【０２１１】
さらに、特徴記述子の信頼度に基づく適合判定処理のスキップ制御により、検索処理速度を高速化することができ、システム効率を向上させることができる。
【０２１２】
なお、上記実施の形態１，２では、扱うメディアはビデオデータのみとして述べてきたが、本発明では、これに限らず、別途、音声・オーディオデータなどが付加されたビデオデータについても同様の構成でシステムを構築することができる。また、オーディオデータに関して別途特徴記述子をベースとした検索系を用意してもよく、また、オーディオデータについては単にビデオデータに付随しており検索の対象にならないようなシステム構成も可能である。オーディオが付与される場合、ビデオショット再生処理については、ビデオデータに付随・同期するオーディオデータの再生もサポートするように構成すればよい。
【０２１３】
また、本実施の形態２に述べたシステムは、特徴抽出部３および特徴記述子セット生成部４から構成され、特徴記述データを生成するモジュールと、画像情報蓄積部５から構成され、特徴記述データをデータベース登録するモジュールと、検索処理部１０Aから構成され、ユーザからの検索要求を受け付けて検索を実行して結果を返す検索エンジンのモジュールと、主に検索処理部１０Bから構成され、ユーザからの検索要求を検索エンジンに通知して返される検索結果をユーザに提示するクライアントモジュールについては、必ずしも同一ハードウエア・ソフトウエア上に構築される必要はなく、各々定められたインタフェースに従うことで独立にハードウエア、ソフトウエア実装することが可能である。サービスの観点からは、例えば、コンテンツプロバイダが特徴記述データを生成してデータベース登録を申請する。検索サービスプロバイダはそれらをデータベース登録し、検索処理の準備を整える。ユーザは、本実施の形態に述べたような、検索サービスプロバイダが指定する、もしくは標準化された規定に従って検索処理を実行するクライアントツールで検索を実行する、という形態の運用方法が考えられる。
【０２１４】
【発明の効果】
以上説明したように、本発明によれば、属性リストを参照してその属性情報に基づく検索を行なうと共に、特徴記述子に基づく検索を行うようにしたので、短時間かつ効率よく検索を行うことができる。
【０２１５】
また、次の発明によれば、属性リストや特徴記述子をそれらのデータ構造を定義したシンタックスに基づいて生成したので、ネットワーク上に分散する複数の画像サーバに依存しない画像検索することができる。
【０２１６】
また、次の発明によれば、フレーム単位で特徴量を抽出すると共に、複数のフレームをまとめたビデオセグメント単位で特徴記述子を生成するようにしたため、動画像の検索を容易に行うことができる。
【０２１７】
また、次の発明によれば、入力画像データから画像特徴量を抽出し特徴記述子を生成すると共に、入力画像データの時空間構造に関連付けて特徴記述子を検索用記述データに記述して、入力画像データとともに蓄積し、ユーザからの検索要求に従って蓄積された入力画像データの検索用記述データを解析して特徴記述子を取り出し、取り出した特徴記述子に基づき適合判定処理を行って検索し、その結果をユーザに提示させるようにしたため、特徴記述子に基づく効率的な画像データの検索が可能となる。
【０２１８】
さらに特徴記述子の信頼度を算出して、入力画像データの時空間構造に関連付けて特徴記述子および信頼度を検索用記述データに記述して、入力画像データとともに蓄積し、ユーザからの検索要求に従って蓄積された入力画像データの特徴記述子および信頼度を解析して取り出し、取り出した特徴記述子および信頼度に基づき適合判定処理を行って検索し、その結果をユーザに提示するようにしたため、特徴記述子および信頼度に基づく効率的な画像データの検索が可能となる。
【０２１９】
また、適合判定処理の際、特徴記述子の信頼度に基づいて、特徴記述子による適合判定の必要性を評価し、適合性判定を行う必要がないと判断した場合、適合判定処理をスキップするようにしたので、検索処理速度を高速化することができ、検索効率をさらに向上させることができる。
【０２２０】
また、特徴記述子の信頼度に基づいて各特徴記述子の検索使用順序を決定し、入力画像データの時空間構造に関連付けて特徴記述子、信頼度および検索使用順序を検索用記述データに記述し、ユーザからの検索要求に従って蓄積された入力画像データの特徴記述子、信頼度および検索使用順序を解析して取り出し、取り出した特徴記述子、信頼度および検索使用順序に基づいき適合判定処理を行って検索し、その結果をユーザに提示するようにしたため、特徴記述子、信頼度および検索使用順序に基づく効率的な画像データの検索が可能となる。
【０２２１】
また、ユーザからの検索要求としての各特徴記述子の検索使用順序に従って、特徴記述子の検索順序を更新することにより、ユーザからの検索要求に見合う検索処理を実行することができる。
【０２２２】
また、適合判定処理を行う際、各特徴記述子の信頼度に基づいて、検索使用順序で定められる各検索ステップにおける検索結果候補数を決定して適合判定処理を行うようにしたので、検索処理を高速化することができる。
【０２２３】
さらに、入力画像データがビデオデータであり、検索によって特定された各ビデオデータを代表する各キー画像データを検索結果ユーザに提示し、提示された各キー画像のうちユーザによって特定のキー画像を選択すると、その選択されたキー画像を代表とするビデオデータを読み出して復号し再生するようにしたので、トータルの情報伝送量を効果的に削減することが可能である。
【図面の簡単な説明】
【図１】 本実施の形態１における画像検索システムの構成を説明するブロック図。
【図２】 画像データベース生成部１の処理を示すフローチャート。
【図３】 画像属性のテキスト情報からテキスト情報のインスタンス（XML文書）を生成する処理の一例を示す図。
【図４】 イントラ／インター適応符号化を示す図。
【図５】 特徴抽出処理および特徴記述子生成処理を含めたトータルの特徴記述子セット生成手順を示すフローチャート。
【図６】 図５に示すステップＳ15の特徴記述子セット生成処理の具体的な生成手順を示すフローチャート。
【図７】 動き分布を特徴づける量の一例を示す図。
【図８】イントラフレームの記述子セットの意味を示す図。
【図９】 抽出された特徴量から特徴記述子セットを生成する処理の一例を示す図。
【図１０】 特徴記述子セットを階層的に生成して記述する一例を示す図。
【図１１】 画像検索部の処理を示すフローチャート。
【図１２】 図１１におけるステップＳ２７の適合判定処理を示すフローチャート。
【図１３】 画像データベース生成部の他の構成例を示す図。
【図１４】 従来の画像検索処理システムの一例を示す図。
【図１５】 本実施の形態２における画像検索システムのサーバ側の特徴部分の構成を示すブロック図。
【図１６】 本実施の形態２における画像検索システムのクライアント側の特徴部分の構成を示すブロック図。
【図１７】 本実施の形態２における画像検索システムの検索処理過程を示すフローチャート。
【図１８】 本実施の形態２における画像検索システムが利用する検索用記述データファイルの構造を示す図。
【図１９】 適合判定処理部におけるサーチプライオリティに基づく特徴記述子の適合判定処理の一例を示す図。
【図２０】 ユーザの主観的特徴と特徴記述子との関係を示す図。
【符号の説明】
１ 画像データベース生成部、３ 特徴抽出部、４ 特徴記述子セット生成部、５ 画像情報蓄積部、６ 属性リスト生成部、７ 属性リスト蓄積部、８ 画像検索部、９ ユーザインターフェース部、１０ 検索処理部、１１ 表示部、１２ ビデオ圧縮符号化部。
【発明の属する技術分野】
本発明は、アナログまたはデジタルで記録された映像、静止画などの画像データから特徴量や属性情報を抽出し、抽出された特徴量や属性情報を利用して画像データの検索を行う画像検索システムおよび画像検索方法に関する。
【０００２】
【従来の技術】
図１４に、従来の画像検索処理システムの一例として、電子情報通信学会論文誌D-II 1996年4月号（Vol.79-D-II No.4, pp.476-483）に記載されたシステムの構成を示す。ここでは、静止画像を対象とし、画像を前処理部101の領域分割部103により各セグメントに領域分割し、分割された各セグメントに対してキーワードが付与される。キーワードには概念キーワードとシーン記述キーワードの2種類が用意されている。概念キーワード抽出部104は、色情報に対してあらかじめ割り当てられている概念キーワードを用いて、各セグメントの色および特徴量から概念キーワード108を得るものである。シーン記述キーワード記述部105は、各セグメントの画像特徴量から「位置」「色」「形状」「大きさ」「向き」などに関する述語を得るものであり、ユーザ107によってあらかじめ定義されている述語から選択して記述する操作106を必要とし、シーン記述キーワード109を出力する。検索ツール102は、あらかじめ概念キーワードやシーン記述キーワードを用意しておき、ユーザ111は用意されているキーワードから選択を行う。特徴同定部110は、ユーザが選択したキーワード112と、各画像に付与されたキーワード108、109から特徴量の同定を行い、画像検索処理を実行する。
【０００３】
【発明が解決しようとする課題】
しかし、前述の画像検索処理システムでは、ユーザが選択した概念キーワードやシーン記述キーワード等のキーワードと、各画像に付与されたキーワードから特徴量の同定を行い、その特徴量に基づいて画像検索処理を実行するようにしていたため、すべての画像を特徴量のみにより検索することになり、検索に時間がかかっていた。
【０００４】
また、前述の画像検索処理システムでは、各キーワードの記述方法や、記憶方法等について考慮されていないため、画像サーバと、クライアントである検索ツール等とは、1対1に対応している必要があり、ネットワークを介して多くのユーザが様々な検索ツールを用いて画像の検索を行うシステムを構築することができなかった。
【０００５】
また、静止画像のみを対象としているため、動画像を検索することが困難であった。
【０００６】
そこで、本発明は、このような問題に鑑みてなされたもので、効率良く画像検索処理を実行できる画像検索システムおよび画像検索方法を提供することを第１の目的とする。
【０００７】
また、本発明は、検索のキーワードを共通のシンタックスで記述して生成することにより、ネットワーク上に分散する複数の画像サーバに依存しない画像検索システムおよび画像検索方法を提供することを第２の目的とする。
【０００８】
また、本発明は、動画像からキーワードを抽出するときに、フレーム単位ではなく、複数のフレームをまとめたビデオセグメント単位で特徴量を抽出することにより、動画像の検索を容易に行うことのできる画像検索システムおよび画像検索方法を提供することを第３の目的とする。
【０００９】
【課題を解決するための手段】
前記課題を解決するため、本発明では、入力画像データから画像特徴量を抽出し特徴記述子を生成する特徴記述子生成部と、生成された特徴記述子を入力画像データと対応づけて蓄積する画像情報蓄積部と、入力画像データに付随して入力する属性情報に基づいて属性リストを生成する属性リスト生成部と、属性情報に関する検索条件が入力すると前記属性リストを検索して当該検索条件に適合する属性情報を出力すると共に、特徴記述子に関する検索条件が入力すると前記画像情報蓄積部を検索して当該検索条件に適合する画像データを出力する画像検索部と、を備えることを特徴とする。
【００１０】
特に、前記属性リスト生成部は、属性リストのデータ構造を定義したシンタックスに基づいて当該属性リストを生成し、前記画像検索部は、前記属性リストのシンタックスに従って検索することを特徴とする。
【００１１】
また、前記特徴記述子生成部は、特徴記述子のデータ構造を定義したシンタックスに基づいて当該特徴記述子を生成し、前記画像検索部は、前記特徴記述子のシンタックスに従って検索することを特徴とする。
【００１２】
また、前記特徴記述子生成部は、フレーム単位で特徴量を抽出し、複数のフレームをまとめたビデオセグメント単位で特徴記述子を生成することを特徴とする。
【００１３】
また、前記特徴記述子生成部は、イントラフレームとインターフレームとからなる圧縮映像データを入力画像データとし、イントラフレームの場合、所定の符号化単位領域における各画素値の平均値マトリクスを抽出してビデオセグメント中に含まれるイントラフレーム分だけ累積し、その累積値をイントラフレーム数により平均した値と標準偏差とをイントラフレームの特徴記述子として生成する一方、インターフレームの場合、所定の符号化単位領域における各画素の動きベクトルマトリクスを抽出してフレーム内の動きベクトルの平均値を求め、その平均値を閾値処理してゼロランの長さを分類して抽出し、前記平均値と前記ゼロランの長さの分類とをそれぞれビデオセグメント中に含まれるインターフレーム数により平均した値をインターフレームの特徴記述子として生成する、ことを特徴とする。
【００１４】
また、前記特徴記述子生成部は、非圧縮映像データを入力画像データとし、前記非圧縮映像データデータから特徴量を抽出し特徴記述子を生成し、前記画像情報蓄積部は、前記非圧縮映像データが所定の映像圧縮方式に基づいて圧縮された後の圧縮映像データと、前記特徴記述子セットとを対応付けて蓄積することを特徴とする。
【００１５】
また、前記画像検索部は、前記画像情報蓄積部を検索し、指定された特徴記述子に適合する画像データを出力する際、予め記憶していた所定の条件式を読み出し、その所定の条件式に基づいて当該指定された特徴記述子に対し適合しているか否かを判定することを特徴とする。
【００１６】
また、入力画像データは、監視カメラにより記録された監視画像であることを特徴とする。
【００１７】
また、入力画像データは、蓄積されたビデオメールの画像であることを特徴とする。
【００１８】
また、入力画像データは、蓄積された放送番組の画像であることを特徴とする。
【００１９】
また、入力画像データは、ビデオカメラにより記録された映像であることを特徴とする。
【００２０】
また、次の発明では、入力画像データから画像特徴量を抽出し特徴記述子を生成する特徴記述子生成部と、入力画像データの時空間構造に関連付けて前記特徴記述子を検索用記述データに記述する検索用記述データ生成部と、検索用記述データを対応する入力画像データとともに蓄積する画像情報蓄積部と、第１の検索処理部と、第２の検索処理部と、ユーザインターフェース部からなり、前記第２の検索処理部は、前記ユーザインターフェース部を介したユーザからの検索要求を検索要求情報として前記第1の検索処理部へ送信すると共に、前記第１の検索処理部から送信される検索結果を受信して前記ユーザインターフェース部を介しユーザに提示し、前記第1の検索処理部は、前記第２の検索処理部から送信される前記検索要求情報に従って前記画像情報蓄積部に蓄積された入力画像データの前記検索用記述データを解析して前記特徴記述子を取り出し、取り出した前記特徴記述子に基づいて適合判定処理を行って検索結果を求め、その検索結果を前記第２の検索処理部へ送信し、前記ユーザインターフェース部を介しユーザに提示させる、ことを特徴とする。
【００２１】
さらに、前記特徴記述子生成部によって生成された特徴記述子の信頼度を算出する特徴記述子信頼度算出部を備え、前記検索用記述データ生成部は、入力画像データの時空間構造に関連付けて前記特徴記述子および信頼度を検索用記述データに記述し、前記第1の検索処理部は、前記第２の検索処理部から送信される前記検索要求情報に従って前記画像情報蓄積部に蓄積された入力画像データの前記検索用記述データを解析して前記特徴記述子および信頼度を取り出し、取り出した前記特徴記述子および信頼度に基づいて適合判定処理を行って検索結果を求め、その検索結果を前記第２の検索処理部へ送信し、前記ユーザインターフェース部を介しユーザに提示させる、ことを特徴とする。
【００２２】
また、前記第１の検索処理部は、適合判定処理の際、特徴記述子の信頼度に基づいて、特徴記述子による適合判定の必要性を評価し、適合性判定を行う必要がないと判断した場合、適合判定処理をスキップすることを特徴とする。
【００２３】
さらに、前記特徴記述子信頼度算出部によって算出された信頼度に基づいて各特徴記述子の検索使用順序を決定する特徴記述子検索順序決定部を備え、前記検索用記述データ生成部は、入力画像データの時空間構造に関連付けて前記特徴記述子、信頼度および検索使用順序を検索用記述データに記述し、前記第1の検索処理部は、前記第２の検索処理部から送信される前記検索要求情報に従って前記画像情報蓄積部に蓄積された入力画像データの前記検索用記述データを解析して前記特徴記述子、信頼度および検索使用順序を取り出し、取り出した前記特徴記述子、信頼度および検索使用順序に基づいて適合判定処理を行って検索結果を求め、その検索結果を前記第２の検索処理部へ送信し、前記ユーザインターフェース部を介しユーザに提示させる、ことを特徴とする。
【００２４】
また、前記第２の検索処理部は、前記ユーザインターフェース部を介したユーザからの検索要求として各特徴記述子の検索使用順序を含む検索要求情報を前記第1の検索処理部へ送信し、前記第１の検索処理部は、前記第２の検索処理部から送信される検索要求情報中の検索使用順序に従って、特徴記述子の検索順序を更新して、ユーザからの検索要求に見合う検索処理を行うことを特徴とする。
【００２５】
また、前記第１の検索処理部は、適合判定処理を行う際、各特徴記述子の信頼度に基づいて、検索使用順序で定められる各検索ステップにおける検索結果候補数を決定して適合判定処理を行うことを特徴とする。
【００２６】
さらに、ビデオデータ再生サーバと、ビデオデータ復号再生部とを備え、前記入力画像データは、ビデオデータであり、前記第1の検索処理部は、検索によって特定された各ビデオデータを代表する各キー画像データを検索結果として前記第２の検索処理部へ送信し、前記第２の検索処理部は、前記第１の検索処理部からの検索結果としての前記各キー画像データを受信してユーザインターフェース部を介しユーザに提示させ、前記ビデオ再生サーバは、ユーザインターフェース部から前記各キー画像のうちユーザによって特定のキー画像を選択した再生要求を受けると、画像情報蓄積部からその選択されたキー画像を代表とするビデオデータを読み出して前記ビデオデータ復号再生部へ送信し、前記ビデオデータ復号再生部は、前記ビデオ再生サーバから送信されたビデオデータを受信して復号し再生する、ことを特徴とする。
【００２７】
また、次の発明では、入力画像データから画像特徴量を抽出し特徴記述子を生成すると共に、入力画像データの時空間構造に関連付けて前記特徴記述子を検索用記述データに記述して、検索用記述データを対応する入力画像データとともに蓄積し、ユーザからの検索要求に従って前記蓄積された入力画像データの検索用記述データを解析して前記特徴記述子を取り出し、取り出した前記特徴記述子に基づいて適合判定処理を行って検索結果を求め、その検索結果をユーザに提示する画像検索方法であることを特徴とする。
【００２８】
さらに、入力画像データは、ビデオデータであり、検索によって特定された各ビデオデータを代表する各キー画像データを検索結果としてユーザに提示し、前記各キー画像のうちユーザによって特定のキー画像を選択した再生要求を受けると、その選択されたキー画像を代表とするビデオデータを読み出して復号し再生する、ことを特徴とする。
【００２９】
【発明の実施の形態】
実施の形態１．
本実施の形態１では、ネットワーク上に散在する複数、すなわち1つ以上のデータベースに蓄積された画像データからユーザが所望の画像データを検索して利用することができる画像検索システムについて説明する。画像データは利用方法によって、圧縮静止画像（JPEG画像等）、圧縮動画像（MPEG画像等）、非圧縮画像いずれでもよく、画像フォーマットについては特に限定しない。本実施の形態１では、本発明の一例として、インターネット上のWWW（World Wide Web）により、画像情報の発信や収集を行うことを想定するが、本発明はこれに限るものではなく、有線または無線通信によるサービスや、放送網によるサービス等に本システムを適用することもできる。
【００３０】
図１は、本実施の形態１における画像検索システムの構成を説明するブロック図である。以下、「クラス」をデータの定義、「インスタンス」をクラス定義に基づき値として具象化したデータそのもの、例えばファイル、変数などの意味で用いる。
【００３１】
図１において、１は画像データベース生成部、２は画像に関連する属性を示すテキスト情報の属性情報および画像データ、３は画像データから所定の特徴量セットを抽出する特徴抽出部、４は他の画像データベース生成部１あるいはサーバと共通の特徴量記述データクラスによる定義に基づき特徴量セットからインスタンスセットである特徴記述子セットを生成する特徴記述子セット生成部、５は画像データと特徴記述子セットとを対で蓄積する画像情報蓄積部である。
【００３２】
また、図１において、６は他の画像データベース生成部１あるいはサーバと共通のテキスト情報記述データクラスによる定義に基づき属性情報からインスタンスセットである属性リストを生成する属性リスト生成部、７は属性リストを蓄積する属性リスト蓄積部である。さらに８は画像検索部であり、９は検索対象の画像データのカテゴリやキー画像から検索したい画像を選択するユーザインターフェース部、１０はユーザインターフェース部で指示された検索条件に基づき検索処理を行う検索処理部、１１は検索されたキー画像および検索画像を表示する表示部である。なお、本実施の形態１において、属性リストや特徴記述子を総称してメタデータと定義する。
【００３３】
また、図１では、特徴抽出部３、特徴記述子セット生成部４、画像情報蓄積部５、属性リスト生成部６および属性リスト蓄積部７からなる画像データベース生成部１と、画像検索部８の検索処理部１０がサーバを構成し、画像検索部８のユーザインターフェース部９および表示部１１がクライアントを構成して、サーバとクライントとにより本発明の画像検索システムを構築しているが、本発明では、このような構成に限らず、クライアント側に検索処理部１０を持ってきたり、あるいはサーバ自身にもユーザインターフェース部９および表示部１１のクライアントの機能を付加する等するようにしても勿論よい。また、画像データベース生成部１ないしはサーバ、および画像検索部８ないしはクライアントは、それぞれ、複数存在し、かつ、インターネット等のネットワークを介して接続されており、その複数の画像データベース生成部１ないしはサーバでは、上述の通り、共通の特徴量記述データクラスおよびテキスト情報記述データクラスに基づき特徴記述子セットおよび属性リストを生成する。
【００３４】
次に、各部の処理を詳述する。
（１）画像データベース生成部１の処理
図２に、画像データベース生成部１の処理をフローチャートにより示す。
ここで、新規の画像データを画像データベースに登録する場合を考える。画像データベースの登録は、主に２つの処理からなる。１つは画像データに附随する画像属性を示すテキスト情報から属性リストを生成し、属性リスト蓄積部７へ蓄積する処理である。もう１つは画像データから特徴量を抽出して、特徴記述子を生成し、画像データと特徴記述子とをデータベースである画像情報蓄積部５へに蓄積する処理である。次にそれぞれの処理の詳細について説明する。
【００３５】
先に、属性リストを生成し登録するまでの処理（ステップＳ１〜Ｓ３）について詳述する。
まず、画像情報に附随して入力される画像属性を示すテキスト情報を抽出する（ステップＳ１）。画像属性を示すテキスト情報としては、例えば、画像データがビデオメールの動画像データである場合には、動画像データと一緒に送信されるビデオメールの送信者、送信日時、タイトル等の情報である。これらの情報は、ビデオメールの動画像データの作成者や作成日などを示しており、動画像データの属性を示すテキスト情報である。また、別の例では、画像データが、放送局から送信されるテレビ放送等の映像プログラムである場合には、画像属性を示すテキスト情報としては、映像プログラムと一緒に送信される番組情報（出演者、演出者、タイトル、放送日など）が考えられる。ホームビデオやデジタル写真などを家庭内サーバに蓄積する例を想定する場合は、撮影日や被写体に関する情報をユーザがテキスト情報として直接入力したり、ビデオやカメラなどの装置からサーバにテキストの形式で転送されることも考えられる。
【００３６】
抽出されたテキスト情報は、属性リスト生成部６において属性リストの形式にインスタンス化される（ステップＳ２）。属性リストのデータ形式としては、例えばXML（eXtensible Markup Languate）により記述された文書がある。
【００３７】
図３に、画像属性のテキスト情報からテキスト情報のインスタンスであるXML文書を生成する処理の一例を示す。
図３の例では、属性情報としてビデオメールに付属するテキスト情報を抽出して、抽出したテキスト情報をXML言語で記述した文書を生成している。このXML文書は、属性リストの構成単位となるデータであり、個々のビデオメールに対して作成されたこれらの文書をひとつのリストデータの形態に統合したものが属性リストである。XML文書の記述には、文書構造を規定した定義ファイル（DTD（Document Type Definition））が必要である。DTDは、文書構造に含まれる要素と要素間の関係（どの要素が別の要素の中に出現するか等）、要素の出現順序等の規定を定めたものである。
【００３８】
図３に示すXML文書生成処理では、DTDは、TextInfoという要素に、Category, Author, Date, Time, Title, Locatorの各要素が含まれていて、これらの各要素が文字型のデータであることを示している。抽出されたテキスト情報はこのDTDに従ってXML文書に変換される。図３のXML文書の例における各要素の値は、要素の開始を表すタグ<aaa>と、要素の終わりを示すタグ</aaa>で囲まれており、aaaはDTDで定義された要素名を示している。すなわち、<TextInfo>〜</TextInfo>で囲まれる単位はひとつのビデオメールに関する属性を記述しており、検索対象となるすべてのビデオメールについてこれらのデータが統合された属性リストを持っておけば、<TextInfo>〜</TextInfo>の単位で属性による個々のビデオメールの検索を行うことが可能になる。
【００３９】
尚、属性リストのデータ形式は、これに限ったものではなく、予め定義されたデータ構造に基づいて記述されたものであればよい。例えば、属性リストのデータ形式として、XML文書として記述する以外に、ビットストリーム型のバイナリデータでもよい。この場合、XML文書と同様に、バイナリデータ構造を定義するシンタックス、すなわち各要素の並び方と各要素に割り当てられたビット数等を規定したものが必要となる。
【００４０】
以上のようにして生成された属性リストは、属性リスト蓄積部７に蓄積される（ステップＳ３）。なお、画像データと、その属性情報であるテキスト情報とが異なるデータベースに蓄積される場合、属性リストは、画像データが蓄積されたアドレスを含んで属性リスト蓄積部７に蓄積される。たとえば、WWWにおいては、画像データが位置するネットワークアドレス（URL（Universal Resource Locator））を指定すればよい。図３の例においては、属性リストであるXML文書に、“Locator”という画像データのURLを指定するための要素が含まれており、各々のビデオメールの属性情報に対して、対応する画像データのアドレスを指定することができる。
【００４１】
次に、画像の特徴量を抽出して特徴量記述子を生成し登録するまでの処理（ステップＳ４〜Ｓ６）について詳述する。
本実施の形態１における特徴記述子生成処理では、入力して蓄積される画像データは、MPEGやH.261/H.263等の所定の符号化方式によって圧縮符号化されたビデオ（動画像）ビットストリームであるものとする。
【００４２】
まず、特徴抽出部３において、画像ビットストリームより画像の特徴量を抽出する（ステップＳ４）。本実施の形態１においては、特徴量として、圧縮ビデオビットストリーム中の動き情報、イントラ符号化フレームの輝度、色差それぞれの直流成分のデータを抽出する。圧縮ビデオビットストリームは、MPEGやH.261/H.263などの国際標準符号化方式によるものを想定しており、これらの方式においてはビデオフレーム信号は、図４に示すようにマクロブロックという単位で動き補償予測（以下、インターという）／フレーム内（以下、イントラという）適応符号化されている。マクロブロックは、輝度信号16x16画素、色差信号8x8画素x2の画像データから構成される。特に、1フレームのすべてのマクロブロックをイントラ符号化する場合をイントラフレームと呼び、この場合、当該フレームの画像データはそれ自身の圧縮データのみで伸長・復元可能である。このようなフレームにおいては、イントラ符号化マクロブロックの各信号の直流成分が画像全体の概略を表現するデータであると考えることができる（図４中、左側最下段に図示）。イントラフレームは、図４に示すようにランダムアクセスなどの要求条件から通常ビデオ信号中に周期的に挿入されることが多い。
【００４３】
一方、動き補償予測によって予測残差信号を符号化するインター符号化マクロブロックでは、動き予測によって近似しきれなかったデータのみを符号化するため、その符号化情報中、最も本質的なデータはマクロブロックの大方の画像情報を近似する動きベクトルであると言える（図４中、右側最下段に図示）。以上の観点から、特徴抽出部３では、画像ビットストリームより画像の特徴量として、イントラフレームにおける各マクロブロックの輝度・色差信号の直流成分と、インター符号化マクロブロックの動きベクトルとを抽出するものとする。
【００４４】
以下の説明のため、所定の期間のフレーム群をビデオセグメントと呼ぶこととする。例えば、最も単純なビデオセグメントはイントラフレームから始まり、次のイントラフレームの直前のフレームで終了する単位と考えられる。または、より長い期間でイントラフレームからイントラフレーム直前フレームまでのフレーム群を一まとめにしたフレームセットと考えることもできる。ビデオセグメントの長さはビデオセグメント内のコンテンツの意味内容に従い、任意に設定されてよい。
【００４５】
本実施の形態１では、前記特徴抽出部３によって抽出された特徴量セットに基づいて、特徴記述子セット生成部４において、ビデオセグメントを記述するための特徴記述子セットを生成する（ステップＳ５）。以下、特徴量セットの抽出手順と特徴記述子セットの生成手順について詳しく説明する。
【００４６】
図５は、図２におけるＳ４の特徴抽出処理およびＳ５の特徴記述子生成処理を含めたトータルの特徴記述子セット生成手順を詳細に示すフローチャートである。
尚、特徴抽出部３に入力する画像データであるビデオビットストリームは、あらかじめ切り出されたビデオセグメントを単位とするビットストリームであってもよいし、複数のビデオセグメントに分けられる前のビデオプログラムのような長時間に渡るビットストリームでもよい。後者の場合、特徴抽出部３において、ビデオセグメントの単位を外部からの指示、もしくは適当な内部での識別処理により特定し、その単位で特徴抽出・特徴記述子セットを抽出するよう処理すればよい。以下では、基本となるビデオセグメント単位のビットストリームが入力される場合の処理について述べる。ビデオセグメントは、上述の通り、イントラフレームで始まる一連のフレームセットから構成されているものとする。特徴抽出は、フレームを単位として、イントラフレームとインターフレームとに分けて実施する。イントラフレームの場合は輝度・色差信号の直流成分、インターフレームの場合は動きベクトルを抽出する。
【００４７】
具体的には、まず、ステップＳ7においてフレームのヘッダ情報をサーチして当該フレームがイントラフレーム（I-frame）の場合は（ステップＳ７“Ｙ”）、ステップＳ8によりマクロブロックごとに各画素値の平均値マトリクスである輝度・色差信号の直流成分のデータを抽出する。図５において、マクロブロックの位置はフレーム上のラスタスキャン順でnで表し、位置nのマクロブロックの輝度信号の直流成分をDCY[n]、色差信号の直流成分をDCU[n]、DCV[n]と表す。ｎの最大値はフレームの水平・垂直画素数で与えられる。MPEG,H.26xシリーズなどの国際標準ビデオ符号化方式では、直流成分はマクロブロックを構成する各8x8画素のサブブロック単位で実施されるDCT（離散コサイン変換）の（0,0）位置のDC成分で表されるため、マクロブロック単位にこのデータをサーチして取り出せばよい。ただし、輝度信号については1マクロブロックあたり4つのサブブロックがあるため、輝度信号の直流成分としては4つのサブブロックのDC成分を平均した値とする。
【００４８】
次いでステップＳ9において、イントラフレーム対応の特徴量を累積する。このステップは、特徴記述子セット生成部４にて行われる。具体的には、DCY[n]、DCU[n]、DCV[n]をそれぞれ下式１に基づいて累積する。
【００４９】
【数１】
尚、avgYpre[n],avgUpre[n],avgVpre[n],stdYpre[n],stdUpre[n],stdV
[n]の各値は、抽出処理開始時にゼロにリセットしておく。
【００５１】
イントラフレーム中のすべてのｎについて抽出および累積の処理が終了したら（ステップＳ10“Ｙ”）、ビデオセグメント中のイントラフレーム出現数カウンタＮIをインクリメントし、次のフレームの処理に移る（ステップＳ11“Ｎ”）。ビデオセグメントの終了であれば（ステップＳ11“Ｙ”）、特徴記述子セット生成処理のステップＳ17に移る。
【００５２】
次にインターフレームの特徴量抽出について述べる。
ステップＳ7でイントラフレームでないと判断されると（ステップＳ７“Ｎ”）、ステップＳ12で前（片）方向予測のインターフレーム（P-frame）かどうかを調べる。ここで、P-frameとしたのは、MPEGでは、インターフレームとして、P-frameの他に、時間的に過去および未来のフレームの両方を参照して動き補償予測を行う両方向予測フレーム（B-frame）や、スプライトと呼ばれる全景画像からの変形合成で復号画像を復元するスプライト予測フレーム（ステップＳ-frame,S-VOP）などのフレーム符号化タイプがあり、これらとの区別を行うためである。ここでは、インターフレームとして、過去のフレームのみを参照して前（片）方向の動き補償予測を行うインターフレーム（P-frame）のみを対象とする。したがって、ステップＳ12でP-frameでないと判断された場合は（ステップＳ１２“Ｎ”）、特徴量の抽出を行わず、次のフレームの処理に移行する。
【００５３】
ところで、ステップＳ12でインターフレーム（P-frame）であると判断された場合には（ステップＳ12“Ｙ”）、特徴抽出部３において、フレーム内のすべてのマクロブロックの動きベクトルMV[n]を抽出する（ステップＳ13）。ここで、MV[n]は下式２で表される値とする。
【００５４】
【数２】
そして、ステップＳ14ですべてのマクロブロックについてMV[n]の抽出が終了したと判断されたら（ステップＳ14“Ｙ”）、ステップＳ15において、当該フレームに対応するインターフレームの特徴記述子セットを生成する。この処理は、特徴記述子セット生成部４にて行われる。
【００５６】
図６に、図５におけるステップＳ１５の特徴記述子セット処理の具体的な生成手順をフローチャートにより示す。まず、ステップＳ13の処理により1フレーム分蓄積されたMV[n]について、フレーム内の平均動き量として下式３の値を求める（ステップＳ15-1）。
【００５７】
【数３】
ただし、Nはフレーム内マクロブロック総数を示す。
つぎにステップＳ15-2において、各MV[n]に対して下式４の閾値処理を施す。
【００５９】
【数４】
こうして得られた新しい動きベクトル分布に対し、MV'[n]をラスタスキャン順にスキャンし、以下の動き分布を特徴づける量を求める（ステップＳ15-3）。
【００６１】
尚、図７からわかるように、short runが多いフレームでは動きの複雑度が大きく、広い範囲に動きが分布していることを示し、long runが多いフレームでは動きが局在化されていることを示す。
【００６３】
インターフレーム中のすべてのｎについて抽出および累積の処理が終了し（ステップＳ14“Ｙ”）、ビデオセグメント中のインターフレーム出現数カウンタＮpをインクリメントし、次のフレームの処理に移る（ステップＳ16“Ｎ”）。ビデオセグメントの終了であれば（ステップＳ16“Ｙ”）、特徴記述子セット生成処理のステップＳ17に移る。
【００６４】
以上の結果、ビデオセグメント中の各インターフレームについてその特徴記述子セット(ＣNp，Ｎsr，Ｎmr，Ｎlr）が得られる。これらはステップＳ17のビデオセグメントの特徴記述子セット生成のために、インターフレームのたびに累積される。
【００６５】
以上のように、各フレームごとの特徴抽出もしくは特徴記述子の生成をビデオセグメント中のすべてのフレームについて実施した後、最後にステップＳ17において、ビデオセグメントの特徴記述子セットを生成する。この処理も特徴記述子セット生成部４にて行う。
【００６６】
具体的には、イントラフレームについて、累積された特徴量avgYsum[n]、avgUsum[n]、avgVsum[n] 、stdYsum[n]、stdUsum[n]、stdVsum[n]と、ビデオセグメント内のイントラフレーム数ＮIとを用いて、下式５の特徴記述子セット（avgY[n], avgU[n], avgV[n], stdY[n], stdU[n], stdV[n]）を生成する。
【００６７】
【数５】
以上の結果、イントラフレームに関して、nx6個の特徴記述子セットが生成される。これらの特徴記述子セットの意味を図８を用いて説明する。
【００６９】
まず、各フレームにおいて各マクロブロックの直流成分を求めることは、図８における各マクロブロック位置の画像データの平均的な明るさと色とを時間方向にプロットした波形を得ることと同値である。すなわち、avgY[n]の時間系列は、各マクロブロック位置nにおける時間方向の明るさの変化を表し、avgU[n], avgV[n] の時間系列は各マクロブロック位置nにおける時間方向の色の変化を示す。また、stdY[n]は、図８の波形の平均（avgY[n]）からのバラツキの度合いを示し、stdU[n], stdV[n]もそれぞれ平均（avgU[n], avgV[n]）からのバラツキの度合いを示している。したがって、これらの特徴記述子セットは、イントラフレーム系列の明るさと色に関する時間的変化を特徴づける記述子と考えることができる。波形をそのまま記述子として保持するとビデオセグメントの長さに応じて際限なく記述子の数が増えてしまうが、以上の記述子を用いることで時間的変化の特徴を保持しつつ、ビデオセグメントの長さに依存せずに一定数の記述子によってビデオセグメントの明るさ、色に係る特徴を記述することが可能となる。
【００７０】
一方、インターフレームに関しては、各インターフレームごとに生成した特徴記述子セット(ＣNp，Ｎsr，Ｎmr，Ｎlr）をインターフレームの総数ＮPで平均する。よって、インターフレームについてはビデオセグメントあたり4つの特徴記述子セットが生成される。
【００７１】
さらに、特徴記述子セットは、検索に関して利便性が高くなるよう構造化して表現する。特徴記述子セットのデータ形式としては、属性リストと同様、例えばXML文書とする場合がある。
【００７２】
図９に、抽出された特徴量から特徴記述子セットを生成する処理の一例を示す。
図９に示すように、特徴抽出部３にてビデオビットストリームより抽出された特徴量セットは、DTDに従って特徴記述子セットであるXML文書に変換される。図９に示す特徴記述子セットには、上述した動きベクトルに関する特徴記述子セットと輝度・色差信号の直流成分に関する特徴記述子セットが含まれている。<MotionInfo>〜</MotionInfo>で囲まれた情報が動きベクトルに関する特徴記述子セットであり、(ＣNp，Ｎsr，Ｎmr，Ｎlr）のそれぞれがAverage, ShortRun, MediumRun, LongRunのタグで囲まれて記述されている。
【００７３】
また<ColourTexture>〜</ColourTexture>で囲まれた情報が輝度・色差信号の直流成分に関する特徴記述子セットであり、その中の<YDC>〜</YDC>で囲まれた情報が輝度信号の直流成分に関する特徴記述子セットであり、（avgY[n], stdY[n]）のそれぞれがAverage, Stdのタグで囲まれて記述されている。また同様に<UDC>〜</UDC>または<VDC>〜</VDC>で囲まれた情報が色差信号の直流成分に関する特徴記述子セットであり、それぞれの中でAverage, Stdのタグで囲まれて記述されている情報が（avgU[n],stdU[n]）, （avgV[n],stdV[n]）である。
【００７４】
また図９に示す特徴記述子セットには、上述した動きベクトルに関する特徴記述子セットおよび輝度・色差信号の直流成分に関する特徴記述子セットの他に、メディアに関する補助情報が含まれている。図９において<MediaInfo>〜</MediaInfo>で囲まれた情報がそれであり、MPEG-1やJPEG等の画像フォーマット（Format）、CD, DVD等の蓄積媒体の種類（Medium）、その他、カラー画像かモノクロ画像かといった色に関する情報や、画像サイズ、その他画像の表示に必要な端末能力の情報等の補助情報が含まれている。これらの情報は、検索した画像をユーザが再生、表示する際に必要であると同時に検索条件として指定することも可能である。また、補助情報には、画像が蓄積されているアドレスを示す情報が含まれている。図９の例では<Locator>〜</Locator>で囲まれた情報がそれであり、URLで指定している。
【００７５】
尚、図９に示す例以外の特徴記述子として、画像の意味的な特徴を記述した特徴記述子セット等がある。これは例えば、スポーツ映像に写っている選手の所属しているチーム名や、映像に写っている人物の関係等を表現する特徴記述子である。これらの情報はホームビデオやデジタル写真などを家庭内サーバに蓄積する例を想定する場合には、被写体が持つ意味的な特徴をユーザがテキスト情報として直接入力したり、またテレビ放送を家庭内サーバに蓄積する例を想定する場合には番組情報より自動的に抽出することができる。
【００７６】
さらに別の特徴記述子セットとして、インターフレームの特徴記述子セット(ＣNp，Ｎsr，Ｎmr，Ｎlr）に対して、ビデオセグメント内の平均だけでなく、その時間的変化の複雑さ、すなわち動きの推移に関する複雑さを表す指標として、前記イントラフレームの特徴記述子セットと同じように、ビデオセグメント内の分散（標準偏差）を算出して特徴記述子セットに加えてもよい。これにより、動きの推移に関しても時間的変化の特徴量を加えることが可能である。
【００７７】
さらに、イントラフレームの特徴記述子セットについて、インターフレームの特徴記述子セット生成と同様の処理を行って特徴記述子の数を削減することも考えられる。たとえば、各イントラフレームについて下式６の量(ＣY,NI，ＣU,NI，ＣV,NI）を求める。これらはそれぞれ、NI番目のイントラフレームに関する輝度の画面内平均、色差の画面内平均に相当する。
【００７８】
【数６】
これらの値をインターフレームにおけるＣNpと同様に用いて、画面内で輝度・色差に関して(Ｎsr，Ｎmr，Ｎlr）に該当する値を得ることが可能である。これらの値のセットは、いわば輝度・色差の空間内の分布の複雑さを記述する量であるといえる。これらを各イントラフレームの特徴記述子セットとし、ビデオセグメント内で平均、分散（標準偏差）をとることにより、ビデオセグメントトータルの記述子数を削減した記述も可能である。逆に、インターフレームの特徴記述子セットを、イントラフレームの特徴記述子のように、より詳細なマクロブロックの精度で時間的変化を含めて記述するようにしてもよい。
【００８０】
また、本実施の形態１で述べたイントラフレームのマクロブロック単位の特徴記述子セットにおいて、階層的な検索を実現するために、特徴記述子セットを、図１０に示すように上位レイヤから下位レイヤの階層的に生成して記述することも可能である。これにより、画面全体を対象とする大局的な輝度・色差の変化から、画面内のマクロブロックを単位とする局所的な輝度・色差の変化までを一括して記述可能であり、ニーズに応じた検索処理を実現可能である。さらに、階層数を別途指定すれば、特徴記述子セットとして目的にあった階層数分だけのデータを保持すればよいので、特徴記述子セットのデータ量も適宜調整することができる。
【００８１】
さらに、本実施の形態１におけるイントラフレームの特徴記述子セットの数は、マクロブロックの数に依存しているため、マクロブロック数の異なるビデオセグメントとは厳密な適合判定処理ができないが、この問題に対処するためには、検索元と検索先のそれぞれの画像データのマクロブロック数に応じて、適宜いずれかの特徴記述子セットを補間または間引いてマクロブロック数を合わせてからマッチングをとるようにすればよい。このようなケースは、様々な画像フォーマットのビデオコンテンツが混在するデータベースに対して検索をかける処理に該当するが、実質的なアプリケーション（例えば、デジタル放送など）では導入設備などの都合上、画像フォーマットがほぼ統一されることが多く、事例としては多くないと考えられる。なお、本実施の形態においては、特徴記述子セットの記述にXMLを用いたが、属性リストのときと同様に、特徴記述子セットも、XMLに限らず、予め定義されたデータ構造に基づいて記述されていればよい。
【００８２】
以上のようにして、ステップＳ５の処理により特徴記述子セット生成部４によって特徴記述子セットが生成されると、その生成された特徴記述子セットは、画像データとともに画像情報蓄積部５に蓄積される（ステップＳ６）。なお、特徴記述子セットと画像データとは、異なるデータベースに蓄積されることも可能である。この場合、特徴記述子セットに画像データの記憶位置を示すアドレスが含まれていればよい。図９に示す例においては、特徴記述子セットにLocatorという要素が含まれており、この要素の値にURLを設定している。
【００８３】
（２）画像検索部８の処理
次に画像検索部８の処理について説明する。
図１１に、画像検索部８の処理を示すフローチャートを示す。画像検索の処理は主に２つの処理からなる。属性リストに基づく検索と、特徴記述子セットによる特徴類似検索である。
【００８４】
先に、属性リストに基づく検索処理について詳述する。
まず、ユーザインタフェース部９を介してユーザから検索条件が入力する（ステップＳ18）。ここでは、例えば検索しようとする画像のカテゴリや、画像が作成された日時、画像の作成者等のテキスト情報を入力する。ユーザから入力されたテキスト情報は、検索処理部１０に渡され、検索処理部１０では、属性リスト蓄積部７に蓄積された属性リストと適合判定処理を行う（ステップＳ19）。例えば、ユーザからの検索条件として、画像の作成日時と画像の作成者とが指定された場合を考える。図３の例では、Date, Time, Authorのタグを探索し、タグに囲まれる値とマッチングをとればよい。
【００８５】
属性リストとの適合判定処理の結果、Date, Time, Authorのすべての要素が一致したビデオメールの属性情報があった場合は（ステップＳ19“Ｙ”）、適合結果であるDate, Time, Authorのすべての要素が一致したビデオメールの属性情報を属性リストから取り出し、表示部１１へ渡す（ステップＳ20）。このように、画像データの属性情報であるテキスト情報が構造化されて記述されているため、データ構造の定義に基づき、検索に必要な要素のみを取り出し、容易にマッチングをとることができる。
【００８６】
以上のステップＳ20，21の処理が属性リスト蓄積部７に蓄積されている属性リストの最後まで繰り返され（ステップＳ21“Ｎ”）、属性リストの最後まで終了すると（ステップＳ21“Ｙ”）、ステップＳ20の処理によりユーザからの検索条件に適合した属性情報はすべて表示部１１に渡されることになる。
【００８７】
蓄積されている属性リストの最後まで適合結果の転送処理が終了すると（ステップＳ21“Ｙ”）、表示部１１では、ユーザからの検索条件に適合した属性情報の一覧を表示する（ステップＳ22）。図３の例では、Date, Time, Authorの値がユーザから入力された値と一致した属性情報の一覧をテキスト情報として表示する。このとき、図３の例のようなXML文書で属性データが記述されている場合には、表示部ではXML文書をブラウザ上で表示可能なHTML形式に変換し表示すればよい。また、その際に属性情報にハイパーリンクを割り付けておくことで、次段のユーザアクセスを容易に行えるようにできる。画像データが映像データであって所定の表示面積がある場合は、属性情報と一緒に映像データのキーフレームを表示させ、キーフレームデータから映像データへのリンクを張っておけば、ユーザは直観的に映像データへのアクセスを行えるようになる。
【００８８】
以上述べたように、属性リストが予め決められたデータ形式により構造化されているため、ユーザ側ではデータ形式を定義したファイル（例えばDTD）により、属性リストのデータ構造を解析し、表示可能なデータ形式に容易に変更することができる。
【００８９】
次に、表示された属性リストの中に所望の画像の属性情報がある場合、ユーザは、インターフェース部９を介して再生指示を入力する（ステップＳ23）と同時に、再生したい画像の属性情報を選択する（ステップＳ24）。すると、検索処理部１０では、ユーザによって選択された画像の属性情報に含まれるアドレス（URL）から画像データを表示部１１へ転送し、表示部１１はその画像データの再生／表示を行う（ステップＳ25）。
【００９０】
一方、表示部１１に表示された属性リストの一覧の中に所望の画像の属性情報に一致はしないが、所望の画像の属性情報に近い属性情報がある場合、あるいは属性フレームとともに表示されているキーフレームが所望の画像に類似している場合は、ユーザは、インターフェース部９を介して類似検索指示を入力する（ステップＳ23）と同時に、類似検索に用いる所望の画像の属性情報に近い属性情報を選択する（ステップＳ26）ことにより、所望の画像と類似する画像を画像情報蓄積部５にて検索することができる。
【００９１】
つまり、ユーザによりインターフェース部９を介して類似検索指示が入力し（ステップＳ23）、続いて類似検索に用いる属性情報が選択されると（ステップＳ26）、検索処理部１０は、特徴記述子セットによる特徴類似検索を行ない、ステップＳ26により選択された画像の特徴記述子セットを画像情報蓄積部５より抽出して、画像情報蓄積部５に蓄積されている他の画像の特徴記述子セットとの適合判定処理を行う（ステップＳ27）。尚、以下の説明では、上述したように特徴量が動きベクトルや輝度・色差信号の直流成分に関する特徴記述子セットで記述されている場合を例にとり説明する。
【００９２】
図１２は、図１１におけるステップＳ２７の適合判定処理の一例を詳細に示すフローチャートである。
まず、ビデオセグメント内のインターフレームの特徴記述子である動きベクトルに関する４つの特徴記述子ＣNp，Ｎsr，Ｎmr，Ｎlrと、イントラフレームの特徴記述子である輝度・色差成分の直流成分に関するNmb個の特徴記述子avgY[n], avgU[n], avgV[n], stdY[n], stdU[n], stdV[n]のそれぞれについて、ステップＳ26により選択された画像の特徴記述子セットの各特徴記述子の値に基づいて閾値により規定した当該各特長記述子の所定の範囲内にあるか否かを比較し（ステップＳ27-1〜S27-11）、すべての特徴記述子の値が所定の範囲内の値をとる場合には適合であると判定し、それ以外の場合は不適合とする。
【００９３】
そして、適合であると判定された特徴記述子を持つ画像のアドレス情報（URL）は、表示部１１へ転送される（ステップＳ28）。以上のようにして、特徴記述子セットリスト中の全ての特徴記述子セットについて適合判定処理が終了するまで（ステップＳ29“Ｙ”）、同様に残りの特徴記述子セットとの適合判定処理を行う。
【００９４】
そして、特徴記述子セットリスト中の全ての特徴記述子セットについて適合判定処理が終了した場合（ステップＳ29“Ｎ”）、表示部１１は、適合であると判定された特徴記述子を持つ画像のアドレス情報に基づき画像情報蓄積部５から画像を取り出し、その画像を再生／表示する（ステップＳ22）。なお、動画像の場合には、適合であると判定された特徴記述子を持つ動画像のキーフレームのアドレス情報を表示部１１へ転送し、表示部１１はそのキーフレームを再生／表示する。そして、ユーザは、表示部１１に表示されたキーフレームの一覧から表示したい動画像をインターフェース部９により選択し（ステップＳ24）、動画像を再生／表示する（ステップＳ25）。尚、再度、類似検索したい画像を選択し（ステップＳ26）、上述したように類似検索を行う（ステップＳ27）ことも可能である。
【００９５】
従って、本実施の形態１の画像検索システムによれば、属性リストを参照しての属性情報に基づく検索を行った後に、特徴記述子に基づく検索を行うようにしたので、効率よく検索を行うことができる。
【００９６】
なお、ステップＳ27の適合判定処理については、他にも様々な方法が考えられる。つまり、上述した図１２の例では、すべての特徴記述子について均一な重みをつけて閾値との比較処理を行っているが、例えば動きに重点をおいて検索したい場合は、インターフレームの特徴記述子の比較処理の結果に重みをかけて最終的な結果を導くよう構成することもできる。さらに、図１２の例では一つ一つの特徴記述子についての比較結果をカスケード接続して最終的な結果を得ているが、全部の特徴記述子の比較処理を適切な正規化処理のもとで結合して、一括判定させるよう構成することもできる。これらの適合判定処理は、特徴記述子のデータを検索目的に応じてもっとも効率よく検索に利用できるよう調整することができる。
【００９７】
また、複数種類の特徴記述子を用いた検索では、あらかじめアプリケーション（検索システム、データベースなど）のタイプに応じて、適合判定処理（検索式）を記述子の形態で保持しておくことも考えられる。判定処理自体を標準的な記法に従って記述することにより、検索に使用する複数の特徴記述子をいかに検索に利用するかをアプリケーションに依存することなく記述することができるので、様々なタイプのアプリケーションを統一的に実装することができる。また、例えば、インターネットで接続され、まったく同様の特徴記述子を検索に利用する別のデータベース上のデータを共通の適合判定処理によって検索処理することも可能となる。適合判定処理の記述例としては、例えば、以下の（1）〜（5）に示すようなものが考えられる。
【００９８】
（1）複数の特徴記述子をどのように適合判定に利用するかを記述する。例えば、一括検索か、カスケード検索か等である。
（2）一括検索処理を行うにあたっての各特徴記述子の重要度に応じた重み係数を与える。
（3）一括検索を行うにあたって、各特徴記述子の正規化方法を与える。
（4）記述子を検索に使用する順序を与える。
（5）カスケード接続による検索の場合に、各特徴記述子によって得られる検索候補の数を与える。
（6）各特徴記述子の記述の精度（どれくらい正確に特徴を記述しているか）を示す値を与える。
（7）各特徴記述子のマッチングによって得られる検索候補を、それぞれANDして出力するか、ORして出力するかの判断基準を与える
【００９９】
これらの適合判定処理手順の記述子は、アプリケーション固有の固定的な記述であってもよいし、アプリケーションが許容する範囲においてユーザによるカスタマイズが可能となるよう構成することもできる。例えば、ユーザは検索利用可能な特徴記述子の種類をシステムから知らされ、それらの性質に応じて自らの好みを反映した独自の適合判定処理を記述子として更新できるようになれば、ユーザにとってより柔軟な検索処理を行うことができるようになる。このような検索システムのカスタマイズはある程度アプリケーション独自に実装することができるが、共通の標準的な記述フォーマットを用意することにより、広範なシステムの実装が容易になるほか、検索に利用可能なデータを異なるアプリケーション間で共有することも可能である。
【０１００】
また本システムの応用例として、本システムを監視システムに適用することが考えられる。例えば、監視カメラにより侵入者の監視を行う監視システムの場合、画像の動きの特徴量により、侵入者の検出が可能であるから、画像の動きの特徴量を記述したメタデータを監視画像ビットストリームとともにデータベースに登録し、属性リストには、監視画像が記録された日時等の情報を登録する。ユーザは記録された監視画像を再生する際に、検索キーとして、日時等のテキスト情報を入力し、さらに「侵入者」というキーワードを検索キーとして入力する。登録されたリストから検索画像候補を選択し、次に検索画像候補に付随するメタデータを検索し、侵入者のあったと思われる画像を表示する。ユーザは表示された画像から見たい画像を選択して再生することができる。さらに、一旦検索して得られた映像に対し、正確な記録日や記録時刻が不明な類似映像をさらに詳細に蓄積映像中から検索するような要求に対しても、特徴記述子セットを用いて映像間のマッチングをとることによりユーザに対して詳細な検索結果を与えることが可能となる。
【０１０１】
また、本システムの別の応用例として、携帯端末等に蓄積されたビデオメールや、ホームサーバに蓄積された放送番組から、ユーザが見たいメールあるいは放送番組を検索して再生するシステムに適用することが考えらる。属性リストは、ホームサーバに番組が録画された日時や番組情報から抽出された番組のタイトル、出演者等の情報から構成される。ユーザは見たい番組の情報を入力することにより検索を行うが、検索結果に所望の情報が得られない時には映像に付加された特徴記述子セットによる類似検索を行うこともできる。これにより正確な番組の情報を覚えていなくても映像に対する印象により検索することも可能となる。
【０１０２】
さらに、以上述べた特徴抽出部３、特徴記述子セット生成部４の動作や抽出される特徴量、生成される特徴記述子セットについては、他にも様々な例がある。例えば、図１２に示すように、特徴抽出部３がビデオ圧縮符号化部１２により圧縮符号化される前の非圧縮状態の画像データから特徴量を抽出して、それらを特徴記述子セット生成部４に受け渡す場合も考えられる。このような構成されたシステムの応用例としては、例えば、長時間の監視映像を圧縮しながら蓄積するシステムにおいて、カメラからのデジタイズされた入力映像に対して直接移動物体や侵入物などの特徴（色、形状、サイズ、動きの大きさ・方向など）を検出して特徴量として抽出し、特徴量記述子セット生成部４において特徴記述子セットを生成した後、ビデオ圧縮符号化部１２において圧縮符号化されるビデオセグメントに付加して蓄積するという運用形態が考えられる。この例では、画像データとしての詳細な特徴を保持した非圧縮映像について特徴量を抽出するので、圧縮データから特徴量を抽出する場合に比べてより詳細な特徴記述子（被写体の種類や軌跡の記述など）を生成できるという利点がある。一方、詳細な特徴記述子の生成には複雑な演算処理系が必要となり、特徴抽出部３、特徴記述子セット生成部４には、より高い演算性能が要求されることになる。
【０１０３】
このような系は、監視だけでなく、コストよりも品質・信頼性を重視する放送業務用途のビデオカメラにも適用可能である。その場合は、本実施の形態に述べたシステム全体が放送番組制作用の映像ライブラリシステムとして機能する。ビデオカメラから取得された映像の特徴記述子セットが記録された映像と一緒にデータベースに記録されることにより、映像自体の持つ類似性をキーとして効率的な素材検索を行うことが可能となる。また、パーソナルユースのビデオカメラにおいても、圧縮符号化の前に簡易な前処理機能を持たせることで、例えば人物の顔画像に関する特徴記述子を生成して、対応する映像と一緒に媒体（ビデオテープでもPCもしくはホームサーバ上のハードディスクでもよい）に記録できるようにしておけば、膨大な未整理映像の中から特定の顔に該当する映像を特徴記述子セットのマッチングによって検索することが可能となる。
【０１０４】
以上のいずれのアプリケーションにおいても、属性リストを用いることにより、複数の媒体やデータベースを記録映像の属性の観点から一元管理することができ、さらに検索候補となる映像の追加や削除などを属性リストのレベルで簡単に行うことができるようになるため、検索処理だけでなく、システムの構築自体を統一的かつ簡易に行うことができる。
【０１０５】
実施の形態２．
本実施の形態２では、特に動画像データに関して、動きや明るさ、色など、複数の種類の特徴記述子を組み合わせて特徴記述子セットを構成し、これらを検索のキーとして用いて、ユーザの意図する検索方針の反映等を可能にした画像検索システムおよび画像検索方法の具体例について説明する。尚、上記実施の形態１では、検索処理部１０をサーバ側に設けて説明したが、本実施の形態２の画像検索システムでは、検索処理部１０をサーバ側とクライアント側とに分けて、サーバ側とクライアント側とを２つのネットワークＡ，Ｂを介し接続したことを特徴の一つとするものである。
【０１０６】
図１５は、本実施の形態２の画像検索システムにおけるサーバ側の特徴部分の構成を示すブロック図である。つまり、図１５は、図１における特徴記述子セット生成部４の詳細な構成を示すと共に、検索処理部１０を2つの検索処理部１０Ａ，１０Ｂに分割したうちのサーバ側の検索処理部１０Ａの詳細ブロックを示し、かつ検索結果を再生するために必要なビデオ再生サーバ２１８とを示したものである。
【０１０７】
図１５において、２０１は圧縮ビデオデータ、２０２は特徴記述子抽出部、２０３は特徴記述子データ、２０４は特徴記述子信頼度算出部、２０５は特徴記述子信頼度、２０６は特徴記述子検索使用順序決定部、２０７は特徴記述子検索使用順序(サーチプライオリティ)データ、２０８は圧縮ビデオデータ格納位置情報、２０９は検索用記述データ生成部である。
【０１０８】
また、２１０は検索用記述データファイル、２１１は検索用記述データ解析部、２１２は解析された特徴記述子データ等、２１３は適合判定処理部、２１４は適合判定処理結果、２１５は検索結果符号化・伝送部、２１６は検索要求情報、２１７は検索結果情報、２１８はビデオ再生サーバ、２１９は再生要求情報、２２０は再生制御部、２２１は再生コンテンツ特定情報、２２２は再生するビデオコンテンツデータ、２２３はビデオデータ送信部、２２４は配信ビデオデータである。
【０１０９】
図１６は、本実施の形態２の画像検索システムにおける主にクライント側の特徴部分の構成を示すブロック図である。つまり、図１６は、図１における検索処理部１０を２つの検索処理部１０Ａ，１０Ｂに分割したうちのクライアント側の検索処理部１０Ｂの詳細ブロックを示すと共に、検索結果をユーザのために再生するビデオ復号・再生部、ユーザとのインタラクション、再生ビデオの表示などのために設けられたユーザインタフェース等を示す。
【０１１０】
図１６において、２２５はネットワークＡ、２２７は検索要求情報符号化・送信部、２２８は検索結果受信・表示部、２２９はユーザインタフェース部、２３０はユーザからの検索要求、２３１はユーザインタフェース部２２９に表示される検索結果、２３２はユーザ、２３３は検索結果再生要求、２３４は検索動画再生、２３５はビデオ再生制御部、２３７はネットワークＢ、２３９はビデオ復号・再生部である。
【０１１１】
尚、図１６に示すクライアント側の検索処理部１０Ｂ、ビデオ再生制御部２３５、およびビデオ復号・再生部２３９と、図１５に示すサーバ側の検索処理部１０Ａおよびビデオ再生サーバ２１８との間では、ネットワークＡ２２５，Ｂ２３７を介して、検索要求情報２１６、検索結果情報２１７、再生要求情報２１９および配信ビデオデータ２２４をやり取りする。ここで、ネットワークＡ２２５は、例えば、データ伝送の高速性よりも信頼性に重点を置いたネットワークを意味し、たとえば、TCP/IPなどのコネクションを意味する。また、ネットワークＢ２３７は、例えば、データ伝送の信頼性よりもリアルタイム伝送のための高速性を重視したネットワークを意味し、たとえば、RTP/UDP/IPなどのコネクションを意味する。
【０１１２】
また、図１６におけるユーザインタフェース部２２９は、図１におけるクライアントの部分に該当し、図１におけるユーザインタフェース部９と表示部１１を併せ持つクライアントアプリケーションを示すものとする。
【０１１３】
また、上述したように、図１５に示す構成は主としてサーバ側に設置されるコンポーネント、図１６に示す構成は主としてクライアント側に設置されるコンポーネントを意図している。これらの図からわかるように、本システムでは、実際の検索適合判定処理などの検索処理自体は検索処理部１０Ａによりサーバ側で行われることを想定し、クライアント側は検索処理に対するユーザの趣向などの要求情報を所定のルールにしたがって符号化してサーバ側に送信することにより、サーバがそれらの情報を解釈して検索処理に反映させることを想定する。
【０１１４】
このようなシステムとすることにより、多数の検索用のビデオ記述データを格納するファイルを、ネットワークを介してクライアント側に送信する必要がなくなり、ネットワーク使用効率を高めることができる。また、通常の検索結果の提示形態としては、いくつかの検索候補をユーザに提示する形が一般的であるが、検索結果情報として検索候補となったビデオデータすべてをクライアント側に伝送することなく、リアルタイムビデオ再生系と組合せることによって、ユーザが真に必要とする検索結果だけをクライアント側に伝送するようにすることができる。これもトータルのネットワーク使用効率を高める効果が得られる。
【０１１５】
本システムの検索処理の特徴として、複数のビデオ特徴記述子に対して、それぞれ記述の信頼性を示す数値を算出し、その値に応じて、検索に使用する順番を定め、それらの値を記述データの一部としてXMLファイルなどの検索用記述データに格納する点が挙げられる。また、この、検索に使用する順序に関する記述子は、検索に関するユーザの趣向などを反映するため、クライアントからのユーザ要求に応じて更新可能なデータとすることによって、複数のビデオ特徴記述子の組合せ検索のパラメータを与える記述子として機能させる。
【０１１６】
また、各特徴記述子の信頼性を示す数値は、各特徴記述子を検索に用いるステップでの検索結果絞り込み候補数などのシステムパラメータの決定に利用する。以下、特徴記述子を検索に使用する順序の記述子を「サーチプライオリティ」、各特徴記述子の信頼性を示す数値を「信頼度」と呼ぶ。両者の詳細な意味、使用方法は後述する。
【０１１７】
図１７に、本システムにおける検索用記述データ生成および検索処理のフローチャートを示す。以下、図１５〜１７に基づいて、本実施の形態２におけるシステムの詳細な動作を説明する。
【０１１８】
( １ ) 検索用記述データファイル２１０の生成（Ｓ３０〜Ｓ３３）
はじめに、検索用記述データを付加しようとする入力画像データとしての圧縮ビデオデータ２０１に対し、以下に述べる処理を行うことにより、検索用記述データファイル２１０の生成を行う。以下では、検索用記述データを生成する対象となる圧縮ビデオデータ２０１をビデオセグメントと呼ぶ。ビデオセグメントは、実施の形態１にも述べたように、任意の数のフレーム群から構成される単位ビデオデータを示す。したがって、ビデオセグメントは、たとえば１本のテレビプログラムやビデオソフトを示す場合もあるし（以下、このような場合を「ビデオプログラム」と呼ぶ）、テレビプログラム中の特定の意味内容に応じて分類されるシーン（以下、「ビデオシーン」と呼ぶ）や、シーンを構成する個々のカメラショット（以下、「ビデオショット」と呼ぶ）などを示す場合もある。これらはフレーム数の観点から言えば、異なるフレーム数を持つビデオセグメントである。
【０１１９】
（１ - １）検索用記述データの構成
図１８に、本実施の形態２における検索用記述データファイル２１０を構成する検索用記述データの構造の記述例を示す。具体的には、検索用記述データは、ビデオプログラム２４０を最上位階層とし、ビデオプログラム２４０を構成するビデオシーン（図では、「シーン」と略す）２４３群を次の階層とし、さらに各シーン２４３を構成するビデオショット（図では、「ショット」と略す）２４４群を最下位階層として構成される。尚、図上では、ビデオセグメント(ビデオプログラム２４０、ビデオシーン２４３、ビデオショット２４４)、サーチプライオリティ２４１、および信頼度２４２は“□”で示している一方、各ビデオセグメント、特にビデオショットを記述する特徴記述子２４５〜２４９群を“○”で示している。本システムでは、ビデオショット２４４に関する以下の特徴記述子２４５〜２４９のセットを生成する。
【０１２０】
・動き量２４５
ビデオセグメント中の動きベクトルの大きさに関する特徴記述子である。
・動き方向２４６
ビデオセグメント中の動きベクトルの方向に関する特徴記述子である。
・動き分布２４７
ビデオセグメント中の動きベクトルの画面内分布に関する特徴記述子である。
・明るさ２４８
ビデオセグメント中の平均的な明るさに関する特徴記述子である。
・代表色２４９
ビデオセグメント中の代表色に関する特徴記述子である。
【０１２１】
尚、各階層２４０〜２４４および特徴記述子２４５〜２４９には、後述する信頼度２４２が設定される。
【０１２２】
また、サーチプライオリティ２４１については、最上位階層のビデオプログラム２４０に対して１つ付加する。
【０１２３】
各特徴記述子に代表される特徴量は、その検索使用順序が変わることによって異なった結果を返す。この例では、多くの初期データベースの段階から、動き量的によく適合するビデオセグメントがはじめに絞り込まれるので、最終的にユーザに提示される検索結果には、確実に動き量の観点で類似度の高い結果が得られることが期待される。こういった情報をビデオセグメントに対して付与することにより、ユーザは常にサーチプライオリティ２４１の情報に基づいた検索結果を得ることができ、さらにユーザがこの情報を動的に変更することを可能にすることにより、ユーザの意図に応じた検索結果を柔軟に引き出すことが期待できる。
【０１２４】
また、本実施の形態２では、ビデオプログラム２４０中のある特定のビデオショット２４４に対し、類似する他のビデオショット２４４を同一ビデオプログラム２４０中から検索する処理を想定するため、サーチプライオリティ２４１は、ビデオプログラム２４０に対して１つ付加することとし、ビデオシーン２４３やビデオショット２４４の階層に相当するビデオセグメントには付与しないものとする。
【０１２５】
次に、各特徴記述子に設定される信頼度２４２について説明する。信頼度２４２とは、たとえば動き量に関する特徴記述子を例にとると、その記述子がビデオコンテンツの動き量をどれだけ正確に記述できているかを客観的な数値として表現するものである。数値化の方法については、各々の特徴記述子の生成に関する説明の項目で詳述する。本実施の形態２では、信頼度２４２は、ビデオショット２４４の個々の特徴記述子２４５〜２４９等に対して算出および付与される信頼度２４２Ｃと、各ビデオシーン２４３に対し付与される各ビデオシーン２４３を構成する全ビデオショット２４４の信頼度の値の平均値である信頼度２４２Ｂと、ビデオプログラム２４０に対し付与される当該ビデオプログラム２４０を構成する全ビデオシーン２４３の信頼度の値の平均値である信頼度２４２Ａとがある。検索用記述データを構成する各要素に付与された以上の信頼度２４２は、主にサーチプライオリティ２４１の初期設定と、検索処理段階でのパラメータ設定に利用する。詳細は後述する。
【０１２６】
（１ - ２）検索用記述データ生成処理
( １ - ２ - １ ) 特徴記述子の生成処理（Ｓ３０ )
個々の特徴記述子の生成は、まず、特徴抽出部３が特徴記述子の生成に必要な動きベクトルやDC成分値などの画像特徴量を圧縮ビデオデータ２０１中から抽出し、これらに基づいて特徴記述子生成部２０２が各特徴記述子の生成を行う（Ｓ３０)。以下、各特徴記述子の生成方法の詳細について述べる。
【０１２７】
(a) 動き量に関する特徴記述子２４５
ビデオセグメント中のk番目のインターフレーム(P-frame)に対し、下式に従い、フレーム内のすべてのマクロブロック(1≦n≦N；Nはフレーム内マクロブロック総数)の動きベクトルＭＶk[n]の大きさＣk[n]を抽出する。
【０１２８】
【数７】
次いで、１フレーム分蓄積されたＣk[n]について、以下の平均値および分散を求める。
【０１３０】
【数８】
【数９】
以上の結果、インターフレームkの動き量に関する特徴記述子のデータセット(Ｃk avg，σk 2)が得られる。さらに、ビデオセグメントあたりの値を得るため、ビデオセグメント内のインターフレームの総数で平均をとる。
【０１３３】
(b) 動き方向に関する特徴記述子２４６
各インターフレームにおいて、動きベクトルＭＶk[n]の角度Ａk[n]を下式で求める。角度はDegree表記とする。
【０１３４】
【数１０】
一方、イントラマクロブロックでは、Ａk[n]=0とする。１フレーム分蓄積されたＡk[n]について、下式により平均をとる。さらに、ビデオセグメントあたりの値を得るため、ビデオセグメント内のインターフレームの総数で平均をとる。
【０１３６】
【数１１】
(c) 動き分布に関する特徴記述子２４７
(a)においてインターフレームkについて求めた各動きベクトルＣk[n]に対して、以下の閾値処理を施す。
【０１３８】
【数１２】
こうして得られた新しい動きベクトル分布に対し、Ｃk '[n]をラスタスキャン順にスキャンし、以下の動き分布を特徴づける量を求める。
【０１４０】
尚、実施の形態１でも説明したが、図７からわかるように、short runが多いフレームでは動きの複雑度が大きく、広い範囲に動きが分布していることを示し、long runが多いフレームでは動きが局在化されていることを示す。
【０１４２】
そして、さらに、ビデオセグメントあたりの値を得るため、ビデオセグメント内のインターフレームの総数で平均をとる。
【０１４３】
(d) 明るさに関する特徴記述子２４８
イントラフレームの輝度信号成分に含まれる各マクロブロックの直流(DC)成分のヒストグラムを用いる。DC成分は０〜２５５の範囲の値とし、その範囲を１６個のサンプルへ量子化し、各サンプルに対してヒストグラムを求める。イントラフレームごとに求めたヒストグラムを各サンプルごとにビデオセグメント中の全イントラフレーム数で平均する。最後に、下式により、全イントラフレーム(N枚)の平均をとる。
【０１４４】
【数１３】
(e) 代表色に関する特徴記述子２４９
イントラフレームの輝度および色差信号成分に含まれる各マクロブロックの直流(DC)成分のヒストグラムを用いる。DC成分は０〜２５５の範囲の値とし、その範囲を１６個のサンプルへ量子化し、各サンプルに対してヒストグラムを求める。イントラフレームごとに求めたヒストグラムを各サンプルごとにビデオセグメント中の全イントラフレーム数で平均する。最後に、下式により、全イントラフレーム(N枚)の平均をとる。
【０１４６】
【数１４】
( １ - ２ - ２ ) 信頼度の算出処理（Ｓ３１ )
次いで、特徴記述子信頼度算出部２０４において、Ｓ３０で求めた各特徴記述子２４５〜２４９に対する特徴記述子信頼度２４２(図１５における特徴記述子信頼度２０５と等価)を算出する（Ｓ３１)。各特徴記述子ごとの算出方法を以下に述べる。
【０１４８】
(a) 動き量２４５に関する特徴記述子
ビデオセグメント内の全インターフレームについて(Ｃk avg，σk 2)の抽出を行った後、個々の要素に対して、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度を基準とするビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、(Ｃk avg，σk 2)に対する各信頼度の平均値とする。
【０１４９】
(b) 動き方向２４６に関する特徴記述子
ビデオセグメント内の全インターフレームについてＡk avgの抽出を行った後、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。
【０１５０】
(c) 動き分布２４７に関する特徴記述子
ビデオセグメント内の全インターフレームについて(ＳＲk,ＭＲk,ＬＲk)の抽出を行った後、最終的に得られるビデオセグメントとしての値と各フレームの値との差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、(ＳＲk,ＭＲk,ＬＲk)に対する各信頼度の平均値とする。
【０１５１】
(d) 明るさ２４８に関する特徴記述子
各ヒストグラムサンプルごとに、最終的に得られるビデオセグメントとしての値と各フレームの値との間の差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、各ヒストグラムサンプルに対する信頼度の平均値とする。
【０１５２】
(e) 代表色２４９に関する特徴記述子
各色空間の各ヒストグラムサンプルごとに、最終的に得られるビデオセグメントとしてのヒストグラムと各フレームのヒストグラムとの間の差分絶対値をとり、ビデオセグメント中の最大値を0、最小値を100として正規化した各フレームの差分絶対値を、全フレームに渡って加算平均することによって算出する。これはフレームの記述精度に対するビデオセグメントの記述精度を示す値となる。特徴記述子としての信頼度は、各ヒストグラムサンプルに対する各信頼度の平均値とする。
【０１５３】
( １ - ２ - ３ ) サーチプライオリティ２４１の設定処理（Ｓ３２）
ビデオプログラム２４０中に含まれるすべてのビデオショット２４４に対して特徴記述子２４５〜２４９および信頼度２４２の算出が終了した後、特徴記述子検索使用順序決定部２０６において、ビデオプログラム２４０に対するサーチプライオリティ２４１の初期設定を行う（Ｓ３２)。初期設定方法はシステムの設計に応じて自由に規定することが可能であるが、本実施の形態２では、ビデオプログラム２４０中の全特徴記述子の信頼度２４２Ａに基づいて決定する。ビデオプログラム２４０の各特徴記述子の信頼度２４２Ａをk、ビデオシーンmの各特徴記述子の信頼度２４２Ｂをk(m)、ビデオシーンm中のビデオショットnの各特徴記述子の信頼度２４２Ｃをk(m,n)とすると、これらk、k(m)、k(m,n)の間には、下式の関係が成立することにとなる。
【０１５４】
【数１５】
【数１６】
従って、kの値が大きい特徴記述子ほど、ビデオプログラム２４０中でより良いコンテンツ記述を与えるものと考えられるため、k値の大きいものから順に、サーチプライオリティ２４１を決定する。
【０１５７】
( １ - ２ - ４ ) 検索用記述データファイル２１０の書き出し（Ｓ３３）
以上の処理過程を経て、最後に検索用記述データ生成部２０９において、図１８の構造に従って圧縮ビデオデータ２０１の時空間構造に関連付けて、ビデオプログラム、ビデオシーン、ビデオショットの全特徴記述子ならびにサーチプライオリティ、信頼度を、XMLファイルなどの形式に書き下すことにより検索用記述データファイル２１０を生成し、生成した検索用記述データファイル２１０を画像情報蓄積部５へ出力して格納する（Ｓ３３)。なお、この過程では、生成された検索用記述データファイル２１０がどのビデオデータを記述するものかを参照できるようにするため、圧縮ビデオデータ格納位置情報２０８も一緒にファイル化して検索用記述データファイル２１０として画像情報蓄積部５へ出力することにより、ファイルを解析することにより記述対象となったビデオデータの所在を特定できるようにしている。
【０１５８】
( ２ ) 検索処理
次に、クライアント側からユーザが指定するクエリー(検索元ビデオショット)に対して行う検索処理について詳述する。検索処理は、図１５に示す検索処理部１０Ａ、および図１６に示す検索処理部１０Ｂによって実行される。
【０１５９】
検索処理部１０Ａは、クライアント側から送信される検索要求情報２１６を解釈して、クエリーを特定し、画像情報蓄積部５に格納された検索用記述データファイル２１０を用いた適合判定処理によって所定の検索結果を求め、所定のルールで検索結果情報２１７を符号化し、クライアント側に返送する。
【０１６０】
検索処理部１０Ｂは、ユーザからの検索要求をユーザインタフェース部２２９から受け入れ、それを所定の手順に従って検索要求情報２１６として符号化してサーバ側の検索処理部１０Ａへ送信するとともに、サーバから所定のルールに従って送信された検索結果情報２１７を受信し、ユーザに提示できる形に変換し、ユーザインタフェース部２２９上に表示する処理を行う。
【０１６１】
本実施の形態２では、図１８に示すように記述されたビデオプログラム２４０中の特定のビデオショット２４４を検索元ビデオセグメント（クエリー）として、同じビデオプログラム２４０中からクエリーに類似するビデオショットを検索する状況を想定する。
【０１６２】
クエリーとなるビデオショットの特定方法については、様々なケースが考えられる。例えば、ビデオプログラムを制作する側があらかじめ検索のキーとなるようなビデオショットをクエリーとして登録しておき、それをユーザに提示していずれかを指定させる方法や、ビデオプログラムを視聴するユーザが任意の場所で再生を停止し、その時点のビデオショットをクエリーとして指定するなどが考えられる。以下では、クエリーが特定された後の検索処理について詳述する。
【０１６３】
( ２ - １ ) クエリーの特定と検索用記述データの解析（Ｓ３４〜Ｓ３６）
ユーザは、まず、ユーザインタフェース部２２９上に提示されたクエリーリストなどから検索元となるクエリーを選定する（Ｓ３４)。クエリーリストとしては、あらかじめサーバ側の画像情報蓄積部５から、クエリー候補のビデオセグメントを代表するキーフレームなどのデータをユーザインタフェース部２９に提示しておく形式などを想定する。
【０１６４】
検索処理部１０Ｂは、検索要求情報符号化・送信部２２７において、ユーザから指定されたクエリーをサーバ側で特定するための情報を検索要求情報２１６として検索処理部１０Ａに送信する。これは、例えば、ビデオプログラムおよびその構成要素であるビデオショットの時系列番号であったり、適当なIDデータであればよい。また、このようなコンテンツ特定情報は、もともと検索用記述データファイル２１０の中にコンテンツへのリンク情報として記述されており、ユーザにクエリーリストを提示する際にコンテンツ特定情報を付加してクライアントに送信するという構成にすることもできる。
【０１６５】
すると、検索処理部１０Ａでは、検索処理部１０Ｂから送られる検索要求情報２１６を検索用記述データ解析部２１１が受け取り、検索用記述データ解析部２１１は、受信した検索要求情報２１６に基づいてクエリーとなるビデオショットに関する検索用記述データファイル２１０を特定し、それを解析して特徴記述子などのデータを抽出する（Ｓ３５)。
【０１６６】
また、検索用記述データ解析部２１１は、クエリーが属するビデオプログラムのサーチプライオリティ２４１と、各ビデオシーンの信頼度２４２Ｂのデータをあらかじめ抽出して、適合判定処理部２１３へ引き渡しておき、クエリーに関する特徴記述子などのデータを適合判定処理部２１３に引き渡した後、クエリーが属するビデオプログラム中の各ビデオショットに対応する検索用記述データファイル２１０を順次解析して、適合判定処理部２１３に引き渡す（Ｓ３６)。
【０１６７】
なお、検索用記述データファイル２１０の構成方法は任意であり、ビデオプログラム２４０内のすべてのビデオショット２４３の検索用記述データが１つのファイル内に格納されていてもよいし、個々のビデオショット２４４ごとにファイル分割されていてもよい。後者の場合は、ビデオプログラム２４０の記述データファイル２１０から個々のビデオショット２４４の記述データファイルを特定するリンク情報が含まれていればよい。
【０１６８】
( ２ - ２ ) 検索ルールの決定および適合判定処理（Ｓ３７〜Ｓ３８ )
適合判定処理は、検索処理部１０Ａの適合判定処理部２１３にて行われ、その動作は大きく分けると、検索ルールの決定と、各特徴記述子による適合判定処理に分類される。
【０１６９】
(２ - ２ - １ ) 検索ルールの決定
適合判定処理部２１３は、検索用記述データ解析部２１１より受け取ったビデオプログラムのサーチプライオリティ２４１と、ビデオシーンの信頼度２４２Ｂのデータとに基づき、検索ルールおよび検索のためのパラメータを設定する（Ｓ３７)。本実施の形態２では、後述する図１９に示すようにサーチプライオリティ２４１に基づいて各特徴記述子を検索に使用する順序を検索ルールとして決定し、その次に、信頼度に基づいて、以下の検索パラメータを決定する。
【０１７０】
(a) 各特徴記述子による検索ステップにおける検索候補数
まず、検索結果としてユーザに返信する最終検索結果数Ｔを定める。これはシステムがデフォルト値としてもっていてもよいし、ユーザ要求としてユーザインタフェース部２２９→検索処理部１０Ｂ→検索処理部１０Ａという順に受け渡されて設定されるようにしてもよい。検索エンジンは、各ビデオシーンについてＴ個以下の検索結果を求め、検索候補となった全ビデオシーン中の全ビデオショットのうち、適合判定結果の上位Ｔ個のビデオショットを最終的な結果としてユーザに返すものとする。
【０１７１】
ビデオシーンmの検索時における検索候補数Ｔkを、信頼度k(m)に基づき、以下のように決定する。
【０１７２】
【数１７】
ここで、Ｐkは、K(1≦k≦5)番目の特徴記述子のサーチプライオリティ(1≦Ｐk≦5)である。この設定により、各特徴記述子をサーチプライオリティの順序で検索する各ステップにおける検索候補数Ｔkが決定される。基本的に各検索ステップごとに検索候補数Ｔkが絞られていくので、検索処理を高速化することができる。場合によってはこのような検索によりユーザの真に期待するビデオショットをある検索ステップで見落としてしまう可能性もあるため、各検索ステップの検索候補数は一定として、そのなかでの最終検索候補の決定に際して信頼度を利用する方法も考えられる。
【０１７４】
（ b ）閾値処理に基づく検索スキップ判定
各ビデオショットの適合判定処理の際、下式の条件を満たすビデオショット、すなわちサーチプライオリティの最も高い特徴記述子の信頼度が極端に低いビデオショットは、検索条件に見合わないものとして適合判定処理の候補から外すものとする。信頼度は０に近いほど信頼性が低く、１００に近いほど信頼性が高いとみなすので、下式のＴＨは適当に小さな値を設定しておけばよい。
【０１７５】
【数１８】
本判定により、明らかに検索結果候補として適当でないビデオショットを適合判定処理を行う前に除外することができ、検索処理の高速化を図ることが可能である。
【０１７７】
尚、本実施の形態２の説明では、サーチプライオリティの最も高い特徴記述子を判定に用いることとしたが、これ以外にも信頼度を用いた様々なスキップ判定方法を実現可能である。また、本実施の形態２の判定は、各ビデオショットに対する適合判定処理を行う際に、ビデオショットごとに行われる。
【０１７８】
( ２ - ２ - ２ ) 各特徴記述子の適合判定処理
以下の基準に基づいて、各検索ステップにおいてサーチプライオリティ２４１によって定められる特徴記述子の適合判定処理を行う。（Ｓ３８)
【０１７９】
(a) 動き量に関する特徴記述子
個々のデータ間のユークリッド距離をすべて加算する。各データ要素の値域の違いを吸収するため、正規化処理を行う。クエリーをＳq、検索先ビデオショットをＳとし、ＳqとＳとの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８０】
【数１９】
クエリーＳq、検索先ビデオショットＳの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８１】
【数２０】
(c) 動き分布に関する特徴記述子
クエリーＳq、検索先ビデオショットＳの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８３】
【数２１】
(d) 明るさに関する特徴記述子
クエリーＳq、検索先ビデオショットＳの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。ただし、Ｈi(Ｓ)をI番目のサンプルのヒストグラム値とする。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８５】
【数２２】
(e) 代表色に関する特徴記述子
クエリーＳq、テストＳの間のマッチング評価尺度Ｄ(Ｓq，Ｓ）を下式で定める。ただし、[Ｈi Y(Ｓ),Ｈi U(Ｓ),Ｈi V(Ｓ)]をi番目のサンプルのヒストグラム値とする。このＤ(Ｓq，Ｓ）が小さいものほど類似度が高く、適合するものと判定する。
【０１８７】
【数２３】
図１９に、適合判定処理部２１１におけるサーチプライオリティ２４１によって定められる特徴記述子の適合判定処理の一例を示す。例えば、ビデオセグメントあたり３つの特徴記述子D1〜D3があるとする。サーチプライオリティPk（Kは自然数）は、各特徴記述子Dkが検索に使用される順序を規定する値である。例えば、D1が動き量、D2が動き分布、D3が明るさに関する特徴記述子であるとすると、図１９の例では、適合判定処理部２１１は、クエリー(検索元ビデオショット)２５０に対し、動き量に関する特徴記述子D1を最初に用いて適合判定処理２５１を行い、検索用記述データ解析部２１１から転送される画像情報蓄積部５に格納されていた多数のデータベース２５７の中から、動き量の観点で類似度が高くよく適合するビデオセグメントデータを絞り込む。その絞り込み結果２５２に対して、動き分布に関する特徴記述子D2を用いて適合判定処理２５３を行い、動き分布の観点で類似度が高くよく適合するビデオセグメントデータを絞り込み、さらにその結果２５４に対して、明るさに関する特徴記述子D3を用いて適合判定処理２５５を行い、明るさの観点で類似度が高くよく適合するビデオセグメントデータを絞り込み、最終結果２５６(図１５における適合判定処理結果２１４と等価)を得る。
【０１８９】
( ２ - ３ ) 検索結果の提示とユーザフィードバックに基づく再検索（Ｓ３９〜Ｓ４１）
以上の検索ルールと適合判定処理に基づいて選択されたＴ個の検索結果のビデオショットに関して、その情報をユーザインターフェース部２２９によりユーザ２３２に提示する（Ｓ３９)。提示の方法は任意であるが、本実施の形態２では、例えば、最初にクエリーリストを提示したように、検索結果のビデオショットを代表するキーフレームデータやビデオショットの属性情報（ビデオショット内の被写体の名前など）を所定のルールに基づいて符号化して検索結果情報２１７としてクライアント側の検索処理部１０Ｂに送信し、検索処理部１０Ｂの検索結果受信・表示部２２８がサーバ側から送信されるキーフレームデータや属性情報を符号化した検索結果情報２１７を受信して、ユーザインタフェース部２２９に表示可能な形式に変換してユーザインタフェース部２２９に引き渡す。以上の処理を経ることによって、ユーザ２３２は、検索結果をユーザインタフェース部２２９上に見ることができる。
【０１９０】
次いで、ユーザフィードバックに基づく再検索の手順について説明する。
ユーザは、最初はサーチプライオリティ２４１や信頼度２４２などに基づいて上記のように定められる検索ルールに従って得られた検索結果を確認するが、この結果がユーザの主観上、期待されるものと異なる場合が考えられる。そのような場合に柔軟に対処するため、本実施の形態２では、ユーザがサーチプライオリティを変更し、その変更値に基づいて再検索を行うことが可能となるようシステムを構成する（Ｓ４０)。
【０１９１】
図２０に、ユーザが特に着目したい主観的な意味と、特徴記述子との関連の一例を示す。同図からわかるように、特定の被写体が一定方向に移動するビデオショットをユーザがクエリーとして選択した際、検索結果として特に「動きの方向という特徴に対して類似するビデオショット」を期待していることが多いと考えることができる。しかし、最初の初期設定では、サーチプライオリティが信頼度に基づいて決定されるので、必ずしもこのような主観的な重み付けが検索過程に反映されていない可能性がある。
【０１９２】
そこで、図２０に示されるような主観的意味をユーザが検索処理に反映できるよう、ユーザインタフェース部２２９等を介してサーチプライオリティ２４１を変更できるように構成する。例えば、上記の例で、ユーザ２３２は「動き方向の特徴記述子に関するサーチプライオリティをより高い値に設定する」ことを可能にする。このようにすることによって、検索処理は動き方向の特徴記述子の適合判定処理を先行して行うことになるので、最終的な検索結果に「動き方向」のファクタがより反映されやすくなる。
【０１９３】
ユーザ２３２によって更新されたサーチプライオリティ２４１は、検索要求情報符号化・送信部２２７によって所定のルールで符号化され、検索要求情報２１６の一部として、ネットワークＡ２２５を介し、サーバ側の検索処理部１０Ａにおける検索用記述データ解析部２１１へ送信される。
【０１９４】
検索用記述データ解析部２１１は、送られたサーチプライオリティ２４１の更新値を以降の検索処理に再利用できるよう、検索用記述データファイル２１０におけるビデオプログラム２４０に対応するサーチプライオリティ２４１の値を当該更新値によってアップデートする（Ｓ４１)。
【０１９５】
また、検索用記述データ解析部２１１は、一連の検索処理が終了した時点で、その時点で最新のサーチプライオリティ２４１の値を更新した状態で、検索用記述データファイル２１０を画像情報蓄積部５に再保存する。
【０１９６】
このような構成をとることにより、ユーザは、同じビデオプログラムを再度同様の基準で検索する場合に、過去のユーザの主観要求を反映した形で再検索を行うようにすることができる。
【０１９７】
また、複数の異なるユーザ２３２がシステムを利用するような場合、検索用記述データファイル２１０は、個々のユーザ２３２ごとにサーチプライオリティ２４１を格納可能なファイル構成とすることも考えられる。こうしておくことにより、適当なユーザ認証の手続きを組み込むことによって、個々のユーザ２３２に適した検索ルールを適宜再現することが可能となる。
【０１９８】
以上のようにして更新されたサーチプライオリティ２４１を用いて、Ｓ３７以降の検索処理を繰り返すことにより、再検索が行われることになる。これで図１７に示す本システムにおける検索用記述データ生成および検索処理が終了する。
【０１９９】
（３）ビデオショット再生処理
以上述べた動作により、ユーザは所望の検索結果をユーザインタフェース部２２９上に引き出すことが可能となる。しかし、一般に検索結果は複数の検索候補を提示するものであり、それらをすべてビデオデータとして表示するにはサーバ側からクライアント側へ多量の情報伝送が必要となる。そこで、上述したように、ユーザインタフェース部２２９としては、ビデオショットを代表するキーフレームのようなデータを提示して、そこから選択的に映像再生が可能となるよう構成することにより、トータルの情報伝送量を効果的に削減することが可能である。そのようなシステム構成とするため、本実施の形態２では、図１５および図１６に示すビデオ再生サーバ２１８、ビデオ復号・再生部２３９、再生制御部２３５等を導入したものである。ユーザ２３２は、本機能を選択したビデオショットやビデオプログラムを再生するために利用する。
【０２００】
次に、ユーザ２３２による本機能を選択したビデオショットやビデオプログラムを再生動作について説明する。
【０２０１】
まず、ユーザ２３２がユーザインタフェース部２２９上に提示されたキーフレームにより再生したいビデオショット２４４やビデオプログラム２４０を選択すると、その選択情報が検索結果再生要求２３３としてユーザインターフェース部２２９からビデオ再生制御部２３５へ出力される。
【０２０２】
ビデオ再生制御部２３５では、所定の手順でその検索結果再生要求２３３を再生要求情報２１９に変換し、ネットワークＡ２２５を介してサーバ側のビデオ再生サーバ２１８の再生制御部２２０に送る。
【０２０３】
再生制御部２２０では、再生要求情報２１９にコンテンツを特定するコンテンツ特定情報などを含めた再生コンテンツ特定情報２２１を生成するようにする。このような再生コンテンツ特定情報２２１は、もともと検索用記述データファイル２１０の中にコンテンツへのリンク情報として予め記述されており、ユーザに対し検索結果情報２１７を提示する際に、検索結果情報２１７にそのコンテンツ特定情報を付加してクライアント側に送信しておき、再生要求情報２１９として利用するという構成にすることもできる。
【０２０４】
そして再生制御部２２０は、受信した再生要求情報２１９に基づく再生コンテンツ特定情報２２１を画像情報蓄積部５へ送り、画像情報蓄積部５から再生対象のビデオコンテンツデータ２２２を特定し、特定した再生対象のビデオコンテンツデータ２２２をビデオデータ送信部２２３へ送出する。
【０２０５】
ビデオデータ送信部２２３では、再生対象のビデオコンテンツデータ２２２をリアルタイム配信可能なデータ形式の配信ビデオデータ２２４に変換した後、ネットワークＢ２３７へ送出する。
【０２０６】
尚、ビデオデータ送信部２２３は、このような高速性を重視するネットワークＢ２３７に対してビデオデータを送出するにあたって、網内もしくはクライアント側で信頼性を確保することを可能とするためのデータ形式への変換を行うようにしても良い。例えば、ビデオデータをビデオのフレームを単位に分割し、その単位でタイムスタンプを付与したり、伝送単位のパケットに対する優先度の情報を付加したりすることなどが考えられる。
【０２０７】
一方、クライアント側は、高速なネットワークＢ２３７を通じて送られてくる配信ビデオデータ２２４を、ビデオ復号・再生部２３９が受信して、別途ビデオ再生制御部２３５から渡される再生に必要な制御情報２６２に基づいて、ユーザインタフェース部２２９上にビデオ再生を行う。その際、ビデオ復号・再生部２３９およびビデオ再生制御部２３５は、伝送上の問題で伝送データの信頼性が低くなっているような場合は、適宜、再生品質を補うための品質管理制御を行うようにする。
【０２０８】
以上のように、本実施の形態２の画像検索システムおよび検索方法によれば、サーバ・クライアント型のシステム構成をとることによって、ローカルな環境だけでなく、IP網などの分散ネットワーク環境においてもビデオデータを効率的に検索・配信できる。
【０２０９】
また、サーチプライオリティ２４１と信頼度２４２を検索用記述データとして画像情報蓄積部５に格納することにより、検索システムがそれらの値に基づいて共通的な検索ルールの決定指針を定めることができる。
【０２１０】
また、サーチプライオリティ２４１の更新機能により、ユーザがビデオコンテンツの主観的な意味に基づいた優先付け検索を行うことができる。
【０２１１】
さらに、特徴記述子の信頼度に基づく適合判定処理のスキップ制御により、検索処理速度を高速化することができ、システム効率を向上させることができる。
【０２１２】
なお、上記実施の形態１，２では、扱うメディアはビデオデータのみとして述べてきたが、本発明では、これに限らず、別途、音声・オーディオデータなどが付加されたビデオデータについても同様の構成でシステムを構築することができる。また、オーディオデータに関して別途特徴記述子をベースとした検索系を用意してもよく、また、オーディオデータについては単にビデオデータに付随しており検索の対象にならないようなシステム構成も可能である。オーディオが付与される場合、ビデオショット再生処理については、ビデオデータに付随・同期するオーディオデータの再生もサポートするように構成すればよい。
【０２１３】
また、本実施の形態２に述べたシステムは、特徴抽出部３および特徴記述子セット生成部４から構成され、特徴記述データを生成するモジュールと、画像情報蓄積部５から構成され、特徴記述データをデータベース登録するモジュールと、検索処理部１０Aから構成され、ユーザからの検索要求を受け付けて検索を実行して結果を返す検索エンジンのモジュールと、主に検索処理部１０Bから構成され、ユーザからの検索要求を検索エンジンに通知して返される検索結果をユーザに提示するクライアントモジュールについては、必ずしも同一ハードウエア・ソフトウエア上に構築される必要はなく、各々定められたインタフェースに従うことで独立にハードウエア、ソフトウエア実装することが可能である。サービスの観点からは、例えば、コンテンツプロバイダが特徴記述データを生成してデータベース登録を申請する。検索サービスプロバイダはそれらをデータベース登録し、検索処理の準備を整える。ユーザは、本実施の形態に述べたような、検索サービスプロバイダが指定する、もしくは標準化された規定に従って検索処理を実行するクライアントツールで検索を実行する、という形態の運用方法が考えられる。
【０２１４】
【発明の効果】
以上説明したように、本発明によれば、属性リストを参照してその属性情報に基づく検索を行なうと共に、特徴記述子に基づく検索を行うようにしたので、短時間かつ効率よく検索を行うことができる。
【０２１５】
また、次の発明によれば、属性リストや特徴記述子をそれらのデータ構造を定義したシンタックスに基づいて生成したので、ネットワーク上に分散する複数の画像サーバに依存しない画像検索することができる。
【０２１６】
また、次の発明によれば、フレーム単位で特徴量を抽出すると共に、複数のフレームをまとめたビデオセグメント単位で特徴記述子を生成するようにしたため、動画像の検索を容易に行うことができる。
【０２１７】
また、次の発明によれば、入力画像データから画像特徴量を抽出し特徴記述子を生成すると共に、入力画像データの時空間構造に関連付けて特徴記述子を検索用記述データに記述して、入力画像データとともに蓄積し、ユーザからの検索要求に従って蓄積された入力画像データの検索用記述データを解析して特徴記述子を取り出し、取り出した特徴記述子に基づき適合判定処理を行って検索し、その結果をユーザに提示させるようにしたため、特徴記述子に基づく効率的な画像データの検索が可能となる。
【０２１８】
さらに特徴記述子の信頼度を算出して、入力画像データの時空間構造に関連付けて特徴記述子および信頼度を検索用記述データに記述して、入力画像データとともに蓄積し、ユーザからの検索要求に従って蓄積された入力画像データの特徴記述子および信頼度を解析して取り出し、取り出した特徴記述子および信頼度に基づき適合判定処理を行って検索し、その結果をユーザに提示するようにしたため、特徴記述子および信頼度に基づく効率的な画像データの検索が可能となる。
【０２１９】
また、適合判定処理の際、特徴記述子の信頼度に基づいて、特徴記述子による適合判定の必要性を評価し、適合性判定を行う必要がないと判断した場合、適合判定処理をスキップするようにしたので、検索処理速度を高速化することができ、検索効率をさらに向上させることができる。
【０２２０】
また、特徴記述子の信頼度に基づいて各特徴記述子の検索使用順序を決定し、入力画像データの時空間構造に関連付けて特徴記述子、信頼度および検索使用順序を検索用記述データに記述し、ユーザからの検索要求に従って蓄積された入力画像データの特徴記述子、信頼度および検索使用順序を解析して取り出し、取り出した特徴記述子、信頼度および検索使用順序に基づいき適合判定処理を行って検索し、その結果をユーザに提示するようにしたため、特徴記述子、信頼度および検索使用順序に基づく効率的な画像データの検索が可能となる。
【０２２１】
また、ユーザからの検索要求としての各特徴記述子の検索使用順序に従って、特徴記述子の検索順序を更新することにより、ユーザからの検索要求に見合う検索処理を実行することができる。
【０２２２】
また、適合判定処理を行う際、各特徴記述子の信頼度に基づいて、検索使用順序で定められる各検索ステップにおける検索結果候補数を決定して適合判定処理を行うようにしたので、検索処理を高速化することができる。
【０２２３】
さらに、入力画像データがビデオデータであり、検索によって特定された各ビデオデータを代表する各キー画像データを検索結果ユーザに提示し、提示された各キー画像のうちユーザによって特定のキー画像を選択すると、その選択されたキー画像を代表とするビデオデータを読み出して復号し再生するようにしたので、トータルの情報伝送量を効果的に削減することが可能である。
【図面の簡単な説明】
【図１】 本実施の形態１における画像検索システムの構成を説明するブロック図。
【図２】 画像データベース生成部１の処理を示すフローチャート。
【図３】 画像属性のテキスト情報からテキスト情報のインスタンス（XML文書）を生成する処理の一例を示す図。
【図４】 イントラ／インター適応符号化を示す図。
【図５】 特徴抽出処理および特徴記述子生成処理を含めたトータルの特徴記述子セット生成手順を示すフローチャート。
【図６】 図５に示すステップＳ15の特徴記述子セット生成処理の具体的な生成手順を示すフローチャート。
【図７】 動き分布を特徴づける量の一例を示す図。
【図８】イントラフレームの記述子セットの意味を示す図。
【図９】 抽出された特徴量から特徴記述子セットを生成する処理の一例を示す図。
【図１０】 特徴記述子セットを階層的に生成して記述する一例を示す図。
【図１１】 画像検索部の処理を示すフローチャート。
【図１２】 図１１におけるステップＳ２７の適合判定処理を示すフローチャート。
【図１３】 画像データベース生成部の他の構成例を示す図。
【図１４】 従来の画像検索処理システムの一例を示す図。
【図１５】 本実施の形態２における画像検索システムのサーバ側の特徴部分の構成を示すブロック図。
【図１６】 本実施の形態２における画像検索システムのクライアント側の特徴部分の構成を示すブロック図。
【図１７】 本実施の形態２における画像検索システムの検索処理過程を示すフローチャート。
【図１８】 本実施の形態２における画像検索システムが利用する検索用記述データファイルの構造を示す図。
【図１９】 適合判定処理部におけるサーチプライオリティに基づく特徴記述子の適合判定処理の一例を示す図。
【図２０】 ユーザの主観的特徴と特徴記述子との関係を示す図。
【符号の説明】
１ 画像データベース生成部、３ 特徴抽出部、４ 特徴記述子セット生成部、５ 画像情報蓄積部、６ 属性リスト生成部、７ 属性リスト蓄積部、８ 画像検索部、９ ユーザインターフェース部、１０ 検索処理部、１１ 表示部、１２ ビデオ圧縮符号化部。
Claims (3)
- 入力画像データに対して複数の画像フレームをまとめたビデオセグメントの単位に対応する特徴記述子が配列された特徴記述子ファイルを入力とし、この特徴記述子ファイルから、指定されたビデオセグメントの特徴記述子を抽出する特徴記述データ解析部と、
この特徴記述データ解析部により抽出された前記指定されたビデオセグメントの特徴記述子と、要求された特徴記述子との類似度を判定することにより、前記入力画像のビデオセグメントが指定されたビデオセグメントであるか否かを判定する適合判定処理部とを備え、
前記ビデオセグメントの特徴記述子は、画像特徴量を示す複数の画像特徴記述子と、各画像特徴記述子の重要性を示す信頼度から構成され、
前記判定処理部は複数の前記画像特徴記述子の各画像特徴記述子の信頼度を前記判定の際の前記各画像特徴記述子に対する重みとし、前記指定されたビデオセグメントの特徴記述子に含まれる各々の前記画像特徴記述子と要求された特徴記述子とを比較して前記類似度の判定を行うことを特徴とする画像特徴判定装置。 - 前記請求項１の画像特徴判定装置による判定に基づき、前記特徴記述子ファイル中の特徴記述子に対応するビデオセグメントのうち、前記要求された特徴記述子に最も類似する特徴記述子に対応するビデオセグメントを検索することを特徴とする画像検索システム。
- 入力画像データに対して複数の画像フレームをまとめたビデオセグメントの単位に対応する特徴記述子として、画像特徴量を示す複数の画像特徴記述子と、各画像特徴記述子の重要性を示す信頼度から構成された特徴記述子からなる特徴記述子ファイルを入力し、
この特徴記述子ファイルから、指定されたビデオセグメントの特徴記述子を抽出し、この抽出された前記特徴記述子に含まれる複数の前記画像特徴記述子の各画像特徴記述子の信頼度を前記各画像特徴記述に対する重みとし、前記指定されたビデオセグメントの特徴記述子に含まれる各々の前記画像特徴記述子と要求された特徴記述子とを比較することにより、この抽出された前記指定されたビデオセグメントの特徴記述子と、要求された特徴記述子との類似度を判定することにより、前記入力画像のビデオセグメントが指定されたビデオセグメントであるか否かを判定することを特徴とする画像特徴判定方法。
Priority Applications (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34325699A JP3738631B2 (ja) | 1999-09-27 | 1999-12-02 | 画像検索システムおよび画像検索方法 |
| EP00978076A EP1244025B1 (en) | 1999-12-02 | 2000-12-01 | Image retrieval system and image retrieval method |
| CNB008165742A CN1191539C (zh) | 1999-12-02 | 2000-12-01 | 图像检索系统及图像检索方法 |
| KR10-2002-7007061A KR100492437B1 (ko) | 1999-12-02 | 2000-12-01 | 화상 검색 시스템 및 화상 검색 방법 |
| PCT/JP2000/008547 WO2001040995A1 (fr) | 1999-12-02 | 2000-12-01 | Systeme et procede de recuperation d'images |
| EP05003944A EP1560130A3 (en) | 1999-12-02 | 2000-12-01 | Image retrieval system and image retrieval method |
| TW089125580A TW571233B (en) | 1999-12-02 | 2000-12-01 | Image retrieval system and image retrieval method |
| AU15576/01A AU1557601A (en) | 1999-12-02 | 2000-12-01 | Image retrieval system and image retrieval method |
| DE60034814T DE60034814T2 (de) | 1999-12-02 | 2000-12-01 | Bildwiederauffindungsystem und -verfahren |
| US09/773,570 US6665442B2 (en) | 1999-09-27 | 2001-02-02 | Image retrieval system and image retrieval method |
| HK03106083A HK1053889A1 (en) | 1999-12-02 | 2003-08-25 | Image retrieval system and image retrieval method. |
| US11/300,693 USRE42185E1 (en) | 1999-12-02 | 2005-12-15 | Image retrieval system and image retrieval method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-272183 | 1999-09-27 | ||
| JP27218399 | 1999-09-27 | ||
| JP34325699A JP3738631B2 (ja) | 1999-09-27 | 1999-12-02 | 画像検索システムおよび画像検索方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005186635A Division JP2006018831A (ja) | 1999-09-27 | 2005-06-27 | 画像検索システムおよび画像検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001167095A JP2001167095A (ja) | 2001-06-22 |
| JP3738631B2 true JP3738631B2 (ja) | 2006-01-25 |
Family
ID=18360127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34325699A Expired - Fee Related JP3738631B2 (ja) | 1999-09-27 | 1999-12-02 | 画像検索システムおよび画像検索方法 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US6665442B2 (ja) |
| EP (2) | EP1560130A3 (ja) |
| JP (1) | JP3738631B2 (ja) |
| KR (1) | KR100492437B1 (ja) |
| CN (1) | CN1191539C (ja) |
| AU (1) | AU1557601A (ja) |
| DE (1) | DE60034814T2 (ja) |
| HK (1) | HK1053889A1 (ja) |
| TW (1) | TW571233B (ja) |
| WO (1) | WO2001040995A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893595A (zh) * | 2011-03-18 | 2013-01-23 | 索尼公司 | 图像处理装置和方法以及程序 |
Families Citing this family (143)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3550681B2 (ja) * | 1999-12-10 | 2004-08-04 | 日本電気株式会社 | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 |
| TWI222039B (en) * | 2000-06-26 | 2004-10-11 | Iwane Lab Ltd | Information conversion system |
| EP1172741A3 (en) * | 2000-07-13 | 2004-09-01 | Sony Corporation | On-demand image delivery server, image resource database, client terminal, and method of displaying retrieval result |
| US6813618B1 (en) * | 2000-08-18 | 2004-11-02 | Alexander C. Loui | System and method for acquisition of related graphical material in a digital graphics album |
| US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US7373601B2 (en) * | 2001-02-05 | 2008-05-13 | Koninklijke Philips Electronics N.V. | Object transfer method with format adaptation |
| US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
| JP3835187B2 (ja) * | 2001-03-27 | 2006-10-18 | セイコーエプソン株式会社 | 携帯型情報端末、その制御方法、記録媒体およびプログラム |
| US20020184208A1 (en) * | 2001-04-24 | 2002-12-05 | Saul Kato | System and method for dynamically generating content on a portable computing device |
| GB0111431D0 (en) * | 2001-05-11 | 2001-07-04 | Koninkl Philips Electronics Nv | A real-world representation system and language |
| JP2002342355A (ja) * | 2001-05-16 | 2002-11-29 | Ricoh Co Ltd | 新聞発行日確認方法 |
| TW569631B (en) * | 2001-05-28 | 2004-01-01 | Matsushita Electric Ind Co Ltd | Image-actions detection-circuit |
| FR2826761B1 (fr) * | 2001-06-27 | 2003-10-17 | Canon Kk | Procede d'analyse d'un document represente dans un langage de balisage |
| JP2003023614A (ja) * | 2001-07-10 | 2003-01-24 | Minolta Co Ltd | 動画補正システム、クライアント、サーバ、動画補正方法、プログラム、および記録媒体 |
| US7130841B1 (en) * | 2001-07-31 | 2006-10-31 | America Online, Inc. | Enabling a search for both local and remote electronic content |
| US20030039410A1 (en) * | 2001-08-23 | 2003-02-27 | Beeman Edward S. | System and method for facilitating image retrieval |
| US7925139B2 (en) * | 2001-12-03 | 2011-04-12 | Sony Corporation | Distributed semantic descriptions of audiovisual content |
| US6996268B2 (en) * | 2001-12-28 | 2006-02-07 | International Business Machines Corporation | System and method for gathering, indexing, and supplying publicly available data charts |
| KR20020008416A (ko) * | 2002-01-03 | 2002-01-30 | 신동수 | 인터넷을 이용한 원격 영상 기록 및 검색 방법 |
| JP4352653B2 (ja) * | 2002-04-12 | 2009-10-28 | 三菱電機株式会社 | 映像コンテンツ管理運用システム |
| KR100986401B1 (ko) * | 2002-04-12 | 2010-10-08 | 미쓰비시덴키 가부시키가이샤 | 콘텐츠 처리 방법 |
| JP2004021880A (ja) * | 2002-06-20 | 2004-01-22 | Fuji Xerox Co Ltd | デバイス検索システムおよびその方法 |
| JP3783956B2 (ja) * | 2002-07-23 | 2006-06-07 | 株式会社リコー | 画像記録装置及び画像データ選択方法 |
| AU2002950805A0 (en) * | 2002-08-15 | 2002-09-12 | Momentum Technologies Group | Improvements relating to video transmission systems |
| US20040088310A1 (en) * | 2002-10-18 | 2004-05-06 | Hitachi, Ltd. | Recording medium, recording apparatus, recording method, reproduction apparatus and reproduction method |
| JP4336813B2 (ja) * | 2002-12-06 | 2009-09-30 | 日本電気株式会社 | 画像記述システムおよび方法 |
| JP4266695B2 (ja) | 2003-04-30 | 2009-05-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP2004334339A (ja) * | 2003-04-30 | 2004-11-25 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| JP4353503B2 (ja) * | 2003-04-30 | 2009-10-28 | キヤノン株式会社 | 画像処理装置 |
| JP4366119B2 (ja) * | 2003-05-29 | 2009-11-18 | キヤノン株式会社 | 文書処理装置 |
| US7143340B2 (en) * | 2003-06-27 | 2006-11-28 | Microsoft Corporation | Row sharing techniques for grid controls |
| CA2475189C (en) * | 2003-07-17 | 2009-10-06 | At&T Corp. | Method and apparatus for window matching in delta compressors |
| US7574063B2 (en) * | 2003-07-23 | 2009-08-11 | Canon Kabushiki Kaisha | Image coding method and apparatus |
| CN1842856B (zh) * | 2003-09-01 | 2010-06-16 | 皇家飞利浦电子股份有限公司 | 媒体项的选择 |
| JP4613558B2 (ja) * | 2003-09-16 | 2011-01-19 | パナソニック電工株式会社 | 画像を用いた人体検知装置 |
| TWI478154B (zh) * | 2003-10-04 | 2015-03-21 | Samsung Electronics Co Ltd | 儲存搜尋資訊的再生方法 |
| KR20050033100A (ko) * | 2003-10-04 | 2005-04-12 | 삼성전자주식회사 | 검색정보를 기록한 정보저장매체, 검색항목간의 이동재생방법 및 재생장치 |
| JP2005135118A (ja) * | 2003-10-30 | 2005-05-26 | Fuji Photo Film Co Ltd | 図面管理システム |
| US7912291B2 (en) * | 2003-11-10 | 2011-03-22 | Ricoh Co., Ltd | Features for retrieval and similarity matching of documents from the JPEG 2000-compressed domain |
| US20050163483A1 (en) * | 2004-01-22 | 2005-07-28 | Widevine Technologies, Inc. | Piracy prevention system |
| US8250150B2 (en) * | 2004-01-26 | 2012-08-21 | Forte Internet Software, Inc. | Methods and apparatus for identifying and facilitating a social interaction structure over a data packet network |
| WO2005076594A1 (en) * | 2004-02-06 | 2005-08-18 | Agency For Science, Technology And Research | Automatic video event detection and indexing |
| EP1571813A1 (en) * | 2004-03-02 | 2005-09-07 | LG Electronics, Inc. | Method and communication system for transmitting an image to the called party identifying calling party |
| US20050198067A1 (en) * | 2004-03-05 | 2005-09-08 | Casper Liu | Multi-resolution feature extraction for video abstraction |
| GB0412906D0 (en) * | 2004-06-09 | 2004-07-14 | Capture Ltd | Data compilation apparatus and method |
| JP2006018676A (ja) * | 2004-07-02 | 2006-01-19 | Sharp Corp | 生体データ照合装置、生体データ照合方法、生体データ照合プログラムおよび生体データ照合プログラムを記録したコンピュータ読取り可能な記録媒体 |
| JP2006018677A (ja) * | 2004-07-02 | 2006-01-19 | Sharp Corp | 生体データ照合装置、生体データ照合方法、生体データ照合プログラムおよび生体データ照合プログラムを記録したコンピュータ読取り可能な記録媒体 |
| JP4498045B2 (ja) * | 2004-07-22 | 2010-07-07 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
| GB2418555A (en) * | 2004-09-23 | 2006-03-29 | Mitsubishi Electric Inf Tech | Representing an image using descriptors based on colour information |
| US7813552B2 (en) | 2004-09-23 | 2010-10-12 | Mitsubishi Denki Kabushiki Kaisha | Methods of representing and analysing images |
| US8600113B2 (en) | 2004-11-12 | 2013-12-03 | The University Court Of The University Of St. Andrews | System, method and computer program product for video fingerprinting |
| JP2006139682A (ja) * | 2004-11-15 | 2006-06-01 | Matsushita Electric Ind Co Ltd | 映像検索システム、映像検索方法及びプログラム |
| JP4251131B2 (ja) * | 2004-11-17 | 2009-04-08 | ソニー株式会社 | データ処理装置及び方法 |
| KR100679124B1 (ko) * | 2005-01-27 | 2007-02-05 | 한양대학교 산학협력단 | 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체 |
| JP4215002B2 (ja) * | 2005-02-01 | 2009-01-28 | セイコーエプソン株式会社 | 画像送受信システム及び画像受信装置並びにプリンタ装置 |
| JP4620516B2 (ja) * | 2005-04-13 | 2011-01-26 | 日本テレビ放送網株式会社 | 画像比較方法、画像比較システム及びプログラム |
| US7657830B2 (en) * | 2005-05-04 | 2010-02-02 | Microsoft Corporation | Layout size sharing in a grid layout for a user interface |
| KR20060122672A (ko) * | 2005-05-26 | 2006-11-30 | 삼성전자주식회사 | 메타 데이터를 획득하기 위한 애플리케이션을 포함하는정보저장매체, 메타 데이터를 획득하는 장치 및 방법 |
| US8306277B2 (en) * | 2005-07-27 | 2012-11-06 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and computer program for causing computer to execute control method of image processing apparatus |
| US20070030523A1 (en) * | 2005-08-02 | 2007-02-08 | Kabushiki Kaisha Toshiba | System and method for identifying a submitter of a printed or scanned document |
| JP2007060446A (ja) * | 2005-08-26 | 2007-03-08 | Sony Corp | メタデータ生成装置、情報処理装置、撮像装置、テレビ会議システム、セキュリティシステム、メタデータ生成方法及びプログラム |
| KR20050092688A (ko) * | 2005-08-31 | 2005-09-22 | 한국정보통신대학교 산학협력단 | 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법 |
| JP2007158410A (ja) * | 2005-11-30 | 2007-06-21 | Sony Computer Entertainment Inc | 画像符号化装置、画像復号装置、および画像処理システム |
| KR100719841B1 (ko) * | 2005-12-01 | 2007-05-18 | 삼성전자주식회사 | 썸네일 생성 및 표시 방법 |
| JP2007189657A (ja) * | 2005-12-16 | 2007-07-26 | Fuji Xerox Co Ltd | 画像評価装置、画像評価方法及びプログラム |
| KR20070069615A (ko) * | 2005-12-28 | 2007-07-03 | 삼성전자주식회사 | 움직임 추정장치 및 움직임 추정방법 |
| JP4321541B2 (ja) * | 2006-04-03 | 2009-08-26 | ソニー株式会社 | 監視装置と監視方法 |
| CN101443789B (zh) * | 2006-04-17 | 2011-12-28 | 实物视频影像公司 | 使用统计像素建模的视频分割 |
| JP4201025B2 (ja) | 2006-06-30 | 2008-12-24 | ソニー株式会社 | 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム |
| JP4453684B2 (ja) * | 2006-06-30 | 2010-04-21 | ソニー株式会社 | 監視システム、監視装置、検索方法及び検索プログラム |
| US8707167B2 (en) * | 2006-11-15 | 2014-04-22 | Ebay Inc. | High precision data extraction |
| US7653130B2 (en) * | 2006-12-27 | 2010-01-26 | General Instrument Corporation | Method and apparatus for bit rate reduction in video telephony |
| JP2008165303A (ja) * | 2006-12-27 | 2008-07-17 | Fujifilm Corp | コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム |
| JP2008165424A (ja) * | 2006-12-27 | 2008-07-17 | Sony Corp | 画像検索装置および方法、撮像装置、並びにプログラム |
| US8290311B1 (en) | 2007-01-11 | 2012-10-16 | Proofpoint, Inc. | Apparatus and method for detecting images within spam |
| US8290203B1 (en) * | 2007-01-11 | 2012-10-16 | Proofpoint, Inc. | Apparatus and method for detecting images within spam |
| JP5010292B2 (ja) * | 2007-01-18 | 2012-08-29 | 株式会社東芝 | 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法 |
| US20080199098A1 (en) * | 2007-02-19 | 2008-08-21 | Seiko Epson Corporation | Information processing method, information processing apparatus, and storage medium having program stored thereon |
| JP4979070B2 (ja) * | 2007-03-28 | 2012-07-18 | Ｋｄｄｉ株式会社 | 動画像提示システム |
| US8565228B1 (en) * | 2007-03-28 | 2013-10-22 | Control4 Corporation | Systems and methods for selecting and ranking video streams |
| CN101276363B (zh) * | 2007-03-30 | 2011-02-16 | 夏普株式会社 | 文档图像的检索装置及文档图像的检索方法 |
| GB2449125A (en) * | 2007-05-11 | 2008-11-12 | Sony Uk Ltd | Metadata with degree of trust indication |
| JP4389964B2 (ja) * | 2007-05-15 | 2009-12-24 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
| US7460149B1 (en) * | 2007-05-28 | 2008-12-02 | Kd Secure, Llc | Video data storage, search, and retrieval using meta-data and attribute data in a video surveillance system |
| CN101772950A (zh) * | 2007-06-04 | 2010-07-07 | 恩斯沃尔斯有限责任公司 | 处理动态图像的方法及设备 |
| JP4973729B2 (ja) * | 2007-06-07 | 2012-07-11 | 富士通株式会社 | 動画像類似判定装置、および動画像類似判定方法 |
| KR100889936B1 (ko) * | 2007-06-18 | 2009-03-20 | 한국전자통신연구원 | 디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털비디오 관리 시스템 |
| JP2009004999A (ja) * | 2007-06-20 | 2009-01-08 | Panasonic Corp | 映像データ管理装置 |
| DE102007034010A1 (de) * | 2007-07-20 | 2009-01-22 | Dallmeier Electronic Gmbh & Co. Kg | Verfahren und Vorrichtung zur Bearbeitung von Videodaten |
| US20090022403A1 (en) * | 2007-07-20 | 2009-01-22 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
| US20090067494A1 (en) * | 2007-09-06 | 2009-03-12 | Sony Corporation, A Japanese Corporation | Enhancing the coding of video by post multi-modal coding |
| US20090079840A1 (en) * | 2007-09-25 | 2009-03-26 | Motorola, Inc. | Method for intelligently creating, consuming, and sharing video content on mobile devices |
| JP5286732B2 (ja) * | 2007-10-01 | 2013-09-11 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP4433327B2 (ja) * | 2007-12-11 | 2010-03-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US8249306B2 (en) * | 2008-03-18 | 2012-08-21 | Certusview Technologies, Llc | Virtual white lines for delimiting planned excavation sites |
| US8280117B2 (en) | 2008-03-18 | 2012-10-02 | Certusview Technologies, Llc | Virtual white lines for indicating planned excavation sites on electronic images |
| US8199823B2 (en) * | 2008-04-15 | 2012-06-12 | Sony Corporation | Estimation of B frame average rate quantization parameter (QP) in a group of pictures (GOP) |
| US8199814B2 (en) * | 2008-04-15 | 2012-06-12 | Sony Corporation | Estimation of I frame average rate quantization parameter (QP) in a group of pictures (GOP) |
| JP4453768B2 (ja) * | 2008-04-15 | 2010-04-21 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| KR101027159B1 (ko) * | 2008-07-28 | 2011-04-05 | 뮤추얼아이피서비스(주) | 타겟 영상 검출 장치 및 그 방법 |
| US8520979B2 (en) * | 2008-08-19 | 2013-08-27 | Digimarc Corporation | Methods and systems for content processing |
| JP5195156B2 (ja) * | 2008-08-25 | 2013-05-08 | ソニー株式会社 | 監視装置、監視システム及びフィルタ設定方法 |
| US8411752B2 (en) * | 2008-10-29 | 2013-04-02 | Nds Limited | Video signature |
| EP2187337A1 (en) * | 2008-11-12 | 2010-05-19 | Sony Corporation | Extracting a moving mean luminance variance from a sequence of video frames |
| US8566737B2 (en) | 2009-02-11 | 2013-10-22 | Certusview Technologies, Llc | Virtual white lines (VWL) application for indicating an area of planned excavation |
| US8384742B2 (en) * | 2009-02-11 | 2013-02-26 | Certusview Technologies, Llc | Virtual white lines (VWL) for delimiting planned excavation sites of staged excavation projects |
| CA2897462A1 (en) | 2009-02-11 | 2010-05-04 | Certusview Technologies, Llc | Management system, and associated methods and apparatus, for providing automatic assessment of a locate operation |
| US8379985B2 (en) * | 2009-07-03 | 2013-02-19 | Sony Corporation | Dominant gradient method for finding focused objects |
| JP5521436B2 (ja) * | 2009-08-19 | 2014-06-11 | ソニー株式会社 | 動画像記録装置、動画像記録方法およびプログラム |
| JP5899120B2 (ja) * | 2010-03-03 | 2016-04-06 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | カラーレジームを定義する装置及び方法 |
| US9754629B2 (en) | 2010-03-03 | 2017-09-05 | Koninklijke Philips N.V. | Methods and apparatuses for processing or defining luminance/color regimes |
| JP2011188342A (ja) * | 2010-03-10 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| US9443147B2 (en) * | 2010-04-26 | 2016-09-13 | Microsoft Technology Licensing, Llc | Enriching online videos by content detection, searching, and information aggregation |
| KR101837687B1 (ko) * | 2010-06-04 | 2018-03-12 | 삼성전자주식회사 | 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치 |
| US20120030575A1 (en) * | 2010-07-27 | 2012-02-02 | Cok Ronald S | Automated image-selection system |
| CN102385570A (zh) | 2010-08-31 | 2012-03-21 | 国际商业机器公司 | 字体匹配方法和系统 |
| JP2012129979A (ja) * | 2010-11-24 | 2012-07-05 | Jvc Kenwood Corp | 区間作成装置、区間作成方法、及び区間作成プログラム |
| US9047319B2 (en) | 2010-12-17 | 2015-06-02 | Microsoft Technology Licensing, Llc | Tag association with image regions |
| JP5159989B2 (ja) | 2011-01-25 | 2013-03-13 | パナソニック株式会社 | コンテンツ通知システムおよび方法ならびにユーザ端末装置 |
| JP5627002B2 (ja) * | 2011-04-05 | 2014-11-19 | 日本電信電話株式会社 | 類似映像出力方法、類似映像出力装置および類似映像出力プログラム |
| US20130208992A1 (en) * | 2012-02-13 | 2013-08-15 | Shu Lin | System and method for difference frame threshold encoding and decoding |
| CN103365854A (zh) * | 2012-03-28 | 2013-10-23 | 鸿富锦精密工业（深圳）有限公司 | 视频文件检索系统及检索方法 |
| KR102004262B1 (ko) | 2012-05-07 | 2019-07-26 | 엘지전자 주식회사 | 미디어 시스템 및 이미지와 연관된 추천 검색어를 제공하는 방법 |
| US8751530B1 (en) * | 2012-08-02 | 2014-06-10 | Google Inc. | Visual restrictions for image searches |
| US8935246B2 (en) * | 2012-08-08 | 2015-01-13 | Google Inc. | Identifying textual terms in response to a visual query |
| US9838346B2 (en) * | 2014-03-17 | 2017-12-05 | Splunk Inc. | Alerting on dual-queue systems |
| US9838467B2 (en) * | 2014-03-17 | 2017-12-05 | Splunk Inc. | Dynamically instantiating dual-queue systems |
| CN105045793B (zh) * | 2014-04-04 | 2019-06-18 | 云视公司 | 图像处理客户端 |
| US9583149B2 (en) * | 2014-04-23 | 2017-02-28 | Daniel Stieglitz | Automated video logging methods and systems |
| KR101713197B1 (ko) * | 2015-04-01 | 2017-03-09 | 주식회사 씨케이앤비 | 서버 컴퓨팅 장치 및 이를 이용한 콘텐츠 인식 기반의 영상 검색 시스템 |
| WO2017134738A1 (ja) * | 2016-02-02 | 2017-08-10 | 三菱電機株式会社 | レコーダ装置および映像監視システム |
| JP6433928B2 (ja) * | 2016-02-15 | 2018-12-05 | 株式会社東芝 | 検索装置、検索方法および検索システム |
| CN107909086B (zh) * | 2017-04-10 | 2020-07-31 | 重庆完美空间科技有限公司 | 一种室内装饰物料分类方法 |
| CN108959322B (zh) * | 2017-05-25 | 2021-09-10 | 富士通株式会社 | 信息处理方法和基于文本生成图像的装置 |
| CN107451243B (zh) * | 2017-07-27 | 2024-04-12 | 迪尚集团有限公司 | 基于属性的复杂查询方法 |
| CN107862003A (zh) * | 2017-10-24 | 2018-03-30 | 珠海市魅族科技有限公司 | 视频内容搜索方法、装置、终端及可读存储介质 |
| CN108592948B (zh) * | 2018-04-28 | 2023-03-14 | 中国计量大学 | 一种管水准器气泡偏移量自动测量方法 |
| US11594028B2 (en) * | 2018-05-18 | 2023-02-28 | Stats Llc | Video processing for enabling sports highlights generation |
| CN109446385B (zh) * | 2018-11-14 | 2022-06-14 | 中国科学院计算技术研究所 | 一种建立网络资源设备图谱的方法及设备图谱的使用方法 |
| CN111353434A (zh) * | 2020-02-28 | 2020-06-30 | 北京市商汤科技开发有限公司 | 信息识别方法及装置、系统、电子设备和存储介质 |
| CN113094537B (zh) * | 2021-04-07 | 2024-01-02 | 南京云格信息技术有限公司 | 一种基于fpga的图像处理系统 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB872803A (en) | 1958-08-04 | 1961-07-12 | Bayer Ag | A process for the production of condensation products |
| JP2521145B2 (ja) | 1989-02-20 | 1996-07-31 | 日本ビクター株式会社 | 動き補償予測符号化復号化方式 |
| JP2516082B2 (ja) | 1990-03-19 | 1996-07-10 | 日本ビクター株式会社 | デ―タ圧縮装置 |
| JP3143532B2 (ja) | 1992-11-30 | 2001-03-07 | キヤノン株式会社 | 画像検索装置及び方法 |
| US5465353A (en) * | 1994-04-01 | 1995-11-07 | Ricoh Company, Ltd. | Image matching and retrieval by multi-access redundant hashing |
| US5778142A (en) | 1994-11-24 | 1998-07-07 | Kabushiki Kaisha Toshiba | Large capacity recording medium, method and apparatus for reproducing data from a large-capacity recording medium, and method and apparatus for recording data on a large-capacity recording medium |
| GB9517807D0 (en) | 1995-08-31 | 1995-11-01 | Philips Electronics Uk Ltd | Interactive entertainment attribute setting |
| US5819286A (en) | 1995-12-11 | 1998-10-06 | Industrial Technology Research Institute | Video database indexing and query method and system |
| JP3534368B2 (ja) * | 1996-04-03 | 2004-06-07 | 株式会社東芝 | 動画像処理方法及び動画像処理装置 |
| JPH09282324A (ja) * | 1996-04-09 | 1997-10-31 | Nec Corp | 映像検索システム |
| TW316962B (en) | 1996-04-12 | 1997-10-01 | Ind Tech Res Inst | The index of video data base and query method & system |
| JPH1091634A (ja) * | 1996-08-15 | 1998-04-10 | Hewlett Packard Co <Hp> | 写真画像検索システム |
| JPH10124655A (ja) * | 1996-08-29 | 1998-05-15 | Ricoh Co Ltd | デジタルアルバムの作成装置及びデジタルアルバム装置 |
| EP0976089A4 (en) * | 1996-11-15 | 2001-11-14 | Sarnoff Corp | METHOD AND APPARATUS FOR EFFICIENTLY REPRESENTING, STORING AND ACCESSING VIDEO INFORMATION |
| EP0872803B1 (en) * | 1997-04-14 | 2005-12-28 | Canon Kabushiki Kaisha | Image processing method and control method therefor |
| JPH10289240A (ja) * | 1997-04-14 | 1998-10-27 | Canon Inc | 画像処理装置及びその制御方法 |
| JP3780623B2 (ja) * | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
| JP3096280B2 (ja) * | 1997-11-10 | 2000-10-10 | 日本電信電話株式会社 | 電子映像文書作成利用方法及びプログラム格納媒体 |
| US6792043B1 (en) * | 1998-10-23 | 2004-09-14 | Telecommunications Advancement Organization Of Japan | Method, apparatus and program products for retrieving moving image |
| US6502105B1 (en) * | 1999-01-15 | 2002-12-31 | Koninklijke Philips Electronics N.V. | Region-based image archiving and retrieving system |
| WO2001031502A1 (fr) * | 1999-10-27 | 2001-05-03 | Fujitsu Limited | Dispositif et procede de classement et de rangement d'informations multimedia |
| JP3550681B2 (ja) * | 1999-12-10 | 2004-08-04 | 日本電気株式会社 | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 |
-
1999
- 1999-12-02 JP JP34325699A patent/JP3738631B2/ja not_active Expired - Fee Related
-
2000
- 2000-12-01 EP EP05003944A patent/EP1560130A3/en not_active Withdrawn
- 2000-12-01 CN CNB008165742A patent/CN1191539C/zh not_active Expired - Fee Related
- 2000-12-01 EP EP00978076A patent/EP1244025B1/en not_active Expired - Lifetime
- 2000-12-01 TW TW089125580A patent/TW571233B/zh not_active IP Right Cessation
- 2000-12-01 WO PCT/JP2000/008547 patent/WO2001040995A1/ja active IP Right Grant
- 2000-12-01 DE DE60034814T patent/DE60034814T2/de not_active Expired - Lifetime
- 2000-12-01 KR KR10-2002-7007061A patent/KR100492437B1/ko not_active IP Right Cessation
- 2000-12-01 AU AU15576/01A patent/AU1557601A/en not_active Abandoned
-
2001
- 2001-02-02 US US09/773,570 patent/US6665442B2/en not_active Ceased
-
2003
- 2003-08-25 HK HK03106083A patent/HK1053889A1/xx not_active IP Right Cessation
-
2005
- 2005-12-15 US US11/300,693 patent/USRE42185E1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893595A (zh) * | 2011-03-18 | 2013-01-23 | 索尼公司 | 图像处理装置和方法以及程序 |
| CN102893595B (zh) * | 2011-03-18 | 2016-08-03 | 索尼公司 | 图像处理装置和方法以及程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1244025A1 (en) | 2002-09-25 |
| CN1191539C (zh) | 2005-03-02 |
| WO2001040995A1 (fr) | 2001-06-07 |
| JP2001167095A (ja) | 2001-06-22 |
| US20010004739A1 (en) | 2001-06-21 |
| EP1560130A2 (en) | 2005-08-03 |
| DE60034814T2 (de) | 2008-01-31 |
| CN1402853A (zh) | 2003-03-12 |
| EP1560130A3 (en) | 2006-02-08 |
| DE60034814D1 (de) | 2007-06-21 |
| AU1557601A (en) | 2001-06-12 |
| HK1053889A1 (en) | 2003-11-07 |
| EP1244025A4 (en) | 2004-05-26 |
| KR100492437B1 (ko) | 2005-06-02 |
| US6665442B2 (en) | 2003-12-16 |
| KR20020060981A (ko) | 2002-07-19 |
| USRE42185E1 (en) | 2011-03-01 |
| TW571233B (en) | 2004-01-11 |
| EP1244025B1 (en) | 2007-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3738631B2 (ja) | 画像検索システムおよび画像検索方法 | |
| Chang et al. | Video adaptation: concepts, technologies, and open issues | |
| KR100515542B1 (ko) | 콘텐츠 검색 분배 장치 및 콘텐츠 검색 분배 방법 | |
| US7174055B2 (en) | Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus | |
| KR100424762B1 (ko) | 영상 데이터 제공 시스템 및 방법 | |
| US20040246376A1 (en) | Video content transmission device and method, video content storage device, video content reproduction device and method, meta data generation device, and video content management method | |
| US7559070B2 (en) | Moving image distribution system, moving image dividing system, moving image distribution program, moving image dividing program, and recording medium storing moving image distribution program and/or moving image dividing program | |
| JP2004247844A (ja) | メタデータ選別処理方法、メタデータ選択統合処理方法、メタデータ選択統合処理プログラム、映像再生方法、コンテンツ購入処理方法、コンテンツ購入処理サーバ、コンテンツ配信サーバ | |
| US20050021726A1 (en) | Optimization of quality of service in the distribution of bitstreams | |
| EP1162844A2 (en) | Dynamic feature extraction from compressed digital video signals for content-based retrieval in a video playback system | |
| JP4770875B2 (ja) | 画像特徴データ生成装置、画像特徴判定装置および画像検索システム | |
| CN109168020A (zh) | 基于直播的视频处理方法、装置、计算设备和存储介质 | |
| Divakaran et al. | Video browsing system based on compressed domain feature extraction | |
| JP4574771B2 (ja) | 画像情報記述方法 | |
| JP2006018831A (ja) | 画像検索システムおよび画像検索方法 | |
| JP2002232860A (ja) | コンテンツ配信システム、コンテンツ配信方法、プログラム | |
| JP3581085B2 (ja) | 二次コンテンツ生成システム及びその方法並びに二次コンテンツ生成プログラムを記録した記録媒体 | |
| JP2006139682A (ja) | 映像検索システム、映像検索方法及びプログラム | |
| US10148984B2 (en) | Terminal device, server device, data management system, and recording medium on which program is recorded | |
| da Costa Magalhães | Universal access to multimedia content based on the mpeg-7 standard | |
| Tseng et al. | Video personalization for usage environment | |
| Gurrin et al. | Addressing the challenge of managing large-scale digital multimedia libraries | |
| Sofokleous et al. | Multimedia Content Adaptation: Operation Selection in the MPEG-21 Framework. | |
| Angelides et al. | Implementing the MPEG-21 adaptation quality of service in dynamic environments | |
| Zang et al. | A framework for providing adaptive sports video to mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040628 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051024 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131111 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |