JP5632472B2 - 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路 - Google Patents

映像検索装置、映像検索方法、記録媒体、プログラム、集積回路 Download PDF

Info

Publication number
JP5632472B2
JP5632472B2 JP2012520244A JP2012520244A JP5632472B2 JP 5632472 B2 JP5632472 B2 JP 5632472B2 JP 2012520244 A JP2012520244 A JP 2012520244A JP 2012520244 A JP2012520244 A JP 2012520244A JP 5632472 B2 JP5632472 B2 JP 5632472B2
Authority
JP
Japan
Prior art keywords
objects
weight value
detected
content
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012520244A
Other languages
English (en)
Other versions
JPWO2011158406A1 (ja
Inventor
三浦　康史
康史 三浦
山本　雅哉
雅哉 山本
慎吾 宮本
慎吾 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2012520244A priority Critical patent/JP5632472B2/ja
Publication of JPWO2011158406A1 publication Critical patent/JPWO2011158406A1/ja
Application granted granted Critical
Publication of JP5632472B2 publication Critical patent/JP5632472B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

映像に登場するオブジェクトを基に、関係するオブジェクトや映像などを検索する技術に関する。
近年、放送の多チャンネル化、ネットＴＶ向け映像配信サービスの開始などにより、デジタルビデオレコーダの蓄積容量が増加している。
また、ネットワーク上のサーバに大容量の映像を保存する蓄積装置を配置し、映像の蓄積・視聴を行うサービスも行われている。これに伴い、蓄積装置に蓄積されている大量の映像の中から所望の映像を効率よく選び出す検索装置の実用化が進んでいる。
特許文献１では、映像のあるひとつのフレームに含まれるオブジェクト（人物）の指定をユーザから受け付け、その受け付けたオブジェクトの特徴量を抽出する。そして、抽出した特徴量を用いて照合することにより、その受け付けたオブジェクトが現れている別の映像シーンを表示するとしている。
特許第３７１１９９３号公報 特開平６−８９５４５号公報
Ｃａｎｎｙ，Ｊ．，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａl Ａｐｐｒｏａｃｈ Ｔｏ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓ Ｐａｔｔｅｒｎ Ａｎａlｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅllｉｇｅｎｃｅ，８：６７９−７１４（１９８６）． 大町ら，"多項式近似に基づく高速な指定領域でのテンプレートマッチング"，画像電子学会誌，ｖｏl．３８，ｎｏ．５，６４８−６５５（２００９）．
しかしながら、上に述べた従来の構成では、あるひとつのフレームの中で指定されたひとつのオブジェクトを利用して関連する映像を検索するため、検索精度がそれほど高くなく、ユーザが所望する映像を得られない場合がある。
例えば、オブジェクトの色の組合せを特徴量として用いるのであれば、指定されたひとつのオブジェクトと、実体は異なるのにたまたま色の組合せが似ているだけのオブジェクトが検索されることがある。
本発明は、このような背景の下になされたものであって、検索精度の向上に寄与できる映像検索装置を提供することを目的とする。
本発明に係る映像検索装置は、複数のフレームから構成されたコンテンツを再生する再生手段と、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームのコンテンツ上の時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索手段と、を備えるとしている。
この構成によれば、複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームのコンテンツ上の時系列的な特徴に基づいて調整された重み値を付与し、付与された重み値に基づいて検索を行うので、検索精度の向上に寄与することができる。
映像検索装置１０１の機能ブロック図 コンテンツ管理情報記憶部１０４の記憶内容を示す図 シーン情報記憶部１０５の記憶内容を示す図 オブジェクトが属するシーンを特定する流れを示す図 オブジェクト情報記憶部１０６の記憶内容を示す図 オブジェクト情報記憶部１０６における特徴量情報の例を示す図 オブジェクト情報記憶部１０６の各オブジェクトＩＤに対応するサムネイルを示す図 領域指定の様子を示す図 指定された領域（オブジェクト）から特徴量を抽出する様子を示す図 特徴量情報の例を示す図 第１バッファ１１０の記憶内容を示す図 第１バッファ１１０の記憶内容を模式的に示す図 （ａ）初期重み値付与のイメージを示す図、（ｂ）重み値増加のイメージを示す図 第２バッファ１１５の記憶内容を示す図 メインのフローチャート タッチスクリーン８０１の画面を示す図 オブジェクトの重み付け処理の流れを示すフローチャート 類似映像検索処理の流れを示すフローチャート １次類似度の算出処理の流れを示すフローチャート 算出された１次類似度の例を示す図 ２次類似度の算出処理の流れを示すフローチャート オブジェクトＯ１の１次類似度を説明する図 オブジェクトＯ１とオブジェクトＰ１との２次類似度の算出方法を説明する図 オブジェクトＯｈとオブジェクトＰｉとの２次類似度の算出方法を説明する図 算出された２次類似度の例を示す図 タッチスクリーン８０１上に検索結果を表示する例を示す図 動作の流れをユーザインターフェイス側から見たときのイメージを示す図 ポイントの入力期間におけるフレームの変遷を示す図 ポイント指定の様子を示す図 指定されたポイントを基にオブジェクトを検出する様子を示す図 オブジェクト同士の関係付けを説明する図 オブジェクト同士の関係付けを説明する図 オブジェクト同士の関係付けを説明する図 オブジェクト同士の関係付けを説明する図 オブジェクトにシーン番号を対応付ける動作の流れを示すフローチャート
以下、実施の形態について、図面を参照しながら説明する。
（実施の形態１）
＜構成＞
図１に示すように、映像検索装置１０１は、通信部１０２、コンテンツ記憶部１０３、コンテンツ管理情報記憶部１０４、シーン情報記憶部１０５、オブジェクト情報記憶部１０６、再生部１０７、受付部１０８、オブジェクト検出部１０９、第１バッファ１１０、重み値付与部１１１、第２バッファ１１５、検索部１１６、表示制御部１１７、表示部１１８を備える。
通信部１０２は、各種通信を行う機能を有し、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）から構成され、ネットワーク経由でコンテンツを受信する。あるいは、放送波受信用のアンテナから構成され、放送波に乗せられて到来するコンテンツを受信する。
なお、本実施の形態におけるコンテンツとは、ある長さの再生時間を持つ映像コンテンツである。以下では単にコンテンツと呼ぶ。
コンテンツ記憶部１０３は、通信部１０２が受信したコンテンツや外部メディア（光ディスクなど）から入力されたコンテンツを複数記憶する。
コンテンツ管理情報記憶部１０４は、コンテンツ記憶部１０３が記憶するコンテンツについての管理情報を記憶するものである。
この管理情報の例としては、図２に示すように、コンテンツを識別するための「コンテンツＩＤ」１０４ａ、コンテンツの「タイトル」１０４ｂ、コンテンツの「ジャンル」１０４ｃ、コンテンツの所在を特定するための「コンテンツファイルパス」１０４ｄの項目を含む。
シーン情報記憶部１０５は、コンテンツ記憶部１０３が記憶する各コンテンツについて、それぞれのコンテンツに含まれるシーンと、シーン毎のフレーム番号の範囲とを関係付けて記憶するものである。
その例としては、図３に示すように、シーン情報記憶部１０５は、シーンの番号を示す「シーン番号」１０５ａと、シーン番号に対応するフレームの範囲を示す「フレーム番号範囲」１０５ｂの項目を含む。
図３では、ひとつのコンテンツ（コンテンツＩＤ：ＡＡＡ）についてのみ示しているが、他のコンテンツ（コンテンツＩＤ：ＡＢＣ，ＢＣＤ，ＺＺＺ）についても同様な内容を記憶している。
このシーン情報記憶部１０５の記憶内容は、関係付け部１１３が行うオブジェクトに対応するシーンの特定に用いられる。このシーンの特定手法について図４を用いて後述する。
オブジェクト情報記憶部１０６は、コンテンツ記憶部１０３が記憶するコンテンツのフレーム中に含まれる（現れる）オブジェクトに関する情報を記憶する。
その例としては、図５に示すように、オブジェクトを一意に識別するための「オブジェクトＩＤ」１０６ａ、そのオブジェクトを含むフレームの番号を示す「フレーム番号」１０６ｂ、そのフレームを含むコンテンツの識別子を示す「コンテンツＩＤ」１０６ｃ、「特徴量情報」１０６ｄ、代表フレーム（ユーザにより最初にポイントされたフレームのこと。）の所在を示す「ファイルパス」１０６ｅから構成される。
なお、オブジェクト情報記憶部１０６の記憶内容は、コンテンツ記憶部１０３の各コンテンツを対象にオブジェクト検出部１０９がオブジェクトの特徴量を抽出し、オブジェクトを検出することにより作成されたものである。コンテンツ中のどのオブジェクトを対象とするかは予め指定された設定条件の下に自動的に行ってもよいし、手動（ユーザ指定）で行ってもよい。
特徴量情報の例を、図６に示す。図６中”ｉ”，”ｊ”は格子座標であり、Ｒ，Ｇ，Ｂはそれぞれ赤，緑，青の色の割合を２５６段階で示すものである。なお、詳しくは後述するが格子座標とは、フレームを格子状に分割し、各格子の位置を表すものである。
オブジェクト情報記憶部１０６は、図６のような特徴量情報をオブジェクト毎に記憶している。本実施の形態では、図６のような特徴量情報を１０００個のオブジェクトＩＤ”０００１”〜ＩＤ”１０００”それぞれに対応して１０００個分記憶しているものとする。
図７は、オブジェクト情報記憶部１０６の各オブジェクトのサムネイルを示す図である。
ＩＤ”０００１”−ＩＤ”０００２”のオブジェクトはカブトムシ、ＩＤ”０００３”のオブジェクトは戦車、ＩＤ”１０００”のオブジェクトはネコとなっている。
なお、上の各記憶部１０３〜１０６は例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のハードウェアから構成される。
図１の機能ブロックの説明を続ける。
再生部１０７は、コンテンツ記憶部１０３に記憶されたコンテンツを再生し、その再生内容を表示部１１８に表示させる。
受付部１０８は、コンテンツの再生指示や、その再生中のオブジェクトの検出対象とする領域の指定（オブジェクトの指定）などの各種指示をユーザから受け付けるものである。本実施の形態では、静電容量型のタッチセンサから構成され、静電容量の値の変化から、タッチセンサの表面のどの位置がポイント（タッチ）されたかを特定して入力として受け付ける。なお、受付部１０８としては、リモコンなどの他の一般的な入力デバイスを用いても構わない。
オブジェクト検出部１０９は、受付部１０８が受け付けた領域を基にオブジェクトを検出し、そのオブジェクトについての特徴量を抽出する。
第１バッファ１１０は、オブジェクト検出部１０９で抽出されたオブジェクトの特徴量情報を格納する。
重み値付与部１１１は、第１バッファ１１０に格納された各オブジェクトに検索スコア（２次類似度）に影響する重み値を付与するものであり、初期重み値付与部１１２、関係付け部１１３、重み値増加部１１４を備える。
初期重み値付与部１１２は、第１バッファ１１０に格納された各オブジェクトに重み値の初期値を付与する。図１１の例では、ＩＤ”０１１”，”０１２”，”０１３”の３つのオブジェクトにそれぞれ０．５の重み値を付与する。この初期重み値付与のイメージを図１３（ａ）に示す。
関係付け部１１３は、第１バッファ１１０に格納されたオブジェクト同士の関係付けを行う。本実施の形態では、関係付け部１１３は、シーン情報記憶部１０５を参照して、オブジェクトが含まれるフレームのシーンが同一であることを条件として関係付けを行う。
図１１の例では、
・オブジェクトＩＤ”０１１”は、フレーム番号＃２０００なので、シーン番号は”２”
・オブジェクトＩＤ”０１２”は、フレーム番号＃２５００なので、シーン番号は”２”
・オブジェクトＩＤ”０１３”は、フレーム番号＃３５００なので、シーン番号は”３”
となる。
したがって、関係付け部１１３は、共にシーン番号が”２”と共通しているオブジェクトＩＤ”０１１”に”０１２”を関係付け、オブジェクトＩＤ”０１２”に”０１１”を関係付ける。
この関係付けを終えると、重み値増加部１１４は、関係付けられたオブジェクトの重み値を増加させる。
図１３（ｂ）の例では、重み値増加部１１４は、関係付けられたオブジェクトＩＤ”０１１”と”０１２”とについてそれぞれ重み値を”０．３”ずつ増加させている。
重み値付与部１１１は、このような一連の重み値に関する処理を終えると、第２バッファ１１５に処理結果を記憶させる。第２バッファ１１５の記憶内容の例を図１４に示す。
図１４に示すように第２バッファ１１５は、「オブジェクトＩＤ」１１５ａと、当該オブジェクトＩＤで示されるオブジェクトと関係付けられたオブジェクトを識別する「関係オブジェクトＩＤ」１１５ｂ、「重み値」１１５ｃを含む。
検索部１１６は、第１バッファ１１０及び第２バッファ１１５に記憶された情報に基づいて、オブジェクト情報記憶部１０６の記憶内容を対象として、類似するオブジェクトの検索を行う。
なお、上記再生部１０７、受付部１０８、オブジェクト検出部１０９および重み値付与部１１１は、例えば、ＲＯＭに制御用プログラムを格納しておき、このプログラムをＣＰＵが実行することにより実現することができる。
表示制御部１１７は、表示部１１８の表示を制御する。
表示部１１８は、例えば液晶方式のタッチスクリーン８０１から構成される。なお、表示部は情報検索装置と一体型であっても、分離型であってもよい。
＜動作＞
続いて、映像検索装置１０１における動作について説明する。
まず、オブジェクトにシーン番号を対応付ける動作の流れを図４，図３５に沿って説明する。
図４（ａ）は、フレーム番号の範囲とシーン番号の関係を示す。
図４（ｂ）は、３つのフレーム（フレーム番号”＃１００１”，”＃２９９７”，”＃３００１”）と、各フレームに含まれるオブジェクト（オブジェクトＩＤ”００１”，”００２”，”００３”）を示す。
図４（ｃ）は、オブジェクトＩＤに対応するフレーム番号およびシーン番号を示す。
この対応付けについては、図３５に示すように、まず関係付け部１１３は、オブジェクトを含むフレーム番号を特定する（Ｓ３５０１）。オブジェクトを含むフレームとしては、例えば、代表フレーム（ユーザにより最初にポイントされたフレーム）を選択する。
次に、関係付け部１１３は、シーン情報記憶部１０５の記憶内容を参照して（Ｓ３５０２）、特定したフレーム番号に対応するシーン番号を決定する（Ｓ３５０３）。
一例を挙げると、例えば、関係付け部１１３は、オブジェクトＩＤ”００１”を含むフレーム番号”＃１００１”を特定する。そして関係付け部１１３は、シーン情報記憶部１０５の記憶内容を参照して、この”＃１００１”がシーン番号”２”であると決定する。
続いて、受付部１０８が領域の指定を受け付けて、オブジェクト検出部１０９がオブジェクトを検出して特徴量を抽出するまでの流れを図８〜図９を用いて説明する。
図８に示すように、タッチスクリーン８０１上には自動車のオブジェクト８０２と人のオブジェクト８０３が表示されている。軌跡８０４は、ポイント入力された点の軌跡である。
オブジェクト検出部１０９は、この軌跡８０４の領域をオブジェクトとして検出する。
そして、オブジェクト検出部１０９は、オブジェクトである軌跡８０４の領域を対象として特徴量を抽出する。
図９（ｂ）に示すように、代表フレーム（図９の例ではフレーム番号”＃９９”）を、横ｗ個、縦ｈ個（図９の例では横１６個、縦９個）の格子領域に分割する。ここで、分割された各格子領域をｒ（ｉ，ｊ）：１≦ｉ≦ｗ，１≦ｊ≦ｈとする。
オブジェクト検出部１０９は、次に、オブジェクトを含む領域である領域Ｏに含まれる格子領域の集合Ｒ（Ｏ）を抽出する。領域Ｏに格子領域ｒ（ｉ，ｊ）が含まれるかどうかの判定方法は次の通りである。
まず、格子領域ｒ（ｉ，ｊ）の重心点Ｐ（ｘ，ｙ）とＰから非常に離れた点Ｑを結ぶ線分を線分Ｐ−Ｑとし、線分Ｐ−Ｑと領域Ｏとの交点数をＮ（Ｐ−Ｑ，Ｏ）とする。
交点数Ｎ（Ｐ−Ｑ，Ｏ）が奇数であれば、その格子領域ｒ（ｉ，ｊ）は領域Ｏに含むとし、偶数であれば含めないと判定する。このようにして、領域Ｏに含まれる格子領域の集合Ｒ（Ｏ）を求める。
図９の例では、格子領域ｒ（１，１）については、ｒ（１，１）の重心点Ｐ１（１０，１０）と非常に離れた点Ｑ（１００００，１００００）との線分Ｐ１−Ｑは、領域Ｏと２点で交差するため、格子領域ｒ（１，１）は領域Ｏに含めない。これに対して、格子領域ｒ（３，６）の重心点Ｐ２（３０，６０）と点Ｑとの線分Ｐ２−Ｑは、領域Ｏと１点で交差するため、格子領域ｒ（３，６）は領域Ｏに含める。
オブジェクト検出部１０９は、その後、領域Ｏに含まれる格子領域ｒ（ｉ，ｊ）∈Ｒ（Ｏ）について、特徴量情報ｃ（ｉ，ｊ）を求める。
ここで、特徴量情報ｃ（ｉ，ｊ）は、格子領域ｒ（ｉ，ｊ）における最も度数の高い色とする。オブジェクト検出部が検出した特徴量情報は、表形式で対応付けて管理する。
図１０に特徴量情報の例を示す。図１０の特徴量情報の形式は、図６に示したものと同様であり、オブジェクトＩＤ”ｘｘ”、フレーム番号”＃１００”、コンテンツＩＤ”ＡＢＣ”が紐付けされている。
オブジェクト検出部１０９は、受付部１０８が領域の指定を受け付ける度に、その領域からオブジェクトを検出して、そのオブジェクトの特徴量を抽出する処理を繰り返す。そして、抽出した特徴量情報などを第１バッファ１１０に格納する。
図１１は、第１バッファ１１０の記憶内容を示す図である。
第１バッファ１１０は、オブジェクトを識別するための「オブジェクトＩＤ」１１０ａ、そのオブジェクトを含む「フレーム番号」１１０ｂ、「特徴量情報」１１０ｃから構成される。
図１２は、図１１の第１バッファ１１０の記憶内容を模式的に示す図である。ＩＤ”０１１”，”０１２”は共にカブトムシ、ＩＤ”０１３”はネコのオブジェクトである。
なお、図１２は説明の便宜のために各オブジェクトのイメージを描いたものであり、第１バッファ１１０における実際のデータ形式は図１０のような特徴量情報の形式である。
次に、映像検索装置１０１におけるメインの動作について、図１５のフローチャートにしたがって説明する。
まず図１５に示すように、受付部１０８が再生すべきコンテンツの選択を受け付ける（Ｓ１５０１）。図１６にステップＳ１５０１に対応するタッチスクリーン８０１の画面を示す。
コンテンツの選択を受け付けて、そのコンテンツを再生部１０７が再生開始すると（Ｓ１５０２）、受付部１０８はオブジェクト指定の受け付け待ちとなる。
続くステップＳ１５０３〜Ｓ１５０５は図８，図９を用いて説明した処理であり、受付部１０８が領域の指定を受け付け（Ｓ１５０３）受け付けた領域を対象としてオブジェクト検出部１０９がオブジェクトを検出し（Ｓ１５０４）、特徴量を抽出する（Ｓ１５０５）。
このステップＳ１５０３〜Ｓ１５０５の処理は、コンテンツの再生が終了するまで（Ｓ１５０６：Ｙｅｓ）、繰り返し行われる。
なお、第１バッファ１１０のオブジェクトＩＤ”０１１”，”０１２”，”０１３”は、ステップＳ１５０４〜Ｓ１５０５の処理を３回繰り返したオブジェクト検出部１０９が格納したものである。
再生終了後は、オブジェクトの重み付け処理に移行する（Ｓ１５０７）。
図１７に示すように、オブジェクトの重み付け処理では、重み値付与部１１１は第１バッファ１１０から、オブジェクトＩＤと対応するフレーム番号を取得し（Ｓ１７０１）、初期重み値付与部１１２は、取得された各オブジェクトＩＤに初期重み値”０．５”を付与する（Ｓ１７０２）。
そして、関係付け部１１３は、シーン情報記憶部１０５の情報を参照することにより、ステップＳ１７０１で取得されたフレーム番号から対応するシーン番号を特定し（Ｓ１７０３）、各オブジェクトＩＤのシーン番号を特定する。
続いて、特定されたシーン番号から、シーン番号が同じオブジェクト同士を関係付ける（Ｓ１７０４）。
重み値増加部１１４は、ステップＳ１７０４で関係付けられた重み値を”０．３”増加させる。一連の処理結果を第２バッファ１１５に出力する（Ｓ１７０５）。
図１４の第２バッファ１１５の例では、オブジェクトＩＤ”０１１”，ＩＤ”０１２”が同じシーン２のオブジェクトであるため、オブジェクトＩＤ”０１１”，ＩＤ”０１２”にそれぞれ関係オブジェクトＩＤ”０１２”，”０１１”が存在し、それぞれの重み値は、初期重み値”０．５”に”０．３”が加算された”０．８”となっている。
このようなオブジェクトの重み付け処理（図１５：Ｓ１５０７）を終えると、類似映像検索処理（Ｓ１５０８）に移る。
図１８に示すように、類似映像検索処理では、オブジェクトの特徴量情報に基づいて算出する１次類似度の算出処理（Ｓ１８０１）、算出された１次類似度とオブジェクトの重み値とに基づいてさらに算出する２次類似度の算出処理（Ｓ１８０２）とを含む。
図１９に示すように、１次類似度の算出処理は、検索部１１６は、第１バッファ１１０に格納されているオブジェクトの中から、１次類似度未算出な１個のオブジェクトＯｈを算出対象に設定する（Ｓ１９０１）。そして、算出対象に設定したオブジェクトの特徴量情報を取得する。
このステップＳ１９０１の例を説明すると、第１バッファ１１０（図１１参照）には、３個分のオブジェクトＯ１（ＩＤ”０１１”），Ｏ２（ＩＤ”０１２”），Ｏ３（ＩＤ”０１３”）が格納されている。検索部１１６は、オブジェクトＯ１を算出対象に設定し、オブジェクトＯ１の特徴量情報を取得する。
次に、検索部１１６は、オブジェクト情報記憶部１０６に格納されているオブジェクトの中から、１次類似度未算出な１個のオブジェクトＰｉを算出対象に設定する（Ｓ１９０２）。そして、算出対象に設定したオブジェクトの特徴量情報を取得する。
このステップＳ１９０２の例を説明すると、オブジェクト情報記憶部１０６（図５参照）には、１，０００個分のオブジェクトＰ１（ＩＤ”０００１”），Ｐ２（ＩＤ”０００２”），Ｐ３（ＩＤ”０００３”），．．．が格納されている。検索部１１６は、オブジェクトＰ１を算出対象に設定し、算出対象に設定したこのオブジェクトＰ１の特徴量情報を取得する。
次に、検索部１１６は、ステップＳ１９０１で設定したオブジェクトＯｈと、ステップＳ１９０２で設定したオブジェクトＰｉとの１次類似度Ｒｈ，ｉを求める（Ｓ１９０３）。
具体的には、オブジェクトＯｈの特徴量情報（格子領域とその特徴色情報）をテンプレートとして、オブジェクトＰｉとのテンプレートマッチング処理を行うことにより、両オブジェクトの類似度である１次類似度Ｒｈ，ｉを求める。
なお、このテンプレートマッチング処理（入力画像にテンプレートを重ねながら移動し、対応する特徴色の相関を調べることでその類似度を判定する処理。）は既存の手法を用いることができ、例えば、上の非特許文献２に記載の手法を用いてもよい。
なお、検索部１１６が求めた１次類似度Ｒｈ，ｉは、０から１の間の値に正規化されており、その値が大きいほど類似度が高いことを示す。
検索部１１６は、１次類似度Ｒｈ，ｉが未算出なオブジェクトＰｉがあれば（Ｓ１９０４：Ｙｅｓ）、ステップＳ１９０２に戻る。
また、１次類似度Ｒｈ，ｉが未算出なオブジェクトＯｈがあれば（Ｓ１９０５：Ｙｅｓ）、ステップＳ１９０１に戻る。
このような一連の処理を繰り返すことにより、第１バッファ１１０の３個分オブジェクト（Ｏ１〜Ｏ３）と、オブジェクト情報記憶部１０６の１，０００個分のオブジェクト（Ｐ１〜Ｐ１０００）それぞれを組み合わせた３，０００個分の１次類似度（Ｒ１，１，Ｒ１，２，．．．，Ｒ１，１０００，Ｒ２，１，Ｒ２，２，．．．，Ｒ３，１０００）を求める。
図２０に１次類似度Ｒｈ，ｉの例を示す。オブジェクトＩＤ”０１２”に関しては、同じカブトムシのオブジェクトＩＤ”０００２”，”０００１”の類似度が高くなっている。オブジェクトＩＤ”０１１”に関しては、戦車のオブジェクトＩＤ”０００３”の類似度も２位と高くなっている。ＩＤ”０００３”の戦車オブジェクトは、ＩＤ”０１１”のカブトムシオブジェクトに対して、偶然色の組合せなどが似ているだけのオブジェクトであり、ＩＤ”０１１”を用いて検索したユーザ（カブトムシを探したいユーザ）にとっては意に沿わない結果であると考えられる。
続いて、２次類似度の算出処理について説明する。
図２１に示すように、２次類似度の算出処理は、検索部１１６は、第１バッファ１１０に格納されているオブジェクトの中から、２次類似度未算出な１個のオブジェクトＯｈを算出対象に設定する（Ｓ２１０１）。そして、第２バッファ１１５を参照して、算出対象に設定したオブジェクトの関係オブジェクトを取得する（Ｓ２１０２）。
そして、オブジェクト情報記憶部１０６に格納されているオブジェクトの中から、２次類似度未算出な１個のオブジェクトＰｉを算出対象に設定する（Ｓ２１０３）。
続いて、検索部１１６は、ステップＳ２１０３で取得したＰｉに対するＯｈの１次類似度Ｒｈ，ｉ及び関係オブジェクトＯｈ（１），．．．，Ｏｈ（ｊ）それぞれの１次類似度Ｒｈ（１），ｉ，．．．，ｈ（ｊ），ｉについて、それぞれ重み値を掛ける。掛けた後に、全て加算することで２次類似度Ｓｈ，ｉを求める（Ｓ２１０４）。
ステップＳ２１０１でオブジェクトＯ１を対象に設定し、ステップＳ２１０３でオブジェクトＰ１を算出対象に設定したとして、ステップＳ２１０４の具体的な例を図２２、図２３を用いて説明する。
このオブジェクトＯ１については、図２２に示すように、Ｒ１，１からＲ１，１０００までの１次類似度が求まっており、オブジェクトＯ１はオブジェクトＯ２に関係付けられている（オブジェクトＯ１は関係オブジェクトＯ２を有する）。
そして、このオブジェクトＯ１とオブジェクトＰ１との２次類似度Ｓ１，１は図２３に示すように、
Ｓ１，１＝Ｒ１，１×ｗ１＋Ｒ２，１×ｗ２・・・（式１）
という式により求められる。
前半の項「Ｒ１，１×ｗ１」は、オブジェクトＯ１自身と対象オブジェクトＰ１の１次類似度Ｒ１，１に自身の重み値ｗ１を掛けたものとなっている。
後半の項「Ｒ２，１×ｗ２」は、オブジェクトＯ１の関係オブジェクトＯ２と対象オブジェクＰ１の１次類似度Ｒ２，１に、関係オブジェクトの重み値ｗ２を掛けたものとなっている。
このように、２次類似度Ｓは、
（Ａ）オブジェクト検出部１０９により検出されたあるオブジェクトＯｈとオブジェクト情報記憶部１０６に記憶されたあるオブジェクトＰｉの１次類似度
（Ｂ）上記オブジェクトＯｈに関係付けられたオブジェクトＯｈ（１）と上記あるオブジェクトＰｉの１次類似度
この両類似度がそれぞれのオブジェクトＯｈ，Ｏｈ（１）の重み付けと掛け合わされた後に加算されたものとなっている。
上記オブジェクトＡに関係付けられたオブジェクトＯｈ（１），Ｏｈ（２），．．．と、数が多ければその分２次類似度は高い値となる。
図２４は、２次類似度の算出方法を一般化したイメージを示すものであり、ｊ個の関係オブジェクトを有するオブジェクトＯｈと、オブジェクトＰｉとの２次類似度Ｓｈ，ｉの算出方法を示す。
検索部１１６は、このような一連の処理を繰り返すことにより、１次類似度（Ｒ１，１，Ｒ１，２，．．．，Ｒ１，１０００，Ｒ２，１，Ｒ２，２，．．．，Ｒ３，１０００）に基づいて２次類似度（Ｓ１，１，Ｓ１，２，．．．，Ｓ１，１０００，Ｓ２，１，Ｓ２，２，．．．，Ｓ３，１０００）を求める（Ｓ２１０５，Ｓ２１０６）。
図２５に２次類似度の例を示す。
このような２次類似度の算出処理を終えると（図１８：Ｓ１８０２）、検索部１１６は検索結果を表示する（Ｓ１８０３）。
図２６は、検索結果の例を示す図である。タッチスクリーン８０１の上段には、検索に用いた３つのオブジェクト（ＩＤ”０１１”，”０１２”，”０１３”）のサムネイルが表示されており、下段には、３つのオブジェクトのうちＩＤ”０１１”の２次類似度が上位３位のオブジェクトのサムネイル５１〜５３が表示されている。
例えば、受付部１０８がサムネイル５１の選択を受け付けると、検索部１１６は、オブジェクト情報記憶部１０６の中から、サムネイル５１に対応するオブジェクトＩＤ”０００２”（図７参照）を含むフレーム番号”＃１２３４”，コンテンツＩＤ”ＡＢＣ”を特定する。そして検索部１１６は、再生部２６にコンテンツＩＤ”ＡＢＣ”のフレーム番号”＃１２３４”の少し手前のフレーム番号からの再生を開始させる。
なお、図２４の検索結果は一例に過ぎず、例えば、検索に用いた３つのオブジェクトそれぞれの２次類似度の平均を求めた上で、上位３位を表示するようにしてもよいし、上位３位に限らず任意の個数としてもよい。また、検索結果の順位のみならず、２次類似度の値（検索スコア）を表示するようにしてもよい。
これまでに説明した動作の流れをユーザインターフェイス側から見たときのイメージを図２７に示す。
以上説明したように、本実施の形態によれば、ユーザが領域を選ぶことにより指定した３個のオブジェクト（ＩＤ”０１１”，”０１２”，”０１３”）について、シーンが”２”と同じＩＤ”０１１”，”０１２”の重み値を”０．３”増加させる。そして、１次類似度から上の重み値を勘案した２次類似度を求めることとなる。この結果、３個の指定されたオブジェクトのそれぞれにおいてコンスタントに１次類似度が高いオブジェクト、および同じシーンに属するオブジェクトなどを、最終的に高い２次類似度とすることができる。
この結果、図２０のカブトムシ（ＩＤ”０１１”）に対する戦車（ＩＤ”０００３”）のように、指定されたオブジェクトと偶然色の組合せが似ていて単独のオブジェクトで検索したのでは上位に上がって来てしまうようなオブジェクトを、検索結果の上位から排除することができ、検索精度の向上を図ることができる。
なお、図２０の例では、同じシーン”２”であるオブジェクトが２個と少ないが、１０個，２０個と検索に用いるオブジェクトの個数を増やすにつれて、より上のような偶然色の組合せが似ているだけのオブジェクトが検索結果の上位を占める可能性を減らすことができる。
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）オブジェクト検出部１０９が検出対象とするフレームについて補足する。
受付部１０８は、コンテンツの再生中に領域の指定を受け付けるので、領域指定のためのポイントの入力開始から入力終了までの間にもフレームが経過する。
このため、図２８に示すように、このポイントの入力中に、ユーザが指定を意図したオブジェクトの位置が変更されたり、フレーム外に出てしまうことがある。
このため、ポイントの入力開始時点（受付部１０８が受け付けた時点）のフレーム番号”＃１００”を検出対象とすることが好ましい。
もっとも、
（Ａ）映像検索装置から離れた入力デバイスを用いて指定する場合の遅延（例えば、Ｂｌｕｅｔｏｏｔｈ（商標）接続されたマウスにより指定する場合など）
（Ｂ）タッチスクリーン８０１の処理や表示に要する遅延
などの遅延（遅延の長さは、例えば、数ミリ秒程度である。）が生ずることが考えれられるため、これら（Ａ）（Ｂ）を勘案した補正値δを用いるようにしてもよい。
図２８の例では、補正値は１フレーム分であり、フレーム番号”＃１００”のひとつ手前の”＃９９”を対象フレームとしている。
（２）実施の形態では、ユーザから指定された領域に基づいてオブジェクトを検出するとして説明したが（図８参照）、このような領域指定に限られない。
例えば、図２９に示すように、タッチスクリーン８０１上の一点であるＡ点（ｘ１，ｙ１）を受付部１０８が受け付ける。
そして、オブジェクト検出部１０９は、図３０に示すように、受け付けた時点のフレームを対象にエッジ検出を行い、エッジ検出で検出したオブジェクトの中でＡ点を含むオブジェクト１０８を検出する。
なお、上記エッジ検出は、キャニー法（非特許文献１参照）などの一般的な手法を用いることができる。
このようにユーザから指定された点に基づいて（ポイント指定）、オブジェクトを検出するようにしても構わない。
なお、領域指定とするかポイント指定とするかは、ユーザ設定に基づいて選択的に用いるとしてもよい。あるいは、オブジェクト検出部１０９において、ある一定時間ｔの間に入力されたポイント数がｃ以下であり、かつ、ポイント間の距離がｄ以下である場合にはポイント指定と判定し、そうでない場合には、領域指定と判定するようにしてもよい。
（３）実施の形態では、関係付け部１１３は、オブジェクトを含むフレームが属するシーンの同一性に基づいて関係付けの有無を異ならせたが、これに限られない。
例えば、図３１に示すように、チャプターが同じであることを条件に関係付けを行ってもよい。
また、図３２に示すように、それぞれのオブジェクトを含むフレームの再生時間同士が一定時間以内である（例えば３分以内）ことを条件に関係付けを行ってもよい。
また、図３３に示すように、オブジェクトＯ１からＯ２へと関係付けるが、Ｏ２からＯ１には関係付けないというように、関係付けに方向性を持たせて、フレームの再生時間の順序（オブジェクトの出現順序）を考慮するようにしてもよい。
また、図３４に示すように、オブジェクトＯ１→Ｏ２，Ｏ２→Ｏ３，Ｏ３→Ｏ４という関係付けがある場合には、再帰的にＯ１→Ｏ３という関係付けを行うようにしてもよい。
Ｏ１→Ｏ３の関係付けは、いわば間接的な（直接ではない）関係付けであるので、直接の関係付けで用いる重み値の増分Δｗは相対的に小さくする。
また、Ｏ１→Ｏ４の関係付けは、さらに間接的な関係付けであるので、重み値の増分Δｗはより小さくする。
このように、介するオブジェクトの個数が少ない場合（再帰が浅い場合）には重み値の増分Δｗを相対的に大きく設定し、介するオブジェクトの個数が多い場合（再帰が深い場合）には重み値の増分Δｗを相対的に小さく設定するとしてもよい。
なお、図３４の例では、関係付けに方向性を持たせているが、方向性を有さない関係付けにもこのような再帰的な関係付けを適用できる。
（４）実施の形態では、関連オブジェクトを有するオブジェクトについては、重み値増加部１１４は、一律”０．３”の重み値を増加させるとしてが、これに限られない。
例えば、オブジェクト検出部１０９により検出された各オブジェクトについて、出現する頻度をカウントするとしても構わない。具体的には、図１４の第２バッファのデータ列に、「頻度」の項目を設けて、頻度が多ければ、”０．３”より大きな値（例えば”０．５”）を増分とし、頻度が多ければ、”０．３”より小さな値（例えば”０．１”）を増分としてもよい。
また、オブジェクト検出部１０９により検出された各オブジェクトについて、出現する時間をカウントするとしても構わない。具体的には、図１４の第２バッファのデータ列に、「出現時間」の項目を設けて、出現時間が長ければ、”０．３”より大きな値（例えば”０．５”）を増分とし、短ければ、”０．３”より小さな値（例えば”０．１”）を増分としてもよい。
（５）コンテンツの再生に関して、早送りや巻き戻しなどの有無を示す履歴をフレーム番号と関連付けた履歴を記憶するようにしてもよい。
そして、例えば、この履歴においてフレーム番号”＃２０００”が早送りされたフレームに当たるのであれば、このフレーム番号”＃２０００”に含まれるオブジェクトＩＤ”０１１”（図１１参照）については、重み値を小さくするようにしてもよい。早送りされたフレームに含まれるオブジェクトはユーザにとって重要ではないと考えられるためである。
反対に、巻き戻しされたフレームに含まれるオブジェクトの重み値は大きくするようにしてもよい。
（６）検索部１１６において、オブジェクトの出現順序を考慮して検索するようにしてもよい。
例えば、オブジェクト情報記憶部１０６にオブジェクトの出現順序を示す情報を記憶させておき、オブジェクト検出部１０９により検出されたオブジェクトの順序との合致度が高いオブジェクトの２次類似度を高くするようにしてもよい。
（７）オブジェクト検出部１０９により検出されたオブジェクトをデータベースとして蓄積しておくようにしてもよい。そして、関係付け部１１３においては、蓄積されたオブジェクトを関係付けの対象として利用するようにしてもよい。
また、上の蓄積においては、各オブジェクトを含むフレームのコンテンツのシリーズ名（連続ドラマやｐａｒｔ １，ｐａｒｔ ２，ｐａｒｔ ３と続編がある映画などのシリーズの名前のことである。）を示す情報を合わせて蓄積しておき、関係付け部１１３は、同じシリーズ名のオブジェクトを関係付けるようにしてもよい。
（８）重み値増加部１１４においては、関係付けられたオブジェクトがフレームにおいて占める大きさ（オブジェクトのサイズ）が大きいほど、より大きく重み値を増加させるようにしてもよい。
（９）重み値付与部１１１では、関係付け部１１３が行ったオブジェクト同士の関係付けに基づいて重み値を調整するとしている。もっともこれに限らず、関係付けを行わずにシーンが同じオブジェクトについては重み値を増加させるなどの重み値を調整することも考えられる。
（１０）実施の形態や上で述べた具体的な仕様や数値（初期重み値や重み値の増分の値など）はあくまでも一例であり、適宜変更可能である。
（１１）図１などの各機能ブロックは、集積回路であるＬＳＩとしてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
（１２）上述の実施の形態で示した動作などを各種情報処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等の非一時的な（ｎｏｔ−ｔｒａｎｓｉｔｏｒｙ）記録媒体がある。
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
＜補足２＞
本実施の形態は、次の態様を含むものである。
（１）本実施の形態に係る映像検索装置は、複数のフレームから構成されたコンテンツを再生する再生手段と、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索手段と、を備えることを特徴とする。
（２）また、前記付与手段は、前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付け手段と、前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加手段とを含むとしても構わない。
この構成によれば、上記増加手段により上記重み値の相対的な増加を行うことにより、検索精度の向上に資することができる。
（３）また、前記コンテンツは、その再生時間軸上において複数のシーンにより区切られており、前記関係付け手段は、各オブジェクトを含む各フレームのシーンの同一性に基づいて、前記オブジェクト同士の関係付けを行うとしても構わない。
この構成によれば、シーンの同一性に基づく関係付けにより、各オブジェクトに適切な重み値を付与することができる。
（４）また、前記コンテンツは、その再生時間軸上において複数のチャプタにより区切られており、前記関係付け手段は、各オブジェクトを含む各フレームのチャプタの同一性に基づいて、前記オブジェクト同士の関係付けを行うとしても構わない。
この構成によれば、チャプタシーンの同一性に基づく関係付けにより、各オブジェクトに適切な重み値を付与することができる。
（５）また、前記関係付け手段は、他のオブジェクトを介して間接的に関係付けられているオブジェクト同士を関係付けるとしても構わない。
（６）また、記増加手段は、前記他のオブジェクトを介して間接的に関係付けられているオブジェクト同士については、介しているオブジェクトの個数に応じて、前記増加させる重み値を調整するとしても構わない。
（７）また、前記関係付け手段は、フレームの前記再生時間が前方のオブジェクトから、フレームの前記再生時間が後方のオブジェクトへと関係付けを行い、フレームの前記再生時間が後方のオブジェクトから、フレームの前記再生時間が前方のオブジェクトへは関係付けを行わないとしても構わない。
この構成によれば、関係付けに方向性を持たせることで、各オブジェクトに適切な重み値を付与することができる。
（８）複数のオブジェクトと各オブジェクトの特徴量情報を記憶する記憶手段を備え、前記検出手段は、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、前記検索手段は、前記検出手段により抽出された特徴量情報を、前記記憶手段に記憶された特徴量情報と照合することにより、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索するとしても構わない。
（９）オブジェクトと各オブジェクトの特徴量情報とを記憶する記憶手段を備え、前記検出手段は、検出したオブジェクトそれぞれのオブジェクトの特徴量情報を抽出し、前記付与手段は、前記オブジェクトそれぞれに重み値を付与し、前記検索手段は、検出手段により検出されたオブジェクトの特徴量情報を、前記記憶手段に記憶されたオブジェクトそれぞれの特徴量情報と照合することにより、１次類似度を算出し、１次類似度の値に、当該他のオブジェクトの重み値を乗算して得られた値を加算することにより、２次類似度を算出するとしても構わない。
（１０）また、前記関係付けられたオブジェクトが、前記コンテンツ中で出現する頻度をカウントする頻度カウント手段を備え、前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトに関してカウントされた頻度が多いほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させるとしても構わない。
（１１）また、前記関係付けられたオブジェクトについて、前記コンテンツ中で出現する再生時間軸上の長さをカウントする時間カウント手段を備え、前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトに関してカウントされた長さが大きいほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させるとしても構わない。
（１２）また、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトがフレームにおいて占める大きさが大きいほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させるとしても構わない。
（１３）前記再生手段により早送りまたは巻き戻しされたフレームを特定する情報を記憶する履歴記憶手段を備え、前記増加手段は、前記履歴記憶手段を参照して、前記関係付けられたオブジェクトを含むフレームが早送りされたことを示していれば、当該関係付けられたオブジェクトの重み値の増加量を小さくし、または、前記増加手段は、前記履歴記憶手段を参照して、前記関係付けられたオブジェクトを含むフレームが巻き戻しされたことを示していれば、当該関係付けられたオブジェクトの重み値の増加量を大きくするとしても構わない。
（１４）複数のオブジェクトと各オブジェクトがコンテンツ中の再生時間軸上において出現する順序とを記憶する記憶手段を備え、前記検出手段は、検出した複数のオブジェクトについて、前記コンテンツ中の再生時間軸上において出現する順序を決定し、前記検索手段は、前記記憶手段に記憶された複数のオブジェクトの中から、前記検出手段により検出された複数のオブジェクトの順序との合致度が高いオブジェクトを検索するとしても構わない。
（１５）前記検出手段により検出された複数のオブジェクトと、各オブジェクトの重み値とを関連付けて蓄積する蓄積手段を備え、前記関係付け手段は、前記蓄積された複数のオブジェクトを、前記関係付けの対象とするとしても構わない。
（１６）前記蓄積手段は、蓄積する複数のオブジェクトそれぞれについて、シリーズ識別情報を記憶し、前記検出手段により検出された複数のオブジェクトのそれぞれには、シリーズ名を示す情報が関連付けられており、前記関係付け手段は、前記蓄積された複数のオブジェクトを参照して、前記検出手段により検出された複数のオブジェクトそれぞれのシリーズ名と、シリーズ名が一致するオブジェクトを関係付けるとしても構わない。
（１７）本実施の形態に係る映像検索方法は、複数のフレームから構成されたコンテンツを再生する再生ステップと、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付ステップと、前記受付ステップによる受け付けに応じて、オブジェクトを検出する検出ステップと、検出ステップにより検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与ステップと、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索ステップと、を含むことを特徴とする。
（１８）本実施の形態に係るプログラムは、コンピュータに映像検索処理を実行させるプログラムであって、
前記映像検索処理は、複数のフレームから構成されたコンテンツを再生する再生ステップと、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付ステップと、前記受付ステップによる受け付けに応じて、オブジェクトを検出する検出ステップと、検出ステップにより検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与ステップと、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索ステップとを含むことを特徴とする。
（１９）本実施の形態に係る集積回路は、複数のフレームから構成されたコンテンツを再生する再生手段と、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームのコンテンツ上の時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索手段と、を備えることを特徴とする。
本発明に係る映像検索装置は、検索精度の向上に寄与できるので有用である。
１０１ 映像検索装置
１０２ 通信部
１０３ コンテンツ記憶部
１０４ コンテンツ管理情報記憶部
１０５ シーン情報記憶部
１０６ オブジェクト情報記憶部
１０７ 再生部
１０８ 受付部
１０９ オブジェクト検出部
１１０ 第１バッファ
１１１ 重み値付与部
１１２ 初期重み値付与部
１１３ 関係付け部
１１４ 重み値増加部
１１５ 第２バッファ
１１６ 検索部
１１７ 表示制御部
１１８ 表示部
８０１ タッチスクリーン

Claims (17)

  1. 複数のオブジェクトと各オブジェクトの特徴量情報を記憶する記憶手段と、
    複数のフレームから構成されたコンテンツを再生する再生手段と、
    前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、
    前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、
    前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、
    前記重み値が付与された複数のオブジェクトに基づいて、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する検索手段と、
    を備え、
    前記付与手段は、
    前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付け手段と、
    前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加手段とを含み、
    前記検出手段は、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、
    前記検索手段は、前記検出手段により抽出された特徴量情報を、前記記憶手段に記憶された特徴量情報と照合することにより、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する
    ことを特徴とする映像検索装置。
  2. 前記コンテンツは、その再生時間軸上において複数のシーンにより区切られており、
    前記関係付け手段は、各オブジェクトを含む各フレームのシーンの同一性に基づいて、前記オブジェクト同士の関係付けを行う
    ことを特徴とする請求項１に記載の映像検索装置。
  3. 前記コンテンツは、その再生時間軸上において複数のチャプタにより区切られており、
    前記関係付け手段は、各オブジェクトを含む各フレームのチャプタの同一性に基づいて、前記オブジェクト同士の関係付けを行う
    ことを特徴とする請求項１に記載の映像検索装置。
  4. 前記関係付け手段は、他のオブジェクトを介して間接的に関係付けられているオブジェクト同士を関係付ける
    ことを特徴とする請求項１に記載の映像検索装置。
  5. 前記増加手段は、前記他のオブジェクトを介して間接的に関係付けられているオブジェクト同士については、介しているオブジェクトの個数に応じて、前記増加させる重み値を調整する
    ことを特徴とする請求項４に記載の映像検索装置。
  6. 前記関係付け手段は、
    フレームの前記再生時間が前方のオブジェクトから、フレームの前記再生時間が後方のオブジェクトへと関係付けを行い、
    フレームの前記再生時間が後方のオブジェクトから、フレームの前記再生時間が前方のオブジェクトへは関係付けを行わない
    ことを特徴とする請求項１に記載の映像検索装置。
  7. 前記関係付けられたオブジェクトが、前記コンテンツ中で出現する頻度をカウントする頻度カウント手段を備え、
    前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトに関してカウントされた頻度が多いほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる
    ことを特徴とする請求項１に記載の映像検索装置。
  8. 前記関係付けられたオブジェクトについて、前記コンテンツ中で出現する再生時間軸上の長さをカウントする時間カウント手段を備え、
    前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトに関してカウントされた長さが大きいほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる
    ことを特徴とする請求項１に記載の映像検索装置。
  9. 前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトがフレームにおいて占める大きさが大きいほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる
    ことを特徴とする請求項１に記載の映像検索装置。
  10. 前記再生手段により早送りまたは巻き戻しされたフレームを特定する情報を記憶する履歴記憶手段を備え、
    前記増加手段は、前記履歴記憶手段を参照して、前記関係付けられたオブジェクトを含むフレームが早送りされたことを示していれば、当該関係付けられたオブジェクトの重み値の増加量を小さくし、
    または、前記増加手段は、前記履歴記憶手段を参照して、前記関係付けられたオブジェクトを含むフレームが巻き戻しされたことを示していれば、当該関係付けられたオブジェクトの重み値の増加量を大きくする
    ことを特徴とする請求項１に記載の映像検索装置。
  11. 複数のオブジェクトと各オブジェクトがコンテンツ中の再生時間軸上において出現する順序とを記憶する記憶手段を備え、
    前記検出手段は、検出した複数のオブジェクトについて、前記コンテンツ中の再生時間軸上において出現する順序を決定し、
    前記検索手段は、前記記憶手段に記憶された複数のオブジェクトの中から、前記検出手段により検出された複数のオブジェクトの順序との合致度が高いオブジェクトを検索することを特徴とする請求項１に記載の映像検索装置。
  12. 前記検出手段により検出された複数のオブジェクトと、各オブジェクトの重み値とを関連付けて蓄積する蓄積手段を備え、
    前記関係付け手段は、前記蓄積された複数のオブジェクトを、前記関係付けの対象とする
    ことを特徴とする請求項１に記載の映像検索装置。
  13. 前記蓄積手段は、蓄積する複数のオブジェクトそれぞれについて、シリーズ識別情報を記憶し、
    前記検出手段により検出された複数のオブジェクトのそれぞれには、シリーズ名を示す情報が関連付けられており、
    前記関係付け手段は、前記蓄積された複数のオブジェクトを参照して、前記検出手段により検出された複数のオブジェクトそれぞれのシリーズ名と、シリーズ名が一致するオブジェクトを関係付ける
    ことを特徴とする請求項１２に記載の映像検索装置。
  14. オブジェクトと各オブジェクトの特徴量情報とを記憶する記憶手段と、
    複数のフレームから構成されたコンテンツを再生する再生手段と、
    前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、
    前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、
    前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、
    前記重み値が付与された複数のオブジェクトに基づいて、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する検索手段と、
    を備え、
    前記付与手段は、
    前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付け手段と、
    前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加手段とを含み、
    前記検出手段は、検出したオブジェクトそれぞれのオブジェクトの特徴量情報を抽出し、
    前記付与手段は、前記オブジェクトそれぞれに重み値を付与し、
    前記検索手段は、
    検出手段により検出されたオブジェクトの特徴量情報を、前記記憶手段に記憶されたオブジェクトそれぞれの特徴量情報と照合することにより、１次類似度を算出し、
    １次類似度の値に、
    当該他のオブジェクトの重み値を乗算して得られた値を加算することにより、
    ２次類似度を算出する
    ことを特徴とする映像検索装置。
  15. 複数のフレームから構成されたコンテンツを再生する再生ステップと、
    前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付ステップと、
    前記受付ステップによる受け付けに応じて、オブジェクトを検出する検出ステップと、
    前記検出ステップにより検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与ステップと、
    前記重み値が付与された複数のオブジェクトに基づいて、前記検出ステップが検出したオブジェクトに類似するオブジェクトを検索する検索ステップと、
    を含み、
    前記付与ステップは、
    前記検出ステップにおいて検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付けステップと、
    前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加ステップとを含み、
    前記検出ステップは、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、
    前記検索ステップは、前記検出ステップにおいて抽出された特徴量情報を、複数のオブジェクトと各オブジェクトの特徴量情報を記憶する前記記憶手段に記憶された特徴量情報と照合することにより、前記検出ステップが検出したオブジェクトに類似するオブジェクトを検索する
    映像検索方法。
  16. コンピュータに映像検索処理を実行させるプログラムであって、
    前記映像検索処理は、
    複数のフレームから構成されたコンテンツを再生する再生ステップと、
    前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付ステップと、
    前記受付ステップによる受け付けに応じて、オブジェクトを検出する検出ステップと、
    前記検出ステップにより検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与ステップと、
    前記重み値が付与された複数のオブジェクトに基づいて、前記検出ステップが検出したオブジェクトに類似するオブジェクトを検索する検索ステップと
    を含み、
    前記付与ステップは、
    前記検出ステップにおいて検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付けステップと、
    前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加ステップとを含み、
    前記検出ステップは、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、
    前記検索ステップは、前記検出ステップにおいて抽出された特徴量情報を、複数のオブジェクトと各オブジェクトの特徴量情報を記憶する前記記憶手段に記憶された特徴量情報と照合することにより、前記検出ステップが検出したオブジェクトに類似するオブジェクトを検索する
    ことを特徴とするプログラム。
  17. 複数のオブジェクトと各オブジェクトの特徴量情報を記憶する記憶手段と、
    複数のフレームから構成されたコンテンツを再生する再生手段と、
    前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、
    前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、
    前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、
    前記重み値が付与された複数のオブジェクトに基づいて、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する検索手段と、
    を備え、
    前記付与手段は、
    前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付け手段と、
    前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加手段とを含み、
    前記検出手段は、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、
    前記検索手段は、前記検出手段により抽出された特徴量情報を、前記記憶手段に記憶された特徴量情報と照合することにより、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する
    ことを特徴とする集積回路。
JP2012520244A 2010-06-16 2011-03-17 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路 Active JP5632472B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012520244A JP5632472B2 (ja) 2010-06-16 2011-03-17 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010137072 2010-06-16
JP2010137072 2010-06-16
PCT/JP2011/001596 WO2011158406A1 (ja) 2010-06-16 2011-03-17 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路
JP2012520244A JP5632472B2 (ja) 2010-06-16 2011-03-17 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路

Publications (2)

Publication Number Publication Date
JPWO2011158406A1 JPWO2011158406A1 (ja) 2013-08-19
JP5632472B2 true JP5632472B2 (ja) 2014-11-26

Family

ID=45347824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012520244A Active JP5632472B2 (ja) 2010-06-16 2011-03-17 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路

Country Status (4)

Country Link
US (1) US8718444B2 (ja)
JP (1) JP5632472B2 (ja)
CN (1) CN102474586B (ja)
WO (1) WO2011158406A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130007807A1 (en) * 2011-06-30 2013-01-03 Delia Grenville Blended search for next generation television
EP2816564B1 (en) 2013-06-21 2020-07-22 Nokia Technologies Oy Method and apparatus for smart video rendering
US9600723B1 (en) 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
JP6704797B2 (ja) * 2016-06-01 2020-06-03 キヤノン株式会社 画像検索装置、その制御方法、およびプログラム
CN110135483A (zh) * 2019-04-30 2019-08-16 北京百度网讯科技有限公司 训练图像识别模型的方法、装置及相关设备
CN111970525B (zh) * 2020-08-14 2022-06-03 北京达佳互联信息技术有限公司 直播间搜索方法、装置、服务器及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373177A (ja) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd 類似オブジェクト検索方法及び装置
JP2003141161A (ja) * 2001-10-29 2003-05-16 Olympus Optical Co Ltd マルチメディアオブジェクト検索方法およびシステム
JP2009232250A (ja) * 2008-03-24 2009-10-08 Panasonic Corp 番組情報表示装置および番組情報表示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3220493B2 (ja) 1991-12-20 2001-10-22 株式会社シーエスケイ 動画編集処理の場面転換部検出方法
US6195497B1 (en) 1993-10-25 2001-02-27 Hitachi, Ltd. Associated image retrieving apparatus and method
JP3711993B2 (ja) 1993-10-25 2005-11-02 株式会社日立製作所 映像の連想検索装置
AU2330100A (en) * 1999-01-29 2000-08-18 Lg Electronics Inc. Method of searching or browsing multimedia data and data structure
JP2005107767A (ja) 2003-09-30 2005-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像検索装置、映像検索方法および映像検索プログラム
JP4009959B2 (ja) 2004-01-07 2007-11-21 船井電機株式会社 テレビ受信機
JP4367264B2 (ja) * 2004-07-12 2009-11-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP3674633B2 (ja) 2004-11-17 2005-07-20 カシオ計算機株式会社 画像検索装置、電子スチルカメラ、および画像検索方法
JP5135733B2 (ja) * 2006-08-10 2013-02-06 ソニー株式会社 情報記録装置及び情報記録方法、並びにコンピュータ・プログラム
US8196045B2 (en) * 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
JP2009296346A (ja) 2008-06-05 2009-12-17 Sony Corp 番組推薦装置、番組推薦方法及び番組推薦プログラム
JP5335302B2 (ja) * 2008-06-30 2013-11-06 キヤノン株式会社 焦点検出装置及びその制御方法
JP4711152B2 (ja) * 2008-12-26 2011-06-29 ソニー株式会社 コンテンツ表示制御装置および方法、プログラム、並びに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373177A (ja) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd 類似オブジェクト検索方法及び装置
JP2003141161A (ja) * 2001-10-29 2003-05-16 Olympus Optical Co Ltd マルチメディアオブジェクト検索方法およびシステム
JP2009232250A (ja) * 2008-03-24 2009-10-08 Panasonic Corp 番組情報表示装置および番組情報表示方法

Also Published As

Publication number Publication date
CN102474586B (zh) 2015-10-21
JPWO2011158406A1 (ja) 2013-08-19
WO2011158406A1 (ja) 2011-12-22
CN102474586A (zh) 2012-05-23
US8718444B2 (en) 2014-05-06
US20120134648A1 (en) 2012-05-31

Similar Documents

Publication Publication Date Title
JP5632472B2 (ja) 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路
AU2015222869B2 (en) System and method for performing spatio-temporal analysis of sporting events
US9684818B2 (en) Method and apparatus for providing image contents
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
US8583647B2 (en) Data processing device for automatically classifying a plurality of images into predetermined categories
US9904682B2 (en) Content-aware filter options for media object collections
US9538116B2 (en) Relational display of images
JP5285196B1 (ja) お薦めコンテンツ提供装置、お薦めコンテンツ提供プログラムおよびお薦めコンテンツ提供方法
CN102779153B (zh) 信息处理设备和信息处理方法
EP2994873A1 (en) Event-related media management system
CN105872717A (zh) 视频处理方法及系统、视频播放器与云服务器
WO2006064877A1 (ja) コンテンツ推薦装置
CN106454431A (zh) 电视节目推荐方法和系统
US8406606B2 (en) Playback apparatus and playback method
JP5733158B2 (ja) 認識支援装置、認識支援方法、およびプログラム
CN105959804A (zh) 智能播放方法及装置
US20070256012A1 (en) User interface for browsing content, method of providing the user interface, and content browsing apparatus
CN103702117A (zh) 图像处理设备、图像处理方法及程序
KR102102164B1 (ko) 영상 전처리 방법, 장치 및 컴퓨터 프로그램
CN103608813A (zh) 通过对象位置进行视频导航
JP2007323319A (ja) 類似検索処理方法及び装置及びプログラム
US20150222959A1 (en) Information processing method, and information processing system
US20150268932A1 (en) Systems and methods to generate a playlist from a media map
CN108566567A (zh) 电影剪辑方法及装置
CN103003880B (zh) 为视频确定代表图像

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140516

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140916

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141009

R150 Certificate of patent or registration of utility model

Ref document number: 5632472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150