JP5344715B2 - コンテンツ検索装置およびコンテンツ検索プログラム - Google Patents
コンテンツ検索装置およびコンテンツ検索プログラム Download PDFInfo
- Publication number
- JP5344715B2 JP5344715B2 JP2010536802A JP2010536802A JP5344715B2 JP 5344715 B2 JP5344715 B2 JP 5344715B2 JP 2010536802 A JP2010536802 A JP 2010536802A JP 2010536802 A JP2010536802 A JP 2010536802A JP 5344715 B2 JP5344715 B2 JP 5344715B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- content
- data
- user
- feature quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 claims description 196
- 238000013500 data storage Methods 0.000 claims description 55
- 238000010219 correlation analysis Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 21
- 238000000513 principal component analysis Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 description 93
- 238000000034 method Methods 0.000 description 66
- 239000011159 matrix material Substances 0.000 description 57
- 238000012545 processing Methods 0.000 description 42
- 230000007704 transition Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 32
- 230000004048 modification Effects 0.000 description 21
- 238000012986 modification Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000000491 multivariate analysis Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/41—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
- G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
ここで、未知特徴量算出手段は、例えば、特徴量データにおいて、コンテンツ識別子に対応づけられた特徴種別の特徴量から、主成分分析を用いて特徴推定値を算出する。また他の例としては、未知特徴量算出手段は、特徴量データにおいて、コンテンツ識別子に対応づけられた特徴種別の特徴量から、正準相関分析を用いて特徴推定値を算出する。
図1に示すように、本発明の実施の形態に係るコンテンツ検索装置1は、異なる種別のコンテンツデータについて、類似するコンテンツデータを検索する。具体的にはコンテンツ検索装置1は、コンテンツデータ記憶部30に記憶された各種コンテンツデータについて、各コンテンツデータから特徴量を算出する。この際、コンテンツ検索装置1は、各種コンテンツデータにメタデータが付与されているか否かにかかわらず、特徴量を算出する。
さらにコンテンツ検索装置1は、各コンテンツデータの未知の特徴量を、算出可能な特徴量から推定する。コンテンツ検索装置1は、算出された特徴量および推定された特徴量から、各コンテンツデータの距離を算出し、類似度を決定し、表示装置105に検索結果を3次元の空間として表現して表示する。
図4に示すように、本発明の実施の形態に係るコンテンツ検索装置1は、中央処理制御装置101、ROM(Read Only Memory)102、RAM(Random Access Memory)103及び入出力インタフェース109が、バス110を介して接続されている。入出力インタフェース109には、入力装置104、表示装置105、通信制御装置106、記憶装置107及びリムーバブルディスク108が接続されている。
記憶装置107は、コンテンツデータ記憶部30、特徴量データ記憶部34および距離データ記憶部35を備える。
例えば、図2に示すように、画像データ31aについて、画像特徴量算出手段11によって画像特徴量が算出される。しかし画像データ31aは音響信号を有していないので、音響特徴量は算出されない。また、画像データ31aにメタデータが付与されていない場合、意味特徴量は算出されない。そこで、未知特徴量算出手段14は、画像データ31aについて、図3に示すように音響特徴量および意味特徴量を算出する。
動画データ32aについて、画像特徴量算出手段11によって画像特徴量が算出されるとともに、音響特徴量算出手段13によって音響特徴量が算出される。動画データ32aにメタデータが付与されていない場合や、人の声やキャプションなどが含まれていない場合、意味特徴量は算出されない。そこで、未知特徴量算出手段14は、動画データ32aについて、図3に示すように意味特徴量を算出する。
音楽データ33aについて、音響特徴量算出手段13によって音響特徴量が算出される。しかし音楽データ33aは画像信号を有していないので、画像特徴量は算出されない。また、音楽データ33aにメタデータが付与されていない場合、意味特徴量は算出されない。そこで、未知特徴量算出手段14は、音楽データ33aについて、図3に示すように画像特徴量および意味特徴量を算出する。
正準相関分析が異なる特徴間の相関求めるのに最適な方法であるのに対して、主成分分析による方法では、同一特徴間での相関も求める。その一方、主成分分析では、全ての特徴間で相関が求まっていることから、どの特徴が既知である、未知であることの拘束は存在しない。従って、主成分分析では、計算量を削減することができる。
これに対し正準相関分析による方法では、既知のデータ、未知のデータがはっきりとしている場合に、最適な相関を算出することが可能である。
未知特徴量算出手段14は、データの状況や、要求される処理能力等に応じて、いずれかの計算手法を選択することが好ましい。
全てのコンテンツデータについてステップS404ないしステップS409が実行されると、未知特徴量算出処理は終了する。
全てのコンテンツデータについてステップS504ないしステップS506が実行されると、未知特徴量算出処理は終了する。
従って、ユーザは特定のコンテンツの種類を指定することなく、異なるコンテンツ種別のコンテンツについて、類似するコンテンツを検索することができる。
類似性の高いコンテンツを関連づけることにより、例えば「画像に合う音楽」や「動画に合う音楽」などを抽出することができる。従って、従来は知っているコンテンツでなければ関連づけができなかったところ、本発明の実施の形態によれば、操作者にとって未知のコンテンツを結びつけて新たなコンテンツを制作したり、コンテンツ制作の発想を支援することができる。
この場合、動画データ32a等のコンテンツデータの再生中に、ユーザによって検索指示が入力された場合、クエリコンテンツデータのサムネイルを中心として、多次元尺度構成法を用いて算出された2次元空間の座標に基づいて、検索結果のコンテンツデータのサムネイルの座標を再計算し、表示装置105の表示画面に配置する。図13に示す例において、表示されている複数のコンテンツの位置関係によって、ユーザは、クエリコンテンツデータと検索されたコンテンツデータの類似する度合い、および検索されたコンテンツデータ同士が類似する度合いを、視覚的に把握することができる。
この場合、動画データ32a等のコンテンツ再生中に、ユーザによって検索指示が入力された場合、表示手段16は、クエリコンテンツデータのサムネイルを中心として、多次元尺度構成法を用いて2次元空間の座標を算出する。さらに表示手段16は、算出された2次元空間の座標に基づいて、検索結果のコンテンツデータのコンテンツ種別ごとに、そのサムネイルの座標を再計算し、表示装置105の表示画面に配置する。図16に示す例において、表示されている複数のコンテンツのエリアおよび位置関係によって、ユーザは、検索されたコンテンツの種別、クエリコンテンツデータと検索されたコンテンツデータの類似する度合い、および検索されたコンテンツデータ同士が類似する度合いを、視覚的に把握することができる。
一つのメディアにフォーカスを当てた配置で表示される検索結果は、表示されているコンテンツの位置関係によって、クエリコンテンツデータと検索結果が類似する度合いを視覚的に把握することができる。図18に示す例では、画像データ、動画データおよび音楽データのいずれか一つのメディアにのみフォーカスを当てて、検索結果を表示する。この場合、フォーカスが当てられていないコンテンツ種別のサムネイルについては、座標を再計算する必要はない。
このように本発明の実施の形態に係るコンテンツ検索装置1によれば、各種コンテンツについて、画像特徴量、意味特徴量および音響特徴量を算出する。従って、コンテンツ検索装置1は、画像データと音楽データ、動画データと画像データ、動画データと音楽データなど、コンテンツ種別にかかわらず、類似するコンテンツデータを検索することができる。
以下で、特徴量算出手段10による特徴量算出処理のアルゴリズムを説明する。本発明の実施の形態においては、画像データ31aと、動画データ32aの映像データの画像特徴量として、色ヒストグラムが用いられる。画像データ31a、動画データ32aおよび音楽データ33aの意味特徴量として、TFIDFが用いられる。動画データ32aの音響データと、音楽データ33aの音響特徴量として、音階の遷移に基づく特徴量が用いられる。
以下で、クロマベクトルの算出および音階の遷移行列の算出について説明する。
以下で、未知特徴量算出手段14による未知特徴量算出処理のアルゴリズムを説明する。未知特徴量算出手段14は、主成分分析あるいは正準相関分析に基づいて、未知の特徴量を分析する。
未知特徴量算出手段14は、画像特徴v、音響特徴a、意味特徴wのうち、音響特徴および意味特徴が未知である場合、ベクトルxを
未知特徴量算出手段14は、画像特徴v、音響特徴a、意味特徴wのうち、画像特徴および意味特徴が未知である場合、ベクトルxを、
未知特徴量算出手段14は、画像特徴v、音響特徴a、意味特徴wのうち、意味特徴が未知である場合、ベクトルxを
以下で、距離算出手段15による距離算出処理のアルゴリズムを説明する。距離算出手段15は、重みなし距離または重み付き距離を算出する。
今、クエリコンテンツがCq、対象コンテンツがCfであるとする。このとき距離算出手段15は、それらコンテンツ間における画像特徴の重みなし距離
以下で、表示手段16による表示処理のアルゴリズムを説明する。表示手段16は、距離算出手段15によって出力された距離データ35に基づいて、検索結果を表示装置105の表示画面に表示する。所定のコンテンツとクエリコンテンツの距離が小さいほど、具体的にはコンテンツが類似するほど、そのコンテンツのサムネイルをクエリコンテンツのサムネイル近くに表示する。一方、所定のコンテンツとクエリコンテンツの距離が大きいほど、具体的にはコンテンツが類似しないほど、そのコンテンツのサムネイルをクエリコンテンツのサムネイル遠くに表示する。
本発明の実施の形態において、多次元尺度構成法(MDS)を、各コンテンツにおいて算出された特徴ベクトル間の距離に対し適用することで、コンテンツ間の類似関係を保持した検索結果が可視化される。
本発明の第1の変形例として、音響信号の繰り返し部分に着目した特徴量を算出する場合について説明する。ここで、繰り返し部分とは、例えば曲の「サビ」の部分である。
本発明の実施の形態においては、楽曲全体から特徴量を算出している。従って、算出される特徴量はその時間長により平滑化されてしまい、抽出精度が劣化する可能性がある。そこで、第1の変形例においては、楽曲の繰り返し区間を検出する手法を導入することで、楽曲中に最も多く現れる区間を検出し、その区間より得られる遷移行列を用いて楽曲間の類似度を算出する。このように、楽曲の繰り返し区間から算出される類似度を用いることで、第1の変形例においては、高精度な類似楽曲を抽出することができる。
音響特徴量算出手段13は、音響信号のうち繰り返し現れるメロディーを特定し、その繰り返しメロディーの特徴量を、音響特徴の特徴量とする。従って特徴量データ記憶部34に記憶される音響特徴は、音響信号の繰り返し区間についての特徴量であって、その楽曲の特徴にフォーカスをあてた特徴量であると考えられる。本発明の第1の変形例に異なるコンテンツ検索装置1aにおいて、音響特徴量算出手段13が処理する楽曲は、コンテンツデータ記憶部30の動画データ記憶部32に記憶された動画データのうち音響データ部分と、音楽データ記憶部33に記憶された音楽データである。
ただし、各要素がほぼ等しいクロマベクトルは、他のクロマベクトルとの類似度が高くなってしまう傾向があり、t−l平面中に類似度の高い直線として現れる場合がある。このような直線を除去するために、本発明の第1の変形例に係る音響特徴量算出手段13は、移動平均フィルタを用いて時間軸に並行な線分を強調することで、高精度に繰り返し区間を検出する。
ここで、クエリ楽曲の繰り返し区間n(n=1,2,・・・N;Nは繰り返し区間の総数)より算出される音階の遷移行列を
図25を参照して、本発明の第2の変形例に係るコンテンツ検索装置1bを説明する。図25に示すコンテンツ検索装置1bは、図1に示す本発明の実施の形態に係るコンテンツ検索装置1と比較して、記憶装置107がユーザ嗜好データ記憶部36および重要ユーザデータ記憶部37を備えている点と、中央処理制御装置101が、重要ユーザ決定手段17を備えている点が異なる。また、図25において距離算出手段15aおよび表示手段16aの処理は、図1に示した距離算出手段15および表示手段16のそれぞれの処理と一部の処理が異なる。
ユーザ嗜好データ36aは例えば、ユーザによって使用されるユーザ端末で保存されているプレイリストから生成されても良い。コンテンツ検索装置1bは、ユーザ端末から、ユーザの識別子とプレイリストで記録されているコンテンツの識別子とを受信して、ユーザ嗜好データ36aを生成しても良い。
また、ユーザ嗜好データ36aは、例えば、ユーザ端末に嗜好にあうコンテンツを入力する画面を表示し、ユーザによって個別に特定されたコンテンツをコンテンツ検索装置1bが受信して、ユーザの識別子とその受信したコンテンツ識別子とを関連づけることにより、ユーザ嗜好データ36aを生成しても良い。
後述する重要ユーザ決定手段17が、重要ユーザを決定するとともに、重要ユーザデータ37aを生成して、重要ユーザデータ記憶部37に記憶する。
重要ユーザは、一つのコンテンツについて一人だけ選ばれても良い。また、重要ユーザは、下記の式(6)で算出されるスコアが一定値以上のユーザであって、各コンテンツについて、複数のユーザが選ばれても良い。
重要ユーザ決定手段17は、このネットワークに対し、HITS(Hypertext Induced. Topic Selection)アルゴリズムを適用し、オーソリティを決定する。本発明の第2の変形例において重要ユーザ決定手段17は、このオーソリティとなるユーザを重要ユーザとして出力する。
特徴量データ34aに記憶されている特徴量および特徴推定値に基づいて、各コンテンツデータの類似度を示す距離を算出する際、距離算出手段15aは、ユーザ嗜好データ36aにおいて重要ユーザのユーザ識別子に関連づけられたコンテンツ識別子を考慮して、各コンテンツデータの類似度を示す距離を算出する。
さらに、その重要ユーザの嗜好にあったコンテンツリストに基づいて、コンテンツの類似度を算出することにより、類似度の精度を維持しつつ、計算量を削減することができる。
また、このユーザネットワークを表示し、そのユーザの嗜好にあったコンテンツリストを取得することで、ユーザは、新たなコンテンツを知ることができる。
まず、重要ユーザ決定手段17による、HITSを用いたユーザの好みに基づくネットワークの作成処理を説明する。
以降では、ユーザの嗜好を考慮した類似コンテンツの検索を実現するため、オーソリティを抽出する具体的な方法の一例としてHITSアルゴリズムを用いた方法について説明する。
ここで、本発明においてリンクは、ユーザ嗜好データにおいて各ユーザに関連づけられた好みのコンテンツの特徴量によって算出される。例えば、画像データについてユーザが青の画像が多い場合、同じく青の画像が多いユーザと、太いリンクで結ばれることになる。
以下において、HITSの処理手順が示される。
全てのユーザをベース集合とし、ベース集合に属するユーザのリンクパターンを全て調べ、隣接行列L=[lij]が作成される。ここで隣接行列は、ユーザiからユーザjへのリンクが存在する場合にはlij=1とし、それ以外は0とした行列である。ただし、HITSでは、同一ホストlに属するユーザ間のリンクの存在は無視して、隣接行列が作成される。
ユーザiに対し、オーソリティスコアaiと、ハブスコアhiの2種類のスコアが、式(6)および式(7)のようにそれぞれ定義される。さらに、式(6)、式(7)により両スコアが算出される。
オーソリティスコアが大きいユーザ、ハブスコアが大きいユーザをそれぞれオーソリティ、ハブとする。この手順(3)を、各ユーザのオーソリティスコアとハブスコアが収束するまで反復する。
距離算出手段15aは、HITSにより決定されるオーソリティが好みとするコンテンツの集合に対して、本発明の実施の形態の距離算出手段15で説明した主成分分析あるいは正準相関分析を施す。これにより距離算出手段15aは、行列UおよびWv、Wa、Ww、Λva=Λ(av)、Λaw=Λ(wa)、Λvw=Λ(wv)を求め、ベクトルxpcaおよびベクトルxccaを得る。さらに距離算出手段15aは、本発明の実施の形態の距離算出手段15で説明した算出方法に従い、ベクトルxpcaおよびベクトルxccaを用いて距離を算出する。
距離算出手段15aは、HITSにより決定されるクエリコンテンツqに対するオーソリティが好みとする全コンテンツを用いて、重み行列を算出する。ここで、オーソリティが好みとする全コンテンツとは、ユーザ嗜好データ36aにおいて、オーソリティであるユーザの識別子に関連づけられたコンテンツ識別子に対応するコンテンツである。重み行列は、下記の式によって算出される。
本発明の第2の変形例において、動画像信号等のコンテンツの再生中にユーザネットワーク表示が、ユーザによって操作されることにより、再生中のコンテンツを好みとするユーザのネットワークが構築され、表示手段16aは、その構築結果を表示装置105に表示する。ユーザネットワークは、多次元尺度構成法によって算出された3次元空間の座標位置関係に基づいて表示される。ユーザネットワークにおいて、ネットワーク内に存在する各ユーザはノードして表示される。ネットワーク内の任意のユーザが選択されると、表示手段16aは、そのユーザが好みとするコンテンツの一覧を表示する。
以上により可視化されるユーザネットワークは、各ユーザの嗜好を反映したユーザ同士のリンク関係やその度合いを視覚的に表現することができる。さらに、ユーザが好みとするコンテンツをクエリとして検索操作が入力されると、表示手段16aは、表示される検索結果をクエリを中心として多次元尺度構成法を用いて算出された2次元空間の座標に基づいて、座標を再計算し配置して表示する。これにより、ネットワーク内のユーザの嗜好を反映した検索結果が表示され、表示されている複数のコンテンツの位置関係によって、ユーザに、コンテンツ同士が類似する度合いを視覚的に把握させることができる。
(その他の実施の形態)
上記のように、本発明の実施の形態、第1の変形例および第2の変形例によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなる。
例えば、本発明の実施の形態に記載したコンテンツ検索装置は、図1に示すように一つのハードウェア上に構成されても良いし、その機能や処理数に応じて複数のハードウェア上に構成されても良い。又、既存の情報システム上に実現されても良い。
Claims (12)
- 異なる種別のコンテンツデータについて、類似するコンテンツデータを検索するコンテンツ検索装置であって、
画像特徴、音響特徴および意味特徴のうちいずれか一つ以上を有する複数のコンテンツデータが、コンテンツ識別子に対応づけて記憶装置に記憶されたコンテンツデータ記憶部と、
前記コンテンツデータ記憶部に記憶された各コンテンツデータについて、各コンテンツデータが有する画像特徴、音響特徴および意味特徴のうちいずれか一つ以上の特徴量を算出し、前記コンテンツ識別子と、画像特徴、音響特徴および意味特徴の特徴種別と、その特徴量とを関連づけた特徴量データを、前記記憶装置に記憶する特徴量算出手段と、
前記特徴量データにおいて、前記コンテンツ識別子に対応づけられた特徴種別の特徴量から、前記コンテンツ識別子に対応づけられていない特徴種別の未知の特徴量を算出し、特徴推定値として前記特徴量データに記憶する未知特徴量算出手段と、
前記特徴量データに記憶されている前記特徴量および前記特徴推定値に基づいて、各コンテンツデータの類似度を示す距離を算出する距離算出手段と、
前記距離算出手段によって算出された距離に基づいて、前記コンテンツデータに対応するサムネイルの表示位置を決定して、表示装置に表示する表示手段
とを備えることを特徴とするコンテンツ検索装置。 - 前記未知特徴量算出手段は、前記特徴量データにおいて、前記コンテンツ識別子に対応づけられた特徴種別の特徴量から、主成分分析を用いて前記特徴推定値を算出する
ことを特徴とする請求項1に記載のコンテンツ検索装置。 - 前記未知特徴量算出手段は、前記特徴量データにおいて、前記コンテンツ識別子に対応づけられた特徴種別の特徴量から、正準相関分析を用いて前記特徴推定値を算出する
ことを特徴とする請求項1に記載のコンテンツ検索装置。 - 前記特徴量算出手段は、音響特徴の特徴量を算出する際、音響信号のうち繰り返し現れるメロディーを特定し、その繰り返しメロディーの特徴量を、前記音響特徴の特徴量とする
ことを特徴とする請求項1に記載のコンテンツ検索装置。 - ユーザ識別子と、当該ユーザの嗜好に合うコンテンツ識別子とが関連づけられたユーザ嗜好データが、前記記憶装置に記憶されたユーザ嗜好データ記憶部と、
各前記コンテンツ識別子について、前記ユーザ嗜好データにおいて当該コンテンツに関連づけられたユーザ識別子の集合を作成するとともに、各集合において、ユーザ間に有向辺を作成し、各集合を代表する重要ユーザを決定する重要ユーザ決定手段と、をさらに備え、
前記距離算出手段は、前記ユーザ嗜好データにおいて前記重要ユーザのユーザ識別子に関連づけられた前記コンテンツ識別子を抽出し、抽出した前記コンテンツ識別子に対応する前記特徴量および前記特徴推定値に基づいて、各コンテンツデータの類似度を示す距離を算出する
ことを特徴とする請求項1に記載のコンテンツ検索装置。 - 前記表示手段はさらに、前記ユーザ嗜好データにおいて、所定のコンテンツに関連づけられた複数のユーザの識別子を抽出し、前記複数のユーザの識別子のそれぞれをノードと、前記ユーザ間の有向辺を考慮した前記ノード間のリンクを含むユーザネットワークを表示して、表示装置に表示する
ことを特徴とする請求項5に記載のコンテンツ検索装置。 - 異なる種別のコンテンツデータについて、類似するコンテンツデータを検索するコンテンツ検索プログラムであって、
コンピュータに、
画像特徴、音響特徴および意味特徴のうちいずれか一つ以上を有する複数のコンテンツデータが、コンテンツ識別子に対応づけて記憶装置に記憶された各コンテンツデータについて、各コンテンツデータが有する画像特徴、音響特徴および意味特徴のうちいずれか一つ以上の特徴量を算出し、前記コンテンツ識別子と、画像特徴、音響特徴および意味特徴の特徴種別と、その特徴量とを関連づけた特徴量データを、前記記憶装置に記憶する特徴量算出手段と、
前記特徴量データにおいて、前記コンテンツ識別子に対応づけられた特徴種別の特徴量から、前記コンテンツ識別子に対応づけられていない特徴種別の未知の特徴量を算出し、特徴推定値として前記特徴量データに記憶する未知特徴量算出手段と、
前記特徴量データに記憶されている前記特徴量および前記特徴推定値に基づいて、各コンテンツデータの類似度を示す距離を算出する距離算出手段と、
前記距離算出手段によって算出された距離に基づいて、前記コンテンツデータに対応するサムネイルの表示位置を決定して、表示装置に表示する表示手段
とを備えることを特徴とするコンテンツ検索プログラム。 - 前記未知特徴量算出手段は、前記特徴量データにおいて、前記コンテンツ識別子に対応づけられた特徴種別の特徴量から、主成分分析を用いて前記特徴推定値を算出する
ことを特徴とする請求項7に記載のコンテンツ検索プログラム。 - 前記未知特徴量算出手段は、前記特徴量データにおいて、前記コンテンツ識別子に対応づけられた特徴種別の特徴量から、正準相関分析を用いて前記特徴推定値を算出する
ことを特徴とする請求項7に記載のコンテンツ検索プログラム。 - 前記特徴量算出手段は、音響特徴の特徴量を算出する際、音響信号のうち繰り返し現れるメロディーを特定し、その繰り返しメロディーの特徴量を、前記音響特徴の特徴量とする
ことを特徴とする請求項7に記載のコンテンツ検索プログラム。 - ユーザ識別子と、当該ユーザの嗜好に合うコンテンツ識別子とが関連づけられたユーザ嗜好データが、前記記憶装置に記憶されたユーザ嗜好データにおいて当該コンテンツに関連づけられたユーザ識別子の集合を、各前記コンテンツ識別子について作成するとともに、各集合において、ユーザ間に有向辺を作成し、各集合を代表する重要ユーザを決定する重要ユーザ決定手段と、をさらに前記コンピュータに実行させ、
前記距離算出手段は、前記ユーザ嗜好データにおいて前記重要ユーザのユーザ識別子に関連づけられた前記コンテンツ識別子を抽出し、抽出した前記コンテンツ識別子に対応する前記特徴量および前記特徴推定値に基づいて、各コンテンツデータの類似度を示す距離を算出する
ことを特徴とする請求項7に記載のコンテンツ検索プログラム。 - 前記表示手段はさらに、前記ユーザ嗜好データにおいて、所定のコンテンツに関連づけられた複数のユーザの識別子を抽出し、前記複数のユーザの識別子のそれぞれをノードと、前記ユーザ間の有向辺を考慮した前記ノード間のリンクを含むユーザネットワークを表示して、表示装置に表示する
ことを特徴とする請求項11に記載のコンテンツ検索プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US19323208P | 2008-11-07 | 2008-11-07 | |
US61/193,232 | 2008-11-07 | ||
PCT/JP2009/069005 WO2010053160A1 (ja) | 2008-11-07 | 2009-11-06 | コンテンツ検索装置およびコンテンツ検索プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010053160A1 JPWO2010053160A1 (ja) | 2012-04-05 |
JP5344715B2 true JP5344715B2 (ja) | 2013-11-20 |
Family
ID=42152967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010536802A Active JP5344715B2 (ja) | 2008-11-07 | 2009-11-06 | コンテンツ検索装置およびコンテンツ検索プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9077949B2 (ja) |
JP (1) | JP5344715B2 (ja) |
WO (1) | WO2010053160A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101942459B1 (ko) * | 2016-06-01 | 2019-01-28 | 네이버 주식회사 | 음원 컨텐츠 및 메타 정보를 이용한 플레이리스트 자동 생성 방법 및 시스템 |
KR20190009821A (ko) * | 2019-01-21 | 2019-01-29 | 네이버 주식회사 | 음원 컨텐츠 및 메타 정보를 이용한 플레이리스트 자동 생성 방법 및 시스템 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8788588B2 (en) * | 2006-05-03 | 2014-07-22 | Samsung Electronics Co., Ltd. | Method of providing service for user search, and apparatus, server, and system for the same |
JP5515890B2 (ja) * | 2010-03-15 | 2014-06-11 | オムロン株式会社 | 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体 |
FR2959037A1 (fr) * | 2010-04-14 | 2011-10-21 | Orange Vallee | Procede de creation d'une sequence media par groupes coherents de fichiers medias |
JP5223034B2 (ja) * | 2010-04-28 | 2013-06-26 | 楽天株式会社 | 情報提供装置、情報提供方法、情報提供処理プログラム、及び情報提供処理プログラムを記録した記録媒体 |
US9230019B2 (en) * | 2010-12-23 | 2016-01-05 | Virtuanet Llc | Semantic information processing |
JP5408208B2 (ja) | 2011-03-30 | 2014-02-05 | カシオ計算機株式会社 | 画像表示システム、画像表示装置並びにプログラム |
US20120259792A1 (en) * | 2011-04-06 | 2012-10-11 | International Business Machines Corporation | Automatic detection of different types of changes in a business process |
US8819012B2 (en) * | 2011-08-30 | 2014-08-26 | International Business Machines Corporation | Accessing anchors in voice site content |
US9384272B2 (en) * | 2011-10-05 | 2016-07-05 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for identifying similar songs using jumpcodes |
JP5862243B2 (ja) * | 2011-11-30 | 2016-02-16 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、及びその制御方法、プログラム |
JP5375944B2 (ja) * | 2011-12-28 | 2013-12-25 | カシオ計算機株式会社 | 画像の表示制御装置、画像表示システム、画像表示方法並びにプログラム |
JP2013137667A (ja) * | 2011-12-28 | 2013-07-11 | Nec Corp | データ管理システムおよびデータ管理方法 |
US20130226957A1 (en) * | 2012-02-27 | 2013-08-29 | The Trustees Of Columbia University In The City Of New York | Methods, Systems, and Media for Identifying Similar Songs Using Two-Dimensional Fourier Transform Magnitudes |
JP5367112B2 (ja) * | 2012-03-22 | 2013-12-11 | 株式会社東芝 | データ分析支援装置およびデータ分析支援処理プログラム |
AU2012202352A1 (en) * | 2012-04-20 | 2013-11-07 | Canon Kabushiki Kaisha | Method, system and apparatus for determining a hash code representing a portion of an image |
US10204170B2 (en) | 2012-12-21 | 2019-02-12 | Highspot, Inc. | News feed |
US10055418B2 (en) | 2014-03-14 | 2018-08-21 | Highspot, Inc. | Narrowing information search results for presentation to a user |
JP6018014B2 (ja) * | 2013-04-24 | 2016-11-02 | 日本電信電話株式会社 | 情報処理装置、特徴量変換システム、表示制御方法及び表示制御プログラム |
JP5851455B2 (ja) * | 2013-08-06 | 2016-02-03 | 日本電信電話株式会社 | 共通信号含有区間有無判定装置、方法、及びプログラム |
US9465995B2 (en) * | 2013-10-23 | 2016-10-11 | Gracenote, Inc. | Identifying video content via color-based fingerprint matching |
US9984310B2 (en) | 2015-01-23 | 2018-05-29 | Highspot, Inc. | Systems and methods for identifying semantically and visually related content |
JP6368677B2 (ja) * | 2015-04-06 | 2018-08-01 | 日本電信電話株式会社 | 写像学習方法、情報圧縮方法、装置、及びプログラム |
US11062228B2 (en) * | 2015-07-06 | 2021-07-13 | Microsoft Technoiogy Licensing, LLC | Transfer learning techniques for disparate label sets |
JP6461773B2 (ja) * | 2015-11-30 | 2019-01-30 | 日本電信電話株式会社 | ベクトル量子化器生成方法、ベクトル量子化方法、装置、及びプログラム |
US9645999B1 (en) | 2016-08-02 | 2017-05-09 | Quid, Inc. | Adjustment of document relationship graphs |
EP3401808A1 (en) * | 2017-05-12 | 2018-11-14 | QlikTech International AB | Interactive data exploration |
WO2018218034A1 (en) * | 2017-05-25 | 2018-11-29 | J. W. Pepper & Son, Inc. | Sheet music search and discovery system |
US10885900B2 (en) | 2017-08-11 | 2021-01-05 | Microsoft Technology Licensing, Llc | Domain adaptation in speech recognition via teacher-student learning |
US11182424B2 (en) * | 2018-05-08 | 2021-11-23 | Spotify Ab | Image based content search and recommendations |
US11055349B2 (en) * | 2018-12-28 | 2021-07-06 | Intel Corporation | Efficient storage and processing of high-dimensional feature vectors |
US11263493B2 (en) | 2019-06-25 | 2022-03-01 | Spotify Ab | Automatic metadata detector based on images |
CN111324773A (zh) * | 2020-02-12 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 一种背景音乐构建方法、装置、电子设备和存储介质 |
EP4246422A4 (en) * | 2020-11-13 | 2024-04-24 | Sony Group Corp | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001031503A1 (fr) * | 1999-10-27 | 2001-05-03 | Fujitsu Limited | Dispositif et procede de structuration/tri d'informations multimedia |
JP2006344155A (ja) * | 2005-06-10 | 2006-12-21 | Hokkaido Univ | 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6041311A (en) * | 1995-06-30 | 2000-03-21 | Microsoft Corporation | Method and apparatus for item recommendation using automated collaborative filtering |
US6430307B1 (en) * | 1996-06-18 | 2002-08-06 | Matsushita Electric Industrial Co., Ltd. | Feature extraction system and face image recognition system |
US6480841B1 (en) * | 1997-09-22 | 2002-11-12 | Minolta Co., Ltd. | Information processing apparatus capable of automatically setting degree of relevance between keywords, keyword attaching method and keyword auto-attaching apparatus |
US6629097B1 (en) * | 1999-04-28 | 2003-09-30 | Douglas K. Keith | Displaying implicit associations among items in loosely-structured data sets |
US7624337B2 (en) * | 2000-07-24 | 2009-11-24 | Vmark, Inc. | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
WO2002033589A1 (fr) | 2000-10-20 | 2002-04-25 | Sharp Kabushiki Kaisha | Appareil de gestion d'informations de recherche de contenu d'image dynamique |
JP4695853B2 (ja) | 2003-05-26 | 2011-06-08 | パナソニック株式会社 | 音楽検索装置 |
US7231389B2 (en) | 2003-05-26 | 2007-06-12 | Matsushita Electric Industrial Co., Ltd. | Music search device |
JP5145939B2 (ja) * | 2005-12-08 | 2013-02-20 | 日本電気株式会社 | 楽曲における区画を抽出する区画自動抽出システム、区画自動抽出方法および区画自動抽出プログラム |
JP2007193222A (ja) * | 2006-01-20 | 2007-08-02 | Casio Comput Co Ltd | メロディ入力装置及び楽曲検索装置 |
JP4670803B2 (ja) * | 2006-12-04 | 2011-04-13 | 株式会社デンソー | 操作推定装置およびプログラム |
-
2009
- 2009-11-06 JP JP2010536802A patent/JP5344715B2/ja active Active
- 2009-11-06 US US13/127,355 patent/US9077949B2/en not_active Expired - Fee Related
- 2009-11-06 WO PCT/JP2009/069005 patent/WO2010053160A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001031503A1 (fr) * | 1999-10-27 | 2001-05-03 | Fujitsu Limited | Dispositif et procede de structuration/tri d'informations multimedia |
JP2006344155A (ja) * | 2005-06-10 | 2006-12-21 | Hokkaido Univ | 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体 |
Non-Patent Citations (4)
Title |
---|
CSNG200800796009; 道山 大悟、長谷山 美紀: '映像検索のための画像及び音響信号によるシーン間の相違度定義に関する検討' 電子情報通信学会技術研究報告 第107巻、第488号, 20080211, p.55-59, 社団法人電子情報通信学会 * |
CSNG200800796011; 小川 貴弘、長谷山 美紀: 'カーネル主成分分析を用いた画像の意味的特徴量の推定法に関する考察' 電子情報通信学会技術研究報告 第107巻、第488号, 20080211, p.67-72, 社団法人電子情報通信学会 * |
JPN6013035566; 道山 大悟、長谷山 美紀: '映像検索のための画像及び音響信号によるシーン間の相違度定義に関する検討' 電子情報通信学会技術研究報告 第107巻、第488号, 20080211, p.55-59, 社団法人電子情報通信学会 * |
JPN6013035568; 小川 貴弘、長谷山 美紀: 'カーネル主成分分析を用いた画像の意味的特徴量の推定法に関する考察' 電子情報通信学会技術研究報告 第107巻、第488号, 20080211, p.67-72, 社団法人電子情報通信学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101942459B1 (ko) * | 2016-06-01 | 2019-01-28 | 네이버 주식회사 | 음원 컨텐츠 및 메타 정보를 이용한 플레이리스트 자동 생성 방법 및 시스템 |
KR20190009821A (ko) * | 2019-01-21 | 2019-01-29 | 네이버 주식회사 | 음원 컨텐츠 및 메타 정보를 이용한 플레이리스트 자동 생성 방법 및 시스템 |
KR102031282B1 (ko) * | 2019-01-21 | 2019-10-11 | 네이버 주식회사 | 음원 컨텐츠 및 메타 정보를 이용한 플레이리스트 자동 생성 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2010053160A1 (ja) | 2012-04-05 |
US20110225153A1 (en) | 2011-09-15 |
WO2010053160A1 (ja) | 2010-05-14 |
US9077949B2 (en) | 2015-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5344715B2 (ja) | コンテンツ検索装置およびコンテンツ検索プログラム | |
US8170702B2 (en) | Method for classifying audio data | |
US20230097356A1 (en) | Searching for Music | |
EP1615204B1 (en) | Method for classifying music | |
JP2008090612A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
JP4560544B2 (ja) | 楽曲検索装置、楽曲検索方法および楽曲検索プログラム | |
JP2011060182A (ja) | コンテンツ選択システム | |
Şentürk et al. | Linking scores and audio recordings in makam music of Turkey | |
Six et al. | Tarsos: a platform to explore pitch scales in non-western and western music | |
Melo et al. | Graph-based feature extraction: A new proposal to study the classification of music signals outside the time-frequency domain | |
WO2010041420A1 (ja) | 情報分析装置、情報分析方法、及びコンピュータ読み取り可能な記録媒体 | |
JP5161867B2 (ja) | コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 | |
JP4305836B2 (ja) | コンテンツ検索表示装置およびコンテンツ検索表示方法 | |
JP2000067081A (ja) | 文書検索方法、そのプログラムを記録した記録媒体、及び文書検索装置 | |
JP2003316819A (ja) | オブジェクト分類検索装置及びそれを実行するためのプログラム | |
WO2022038958A1 (ja) | 楽曲構造解析装置および楽曲構造解析方法 | |
Wan et al. | Content-based audio retrieval with relevance feedback | |
JP4346531B2 (ja) | テキストデータ学習分析システム、テキストデータ学習装置、テキストデータ分析装置、方法及びプログラム | |
Yao et al. | [Retracted] Research on Segmentation Experience of Music Signal Improved Based on Maximization of Negative Entropy | |
Lashari et al. | Performance comparison of musical instrument family classification using soft set | |
Xiao et al. | Learning a music similarity measure on automatic annotations with application to playlist generation | |
JP5061870B2 (ja) | コンテンツ検索システム、コンテンツ検索方法及びコンテンツ検索プログラム | |
WO2002065339A1 (fr) | Dispositif de tri/reorganisation de donnees multimedia et procede de tri/reorganisation | |
Chen et al. | Hierarchical representation based on Bayesian nonparametric tree-structured mixture model for playing technique classification | |
EP4250134A1 (en) | System and method for automated music pitching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5344715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |