JP6003083B2 - 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 - Google Patents
信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 Download PDFInfo
- Publication number
- JP6003083B2 JP6003083B2 JP2012039765A JP2012039765A JP6003083B2 JP 6003083 B2 JP6003083 B2 JP 6003083B2 JP 2012039765 A JP2012039765 A JP 2012039765A JP 2012039765 A JP2012039765 A JP 2012039765A JP 6003083 B2 JP6003083 B2 JP 6003083B2
- Authority
- JP
- Japan
- Prior art keywords
- periodicity
- information
- band
- unit
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000001514 detection method Methods 0.000 claims description 129
- 230000010354 integration Effects 0.000 claims description 74
- 238000004364 calculation method Methods 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 36
- 230000000737 periodic effect Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000005236 sound signal Effects 0.000 claims description 17
- 238000005311 autocorrelation function Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 5
- 238000005314 correlation function Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
[信号処理システムの第1実施の形態の概要の説明]
図1は、本技術を適用した信号処理システムの第1実施の形態の構成例を示す図である。
図2は、図1の特徴量算出部21の構成例を示すブロック図である。
図3は、特徴量の時系列データの例を示す図である。
図4は、図1の同期情報生成部23の構成例を示すブロック図である。
図6は、類似度の計算の対象とするブロックを説明する図である。
・・・(2)
図8は、類似度マトリックスの例を示す図である。
図9は、同期情報の例を示す図である。
図10は、図1の信号処理装置12の同期情報生成処理を説明するフローチャートである。この同期情報生成処理は、撮影装置11からコンテンツが入力されたとき、開始される。
[信号処理システムの第2実施の形態の概要の説明]
図11は、本技術を適用した信号処理システムの第2実施の形態の概要を説明する図である。
[信号処理システムの構成例]
図12は、本技術を適用した信号処理システムの第3実施の形態の構成例を示すブロック図である。
図13は、音響データが帯域分割されない場合の特徴量算出部21の構成例を示している。
[コンピュータの構成例]
上述した一連の信号処理装置やサーバによる処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報と、前記第2の周期性検出部により検出された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える信号処理装置。
(2)
前記第1のコンテンツに含まれる音響信号を帯域分割する第1の帯域分割部と、
前記第2のコンテンツに含まれる音響信号を帯域分割する第2の帯域分割部と、
全帯域の前記第1の周期性情報を統合する第1の周期性情報統合部と、
全帯域の前記第2の周期性情報を統合する第2の周期性情報統合部と
をさらに備え、
前記第1の周期性検出部は、前記第1の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第1の周期性情報として検出し、
前記第2の周期性検出部は、前記第2の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第2の周期性情報として検出し、
前記第1の周期性情報統合部は、前記第1の周期性検出部により検出された帯域ごとの前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合部は、前記第2の周期性検出部により検出された帯域ごとの前記第2の周期性情報を全帯域分統合する
前記(1)に記載の信号処理装置。
(3)
前記第1の周期性検出部により検出された前記第1の周期性情報の強度を検出する第1の周期性強度検出部と、
前記第2の周期性検出部により検出された前記第2の周期性情報の強度を検出する第2の周期性強度検出部と
をさらに備え、
前記第1の周期性情報統合部は、前記第1の周期性強度検出部により検出された前記第1の周期性情報の強度に基づいて、前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合部は、前記第2の周期性強度検出部により検出された前記第2の周期性情報の強度に基づいて、前記第2の周期性情報を全帯域分統合する
前記(2)に記載の信号処理装置。
(4)
前記類似度計算部は、前記第1の周期性情報と前記第2の周期性情報との類似度を時間区間ごとに計算し、
前記同期情報生成部は、前記時間区間ごとの類似度に基づいて、前記時間区間ごとに前記同期情報を生成する
前記(1)乃至(3)のいずれかに記載の信号処理装置。
(5)
前記類似度計算部は、各時間区間の前記第1の周期性情報と前記第2の周期性情報の類似度を表す類似度マトリックスを生成し、
前記同期情報生成部は、前記類似度マトリックス上の最適なパスを表す情報を、前記同期情報として生成する
前記(4)に記載の信号処理装置。
(6)
前記第1の周期性情報は、前記第1のコンテンツに含まれる音響信号の自己相関関数であり、
前記第2の周期性情報は、前記第2のコンテンツに含まれる音響信号の自己相関関数である
前記(1)乃至(5)のいずれかに記載の信号処理装置。
(7)
信号処理装置が、
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出ステップと、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出ステップと、
前記第1の周期性検出ステップの処理により検出された前記第1の周期性情報と、前記第2の周期性検出ステップの処理により検出された前記第2の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと
を含む信号処理方法。
(8)
コンピュータを、
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報と、前記第2の周期性検出部により検出された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
して機能させるためのプログラム。
(9)
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報と、前記第2の周期性検出部により検出された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える電子機器。
(10)
第1のコンテンツに含まれる音響信号の周期性情報である第1の周期性情報と、第2のコンテンツに含まれる音響信号の前記周期性情報である第2の周期性情報を受信する受信部と、
前記受信部により受信された前記第1の周期性情報と前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える信号処理装置。
(11)
信号処理装置が、
第1のコンテンツに含まれる音響信号の周期性情報である第1の周期性情報と、第2のコンテンツに含まれる音響信号の前記周期性情報である第2の周期性情報を受信する受信ステップと、
前記受信ステップの処理により受信された前記第1の周期性情報と前記第2の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと
を含む信号処理方法。
(12)
コンピュータを、
第1のコンテンツに含まれる音響信号の周期性情報である第1の周期性情報と、第2のコンテンツに含まれる音響信号の前記周期性情報である第2の周期性情報を受信する受信部と、
前記受信部により受信された前記第1の周期性情報と前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
して機能させるためのプログラム。
(13)
第1のコンテンツに含まれる音響信号の周期性情報である第1の周期性情報と、第2のコンテンツに含まれる音響信号の前記周期性情報である第2の周期性情報を受信する受信部と、
前記受信部により受信された前記第1の周期性情報と前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える電子機器。
(14)
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報と、前記第2の周期性検出部により検出された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える信号処理システム。
(15)
信号処理システムが、
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出ステップと、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出ステップと、
前記第1の周期性検出ステップの処理により検出された前記第1の周期性情報と、前記第2の周期性検出ステップの処理により検出された前記第2の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと
を含む信号処理方法。
(16)
第1のコンテンツに含まれる音響信号を帯域分割する第1の帯域分割部と、
前記第1の帯域分割部により帯域分割された前記音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報の強度を検出する第1の周期性強度検出部と、
前記第1の周期性強度検出部により検出された前記第1の周期性情報の強度に基づいて、前記第1の周期性情報を全帯域分統合する第1の周期性情報統合部と、
第2のコンテンツに含まれる音響信号を帯域分割する第2の帯域分割部と、
前記第2の帯域分割部により帯域分割された前記音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第2の周期性検出部により検出された前記第2の周期性情報の強度を検出する第2の第2の周期性強度検出部と、
前記第2の周期性強度検出部により検出された前記第2の周期性情報の強度に基づいて、前記第2の周期性情報を全帯域分統合する第2の周期性情報統合部と、
前記第1の周期性情報統合部により統合された前記第1の周期性情報と、前記第2の周期性情報統合部により統合された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える信号処理装置。
Claims (10)
- 第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報と、前記第2の周期性検出部により検出された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、
前記第1のコンテンツに含まれる音響信号を帯域分割する第1の帯域分割部と、
前記第2のコンテンツに含まれる音響信号を帯域分割する第2の帯域分割部と、
全帯域の前記第1の周期性情報を統合する第1の周期性情報統合部と、
全帯域の前記第2の周期性情報を統合する第2の周期性情報統合部と
を備え、
前記第1の周期性検出部は、前記第1の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第1の周期性情報として検出し、
前記第2の周期性検出部は、前記第2の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第2の周期性情報として検出し、
前記第1の周期性情報統合部は、前記第1の周期性検出部により検出された帯域ごとの前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合部は、前記第2の周期性検出部により検出された帯域ごとの前記第2の周期性情報を全帯域分統合する
信号処理装置。 - 前記第1の周期性検出部により検出された前記第1の周期性情報の強度を検出する第1の周期性強度検出部と、
前記第2の周期性検出部により検出された前記第2の周期性情報の強度を検出する第2の周期性強度検出部と
をさらに備え、
前記第1の周期性情報統合部は、前記第1の周期性強度検出部により検出された前記第1の周期性情報の強度に基づいて、前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合部は、前記第2の周期性強度検出部により検出された前記第2の周期性情報の強度に基づいて、前記第2の周期性情報を全帯域分統合する
請求項1に記載の信号処理装置。 - 前記類似度計算部は、前記第1の周期性情報と前記第2の周期性情報との類似度を時間区間ごとに計算し、
前記同期情報生成部は、前記時間区間ごとの類似度に基づいて、前記時間区間ごとに前記同期情報を生成する
請求項1または2に記載の信号処理装置。 - 前記類似度計算部は、各時間区間の前記第1の周期性情報と前記第2の周期性情報の類似度を表す類似度マトリックスを生成し、
前記同期情報生成部は、前記類似度マトリックス上の最適なパスを表す情報を、前記同期情報として生成する
請求項3に記載の信号処理装置。 - 前記第1の周期性情報は、前記第1のコンテンツに含まれる音響信号の自己相関関数であり、
前記第2の周期性情報は、前記第2のコンテンツに含まれる音響信号の自己相関関数である
請求項1乃至4のいずれかに記載の信号処理装置。 - 信号処理装置が、
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出ステップと、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出ステップと、
前記第1の周期性検出ステップの処理により検出された前記第1の周期性情報と、前記第2の周期性検出ステップの処理により検出された前記第2の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと、
前記第1のコンテンツに含まれる音響信号を帯域分割する第1の帯域分割ステップと、
前記第2のコンテンツに含まれる音響信号を帯域分割する第2の帯域分割ステップと、
全帯域の前記第1の周期性情報を統合する第1の周期性情報統合ステップと、
全帯域の前記第2の周期性情報を統合する第2の周期性情報統合ステップと
を含み、
前記第1の周期性検出ステップの処理では、前記第1の帯域分割ステップの処理により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第1の周期性情報として検出し、
前記第2の周期性検出ステップの処理では、前記第2の帯域分割ステップの処理により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第2の周期性情報として検出し、
前記第1の周期性情報統合ステップの処理では、前記第1の周期性検出ステップの処理により検出された帯域ごとの前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合ステップの処理では、前記第2の周期性検出ステップの処理により検出された帯域ごとの前記第2の周期性情報を全帯域分統合する
信号処理方法。 - コンピュータを、
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報と、前記第2の周期性検出部により検出された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、
前記第1のコンテンツに含まれる音響信号を帯域分割する第1の帯域分割部と、
前記第2のコンテンツに含まれる音響信号を帯域分割する第2の帯域分割部と、
全帯域の前記第1の周期性情報を統合する第1の周期性情報統合部と、
全帯域の前記第2の周期性情報を統合する第2の周期性情報統合部と
を備え、
前記第1の周期性検出部は、前記第1の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第1の周期性情報として検出し、
前記第2の周期性検出部は、前記第2の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第2の周期性情報として検出し、
前記第1の周期性情報統合部は、前記第1の周期性検出部により検出された帯域ごとの前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合部は、前記第2の周期性検出部により検出された帯域ごとの前記第2の周期性情報を全帯域分統合する
信号処理装置として機能させるためのプログラム。 - 第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報と、前記第2の周期性検出部により検出された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、
前記第1のコンテンツに含まれる音響信号を帯域分割する第1の帯域分割部と、
前記第2のコンテンツに含まれる音響信号を帯域分割する第2の帯域分割部と、
全帯域の前記第1の周期性情報を統合する第1の周期性情報統合部と、
全帯域の前記第2の周期性情報を統合する第2の周期性情報統合部と
を備え、
前記第1の周期性検出部は、前記第1の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第1の周期性情報として検出し、
前記第2の周期性検出部は、前記第2の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第2の周期性情報として検出し、
前記第1の周期性情報統合部は、前記第1の周期性検出部により検出された帯域ごとの前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合部は、前記第2の周期性検出部により検出された帯域ごとの前記第2の周期性情報を全帯域分統合する
電子機器。 - 第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出部と、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出部と、
前記第1の周期性検出部により検出された前記第1の周期性情報と、前記第2の周期性検出部により検出された前記第2の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、
前記第1のコンテンツに含まれる音響信号を帯域分割する第1の帯域分割部と、
前記第2のコンテンツに含まれる音響信号を帯域分割する第2の帯域分割部と、
全帯域の前記第1の周期性情報を統合する第1の周期性情報統合部と、
全帯域の前記第2の周期性情報を統合する第2の周期性情報統合部と
を備え、
前記第1の周期性検出部は、前記第1の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第1の周期性情報として検出し、
前記第2の周期性検出部は、前記第2の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第2の周期性情報として検出し、
前記第1の周期性情報統合部は、前記第1の周期性検出部により検出された帯域ごとの前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合部は、前記第2の周期性検出部により検出された帯域ごとの前記第2の周期性情報を全帯域分統合する
信号処理システム。 - 信号処理システムが、
第1のコンテンツに含まれる音響信号の周期性情報を第1の周期性情報として検出する第1の周期性検出ステップと、
第2のコンテンツに含まれる音響信号の前記周期性情報を第2の周期性情報として検出する第2の周期性検出ステップと、
前記第1の周期性検出ステップの処理により検出された前記第1の周期性情報と、前記第2の周期性検出ステップの処理により検出された前記第2の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第1のコンテンツと前記第2のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと、
前記第1のコンテンツに含まれる音響信号を帯域分割する第1の帯域分割ステップと、
前記第2のコンテンツに含まれる音響信号を帯域分割する第2の帯域分割ステップと、
全帯域の前記第1の周期性情報を統合する第1の周期性情報統合ステップと、
全帯域の前記第2の周期性情報を統合する第2の周期性情報統合ステップと
を含み、
前記第1の周期性検出ステップの処理では、前記第1の帯域分割ステップの処理により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第1の周期性情報として検出し、
前記第2の周期性検出ステップの処理では、前記第2の帯域分割ステップの処理により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第2の周期性情報として検出し、
前記第1の周期性情報統合ステップの処理では、前記第1の周期性検出ステップの処理により検出された帯域ごとの前記第1の周期性情報を全帯域分統合し、
前記第2の周期性情報統合ステップの処理では、前記第2の周期性検出ステップの処理により検出された帯域ごとの前記第2の周期性情報を全帯域分統合する
信号処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012039765A JP6003083B2 (ja) | 2012-02-27 | 2012-02-27 | 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 |
US13/761,575 US9251794B2 (en) | 2012-02-27 | 2013-02-07 | Signal processing apparatus, signal processing method, program, electronic device, signal processing system and signal processing method thereof |
EP13155357.0A EP2631910B1 (en) | 2012-02-27 | 2013-02-15 | Signal processing apparatus, signal processing method and program |
CN201310053496.4A CN103297674B (zh) | 2012-02-27 | 2013-02-19 | 信号处理装置、系统和方法,电子器件 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012039765A JP6003083B2 (ja) | 2012-02-27 | 2012-02-27 | 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013174765A JP2013174765A (ja) | 2013-09-05 |
JP2013174765A5 JP2013174765A5 (ja) | 2015-03-05 |
JP6003083B2 true JP6003083B2 (ja) | 2016-10-05 |
Family
ID=47900513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012039765A Active JP6003083B2 (ja) | 2012-02-27 | 2012-02-27 | 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9251794B2 (ja) |
EP (1) | EP2631910B1 (ja) |
JP (1) | JP6003083B2 (ja) |
CN (1) | CN103297674B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6349977B2 (ja) | 2013-10-21 | 2018-07-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
CN104796578B (zh) * | 2015-04-29 | 2018-03-13 | 成都陌云科技有限公司 | 一种基于节目声音特征的多屏同步方法 |
CN108769559B (zh) * | 2018-05-25 | 2020-12-01 | 数据堂(北京)科技股份有限公司 | 多媒体文件的同步方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1204855A (en) * | 1982-03-23 | 1986-05-20 | Phillip J. Bloom | Method and apparatus for use in processing signals |
US5040081A (en) * | 1986-09-23 | 1991-08-13 | Mccutchen David | Audiovisual synchronization signal generator using audio signature comparison |
US5055939A (en) * | 1987-12-15 | 1991-10-08 | Karamon John J | Method system & apparatus for synchronizing an auxiliary sound source containing multiple language channels with motion picture film video tape or other picture source containing a sound track |
EP1849154B1 (en) * | 2005-01-27 | 2010-12-15 | Synchro Arts Limited | Methods and apparatus for use in sound modification |
GB2422755A (en) * | 2005-01-27 | 2006-08-02 | Synchro Arts Ltd | Audio signal processing |
EP1729173A3 (en) * | 2005-05-27 | 2007-01-03 | Telegraf ApS | System for generating synchronized add-on information |
JP2008015211A (ja) * | 2006-07-06 | 2008-01-24 | Dds:Kk | ピッチ抽出方法、歌唱力評価方法、歌唱訓練プログラム及びカラオケ装置 |
JP4760786B2 (ja) | 2007-06-27 | 2011-08-31 | 株式会社日立製作所 | 映像音声符号化データ編集装置 |
JP2010171625A (ja) | 2009-01-21 | 2010-08-05 | Olympus Corp | 撮像装置、録音装置、および動画撮影システム |
JP5391939B2 (ja) * | 2009-09-04 | 2014-01-15 | ヤマハ株式会社 | 音響処理装置およびプログラム |
-
2012
- 2012-02-27 JP JP2012039765A patent/JP6003083B2/ja active Active
-
2013
- 2013-02-07 US US13/761,575 patent/US9251794B2/en active Active
- 2013-02-15 EP EP13155357.0A patent/EP2631910B1/en active Active
- 2013-02-19 CN CN201310053496.4A patent/CN103297674B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103297674B (zh) | 2017-11-14 |
JP2013174765A (ja) | 2013-09-05 |
EP2631910B1 (en) | 2020-06-24 |
US9251794B2 (en) | 2016-02-02 |
EP2631910A1 (en) | 2013-08-28 |
US20130226599A1 (en) | 2013-08-29 |
CN103297674A (zh) | 2013-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8849432B2 (en) | Acoustic pattern identification using spectral characteristics to synchronize audio and/or video | |
US11336952B2 (en) | Media content identification on mobile devices | |
CN100356445C (zh) | 分离声源信号的方法和装置及用来检测间距的方法和装置 | |
US11115694B2 (en) | Information processing apparatus, method, and program | |
CN102084416B (zh) | 音视频签名、导出签名的方法以及比较音视频数据的方法 | |
WO2013170092A1 (en) | Method for synchronizing disparate content files | |
US9646625B2 (en) | Audio correction apparatus, and audio correction method thereof | |
US10757468B2 (en) | Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings | |
US11736762B2 (en) | Media content identification on mobile devices | |
JP2004528600A (ja) | オーディトリーイベントに基づく特徴付けを使ったオーディオ信号の時間調整方法 | |
US11682405B2 (en) | Method and system for triggering events | |
CN104078051B (zh) | 一种人声提取方法、系统以及人声音频播放方法及装置 | |
US20090002490A1 (en) | Acoustic recognition apparatus, acoustic recognition method, and acoustic recognition program | |
CN111640411B (zh) | 音频合成方法、装置及计算机可读存储介质 | |
JP2014215461A (ja) | 音声処理装置および方法、並びにプログラム | |
US20150373231A1 (en) | Video synchronization based on an audio cue | |
JP6003083B2 (ja) | 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 | |
Shrestha et al. | Synchronization of multiple camera videos using audio-visual features | |
WO2017045512A1 (zh) | 一种语音识别的方法、装置、终端及语音识别设备 | |
US20160163354A1 (en) | Programme Control | |
JP6471923B2 (ja) | 信号処理装置および方法、並びにプログラム | |
JP2018155897A (ja) | 情報処理方法 | |
El-Sallam et al. | Speech-Video Synchronization Using Lips Movements and Speech Envelope Correlation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150119 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6003083 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |