JP4943370B2 - コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 - Google Patents
コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 Download PDFInfo
- Publication number
- JP4943370B2 JP4943370B2 JP2008101875A JP2008101875A JP4943370B2 JP 4943370 B2 JP4943370 B2 JP 4943370B2 JP 2008101875 A JP2008101875 A JP 2008101875A JP 2008101875 A JP2008101875 A JP 2008101875A JP 4943370 B2 JP4943370 B2 JP 4943370B2
- Authority
- JP
- Japan
- Prior art keywords
- impression
- event
- content
- degree
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
音声信号抽出手段が、入力されたコンテンツ中の音声信号を抽出する音声信号抽出処理ステップ(ステップ1)と、
イベント検出手段が、音声信号から時間変動特性の要素を持つ集合である特徴量を抽出し、該特徴量が出現する確率である特徴量尤度と、直前の1つ以上遡った区間のイベント生起状態に依存して現区間で各イベント生起状態が生起するイベント遷移確率に基づいて所定の区間中に生起しているか否かの状態を離散変数によって表現した音声・音楽的事象であるすべてのイベントそれぞれが生起している確からしさを、イベント生起確率として計算し、該イベント生起確率に基づいて、音声信号の所定の区間中におけるすべてのイベントそれぞれが生起している確からしさを、イベント生起度として計算し、記憶手段に格納するイベント生起度計算処理ステップ(ステップ2)と、
印象度計算手段が、記憶手段からイベント毎に該イベントが視聴者に与える印象を数値化した印象寄与度とイベント生起度を取得し、該印象寄与度と該イベント生起度の行列演算に基づいて、区間に対する印象度を計算し(ステップ3)、出力する(ステップ4)印象度計算処理ステップと、を行う。
入力されたコンテンツ中の音声信号を抽出する音声信号抽出手段81と、
音声信号から時間変動特性の要素を持つ集合である特徴量を抽出し、該特徴量が出現する確率である特徴量尤度と、直前の1つ以上遡った区間のイベント生起状態に依存して現区間で各イベント生起状態が生起するイベント遷移確率に基づいて所定の区間中に生起しているか否かの状態を離散変数によって表現した音声・音楽的事象であるすべてのイベントそれぞれが生起している確からしさを、イベント生起確率として計算し、該イベント生起確率に基づいて、音声信号の所定の区間中におけるすべてのイベントそれぞれが生起している確からしさを、イベント生起度として計算し、記憶手段85に格納するイベント検出手段83と、
記憶手段85からイベント毎に該イベントが視聴者に与える印象を数値化した印象寄与度とイベント生起度を取得し、該印象寄与度と該イベント生起度の行列演算に基づいて、区間に対する印象度を計算し、出力する印象度計算手段84と、
を有する。
まず、ステップ10(音声信号抽出処理)について説明する。
次に、ステップ11(部分コンテンツ生成処理)について説明する。
まず、音声信号のみを用いて部分コンテンツを生成する方法の一例について説明する。
次に、画像信号を用いて部分コンテンツを生成する方法について説明する。
最後に、音声信号と画像信号双方を利用して、部分コンテンツ生成を実行する場合について述べる。
ステップ12において、イベント検出部83は、分割された各部分コンテンツに、どのような音声・音楽に係るイベントが生起しているかを分析し、この確からしさをイベント生起度として計算する。ここで言うイベントとは、例えば、"発話"、"笑い"、"泣き"、"叫び"、"悲鳴"、"ささやき"、"穏やかな音楽"、"寂しい音楽"、"激しい言葉"、"壮大な音楽"、"騒音"、"爆発音"、"効果音"などの、音声や音楽に関わる事象である。ここに挙げたイベントは一例であり、このほかにも多数のイベントが存在することは言うまでもない。
上記のステップ31では、コンテンツの音声信号から、特徴量を分析窓毎に抽出する。
次に、ステップ32(イベント生起確率計算処理)では、ステップ31で抽出した特徴量に基づいて、予め構成した統計モデルを用いて各イベントの生起している確率をイベント生起確率として算出する。
次に、ステップ33では、ステップ32にて計算されたイベント生起状態確率に基づいて、各部分コンテンツでそれぞれのイベントが生起している確からしさを表すイベント生起度を計算する(イベント生起度計算処理)を行う。
次に、ステップ13(印象度計算処理)について説明する。
ImpL=[0.78、−0.67,0,0]
である。
次に、部分コンテンツ出力部86によるステップ14(部分コンテンツ出力処理)について説明する。
81 音声信号抽出手段、音声信号抽出部
82 部分コンテンツ生成部
83 イベント検出手段、イベント検出部
84 印象度計算手段 印象度計算部
85 記憶手段、記憶部
86 部分コンテンツ出力部
87 入力装置
88 出力装置
Claims (4)
- コンテンツ中に含まれる音声信号に基づいて、コンテンツ視聴時の視聴印象を推定するコンテンツ視聴時の印象度推定方法であって、
音声信号抽出手段が、入力されたコンテンツ中の音声信号を抽出する音声信号抽出処理ステップと、
イベント検出手段が、前記音声信号から時間変動特性の要素を持つ集合である特徴量を抽出し、該特徴量が出現する確率である特徴量尤度と、直前の1つ以上遡った区間のイベント生起状態に依存して現区間で各イベント生起状態が生起するイベント遷移確率に基づいて所定の区間中に生起しているか否かの状態を離散変数によって表現した音声・音楽的事象であるすべてのイベントそれぞれが生起している確からしさを、イベント生起確率として計算し、該イベント生起確率に基づいて、前記音声信号の所定の区間中におけるすべてのイベントそれぞれが生起している確からしさを、イベント生起度として計算し、記憶手段に格納するイベント生起度計算処理ステップと、
印象度計算手段が、前記記憶手段から前記イベント毎に該イベントが視聴者に与える印象を数値化した印象寄与度と前記イベント生起度を取得し、該印象寄与度と該イベント生起度の行列演算に基づいて、前記区間に対する印象度を計算し、出力する印象度計算処理ステップと、を行うことを特徴とするコンテンツ視聴時の印象度推定方法。 - コンテンツ中に含まれる音声信号に基づいて、コンテンツ視聴時の視聴印象を推定するコンテンツ視聴時の印象度推定装置であって、
入力されたコンテンツ中の音声信号を抽出する音声信号抽出手段と、
前記音声信号から時間変動特性の要素を持つ集合である特徴量を抽出し、該特徴量が出現する確率である特徴量尤度と、直前の1つ以上遡った区間のイベント生起状態に依存して現区間で各イベント生起状態が生起するイベント遷移確率に基づいて所定の区間中に生起しているか否かの状態を離散変数によって表現した音声・音楽的事象であるすべてのイベントそれぞれが生起している確からしさを、イベント生起確率として計算し、該イベント生起確率に基づいて、前記音声信号の所定の区間中におけるすべてのイベントそれぞれが生起している確からしさを、イベント生起度として計算し、記憶手段に格納するイベント検出手段と、
前記記憶手段から前記イベント毎に該イベントが視聴者に与える印象を数値化した印象寄与度と前記イベント生起度を取得し、該印象寄与度と該イベント生起度の行列演算に基づいて、前記区間に対する印象度を計算し、出力する印象度計算手段と、
を有することを特徴とするコンテンツ視聴時の印象度推定装置。 - 請求項2に記載の印象度推定装置を構成する各手段としてコンピュータを機能させるためのコンテンツ視聴時の印象度推定プログラム。
- 請求項3記載のコンテンツ視聴時の印象度推定プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008101875A JP4943370B2 (ja) | 2008-04-09 | 2008-04-09 | コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008101875A JP4943370B2 (ja) | 2008-04-09 | 2008-04-09 | コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009251469A JP2009251469A (ja) | 2009-10-29 |
JP4943370B2 true JP4943370B2 (ja) | 2012-05-30 |
Family
ID=41312219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008101875A Active JP4943370B2 (ja) | 2008-04-09 | 2008-04-09 | コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4943370B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150086222A (ko) * | 2013-04-30 | 2015-07-27 | 후루카와 덴키 고교 가부시키가이샤 | 리튬이온 이차전지 음극 집전체용 동박 |
EP3438980B1 (en) | 2016-03-30 | 2020-04-08 | Fujitsu Limited | Utterance impression determination program, method for determining utterance impression, and utterance impression determination device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4027051B2 (ja) * | 2001-03-22 | 2007-12-26 | 松下電器産業株式会社 | 楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体 |
JP4319805B2 (ja) * | 2002-05-15 | 2009-08-26 | 学校法人明治大学 | 音楽データの印象付けシステム及びプログラム |
JP3697515B2 (ja) * | 2002-09-27 | 2005-09-21 | 独立行政法人情報通信研究機構 | 楽曲印象尺度評価値自動付与装置 |
-
2008
- 2008-04-09 JP JP2008101875A patent/JP4943370B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009251469A (ja) | 2009-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2063416B1 (en) | Feeling detection method, feeling detection device, feeling detection program containing the method, and recording medium containing the program | |
Huang et al. | Speech emotion recognition using deep neural network considering verbal and nonverbal speech sounds | |
US20230082343A1 (en) | Systems and Methods for Identifying a Set of Characters in a Media File | |
JP4891802B2 (ja) | コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム | |
US10020007B2 (en) | Conversation analysis device, conversation analysis method, and program | |
JP4965322B2 (ja) | ユーザ支援方法、ユーザ支援装置およびユーザ支援プログラム | |
Truong et al. | Speech-based recognition of self-reported and observed emotion in a dimensional space | |
US8407055B2 (en) | Information processing apparatus and method for recognizing a user's emotion | |
US10606950B2 (en) | Controlling playback of speech-containing audio data | |
JP2011253374A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP4568144B2 (ja) | 情報提示装置及び情報提示プログラム | |
Xu et al. | A three-level framework for affective content analysis and its case studies | |
Mustaquim | Automatic speech recognition-an approach for designing inclusive games | |
CN113823323A (zh) | 一种基于卷积神经网络的音频处理方法、装置及相关设备 | |
US11176943B2 (en) | Voice recognition device, voice recognition method, and computer program product | |
JP4943370B2 (ja) | コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 | |
JP2009278202A (ja) | 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP5158022B2 (ja) | 対話処理装置、対話処理方法、及び対話処理プログラム | |
Yang et al. | Predicting Humor by Learning from Time-Aligned Comments. | |
JP6486760B2 (ja) | 対話パターン自動生成装置、方法およびプログラム | |
JP2009302985A (ja) | 映像推薦方法、映像推薦装置、映像推薦プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Cao et al. | Acoustic and lexical representations for affect prediction in spontaneous conversations | |
McTear et al. | Affective conversational interfaces | |
Meddeb et al. | Intelligent remote control for TV program based on emotion in Arabic speech | |
JP5054653B2 (ja) | 視聴印象推定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4943370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150309 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |