JP6915765B1 - 関心度評価システムおよび関心度評価方法 - Google Patents
関心度評価システムおよび関心度評価方法 Download PDFInfo
- Publication number
- JP6915765B1 JP6915765B1 JP2021516848A JP2021516848A JP6915765B1 JP 6915765 B1 JP6915765 B1 JP 6915765B1 JP 2021516848 A JP2021516848 A JP 2021516848A JP 2021516848 A JP2021516848 A JP 2021516848A JP 6915765 B1 JP6915765 B1 JP 6915765B1
- Authority
- JP
- Japan
- Prior art keywords
- users
- feature amount
- conversation
- interest
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 17
- 230000008451 emotion Effects 0.000 claims description 44
- 230000001815 facial effect Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims 2
- 230000002996 emotional effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 235000012054 meals Nutrition 0.000 description 10
- 235000021438 curry Nutrition 0.000 description 9
- 235000009419 Fagopyrum esculentum Nutrition 0.000 description 8
- 240000008620 Fagopyrum esculentum Species 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 235000021168 barbecue Nutrition 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 235000015927 pasta Nutrition 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 244000035851 Chrysanthemum leucanthemum Species 0.000 description 1
- 235000008495 Chrysanthemum leucanthemum Nutrition 0.000 description 1
- 235000015429 Mirabilis expansa Nutrition 0.000 description 1
- 244000294411 Mirabilis expansa Species 0.000 description 1
- 244000061458 Solanum melongena Species 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 235000013527 bean curd Nutrition 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 239000006210 lotion Substances 0.000 description 1
- 235000013536 miso Nutrition 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
話者識別部12は、マイク装置2に含まれるマイクロフォンアレイからの音声データに基づき、複数人の利用者の会話の音声データの音源方向を推定することによって、音声データの話者を識別する。話者識別部12は、カメラ装置1に含まれる全方向撮影型のカメラからの画像データを用いることによって、複数人の利用者の移動を検出し、この検出の結果もさらに用いて、音声データの話者を識別してもよい。これによって、利用者Aの位置と利用者Bの位置が入れ替わった場合でも、音声データの話者を識別することができる。全方向撮影型のカメラを用いることによって、複数台のカメラを用いなくても、1台のカメラによって話者の移動を検出することができる。
図4は、利用者Aの視線の方向と利用者Aから利用者Bへの方向とのなす角度の時間変化と、利用者Bの視線の方向と利用者Bから利用者Aへの方向とのなす角度の時間変化とを表わす図である。
まず、関心度評価部18は、複数人の利用者の音声感情度と、複数人の利用者の音声感情度と、複数人の利用者の中の二人の視線の一致度とに基づいて、複数人の利用者の会話の関心度SCを算出する。関心度評価部18は、会話の関心度SCから一致キ−ワードに対する関心度KCを算出する。
たとえば、fは、係数f1、f2を用いて、以下のように表されてもよい。
関心度評価部18は、以下のように、利用者Aの顔感情度FEAと、利用者Bの顔感情度FEBとに基づいて、顔感情度FEを求める。
たとえば、gは、係数g1、g2を用いて、以下のように表されてもよい。
関心度評価部18は、以下のように、音声感情度SEと、顔感情度FEと、視線の一致度VEとに基づいて、会話の関心度SCを算出する。
たとえば、hは、係数h1、h2を用いて、以下のように表されてもよい。
図7は、会話の関心度SCの時間変化の例を表わす図である。図7に示すように、会話の関心度SCは、時刻とともに変化する。
KC={SC(t1)*ΔT1+SC(t3)*ΔT3+SC(t4)*ΔT4}/(ΔT1+ΔT3+ΔT4)・・・(7)
関心度評価部18は、会話の開始から現在までにおける関心度KCが大きな一致キーワードおよびその関心度KCをリアルタイムで表示装置6に表示するものとしてもよい。
TF(Term Frequency)は、文書D内におけるキーワードXの出現回数nxを文書D内における選択されたトピックと関連するすべてのキーワードの出現回数Nkで除算した値である。
IDF(Inverse Document Frequency)は、選択されたトピックと関連する全文書数Ndと、選択されたトピックと関連する全文書のうちのキーワードXが出現する文書の数dfとを用いて表される。
図10は、トピック「食事」に関連する複数の項目の各々についての複数のキーワードのスコア情報を表わす図である。
トピック「食事」に関連する全項目の中で、関心度KCが最大のキーワード「そば」のスコアが最大の項目が「Aそば店」である。推奨部17は、キーワード「そば」に対して「Aそば店」を特定し、「Aそば店」を表わす情報を表示装置6に表示する。
本発明は、上記の実施形態に限定されるものではなく、たとえば、以下のような変形例も含まれる。
上記の実施形態では、関心度評価部は、会話の関心度SCを求めてから、会話の関心度SCを用いて、一致キーワードに対する関心度KCを求めたが、これに限定するものではない。関心度評価部は、一致キーワードに対応する各期間における音声感情度SEと、顔感情度FEと、視線の一致度VEとに基づいて各期間の関心度を求めて、複数の期間の関心度を重み付き平均して、一致キーワードに対する関心度を求めるものとしてもよい。
上記の実施形態では、関心度評価部は、複数人の利用者の各々の顔感情度を重み付け加算して、複数人の利用者の顔感情度を求めたが、これに限定するものではない。関心度評価部は、複数人の利用者の各々の顔感情度のすべてが閾値を超えたときに、複数人の利用者の顔感情度が高い値に設定し、複数人の利用者の各々の顔感情度のうちの一部だけが閾値を超えたときに、複数人の利用者の顔感情度を中間の値に設定し、複数人の利用者の各々の顔感情度のすべてが閾値以下のときに、複数人の利用者の顔感情度を低い値に設定するものとしてもよい。音声感情度についても同様である。
上記の実施形態では、システム管理者または利用者がトピックを選択し、検索部は、キーワード辞書に記憶されている選択されたトピックに含まれるキーワードが会話テキストに含まれるかどうかを調べたが、これに限定されるものではない。システム管理者または利用者がトピックを選択する代わりに、特徴抽出装置が、会話テキストに含まれる単語に基づいて、会話のトピックを推定するものとしてもよい。
上記の実施形態では、2人の利用者の視線の一致度を算出する方法について説明したが、3人以上の利用者が会話するときには、2人の利用者のすべての組み合わせについて視線の一致度を算出し、それらを重み付け加算することによって、トータルの視線の一致度を算出するようにしてもよい。
Claims (11)
- 複数人の利用者の会話の音声データを取得するマイク装置と、
前記複数人の利用者の会話中の画像データを取得するカメラ装置と、
前記複数人の利用者の会話の前記音声データが変換された会話テキストを取得するテキスト取得部と、
前記複数人の利用者の会話の前記音声データから音声特徴量を抽出する音声特徴量抽出部と、
前記複数人の利用者の会話中の前記画像データから画像特徴量を抽出する画像特徴量抽出部と、
前記会話テキストに含まれるキーワードが発せられた時点に対応する前記音声特徴量および前記画像特徴量に基づいて、前記キーワードに対する関心度を評価する関心度評価部と、
トピックごとに、前記トピックの会話を誘導する画面を記憶する記憶装置と、
表示装置と、
前記記憶装置から選択されたトピックの会話を誘導する画面を読み出して、前記表示装置に表示する会話誘導部と、を備えた、関心度評価システム。 - 前記画像特徴量は、前記複数人の利用者の顔による感情の大きさを表わす顔感情度を含む、請求項1記載の関心度評価システム。
- 前記画像特徴量は、さらに、前記複数人の利用者のうちの二人の視線の一致度を含む、請求項1記載の関心度評価システム。
- 前記音声特徴量は、前記複数人の利用者の音声による感情の大きさを表わす音声感情度を含む、請求項1記載の関心度評価システム。
- 前記マイク装置は、複数のマイクを含むマイクロフォンアレイであり、
前記マイクロフォンアレイからの音声データに基づき、複数人の利用者の会話の音声データの音源方向を推定することによって、前記音声データの話者を識別する話者識別部をさらに備え、
前記画像特徴量抽出部は、前記話者の識別結果に基づいて、前記複数人の利用者の各々についての前記画像特徴量を抽出し、
前記音声特徴量抽出部は、前記話者の識別結果に基づいて、前記複数人の利用者の各々についての前記音声特徴量を抽出し、
前記関心度評価部は、前記複数人の利用者の各々についての前記音声特徴量および前記画像特徴量に基づいて、前記キーワードに対する関心度を評価する、請求項1〜4のいずれか1項に記載の関心度評価システム。 - 前記カメラ装置は、全方向撮像型のカメラ装置であり、
前記話者識別部は、前記全方向撮影型のカメラ装置からの画像データを用いて、前記複数人の利用者の移動を検出し、前記検出の結果をさらに用いて、前記複数人の利用者の会話の音声データの音源方向を推定する、請求項5に記載の関心度評価システム。 - 複数のキーワードを記憶する記憶装置と、
前記会話テキストから前記記憶装置に記憶されているいずれかのキーワードを検索する検索部とをさらに備え、
前記関心度評価部は、前記検索されたキーワードに対する関心度を評価する、請求項1記載の関心度評価システム。 - 前記記憶装置は、トピックごとに、前記トピックに関連する複数のキーワードを記憶し、
前記検索部は、前記会話テキストから前記記憶装置に記憶されている選択されたトピックのキーワードを検索する、請求項7記載の関心度評価システム。 - トピックと関連する複数の項目の各々について、複数のキーワードのスコアを定めたスコア情報を記憶する記憶装置と、
表示装置と、
前記スコア情報を参照して、前記複数の項目の中で、前記関心度が最大のキーワードのスコアが最大となる項目を特定し、前記特定した項目を表わす情報を前記表示装置に表示する推奨部とをさらに備えた、請求項1記載の関心度評価システム。 - 前記スコア情報は、TF(Term Frequency)と、IDF(Inverse Document Frequency)とによって表される、請求項9記載の関心度評価システム。
- 複数人の利用者の会話の音声データを取得するステップと、
前記複数人の利用者の会話中の画像データを取得するステップと、
前記複数人の利用者の会話の音声データが変換された会話テキストを取得するステップと、
前記複数人の利用者の会話の音声データから音声特徴量を抽出するステップと、
前記複数人の利用者の会話中の画像データから画像特徴量を抽出するステップと、
前記会話テキストに含まれるキーワードが発せられた時点に対応する前記音声特徴量および前記画像特徴量に基づいて、前記会話テキストに含まれるキーワードに対する関心度を評価するステップと、
トピックごとに、前記トピックの会話を誘導する画面を記憶する記憶装置から選択されたトピックの会話を誘導する画面を読み出して、表示装置に表示するステップと、を備えた、関心度評価方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019186639 | 2019-10-10 | ||
JP2019186639 | 2019-10-10 | ||
PCT/JP2020/036932 WO2021070681A1 (ja) | 2019-10-10 | 2020-09-29 | 関心度評価システムおよび関心度評価方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6915765B1 true JP6915765B1 (ja) | 2021-08-04 |
JPWO2021070681A1 JPWO2021070681A1 (ja) | 2021-10-28 |
Family
ID=75437905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021516848A Active JP6915765B1 (ja) | 2019-10-10 | 2020-09-29 | 関心度評価システムおよび関心度評価方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6915765B1 (ja) |
WO (1) | WO2021070681A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114971817B (zh) * | 2022-07-29 | 2022-11-22 | 中国电子科技集团公司第十研究所 | 基于用户需求画像的产品自适应服务方法、介质及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017130170A (ja) * | 2016-01-22 | 2017-07-27 | 日本ユニシス株式会社 | 会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラム |
WO2018142686A1 (ja) * | 2017-01-31 | 2018-08-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2019146405A1 (ja) * | 2018-01-25 | 2019-08-01 | 株式会社 資生堂 | 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム |
-
2020
- 2020-09-29 WO PCT/JP2020/036932 patent/WO2021070681A1/ja active Application Filing
- 2020-09-29 JP JP2021516848A patent/JP6915765B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017130170A (ja) * | 2016-01-22 | 2017-07-27 | 日本ユニシス株式会社 | 会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラム |
WO2018142686A1 (ja) * | 2017-01-31 | 2018-08-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2019146405A1 (ja) * | 2018-01-25 | 2019-08-01 | 株式会社 資生堂 | 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021070681A1 (ja) | 2021-10-28 |
WO2021070681A1 (ja) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112182197B (zh) | 话术推荐方法、装置、设备及计算机可读介质 | |
JP4736511B2 (ja) | 情報提供方法および情報提供装置 | |
US11238871B2 (en) | Electronic device and control method thereof | |
KR102386863B1 (ko) | 사용자 기반 언어 모델 생성 장치, 방법 및 음성 인식 장치 | |
US11355099B2 (en) | Word extraction device, related conference extraction system, and word extraction method | |
CN110795542B (zh) | 对话方法及相关装置、设备 | |
KR101571240B1 (ko) | 텍스트에 기반한 동영상 생성장치 및 그 생성방법 | |
CN105960672A (zh) | 用于稳健语音识别的变量组件深度神经网络 | |
EP1709625A1 (en) | Method and system for determining the topic of a conversation and obtaining and presenting related content | |
JP6365915B2 (ja) | 応対装置、応対システム、応対方法、及び記録媒体 | |
US8589159B2 (en) | Keyword display system, keyword display method, and program | |
JP6927318B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2013149073A (ja) | 拡張現実装置、方法、及びプログラム | |
JP2010224715A (ja) | 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体 | |
JP5730741B2 (ja) | 話題推薦装置及び方法及びプログラム | |
US20210012064A1 (en) | Recording medium recording complementary program, complementary method, and information processing device | |
JP6915765B1 (ja) | 関心度評価システムおよび関心度評価方法 | |
JP2019139625A (ja) | 情報処理装置及び情報処理プログラム | |
JPWO2018061839A1 (ja) | 送信装置、送信方法及び送信プログラム | |
JPWO2020071216A1 (ja) | 画像検索装置、画像検索方法及び画像検索用プログラム | |
KR101743169B1 (ko) | 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체 | |
CN110674270B (zh) | 基于人工智能的幽默生成与情感交互方法及机器人系统 | |
CN110895558A (zh) | 一种对话回复的方法及相关装置 | |
CN111554269A (zh) | 一种语音取号方法、系统及存储介质 | |
JP2020201748A (ja) | 発話生成装置、発話生成方法及び発話生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210324 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210324 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6915765 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |