JP7354813B2 - 検出方法、通知方法、検出プログラムおよび通知プログラム - Google Patents
検出方法、通知方法、検出プログラムおよび通知プログラム Download PDFInfo
- Publication number
- JP7354813B2 JP7354813B2 JP2019220364A JP2019220364A JP7354813B2 JP 7354813 B2 JP7354813 B2 JP 7354813B2 JP 2019220364 A JP2019220364 A JP 2019220364A JP 2019220364 A JP2019220364 A JP 2019220364A JP 7354813 B2 JP7354813 B2 JP 7354813B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- person
- target person
- time interval
- negative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
図2は、第1の実施形態にかかる判定装置の機能構成例を示すブロック図である。
図7は、第2の実施形態にかかるシステム構成例を示すブロック図である。図7に示すように、Web会議のシステムでは、説明者4側の表示画面5と、対象人物1側の表示画面2との表示内容を共通のものとし、説明者4の操作によりWeb会議の説明資料を表示画面2、5に表示させることで、Web会議が進行するものとする。また、Web会議中において、説明者4と対象人物1とは、通信により音声の会話が可能となっている。
第3の実施形態に用いられるシステム構成は第2の実施形態と同様であるため、システム構成に関する説明は省略する。図11は、第3の実施形態にかかるシステムの動作例を示すフローチャートである。
順次取得した前記対象人物の撮影画像それぞれの顔画像から前記撮影画像の撮影時における前記対象人物の感情を推定し、
推定した前記感情がネガティブの感情である第1の時間区間を特定し、
取得した前記対象人物の撮影画像それぞれに基づいて、前記第1の時間区間において特定の動作をしているか否かを判定し、
前記第1の時間区間内において前記特定の動作をしていると判定された場合は、前記第1の時間区間に対応する推定した前記感情をネガティブでない感情に変更する、
処理をコンピュータが実行することを特徴とする検出方法。
取得した前記対象人物に対する説明内容と、推定した前記感情とを対応付けて記憶し、
前記第1の時間区間内において前記特定の動作をしていないと判定された場合は、対応付けて記憶した情報より前記感情がネガティブである時間区間に対応する説明内容を抽出し、
抽出した前記説明内容を前記第1の人物に通知する、
処理をさらに前記コンピュータが実行することを特徴とする付記1に記載の検出方法。
取得した前記対象人物に対する音声情報と、推定した前記感情とを対応付けて記憶し、
前記第1の時間区間内において前記特定の動作をしていないと判定された場合は、対応付けて記憶した情報より前記感情がネガティブである時間区間に対応する音声情報を抽出し、
抽出した前記音声情報を前記第1の人物に通知する、
処理をさらに前記コンピュータが実行することを特徴とする付記1に記載の検出方法。
前記判定する処理は、前記対象人物が前記第2の装置の表示画面に表示された資料を見ていることに応じた動作をしているか否かを判定する処理を含み、
前記変更する処理は、連続してネガティブの感情であると判定された時間区間内において前記資料を見ていることに応じた動作をしていると判定された場合は、当該時間区間に対応する推定した前記感情をネガティブでない感情に変更する処理を含む、
ことを特徴とする付記3に記載の検出方法。
ことを特徴とする付記1乃至4のいずれか一に記載の検出方法。
ことを特徴とする付記5に記載の検出方法。
前記音声情報の説明に関連する資料を前記第2の人物が利用する第2の装置の表示画面に表示させるとともに、前記第2の装置が撮影した前記第2の人物の撮影画像を取得し、
取得した前記第2の人物の撮影画像の顔画像から感情を推定し、
推定した前記感情がネガティブの感情である時間区間を特定し、
前記第1の装置から取得した音声情報の中から、特定した前記時間区間に対応する音声情報を抽出し、
抽出した前記音声情報を前記第1の装置へ通知する、
処理をコンピュータが実行することを特徴とする通知方法。
順次取得した前記対象人物の撮影画像それぞれの顔画像から前記撮影画像の撮影時における前記対象人物の感情を推定し、
推定した前記感情がネガティブの感情である第1の時間区間を特定し、
取得した前記対象人物の撮影画像それぞれに基づいて、前記第1の時間区間内において特定の動作をしているか否かを判定し、
前記第1の時間区間内において前記特定の動作をしていると判定された場合は、前記第1の時間区間に対応する推定した前記感情をネガティブでない感情に変更する、
処理をコンピュータに実行させることを特徴とする検出プログラム。
取得した前記対象人物に対する説明内容と、推定した前記感情とを対応付けて記憶し、
前記第1の時間区間内において前記特定の動作をしていないと判定された場合は、対応付けて記憶した情報より前記感情がネガティブである時間区間に対応する説明内容を抽出し、
抽出した前記説明内容を前記第1の人物に通知する、
処理をさらに前記コンピュータに実行させることを特徴とする付記8に記載の検出プログラム。
取得した前記対象人物に対する音声情報と、推定した前記感情とを対応付けて記憶し、
前記第1の時間区間内において前記特定の動作をしていないと判定された場合は、対応付けて記憶した情報より前記感情がネガティブである時間区間に対応する音声情報を抽出し、
抽出した前記音声情報を前記第1の人物に通知する、
処理をさらに前記コンピュータに実行させることを特徴とする付記8に記載の検出プログラム。
前記判定する処理は、前記対象人物が前記第2の装置の表示画面に表示された資料を見ていることに応じた動作をしているか否かを判定する処理を含み、
前記変更する処理は、連続してネガティブの感情であると判定された時間区間内において前記資料を見ていることに応じた動作をしていると判定された場合は、当該時間区間に対応する推定した前記感情をネガティブでない感情に変更する処理を含む、
ことを特徴とする付記10に記載の検出プログラム。
ことを特徴とする付記8乃至11のいずれか一に記載の検出プログラム。
ことを特徴とする付記12に記載の検出プログラム。
前記音声情報の説明に関連する資料を前記第2の人物が利用する第2の装置の表示画面に表示させるとともに、前記第2の装置が撮影した前記第2の人物の撮影画像を取得し、
取得した前記第2の人物の撮影画像の顔画像から感情を推定し、
推定した前記感情がネガティブの感情である時間区間を特定し、
前記第1の装置から取得した音声情報の中から、特定した前記時間区間に対応する音声情報を抽出し、
抽出した前記音声情報を前記第1の装置へ通知する、
処理をコンピュータに実行させることを特徴とする通知プログラム。
2、5、50…表示画面
3…カメラ
4…説明者
10…判定装置
11…動画取得部
12…表情判定部
13…凝視動作判定部
14…判定結果決定部
16…判定結果テーブル
20、30…端末装置
21、31…表示部
22、32…音声録音部
23、33…音声再生部
24、34…Web会議操作取得部
25…説明資料取得部
40…サーバ装置
41…Web会議制御部
42…音声認識部
43…感情記憶部
44…感情提示部
51…時間区間表示領域
51a、51b、T1~T3…時間区間
52…カーソル
53…詳細情報表示領域
100…コンピュータ
101…CPU
102…入力装置
103…モニタ
104…媒体読取装置
105…インタフェース装置
106…通信装置
107…RAM
108…ハードディスク装置
108A…プログラム
109…バス
C1…身体動作
I…視点
P…投影面
Claims (8)
- 対象人物の撮影画像を順次取得し、
順次取得した前記対象人物の撮影画像それぞれの顔画像から前記撮影画像の撮影時における前記対象人物の感情を推定し、
推定した前記感情がネガティブの感情である第1の時間区間を特定し、
取得した前記対象人物の撮影画像それぞれに基づいて、前記第1の時間区間において前記対象人物が目を凝らす動作をしているか否かを判定し、
前記第1の時間区間内において前記目を凝らす動作をしていると判定された場合は、前記第1の時間区間に対応する推定した前記感情をネガティブでない感情に変更する、
処理をコンピュータが実行することを特徴とする検出方法。 - 前記対象人物とは異なる第1の人物の前記対象人物に対する説明内容を取得し、
取得した前記対象人物に対する説明内容と、推定した前記感情とを対応付けて記憶し、
前記第1の時間区間内において前記特定の動作をしていないと判定された場合は、対応付けて記憶した情報より前記感情がネガティブである時間区間に対応する説明内容を抽出し、
抽出した前記説明内容を前記第1の人物に通知する、
処理をさらに前記コンピュータが実行することを特徴とする請求項1に記載の検出方法。 - 前記対象人物とは異なる第1の人物が前記対象人物に対して説明する際の音声情報を前記第1の人物が利用する第1の装置から取得し、
取得した前記対象人物に対する音声情報と、推定した前記感情とを対応付けて記憶し、
前記第1の時間区間内において前記特定の動作をしていないと判定された場合は、対応付けて記憶した情報より前記感情がネガティブである時間区間に対応する音声情報を抽出し、
抽出した前記音声情報を前記第1の人物に通知する、
処理をさらに前記コンピュータが実行することを特徴とする請求項1に記載の検出方法。 - 前記音声情報の説明に関連する資料を前記対象人物が利用する第2の装置の表示画面に表示させる処理をさらに前記コンピュータが実行し、
前記判定する処理は、前記対象人物が前記第2の装置の表示画面に表示された資料を見ていることに応じた動作をしているか否かを判定する処理を含み、
前記変更する処理は、連続してネガティブの感情であると判定された時間区間内において前記資料を見ていることに応じた動作をしていると判定された場合は、当該時間区間に対応する推定した前記感情をネガティブでない感情に変更する処理を含む、
ことを特徴とする請求項3に記載の検出方法。 - 前記判定する処理は、前記対象人物と相対する表示画面に対して前記対象人物が画面方向に移動していること、もしくは前記対象人物が前記表示画面と平行する方向に移動していることの少なくとも一方に基づき、前記目を凝らす動作をしているか否かを判定する処理を含む、
ことを特徴とする請求項1に記載の検出方法。 - 第1の人物が第2の人物に対して説明する際の音声情報を、前記第1の人物が利用する第1の装置から取得し、
前記音声情報の説明に関連する資料を前記第2の人物が利用する第2の装置の表示画面に表示させるとともに、前記第2の装置が撮影した前記第2の人物の撮影画像を取得し、
取得した前記第2の人物の撮影画像の顔画像から感情を推定し、
推定した前記感情がネガティブの感情である時間区間を特定し、
取得した前記第2の人物の撮影画像それぞれに基づいて、前記時間区間において前記第2の人物が目を凝らす動作をしているか否かを判定し、
前記時間区間内において前記目を凝らす動作をしていると判定された場合は、前記時間区間に対応する推定した前記感情をネガティブでない感情に変更し、
前記第1の装置から取得した音声情報の中から、特定した前記時間区間に対応する音声情報を抽出し、
抽出した前記音声情報を前記第1の装置へ通知する、
処理をコンピュータが実行することを特徴とする通知方法。 - 対象人物の撮影画像を順次取得し、
順次取得した前記対象人物の撮影画像それぞれの顔画像から前記撮影画像の撮影時における前記対象人物の感情を推定し、
推定した前記感情がネガティブの感情である第1の時間区間を特定し、
取得した前記対象人物の撮影画像それぞれに基づいて、前記第1の時間区間において前記対象人物が目を凝らす動作をしているか否かを判定し、
前記第1の時間区間内において前記目を凝らす動作をしていると判定された場合は、前記第1の時間区間に対応する推定した前記感情をネガティブでない感情に変更する、
処理をコンピュータに実行させることを特徴とする検出プログラム。 - 第1の人物が第2の人物に対して説明する際の音声情報を、前記第1の人物が利用する第1の装置から取得し、
前記音声情報の説明に関連する資料を前記第2の人物が利用する第2の装置の表示画面に表示させるとともに、前記第2の装置が撮影した前記第2の人物の撮影画像を取得し、
取得した前記第2の人物の撮影画像の顔画像から感情を推定し、
推定した前記感情がネガティブの感情である時間区間を特定し、
取得した前記第2の人物の撮影画像それぞれに基づいて、前記時間区間において前記第2の人物が目を凝らす動作をしているか否かを判定し、
前記時間区間内において前記目を凝らす動作をしていると判定された場合は、前記時間区間に対応する推定した前記感情をネガティブでない感情に変更し、
前記第1の装置から取得した音声情報の中から、特定した前記時間区間に対応する音声情報を抽出し、
抽出した前記音声情報を前記第1の装置へ通知する、
処理をコンピュータに実行させることを特徴とする通知プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019220364A JP7354813B2 (ja) | 2019-12-05 | 2019-12-05 | 検出方法、通知方法、検出プログラムおよび通知プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019220364A JP7354813B2 (ja) | 2019-12-05 | 2019-12-05 | 検出方法、通知方法、検出プログラムおよび通知プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021089646A JP2021089646A (ja) | 2021-06-10 |
JP7354813B2 true JP7354813B2 (ja) | 2023-10-03 |
Family
ID=76220297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019220364A Active JP7354813B2 (ja) | 2019-12-05 | 2019-12-05 | 検出方法、通知方法、検出プログラムおよび通知プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7354813B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002149145A (ja) | 2000-11-10 | 2002-05-24 | Canon Inc | プレゼンテーション装置、プレゼンテーション方法および記憶媒体 |
JP2005063163A (ja) | 2003-08-13 | 2005-03-10 | Sony Corp | 撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法 |
JP2005277462A (ja) | 2004-03-22 | 2005-10-06 | Fujitsu Ltd | 会議支援システム、議事録生成方法、およびコンピュータプログラム |
JP2005531080A (ja) | 2002-06-27 | 2005-10-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 視覚及び音声認識を介するコンテンツ格付けの測定 |
JP2014206903A (ja) | 2013-04-15 | 2014-10-30 | オムロン株式会社 | 表情推定装置、制御方法、制御プログラム、および記録媒体 |
JP2018032164A (ja) | 2016-08-23 | 2018-03-01 | 株式会社ユニバーサルエンターテインメント | 面接システム |
JP2018196922A (ja) | 2017-05-24 | 2018-12-13 | シャープ株式会社 | ロボット制御システム |
-
2019
- 2019-12-05 JP JP2019220364A patent/JP7354813B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002149145A (ja) | 2000-11-10 | 2002-05-24 | Canon Inc | プレゼンテーション装置、プレゼンテーション方法および記憶媒体 |
JP2005531080A (ja) | 2002-06-27 | 2005-10-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 視覚及び音声認識を介するコンテンツ格付けの測定 |
JP2005063163A (ja) | 2003-08-13 | 2005-03-10 | Sony Corp | 撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法 |
JP2005277462A (ja) | 2004-03-22 | 2005-10-06 | Fujitsu Ltd | 会議支援システム、議事録生成方法、およびコンピュータプログラム |
JP2014206903A (ja) | 2013-04-15 | 2014-10-30 | オムロン株式会社 | 表情推定装置、制御方法、制御プログラム、および記録媒体 |
JP2018032164A (ja) | 2016-08-23 | 2018-03-01 | 株式会社ユニバーサルエンターテインメント | 面接システム |
JP2018196922A (ja) | 2017-05-24 | 2018-12-13 | シャープ株式会社 | ロボット制御システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021089646A (ja) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6467965B2 (ja) | 感情推定装置及び感情推定方法 | |
US8411171B2 (en) | Apparatus and method for generating image including multiple people | |
KR102092931B1 (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
JP2017123149A (ja) | ユーザー状態検出による集団相互作用の方法及びシステム | |
JP7139680B2 (ja) | 活性度評価プログラム、装置、及び方法 | |
JP7323098B2 (ja) | 対話支援装置、対話支援システム、及び対話支援プログラム | |
WO2022024354A1 (ja) | 反応解析システム | |
Tanveer et al. | Do you see what I see? Designing a sensory substitution device to access non-verbal modes of communication | |
JP7354813B2 (ja) | 検出方法、通知方法、検出プログラムおよび通知プログラム | |
US20230319234A1 (en) | System and Methods for Enhanced Videoconferencing | |
JP2018060374A (ja) | 情報処理装置、評価システムおよびプログラム | |
JP2006323702A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Ferstl et al. | Evaluating study design and strategies for mitigating the impact of hand tracking loss | |
JP2009032056A (ja) | コミュニケーションシステム | |
JP2006079533A (ja) | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム | |
JP2009232054A (ja) | 会議支援システム | |
US12101283B2 (en) | Information processing system, control method thereof, and non-transitory computer-readable storage medium | |
JP2014164343A (ja) | 画像処理装置、画像処理システム及びプログラム | |
JP7138990B1 (ja) | 動画像分析システム | |
JP7156743B1 (ja) | 動画像分析システム | |
US20220407827A1 (en) | Information processing system, control method thereof, and non-transitory computer-readable storage medium | |
JP7156742B1 (ja) | 動画像分析システム | |
US20240119861A1 (en) | Electronic device and method for training executive presence | |
WO2024166619A1 (ja) | 情報処理方法および情報処理システム | |
JP7283336B2 (ja) | 印象推定方法、印象推定プログラムおよび印象推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7354813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |