JP7442611B2 - イベント支援システム、イベント支援方法、イベント支援プログラム - Google Patents
イベント支援システム、イベント支援方法、イベント支援プログラム Download PDFInfo
- Publication number
- JP7442611B2 JP7442611B2 JP2022200080A JP2022200080A JP7442611B2 JP 7442611 B2 JP7442611 B2 JP 7442611B2 JP 2022200080 A JP2022200080 A JP 2022200080A JP 2022200080 A JP2022200080 A JP 2022200080A JP 7442611 B2 JP7442611 B2 JP 7442611B2
- Authority
- JP
- Japan
- Prior art keywords
- guest
- host
- emotion
- photographed image
- icon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- 230000008451 emotion Effects 0.000 claims description 144
- 238000001514 detection method Methods 0.000 claims description 15
- 230000004424 eye movement Effects 0.000 claims description 6
- 210000003128 head Anatomy 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000008921 facial expression Effects 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
教師が行う授業を撮影した第1撮影画像を取得する第1画像取得部と、
前記第1撮影画像を生徒に対して表示する第1表示制御部と、
前記生徒を撮影した第2撮影画像を取得する第2画像取得部と、
前記第2撮影画像を前記教師に対して表示する第2表示制御部と、
前記生徒の感情を推定する感情推定部と、
を備え、
前記第2表示制御部は、推定された前記生徒の感情を示すアイコンを前記第2撮影画像に関連付けて前記教師に対して表示する。
前記第2表示制御部は、前記第2撮影画像およびアイコンを前記教師の視線方向に見える実際の映像に重ねて表示する。
遠隔からカメラを介して授業に参加している生徒の両方の様子を同時に確認しながら、授業を行うことができる。したがって、遠隔・在室を問わず授業に参加する生徒全員の理解度を上げることが可能となる。
前記第2表示制御部は、前記第2撮影画像およびアイコンを前記教室内で実際に着席している他の生徒の上方に表示する。
前記感情推定部は、前記第2撮影画像から抽出される前記生徒の目線の動き、前記生徒の生体センサから取得される生体情報、および、前記教師からの問いかけに対する前記生徒からの回答のうちの1つまたは2つ以上に基づいて、前記生徒の感情を推定する。
前記生体情報は、脳波および/または心拍である。
前記生徒が発した音声を取得する音声取得部をさらに備え、
前記第2表示制御部は、前記生徒の音声に基づいて前記生徒が質問したいという意思を有しているか否かを判定し、質問したいという意思があると判定された場合には、質問したいという意思があることを示すアイコンを前記第2撮影画像に関連付けて前記教師に対して表示する。
前記第2表示制御部は、推定された前記生徒の感情の継続時間、検出回数または検出頻度に応じて前記アイコンを強調表示および/または優先表示する。
支援システムであって、
前記第2表示制御部は、同じ感情が推定された生徒の人数に応じて前記アイコンを強調表示および/または優先表示する。
感情ごとに表示優先順序が予め定められており、前記第2表示制御部は、前記表示優先順序が高いアイコンを低いアイコンより優先表示する。
感情ごとに表示させるか否かを前記教師が選択できるようになっており、前記第2表示制御部は、前記教師による選択に基づいて前記アイコンを表示するか否かを制御する。
教師が行う授業を撮影した第1撮影画像を取得するステップと、
前記第1撮影画像を生徒に対して表示するステップと、
前記生徒を撮影した第2撮影画像を取得するステップと、
前記第2撮影画像を前記教師に対して表示するステップと、
前記生徒の感情を推定するステップと、
推定された前記生徒の感情を示すアイコンを前記第2撮影画像に関連付けて前記教師に対して表示するステップと、
を含む。
コンピュータに、
教師が行う授業を撮影した第1撮影画像を取得するステップと、
前記第1撮影画像を生徒に対して表示するステップと、
前記生徒を撮影した第2撮影画像を取得するステップと、
前記第2撮影画像を前記教師に対して表示するステップと、
前記生徒の感情を推定するステップと、
推定された前記生徒の感情を示すアイコンを前記第2撮影画像に関連付けて前記教師に対して表示するステップと、
を実行させる。
ホストが進行を管理するイベントを撮影した第1撮影画像を取得する第1画像取得部と、
前記第1撮影画像をゲストに対して表示する第1表示制御部と、
前記ゲストを撮影した第2撮影画像を取得する第2画像取得部と、
前記第2撮影画像を前記ホストに対して表示する第2表示制御部と、
前記ゲストの感情を推定する感情推定部と、
を備え、
前記第2表示制御部は、推定された前記ゲストの感情を示すアイコンを前記第2撮影画像に関連付けて前記ホストに対して表示する。
前記第2表示制御部は、前記第2撮影画像およびアイコンを前記ホストの視線方向に見える実際の映像に重ねて表示する。
前記感情推定部は、前記第2撮影画像から抽出される前記ゲストの目線の動き、前記ゲストの生体センサから取得される生体情報、および、前記ホストからの問いかけに対する前記ゲストからの回答のうちの1つまたは2つ以上に基づいて、前記ゲストの感情を推定する。
前記イベントは作業訓練であり、前記ホストはトレーナーであり、前記ゲストはトレーニーである。
前記イベントは診察であり、前記ホストは医師であり、前記ゲストは患者である。
前記イベンは観光ツアーであり、前記ホストはツアーガイドであり、前記ゲストはツアー参加者である。
ホストが進行を管理するイベントを撮影した第1撮影画像を取得するステップと、
前記第1撮影画像をゲストに対して表示するステップと、
前記ゲストを撮影した第2撮影画像を取得するステップと、
前記第2撮影画像を前記ホストに対して表示するステップと、
前記ゲストの感情を推定するステップと、
推定された前記ゲストの感情を示すアイコンを前記第2撮影画像に関連付けて前記ホストに対して表示するステップと、
を含む。
ホストが進行を管理するイベントを撮影した第1撮影画像を取得するステップと、
前記第1撮影画像をゲストに対して表示するステップと、
前記ゲストを撮影した第2撮影画像を取得するステップと、
前記第2撮影画像を前記ホストに対して表示するステップと、
前記ゲストの感情を推定するステップと、
推定された前記ゲストの感情を示すアイコンを前記第2撮影画像に関連付けて前記ホストに対して表示するステップと、
を実行させる。
特に限定されるものではなく、たとえば、脳波および/または心拍であってもよい。すなわち、生体センサ37は、たとえば、脳波センサであってもよいし、心拍センサであってもよいし、それらの組み合わせであってもよい。
たとえば、当該生徒を撮影した第2撮影画像72aの周囲(たとえば上方)に表示されてもよいし、当該生徒を撮影した第2撮影画像72aの一部に重なるように表示されてもよい。
場合には、当該生徒には質問したいという意思があると判定する。そして、質問したいという意思があると判定された場合には、第2表示制御部224は、感情意思-アイコン紐づけデータベース231を参照し、質問したいという意思があることを示すアイコンを特定し、図5に示すように、特定されたアイコン74を、当該生徒を撮影した第2撮影画像72bに関連付けて表示部25に表示する。これにより、生徒が遠隔からカメラを介して授業に参加している場合であっても、質問したいときには、教室内で実際に着席して授業を受けているときと同様に音声を発するだけで、質問したいという意思があることを迅速かつ円滑に教師に伝えることが可能となる。
像71が生徒に対して表示される。
72a、72bを教師の視線方向に見える実際の映像に重ねて表示してもよい。図5に示すように、第2表示制御部224は、第2撮影画像72a、72bを教室内で実際に着席している他の生徒の上方に表示してもよい。
221と、第1撮影画像71を患者に対して表示する第1表示制御部222と、患者を撮影した第2撮影画像を取得する第2画像取得部223と、第2撮影画像72aを医師に対して表示する第2表示制御部224と、患者の感情を推定する感情推定部225と、を有しており、第2表示制御部224は、推定された患者の感情を示すアイコン73を第2撮影画像72aに関連付けて医師に対して表示してもよい。
2 サーバ
21 通信部
22 制御部
221 第1画像取得部
222 第1表示制御部
223 第2画像取得部
224 第2表示制御部
225 感情推定部
226 音声取得部
23 記憶部
231 感情意思-アイコン紐づけデータベース
24 入力部
25 表示部
26 カメラ
3、3a~3c 端末装置
31 通信部
32 制御部
33 記憶部
34 入力部
35 表示部
36 カメラ
37 生体センサ
4 ネットワーク
71 第1撮影画像
72a、72b 第2撮影画像
73 感情を示すアイコン
74 質問したいという意思を示すアイコン
Claims (9)
- ホストが進行を管理するイベントを撮影した第1撮影画像を取得する第1画像取得部と、
前記第1撮影画像をゲストに対して表示する第1表示制御部と、
前記ゲストを撮影した第2撮影画像を取得する第2画像取得部と、
前記第2撮影画像を前記ホストに対して表示する第2表示制御部と、
前記ゲストの感情を推定する感情推定部と、
を備え、
前記第2表示制御部は、推定された前記ゲストの感情を示すアイコンを前記第2撮影画像に関連付けて前記ホストに対して表示し、
前記第2表示制御部は、推定された前記ゲストの感情の継続時間、検出回数または検出頻度に応じて前記アイコンを強調表示および/または優先表示する、
ことを特徴とするイベント支援システム。 - 前記第2表示制御部は、前記第2撮影画像およびアイコンを前記ホストの視線方向に見える実際の映像に重ねて表示する、
ことを特徴とする請求項1に記載のイベント支援システム。 - 前記ホストの表示部は、前記ホストの頭部に装着され、前記ホストの両眼の視野を覆うように構成された透過型映像表示手段である、
ことを特徴とする請求項2に記載のイベント支援システム。 - 前記感情推定部は、前記第2撮影画像から抽出される前記ゲストの目線の動き、前記ゲストの生体センサから取得される生体情報、および、前記ホストからの問いかけに対する前記ゲストからの回答のうちの1つまたは2つ以上に基づいて、前記ゲストの感情を推定する、
ことを特徴とする請求項1~3のいずれかに記載のイベント支援システム。 - 前記イベントは作業訓練であり、前記ホストはトレーナーであり、前記ゲストはトレーニーである、
ことを特徴とする請求項1~4のいずれかに記載のイベント支援システム。 - 前記イベントは診察であり、前記ホストは医師であり、前記ゲストは患者である、
ことを特徴とする請求項1~4のいずれかに記載のイベント支援システム。 - 前記イベントは観光ツアーであり、前記ホストはツアーガイドであり、前記ゲストはツ
アー参加者である、
ことを特徴とする請求項1~4のいずれかに記載のイベント支援システム。 - コンピュータが実行するイベント支援方法であって、
ホストが進行を管理するイベントを撮影した第1撮影画像を取得するステップと、
前記第1撮影画像をゲストに対して表示するステップと、
前記ゲストを撮影した第2撮影画像を取得するステップと、
前記第2撮影画像を前記ホストに対して表示するステップと、
前記ゲストの感情を推定するステップと、
推定された前記ゲストの感情を示すアイコンを前記第2撮影画像に関連付けて前記ホストに対して表示するステップであって、推定された前記ゲストの感情の継続時間、検出回数または検出頻度に応じて前記アイコンを強調表示および/または優先表示するステップと、
を含むことを特徴とするイベント支援方法。 - コンピュータに、
ホストが進行を管理するイベントを撮影した第1撮影画像を取得するステップと、
前記第1撮影画像をゲストに対して表示するステップと、
前記ゲストを撮影した第2撮影画像を取得するステップと、
前記第2撮影画像を前記ホストに対して表示するステップと、
前記ゲストの感情を推定するステップと、
推定された前記ゲストの感情を示すアイコンを前記第2撮影画像に関連付けて前記ホストに対して表示するステップであって、推定された前記ゲストの感情の継続時間、検出回数または検出頻度に応じて前記アイコンを強調表示および/または優先表示するステップと、
を実行させることを特徴とするイベント支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022200080A JP7442611B2 (ja) | 2021-10-13 | 2022-12-15 | イベント支援システム、イベント支援方法、イベント支援プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021168331A JP7263475B1 (ja) | 2021-10-13 | 2021-10-13 | 授業支援システム、授業支援方法、授業支援プログラム |
JP2022200080A JP7442611B2 (ja) | 2021-10-13 | 2022-12-15 | イベント支援システム、イベント支援方法、イベント支援プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168331A Division JP7263475B1 (ja) | 2021-10-13 | 2021-10-13 | 授業支援システム、授業支援方法、授業支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023058477A JP2023058477A (ja) | 2023-04-25 |
JP7442611B2 true JP7442611B2 (ja) | 2024-03-04 |
Family
ID=86054448
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168331A Active JP7263475B1 (ja) | 2021-10-13 | 2021-10-13 | 授業支援システム、授業支援方法、授業支援プログラム |
JP2022200080A Active JP7442611B2 (ja) | 2021-10-13 | 2022-12-15 | イベント支援システム、イベント支援方法、イベント支援プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168331A Active JP7263475B1 (ja) | 2021-10-13 | 2021-10-13 | 授業支援システム、授業支援方法、授業支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7263475B1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039934A (ja) | 2009-08-17 | 2011-02-24 | Tokai Univ | 感情推定システム及びそれを利用した学習システム |
JP2012059107A (ja) | 2010-09-10 | 2012-03-22 | Nec Corp | 感情推定装置、感情推定方法およびプログラム |
WO2018225218A1 (ja) | 2017-06-08 | 2018-12-13 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
JP2018205638A (ja) | 2017-06-08 | 2018-12-27 | 大和ハウス工業株式会社 | 集中度評価機構 |
JP2019153303A (ja) | 2018-03-01 | 2019-09-12 | 学校法人玉川学園 | 情報処理装置、情報処理方法、及びプログラム |
JP2020080154A (ja) | 2018-11-09 | 2020-05-28 | 株式会社テンアップ | 情報処理システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0349575U (ja) * | 1989-09-20 | 1991-05-15 | ||
JP4631014B2 (ja) * | 2004-07-07 | 2011-02-16 | 学校法人東海大学 | 電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラム |
JP7232094B2 (ja) * | 2019-03-25 | 2023-03-02 | 株式会社Subaru | 車両の制御装置、車両の制御方法及びプログラム |
-
2021
- 2021-10-13 JP JP2021168331A patent/JP7263475B1/ja active Active
-
2022
- 2022-12-15 JP JP2022200080A patent/JP7442611B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039934A (ja) | 2009-08-17 | 2011-02-24 | Tokai Univ | 感情推定システム及びそれを利用した学習システム |
JP2012059107A (ja) | 2010-09-10 | 2012-03-22 | Nec Corp | 感情推定装置、感情推定方法およびプログラム |
WO2018225218A1 (ja) | 2017-06-08 | 2018-12-13 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
JP2018205638A (ja) | 2017-06-08 | 2018-12-27 | 大和ハウス工業株式会社 | 集中度評価機構 |
JP2019153303A (ja) | 2018-03-01 | 2019-09-12 | 学校法人玉川学園 | 情報処理装置、情報処理方法、及びプログラム |
JP2020080154A (ja) | 2018-11-09 | 2020-05-28 | 株式会社テンアップ | 情報処理システム |
Non-Patent Citations (1)
Title |
---|
TeacherView,Internet Archive [online],2021年05月09日,https://web.archive.org/web/20210509125010/https://teacherview.jp/,[検索日:2022年11月9日] |
Also Published As
Publication number | Publication date |
---|---|
JP2023061407A (ja) | 2023-05-02 |
JP7263475B1 (ja) | 2023-04-24 |
JP2023058477A (ja) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643487B2 (en) | Communication and skills training using interactive virtual humans | |
Damian et al. | Augmenting social interactions: Realtime behavioural feedback using social signal processing techniques | |
Kuhn et al. | gPhysics—Using smart glasses for head-centered, context-aware learning in physics experiments | |
US10089895B2 (en) | Situated simulation for training, education, and therapy | |
JP5949143B2 (ja) | 情報処理装置および情報処理方法 | |
TW201830354A (zh) | 採用面部追蹤和情緒檢測的互動式自我調整培訓學習管理系統和相關方法 | |
Levon | 10 Ethnography and recording interaction | |
Stickler et al. | Eye movements of online Chinese learners | |
US20110262887A1 (en) | Systems and methods for gaze based attention training | |
Campoy-Cubillo et al. | Assessing multimodal listening | |
US20220028296A1 (en) | Information processing apparatus, information processing method, and computer program | |
JP4631014B2 (ja) | 電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラム | |
JP7492294B2 (ja) | 学習システム、学習講義提供方法、およびプログラム | |
JP2014235558A (ja) | 協働活動支援装置 | |
Durrant et al. | Design to support interpersonal communication in the special educational needs classroom | |
JP6534893B2 (ja) | 情報処理装置 | |
JP7442611B2 (ja) | イベント支援システム、イベント支援方法、イベント支援プログラム | |
EP3948823A1 (en) | Assessment and training system | |
US20210295727A1 (en) | Information processing apparatus, information processing method, and program | |
Lian et al. | Evaluating user interface of a mobile augmented reality coloring application for children with autism: An eye-tracking investigation | |
JP2014235557A (ja) | 協働活動支援システム | |
Kaminskienė et al. | Mobile eye tracking evoked teacher self-reflection about teaching practices and behavior towards students in higher education | |
Olga et al. | ASSESSMENT UNDER COVID-19: EXPLORING UNDERGRADUATE STUDENTS’ATTITUDES TOWARDS THEIR ONLINE THESIS PROPOSAL PRESENTATIONS VS. FACE-TO-FACE | |
JP2020194144A (ja) | 情報処理装置、制御方法及びプログラム | |
Greenwald et al. | Eva: Exploratory learning with virtual companions sharing attention and context |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7442611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |