JPWO2022025024A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2022025024A5
JPWO2022025024A5 JP2022539466A JP2022539466A JPWO2022025024A5 JP WO2022025024 A5 JPWO2022025024 A5 JP WO2022025024A5 JP 2022539466 A JP2022539466 A JP 2022539466A JP 2022539466 A JP2022539466 A JP 2022539466A JP WO2022025024 A5 JPWO2022025024 A5 JP WO2022025024A5
Authority
JP
Japan
Prior art keywords
reaction
participant
biological
displayed
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022539466A
Other languages
English (en)
Other versions
JP7197957B2 (ja
JPWO2022025024A1 (ja
Filing date
Publication date
Priority claimed from PCT/JP2020/029466 external-priority patent/WO2022024353A1/ja
Application filed filed Critical
Publication of JPWO2022025024A1 publication Critical patent/JPWO2022025024A1/ja
Publication of JPWO2022025024A5 publication Critical patent/JPWO2022025024A5/ja
Application granted granted Critical
Publication of JP7197957B2 publication Critical patent/JP7197957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (10)

  1. 複数人の参加者でオンラインセッションが行われる環境において、上記参加者の生体反応を解析する反応解析システムであって、
    上記オンラインセッション中に上記参加者のユーザ端末から送信される動画像を取得する動画像取得部と、
    上記動画像取得部により取得された動画像に基づいて、少なくとも上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されていない参加者である非表示参加者について、生体反応の変化を解析する生体反応解析部と、
    上記生体反応解析部により少なくとも上記非表示参加者について解析された上記生体反応の変化を示す情報を提示する反応情報提示部とを備え
    上記生体反応解析部は、上記動画像取得部により取得された動画像にける音声に基づいて、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかを解析し、
    上記反応情報提示部は、上記オンラインセッション中に上記共有資料のどの部分が表示されているときに参加者が声を出したかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
    ことを特徴とする反応解析システム。
  2. 上記生体反応解析部は、上記動画像取得部により取得された動画像に基づいて、上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されている参加者である表示参加者についても、上記生体反応の変化を解析し、
    上記反応情報提示部は、上記生体反応解析部により上記非表示参加者および上記表示参加者について解析された上記生体反応の変化を示す情報を提示する
    ことを特徴とする請求項1に記載の反応解析システム。
  3. 上記生体反応解析部は、上記動画像取得部により取得された動画像にける顔画像に基づいて、目線の動きおよび顔の動きの少なくとも一方に関する生体反応の変化を解析することにより、参加者が上記画面に表示されている共有資料のどこを見ているかを解析し、
    上記反応情報提示部は、上記参加者が上記画面に表示されている共有資料のどこを見ているかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
    ことを特徴とする請求項1または2に記載の反応解析システム。
  4. 上記反応情報提示部は、上記生体反応の変化を示す情報を上記オンラインセッションの主催者に提示することを特徴とする請求項1~の何れか1項に記載の反応解析システム。
  5. 上記生体反応の変化を示す情報を上記主催者に提示するか否かを、上記主催者または上記参加者が指定可能としたことを特徴とする請求項に記載の反応解析システム。
  6. 上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記参加者の感情の変化を解析し、
    上記反応情報提示部は、上記生体反応の変化を示す情報に代えてまたは加えて、上記感情の変化を示す情報を提示する
    ことを特徴とする請求項1~の何れか1項に記載の反応解析システム。
  7. 複数人の参加者で行われるオンラインセッション中に上記参加者について得られる動画像に基づいて、少なくとも上記オンラインセッション中にユーザ端末の画面に顔画像が表示されていない参加者である非表示参加者について、生体反応の変化を解析する生体反応解析部と、
    上記生体反応解析部により少なくとも上記非表示参加者について解析された上記生体反応の変化を示す情報を提示する反応情報提示部とを備え
    上記生体反応解析部は、上記動画像にける音声に基づいて、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかを解析し、
    上記反応情報提示部は、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
    ことを特徴とする請求項8または9に記載の反応解析装置。
  8. 上記生体反応解析部は、上記動画像に基づいて、上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されている参加者である表示参加者についても、上記生体反応の変化を解析し、
    上記反応情報提示部は、上記生体反応解析部により上記非表示参加者および上記表示参加者について解析された上記生体反応の変化を示す情報を提示する
    ことを特徴とする請求に記載の反応解析装置。
  9. 上記生体反応解析部は、上記動画像にける顔画像に基づいて、目線の動きおよび顔の動きの少なくとも一方に関する生体反応の変化を解析することにより、参加者が上記画面に表示されている共有資料のどこを見ているかを解析し、
    上記反応情報提示部は、上記参加者が上記画面に表示されている共有資料のどこを見ているかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
    ことを特徴とする請求項またはに記載の反応解析装置。
  10. 上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記参加者の感情の変化を解析し、
    上記反応情報提示部は、上記生体反応の変化を示す情報に代えてまたは加えて、上記感情の変化を示す情報を提示する
    ことを特徴とする請求項10の何れか1項に記載の反応解析装置。
JP2022539466A 2020-07-31 2021-07-27 反応解析システムおよび反応解析装置 Active JP7197957B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/029466 WO2022024353A1 (ja) 2020-07-31 2020-07-31 反応解析システム
JPPCT/JP2020/029466 2020-07-31
PCT/JP2021/027637 WO2022025024A1 (ja) 2020-07-31 2021-07-27 反応解析システムおよび反応解析装置

Publications (3)

Publication Number Publication Date
JPWO2022025024A1 JPWO2022025024A1 (ja) 2022-02-03
JPWO2022025024A5 true JPWO2022025024A5 (ja) 2022-09-07
JP7197957B2 JP7197957B2 (ja) 2022-12-28

Family

ID=80035326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539466A Active JP7197957B2 (ja) 2020-07-31 2021-07-27 反応解析システムおよび反応解析装置

Country Status (2)

Country Link
JP (1) JP7197957B2 (ja)
WO (2) WO2022024353A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333570B1 (ja) * 2022-12-21 2023-08-25 株式会社Shift プログラム、方法、情報処理装置、システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4287770B2 (ja) * 2004-03-18 2009-07-01 日本電信電話株式会社 情報伝達方法及びこの方法を実現するための通信装置とそのプログラム
JP2007213364A (ja) * 2006-02-10 2007-08-23 Nec Corp 画像変換装置、画像変換方法及び画像変換プログラム
JP2008294724A (ja) * 2007-05-24 2008-12-04 Panasonic Corp 画像受信装置
JP2011065467A (ja) * 2009-09-17 2011-03-31 Sharp Corp 会議中継装置及びコンピュータプログラム
US10868999B2 (en) * 2016-02-03 2020-12-15 Hewlett-Packard Development Company, L.P. Eye gaze angle feedback in a remote meeting
US10586131B2 (en) * 2017-07-11 2020-03-10 International Business Machines Corporation Multimedia conferencing system for determining participant engagement

Similar Documents

Publication Publication Date Title
Hessels et al. Gaze allocation in face-to-face communication is affected primarily by task structure and social context, not stimulus-driven factors
Damian et al. Augmenting social interactions: Realtime behavioural feedback using social signal processing techniques
Huang et al. Sharing hand gesture and sketch cues in remote collaboration
Mower et al. Rachel: Design of an emotionally targeted interactive agent for children with autism
US20160042648A1 (en) Emotion feedback based training and personalization system for aiding user performance in interactive presentations
Lopez et al. Postural communication of emotion: Perception of distinct poses of five discrete emotions
Horstmann et al. More efficient rejection of happy than of angry face distractors in visual search
Aigrain et al. Person-specific behavioural features for automatic stress detection
US11417045B2 (en) Dialog-based testing using avatar virtual assistant
KR20200043658A (ko) Vr 발표 및 면접 훈련 시스템
Akkil et al. Gaze augmentation in egocentric video improves awareness of intention
JPWO2022025024A5 (ja)
El Haddioui et al. Learner behavior analysis through eye tracking
Wegner-Clemens et al. A relationship between autism-spectrum quotient and face viewing behavior in 98 participants
CN111341444A (zh) 智能绘画评分方法及系统
Pereira et al. Communication skills training intervention based on automated recognition of nonverbal signals
Mayrand et al. A dual mobile eye tracking study on natural eye contact during live interactions
WO2022024353A1 (ja) 反応解析システム
Perugia et al. On the role of personality and empathy in human-human, human-agent, and human-robot mimicry
Sauter et al. Behind the screens: Exploring eye movement visualization to optimize online teaching and learning
Faita et al. Natural user interface to assess social skills in autistic population
Jáuregui et al. Toward automatic detection of acute stress: Relevant nonverbal behaviors and impact of personality traits
Mega et al. Intuitive face judgments rely on holistic eye movement pattern
JP6583754B2 (ja) 情報処理装置、ミラーデバイス、プログラム
Simeoli et al. A comparison between digital and traditional tools to assess autism: effects on engagement and performance.