JP7279121B2 - ユーザ行動支援装置、方法およびプログラム - Google Patents
ユーザ行動支援装置、方法およびプログラム Download PDFInfo
- Publication number
- JP7279121B2 JP7279121B2 JP2021143051A JP2021143051A JP7279121B2 JP 7279121 B2 JP7279121 B2 JP 7279121B2 JP 2021143051 A JP2021143051 A JP 2021143051A JP 2021143051 A JP2021143051 A JP 2021143051A JP 7279121 B2 JP7279121 B2 JP 7279121B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- audience
- processing unit
- masking
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000009471 action Effects 0.000 title claims description 29
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 169
- 230000000873 masking effect Effects 0.000 claims description 89
- 230000008569 process Effects 0.000 claims description 40
- 230000006996 mental state Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 10
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000002040 relaxant effect Effects 0.000 claims description 5
- 239000002304 perfume Substances 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims 1
- 239000004984 smart glass Substances 0.000 description 34
- 238000004891 communication Methods 0.000 description 20
- 239000000463 material Substances 0.000 description 18
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000036544 posture Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 235000008216 herbs Nutrition 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 125000003118 aryl group Chemical group 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 150000002926 oxygen Chemical class 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
(構成例)
(1)システム
図1は、この発明の第1の実施形態に係るユーザ行動支援装置として機能するサーバ装置SVaを備えたプレゼンテーション支援システムの構成を示す図である。
図2および図3は、それぞれサーバ装置SVaのハードウェア構成およびソフトウェア構成を示すブロック図である。
次に、以上のように構成されたサーバ装置SVaの動作例を説明する。
サーバ装置SVaの制御部1aは、サービスの開始に先立ち学習モードを設定し、サービス対象のユーザUSについてマスク対象の聴衆を判定するための学習モデルを作成する。なお、学習モデルは、ユーザの個性に応じてユーザUSごとに作成されるのが好ましいが、複数のユーザUSに対し共通に作成されてもよい。
上記学習モデルの作成が終了し、ユーザUSがプレゼンテーションの開始要求を携帯端末UTにおいて入力し、この開始要求が携帯端末UTからサーバ装置SVaに通知されると、サーバ装置SVaの制御部1aはプレゼンテーションモードを設定する。そして、以下の手順に従いユーザUSのプレゼンテーションを支援する処理を実行する。
サーバ装置SVaの制御部1aは、ステップS20において上記プレゼンテーションの開始要求を受信すると、バイタルデータ取得処理部12の制御の下、ステップS21においてユーザUSのバイタルデータを取得する。バイタルデータは、プレゼンテーション中のユーザUSのウェアラブル端末WTにより測定され、このウェアラブル端末WTから携帯端末UTを介してサーバ装置SVaに送られる。なお、スマートグラスSGにおいて、ユーザUSの頭部の動揺や瞬きや震え等のような、ユーザUSの心理状態が反映された動きデータが得られる場合、バイタルデータ取得処理部12は上記動きデータをバイタルデータの1つとして取得するようにしてもよい。
サーバ装置SVaの制御部1aは、先ずステップS24において、映像データ取得処理部14の制御の下、聴衆の様子を撮像した映像データを取得する。上記映像データは、スマートグラスSGに設けられたカメラにより撮像され、このスマートグラスSGから携帯端末UTを介してサーバ装置SVaに送られる。
なお、上記特徴量の抽出処理は、専用の学習モデルを事前に作成しておき、作成された当該学習モデルを用いて実行するようにしてもよい。
上記マスク処理の対象となる聴衆が特定されると、サーバ装置SVaの制御部1aは、マスキング処理部16の制御の下、ステップS29によりマスクパターンを読み出す。そして、ステップS30において、上記マスク対象判定処理部15から渡された、マスク処理の対象となる聴衆の映像データ中の位置座標と、読み出された上記マスクパターンとを含むマスキングデータを生成し、生成されたマスキングデータを通信I/F部4から携帯端末UTに向け送信する。
サーバ装置SVaの制御部1aは、上記マスキングデータの送信が終了すると、ステップS31においてプレゼンテーションの終了判定を行う。そして、プレゼンテーションが続いていれば、ステップS21に戻ってステップS21~S30によるプレゼンテーション支援処理を繰り返し実行する。
なお、以上の説明では、ユーザUSに対し過度の緊張感または威圧感を与えている聴衆をマスクするネガティブモードの場合を例にとって説明した。しかし、その一方でユーザUSは、例えば聴衆の居眠りや無表情等といった無関心な受講態度が見られる場合、自身のプレゼンテーションに対し不安感を覚えたり、集中度が低下することも想定される。
以上述べたように第1の実施形態では、サーバ装置SVaが、ユーザUSのプレゼンテーション中に、ユーザUSのバイタルデータを取得して、このバイタルデータをもとにユーザUSの心理状態を判定する。そして、ユーザUSの心理状態が過度の緊張または集中度の低下により不安定な状態にあると判定された場合に、聴衆を撮像した映像データを取得して、この映像データをもとに聴衆1人ひとりの特徴量を抽出し、抽出された特徴量を学習モデルに入力することでマスク処理対象の聴衆を特定する。そして、特定された上記マスク処理対象の聴衆の上記映像データ中の位置座標とマスクパターンとを含むマスキングデータを、携帯端末UTを介してスマートグラスSGに送り、スマートグラスSGにおいて該当する聴衆をマスクパターンによりマスクするようにしている。
この発明の第2の実施形態は、プレゼンテーション中のユーザUSについて、その心理状態にかかわらず、ユーザUSがマスク対象として事前に設定した特徴を有する聴衆に対しマスク処理を行い、この状態でユーザUSの心理状態を判定して心理状態が不安定な場合に、上記マスク対象の聴衆に対するマスク処理を変更し、このマスク処理の変更後もユーザUSの心理状態が改善されない場合には他の外的な追加対策を実行するようにしたものである。
図6は、この発明の第2の実施形態に係るユーザ装置として機能するサーバ装置SVbのソフトウェア構成を示すブロック図である。
なお、サーバ装置SVbのハードウェア構成は第1の実施形態(図2)と同一なので、ここでは説明を省略する。また、サーバ装置SVbの制御部1bが備える各処理部およびデータ記憶部3bが備える各記憶部についても、第1の実施形態(図3)と同一部分には同一符号を付し、詳しい説明は省略する。
次に、以上のように構成されたサーバ装置SVbの動作例を説明する。
(1-1)聴衆に対するマスク判定処理
プレゼンテーションの開始要求をステップS40で受信すると、サーバ装置SVbの制御部1bは、先ずステップS41において、映像データ取得処理部14の制御の下、聴衆の様子を撮像した映像データを取得する。上記映像データは、スマートグラスSGに設けられたカメラにより撮像され、このスマートグラスSGから携帯端末UTを介してサーバ装置SVaに送られる。
上記マスク処理の対象となる聴衆が特定されると、サーバ装置SVbの制御部1bは、マスキング処理部16の制御の下、ステップS46によりマスクパターンを読み出す。そして、ステップS47において、上記マスク対象判定処理部15から渡された、マスク処理の対象となる聴衆の映像データ中の位置座標と、読み出された上記マスクパターンとを含むマスキングデータを生成し、生成されたマスキングデータを通信I/F部4から携帯端末UTに向け送信する。
上記聴衆に対するマスク処理が終了すると、サーバ装置SVbの制御部1bは、次にステップS48において、バイタルデータ取得処理部12の制御の下、ユーザUSのバイタルデータを取得する。バイタルデータは、プレゼンテーション中のユーザUSのウェアラブル端末WTにより測定され、このウェアラブル端末WTから携帯端末UTを介してサーバ装置SVbに送られる。
これに対し、上記バイタルデータが第2の判定条件に該当したとする。すなわち、ユーザUSの心理状態が、例えば過度の緊張により不安定な状態になり、かつこの状態が一定期間継続していると判定されたとする。この場合、サーバ装置SVbの制御部1bは、対策追加制御処理部17の制御の下、ステップS51においてマスクパターンの変更処理が実行済か否かを判定する。そして、まだ変更していなければ、対策追加制御処理部17はステップS52に移行して、マスキング処理部16に対しマスクパターンの変更を指示する。
一方、上記ステップS52においてマスクパターンは変更済みと判定されたとする。この場合、対策追加制御処理部17はステップS53に移行し、追加対策情報記憶部34から追加対策情報を読み出して、この追加対策情報に従いその他の外的追加対策を実行する。外的追加対策としては、以下のような対策が考えられる。
以上述べたように第2の実施形態では、プレゼンテーション中のユーザUSについて、先ずユーザUSがマスク対象として事前に設定した特徴を有する聴衆に対しマスク処理を実行し、この状態でユーザUSの心理状態を判定して心理状態が不安定な状態であれば、上記マスク対象の聴衆に対するマスク処理を変更し、変更後もユーザUSの心理状態が改善されない場合には他の外的な追加対策を実行するようにしている。
前記第1の実施形態においても、前記第2の実施形態と同様に、マスク処理後のユーザUSの心理状態の変化に応じて、マスクパターンの変更処理および外的な追加対策を実行するようにしてもよい。
UT…携帯端末
SG…スマートグラス
WT…ウェアラブル端末
NW…ネットワーク
1a,1b…制御部
2a,2b…プログラム記憶部
3a,3b…データ記憶部
4…通信I/F部
5…バス
11…学習モデル作成処理部
12…バイタルデータ取得処理部
13…ユーザ状態判定処理部
14…映像データ取得処理部
15…マスク対象判定処理部
16…マスキング処理部
17…対策追加制御処理部
31…学習モデル記憶部
32…判定条件記憶部
33…マスクパターン記憶部
34…追加対策情報記憶部
Claims (11)
- ユーザが複数の聴衆と対面する状態で情報を伝達する行動を支援するユーザ行動支援装置であって、
前記ユーザの心理状態が反映された第1のセンシング情報を取得する第1の取得処理部と、
前記聴衆を含む前記ユーザの視野範囲に相当する撮像映像をもとに、前記聴衆の前記ユーザに対する注目状態が反映された第2のセンシング情報を取得する第2の取得処理部と、
取得された前記第1のセンシング情報に基づいて、前記ユーザの心理状態が前記聴衆からの影響に対する制御が必要であるか否かを判定するユーザ状態判定処理部と、
取得された前記第2のセンシング情報に基づいて、マスク処理の対象となる聴衆を判定するマスク対象判定処理部と、
前記ユーザ状態判定処理部の判定結果および前記マスク対象判定処理部の判定結果に基づいて、前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行するマスキング処理部と
を具備するユーザ行動支援装置。 - 前記マスク対象判定処理部は、前記ユーザ状態判定処理部により前記ユーザの心理状態が前記聴衆からの影響に対する制御が必要であると判定された場合に、前記第2のセンシング情報に基づいて前記マスク処理の対象となる聴衆を判定し、
前記マスキング処理部は、前記マスク対象判定処理部により前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行する、
請求項1に記載のユーザ行動支援装置。 - 前記マスキング処理部は、
前記マスク対象判定処理部により前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行する処理部と、
前記マスク処理が行われた状態で、前記ユーザ状態判定処理部の前記判定結果に基づいて前記マスク処理の維持または変更を行うための制御を実行する処理部と
を備える、請求項1に記載のユーザ行動支援装置。 - 前記マスク対象判定処理部は、前記第2のセンシング情報に基づいて、前記聴衆のうち前記ユーザに対し前記注目状態を一定期間以上継続している聴衆を前記マスク処理の対象と判定する、請求項1に記載のユーザ行動支援装置。
- 前記マスク対象判定処理部は、前記第2のセンシング情報に基づいて、前記聴衆のうち前記ユーザに対し前記注目状態を一定期間以上継続していない聴衆を前記マスク処理の対象と判定する、請求項1に記載のユーザ行動支援装置。
- 前記第2の取得処理部は、前記第2のセンシング情報として、前記聴衆の前記ユーザに対する顔の向きまたは視線の方向を表す情報と、前記聴衆の前記ユーザに対する表情または姿勢を表す情報との少なくとも一方を取得する、請求項1に記載のユーザ行動支援装置。
- 前記マスキング処理部は、前記マスク処理の対象と判定された前記聴衆のマスク対象部位を予め用意された代替画像に置換するための制御を実行する、請求項1に記載のユーザ行動支援装置。
- 前記マスク処理が行われた状態で、前記ユーザ状態判定処理部の前記判定結果に基づいて、前記ユーザの心理状態が予め設定された平常状態に改善したか否かを判定し、前記ユーザの心理状態が前記平常状態に改善しないと判定された場合に、前記ユーザに対し前記心理状態を前記平常状態に改善させるための追加対策に係る制御を実行する対策追加制御処理部をさらに具備する、請求項1に記載のユーザ行動支援装置。
- 前記対策追加制御処理部は、前記追加対策として、前記ユーザの前記心理状態をリラックスさせるための音、香料、振動およびメッセージの少なくとも1つを前記ユーザに向け出力する、請求項8に記載のユーザ行動支援装置。
- ユーザが複数の聴衆と対面する状態で情報を伝達する行動を支援する機能を有する情報処理装置が実行するユーザ行動支援方法であって、
前記ユーザの心理状態が反映された第1のセンシング情報を取得する過程と、
前記聴衆を含む前記ユーザの視野範囲に相当する撮像映像をもとに、前記聴衆の前記ユーザに対する注目状態が反映された第2のセンシング情報を取得する過程と、
取得された前記第1のセンシング情報に基づいて、前記ユーザの心理状態が前記聴衆からの影響に対する制御が必要であるか否かを判定するユーザ状態判定過程と、
取得された前記第2のセンシング情報に基づいて、マスク処理の対象となる聴衆を判定するマスク対象判定過程と、
前記ユーザ状態判定過程の判定結果および前記マスク対象判定過程の判定結果に基づいて、前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行する過程と
を具備するユーザ行動支援方法。 - 請求項1乃至9のいずれかに記載のユーザ行動支援装置が具備する前記各処理部による処理を、前記ユーザ行動支援装置が備えるプロセッサに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021143051A JP7279121B2 (ja) | 2021-09-02 | 2021-09-02 | ユーザ行動支援装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021143051A JP7279121B2 (ja) | 2021-09-02 | 2021-09-02 | ユーザ行動支援装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023036171A JP2023036171A (ja) | 2023-03-14 |
JP7279121B2 true JP7279121B2 (ja) | 2023-05-22 |
Family
ID=85508537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021143051A Active JP7279121B2 (ja) | 2021-09-02 | 2021-09-02 | ユーザ行動支援装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7279121B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024048188A (ja) * | 2022-09-27 | 2024-04-08 | 株式会社Jvcケンウッド | ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法、およびプログラム |
-
2021
- 2021-09-02 JP JP2021143051A patent/JP7279121B2/ja active Active
Non-Patent Citations (1)
Title |
---|
葛西 響子 他3名,コウテイカボチャ:聴衆に肯定的な反応を重畳する発表時緊張感緩和手法,情報処理学会研究報告ヒューマンコンピュータインタラクション,日本,一般社団法人情報処理学会,2014年10月07日,2014巻8号,1-8ページ |
Also Published As
Publication number | Publication date |
---|---|
JP2023036171A (ja) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220270316A1 (en) | Avatar customization for optimal gaze discrimination | |
US20200117269A1 (en) | Technique for controlling virtual image generation system using emotional states of user | |
JP2022008583A (ja) | 反射を利用する拡張現実システムおよび方法 | |
KR20190027354A (ko) | 비전 성능 데이터를 획득, 분석 및 생성하고 비전 성능 데이터에 기반하여 미디어를 수정하기 위한 방법 및 시스템 | |
US12093457B2 (en) | Creation of optimal working, learning, and resting environments on electronic devices | |
JP2006293979A (ja) | コンテンツ提供システム | |
US20230282080A1 (en) | Sound-based attentive state assessment | |
JP7279121B2 (ja) | ユーザ行動支援装置、方法およびプログラム | |
EP4314998A1 (en) | Stress detection | |
CN116368529A (zh) | 基于当前用户外观的用户的表示 | |
US20230229246A1 (en) | Optimization on an input sensor based on sensor data | |
JP7131542B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2023283161A1 (en) | Enhanced meditation experience based on bio-feedback | |
US20240164677A1 (en) | Attention detection | |
JP6713526B1 (ja) | Vdt症候群及び繊維筋痛症の改善 | |
US20240221301A1 (en) | Extended reality assistance based on user understanding | |
US20230259203A1 (en) | Eye-gaze based biofeedback | |
US20230288985A1 (en) | Adjusting image content to improve user experience | |
US20230418372A1 (en) | Gaze behavior detection | |
Tran | Design and evaluation of techniques to improve user comfort during prolonged use of virtual reality. | |
JP2024046864A (ja) | 情報処理装置および恐怖症改善支援方法 | |
JP2024046866A (ja) | 情報処理装置および恐怖症改善支援方法 | |
JP2024046867A (ja) | 情報処理装置および恐怖症改善支援方法 | |
JP2024046865A (ja) | 情報処理装置および恐怖症改善支援方法 | |
JP2024041678A (ja) | 生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210902 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7279121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |