WO2023188904A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2023188904A1
WO2023188904A1 PCT/JP2023/004997 JP2023004997W WO2023188904A1 WO 2023188904 A1 WO2023188904 A1 WO 2023188904A1 JP 2023004997 W JP2023004997 W JP 2023004997W WO 2023188904 A1 WO2023188904 A1 WO 2023188904A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
information
degree
change
output mode
Prior art date
Application number
PCT/JP2023/004997
Other languages
English (en)
French (fr)
Inventor
直之 川畑
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023188904A1 publication Critical patent/WO2023188904A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the feature amounts include, for example, the position of the eyes, the line of sight, the position of the face, the direction of the face, the expression, the posture, and the movement of the trainee 20. Size etc. may also be included.
  • FIG. 3 is a block diagram showing a configuration example of the information processing device 10 according to the present embodiment.
  • Examples of the above-mentioned sensors include an image sensor, an infrared sensor, an acceleration sensor, a gyro sensor, a microphone, and a pulse sensor.
  • the state acquisition unit 120 may acquire the environmental state in which the trainee 20 or the user 30 is placed.
  • one of the features of the estimation unit 150 is that it estimates the user's attention level using the estimation model 155 generated by deep reinforcement learning.
  • the estimation unit 150 may calculate the degree of caution based on the degree of change in the output mode of the output information determined by the estimation model 155.
  • the output control unit 170 may control the dynamic display of the attention level continuously estimated by the estimation unit 150.
  • the output control unit 170 controls the attention level visualization object 320 located in the lower right area of the display unit 180 to be highlighted based on the attention level calculated by the estimation unit 150.
  • the information processing device controls output of the content based on the attention level for each of the plurality of contents being output.
  • the output control unit controls dynamic display of the attention level continuously estimated by the estimation unit;
  • the output control unit controls output of the output information based on the attention level of each of the plurality of users.
  • the information processing device according to any one of (12) to (16) above.

Abstract

【課題】ユーザの注意の強弱、注意の空間的な広がりを精度高く推定する。 【解決手段】ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部、を備え、前記推定部は、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定する、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、出力される情報に対しユーザがどれだけ注意を向けているかを推定する技術が開発されている。例えば、特許文献１には、表示される情報の変化に対するユーザの眼球運動の変化に基づき当該ユーザの注意レベルを推定する技術が開示されている。
特開２０１９－１１１２９１号公報
　しかし、特許文献１に開示される技術は、注意の強弱、注意の空間的な広がりを十分に考慮できているとは言い難い。
　本開示のある観点によれば、ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部、を備え、前記推定部は、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定する、情報処理装置が提供される。
　また、本開示の別の観点によれば、プロセッサが、ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定すること、を含み、前記推定することは、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定すること、をさらに含む、情報処理方法が提供される。
　また、本開示の別の観点によれば、コンピュータを、ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部、を備え、前記推定部は、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定する、情報処理装置、として機能させるプログラムが提供される。
本開示の一実施形態に係る訓練用情報３１０の出力態様の変化と当該出力態様の変化に対する訓練者２０の指摘について説明するための図である。 同実施形態に係る推定モデル１５５の学習サイクルの概要について説明するための図である。 同実施形態に係る情報処理装置１０の構成例を示すブロック図である。 同実施形態に係る推定モデル１５５の深層強化学習の流れの一例を示すシーケンス図である。 同実施形態に係るダミー情報について説明するための図である。 同実施形態に係る推定モデル１５５を用いた注意度算出および注意度に基づく表示制御の流れの一例を示すシーケンス図である。 同実施形態に係る連続的に推定される注意度の動的表示の制御例について説明するための図である。 同実施形態に係る連続的に推定される注意度の動的表示の制御例について説明するための図である。 同実施形態に係る複数のコンテンツの各々に対する注意度に基づくコンテンツの出力制御例について説明するための図である。 同実施形態に係る注意度に基づく表示オブジェクトの表示制御例について説明するための図である。 同実施形態に係る複数のユーザ３０の各々に係る注意度に基づく出力制御例について説明するための図である。 同実施形態に係る情報処理装置９０のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．概要
　　１．２．システム構成例
　　１．３．推定モデル１５５の深層強化学習の流れ
　　１．４．推定モデル１５５を用いた注意度算出および注意度に基づく表示制御の流れ
　　１．５．注意度に基づく表示制御の具体例
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．概要＞＞
　まず、本開示の一実施形態の概要について述べる。近年、ユーザが出力される情報（以下、出力情報、と称する）に対してどれだけの注意を向けているのかを推定したい、というニーズがある。
　一例としては、情報表示を伴うオンラインミーティングにおいて、ユーザが画面上に表示されるどの情報に注意を向けているかを把握したい等のニーズが挙げられる。
　ユーザが注意を向けている領域、また注意の度合い（強弱）を精度高く推定することにより、例えば、ユーザの関心のある情報を把握する、反対にユーザが見落としている情報を把握する等の様々なメリットを得ることが可能となる。
　ここで、単にユーザが画面上のどの点を見ているかを把握したい場合、各種の視線推定技術を利用することが可能である。
　しかし、一般的な視線推定技術で得られる情報は、視線先の座標位置に過ぎない。これに対し、人は、視線が向いている場合であっても視線先に注意が向いていない場合や、反対に視線が向いていなくてもある対象に強い注意を向けている場合がある。このため、視線のみに基づいてユーザの注意度を精度高く推定することは極めて困難である。
　また、特許文献１には、所定位置における表示情報の変化に対するユーザの反応速度に基づきユーザの注意レベルを推定する技術が開示されている。
　しかし、特許文献１に開示される技術は、ユーザがどの程度の変化に気づけるか、ユーザが画面上のどの領域の変化に気づけるか、を考慮していない。このため、特許文献１に開示される技術では、ユーザの注意の強弱、注意の空間的な広がりを精度高く推定することが困難である。
　また、ユーザの注意度を推定する他の手法としては、例えば、ユーザの注視時間に着目する手法も想定される。
　しかし、ユーザがある対象を長く注視しているほど当該対象に注意が向いていると定義した場合、注視時間は短いが対象に強く注意を向けた状況や、注視はしていないが周辺視野に対象を捉えておりまた当該対象に注意を向けている状況を推定することが困難となる。
　その他、ある状態を示す情報と当該状態におけるユーザの注意度の正解データとを用意し、これらをペアで学習する手法も想定される。
　しかし、注意の強弱、注意の空間的な広がりを定量的に反映した正解データは、本人であっても作成することが困難である。
　本開示の一実施形態に係る技術思想は上述の各点に着目して発想されたものであり、ユーザの注意の強弱、注意の空間的な広がりを精度高く推定することを可能とする。
　このために、本開示の一実施形態に係る情報処理装置１０は、ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部１５０を備える。また、本開示の一実施形態に係る推定部１５０は、訓練者の身体的状態と、出力情報と同種類の訓練用情報の出力態様を変化させた場合に訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき出力情報の出力態様の変化の度合いを決定する推定モデル１５５、を用いて注意度を推定することを特徴の一つとする。
　ここで、上記所定種類とは、出力情報を知覚する感覚の種類を指す。すなわち、本実施形態に係る出力情報は、視覚情報、聴覚情報、触覚情報などであってもよい。なお、以下においては、出力情報が視覚情報、すなわち視覚により知覚される情報である場合を主な例として説明を行う。
　まず、本実施形態に係る推定モデル１５５の学習について概要を述べる。本実施形態に係る推定モデル１５５の学習には、例えば、ニューラルネットワークを用いた深層強化学習手法が用いられる。
　上述したように、本実施形態に係る推定モデル１５５は、訓練者の身体的状態と、訓練用情報の出力態様を変化させた場合に訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき、出力情報（訓練用情報）の出力態様の変化の度合いを決定する学習を行う。
　本実施形態に係る推定モデル１５５は、例えば、上記経験に基づき訓練者に訓練用情報の出力態様の変化が知覚されないよう訓練用情報の出力態様の変化の度合いを決定する学習を行ってもよい。
　図１は、本実施形態に係る訓練用情報３１０の出力態様の変化と当該出力態様の変化に対する訓練者２０の指摘について説明するための図である。
　なお、図１においては、訓練用情報３１０の出力態様が出力（表示）位置である場合が例示される。しかし、上記はあくまで一例であり、出力情報が視覚情報である場合、訓練用情報３１０の出力態様は、有無、形状、色、明度などが含まれる。
　図１の上段には、表示部１８０に表示される訓練用情報３１０と、指摘部１１０を把持する訓練者２０とが示される。
　本実施形態に係る指摘部１１０は、訓練者２０が訓練用情報３１０の出力態様の変化に気づいた場合に当該出力態様の変化を指摘する（すなわち、訓練用情報３１０の出力態様の変化を知覚したことを申告する）ために用いられる構成である。
　本実施形態に係る指摘部１１０は、例えば、マウス等であってもよい。
　例えば、図１の下段右側に示すように、訓練用情報３１０の出力態様の変化に気づいた場合、訓練者２０は指摘部１１０を操作して当該出力態様の変化を指摘する。
　一方、図１の下段左側に示すように、訓練者が訓練用情報３１０の出力態様の変化に気づかない場合、上記のような指摘は行われない。
　本実施形態に係る推定モデル１５５は、訓練者２０の身体的状態および訓練用情報３１０の出力態様を変化させた場合における指摘の有無に基づいて訓練用情報３１０の出力態様の変化の度合いを決定する学習を行う。
　例えば、訓練用情報３１０の出力態様の変化が訓練者２０に指摘されず（すなわち訓練者２０に気づかれず）、当該出力態様の変化の度合いが大きいほど、推定モデル１５５に高い報酬が与えられてもよい。
　図１に示す一例の場合、訓練用情報３１０の表示位置の変化速度（表示部１８０上における移動速度）が速いほど、訓練用情報３１０の表示位置の変化量（表示部１８０上における移動距離）が長いほど、推定モデル１５５に高い報酬が与えられてもよい。
　図２は、本実施形態に係る推定モデル１５５の学習サイクルの概要について説明するための図である。
　本実施形態に係る推定モデル１５５の学習では、まず、図２の左側に示す推定モデル１５５が決定した訓練用情報３１０の出力態様の変化の度合いに基づいて、訓練用情報の表示制御が行われる。
　訓練者２０は、訓練用情報３１０の出力態様の変化を知覚した場合、指摘部１１０を操作して指摘を行う。
　また、この際、訓練者２０の身体的情報を示すセンサ情報１２５が状態取得部１２０により取得される。
　図２に示す一例の場合、センサ情報１２５は、訓練者２０の顔を撮影した画像であってもよい。また、この場合、状態取得部１２０は、カメラであってよい。
　次に、図２の中央に示すように、特徴量抽出部１３０がセンサ情報１２５から訓練者２０の身体的状態に係る特徴量を抽出する。
　センサ情報１２５が、訓練者２０の顔を撮影した画像である場合、上記特徴量には、例えば、訓練者２０の目の位置、視線、顔の位置、顔の向き、表情、姿勢、動作の大きさなどが含まれてもよい。
　次に、図２の右側に示すように、推定モデル１５５が入力された指摘有無および特徴量等に基づいて訓練用情報３１０の出力態様の変化の度合いを決定し、推定モデル１５５が更新される。
　その後、決定された出力態様の変化の度合いに基づき訓練用情報３１０の表示制御が行われ、上述のサイクルが学習終了まで繰り返し実行される。
　以上説明したように、本実施形態に係る推定モデル１５５の学習は、訓練用情報３１０の出力態様の変化に対する訓練者２０の指摘（フィードバック）をリアルタイムに得ながら行われることを特徴の一つとする。
　上述したような手法によれば、訓練用情報３１０の出力態様がどれだけ変化した場合に訓練者２０が当該出力態様の変化を知覚できるか（すなわち、注意の強弱）を訓練者２０の身体的状態と対応付けて学習することが可能となる。
　また、上述したような手法によれば、ある領域における訓練用情報３１０の出力態様の変化を訓練者２０が知覚できるか（すなわち、注意の空間的な広がり）を訓練者２０の身体的状態と対応付けて学習することが可能となる。
　＜＜１．２．システム構成例＞＞
　次に、本実施形態に係るシステム構成例について述べる。本実施形態に係るシステムは、情報処理装置１０を備える。図３は、本実施形態に係る情報処理装置１０の構成例を示すブロック図である。
　図３に示すように、本実施形態に係る情報処理装置１０は、指摘部１１０、状態取得部１２０、特徴量抽出部１３０、推定位置指定部１４０、推定部１５０、記憶部１６０、出力制御部１７０、および表示部１８０を備えてもよい。
　また、本実施形態に係る情報処理装置１０は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット、ヘッドマウント機器、ゲーム機器などであってもよい。
　（指摘部１１０）
　本実施形態に係る指摘部１１０は、訓練者２０が訓練用情報３１０の出力態様の変化を知覚した場合に、当該知覚に係る指摘を行うために用いられる。
　本実施形態に係る指摘部１１０は、例えば、マウス、キーボード、コントローラ、ボタン、レバー、音声認識器、ジェスチャー認識器などであってもよい。
　（状態取得部１２０）
　本実施形態に係る状態取得部１２０は、訓練者２０またはユーザ３０の身体的状態を取得する。このために、本実施形態に係る状態取得部１２０は、各種のセンサを備える。
　上記センサには、例えば、撮像センサ、赤外線センサ、加速度センサ、ジャイロセンサ、マイクロフォン、脈拍センサなどが挙げられる。
　また、状態取得部１２０は、訓練者２０またはユーザ３０が置かれる環境状態を取得してもよい。
　上記環境状態には、例えば、時間、位置、照度、温度、湿度、環境音の強さなどが挙げられる。
　状態取得部１２０は、上記のような環境状態を取得するためのセンサをさらに備えてもよい。
　（特徴量抽出部１３０）
　本実施形態に係る特徴量抽出部１３０は、状態取得部１２０が取得した、訓練者２０またはユーザ３０の身体的状態に係るセンサ情報から特徴量を抽出する。
　本実施形態に係る特徴量抽出部１３０は、各種センサ情報の加工に関し広く用いられる技術を用いて特徴量抽出を行ってよい。
　また、状態取得部１２０が環境状態に係るセンサ情報を取得する場合、特徴量抽出部１３０は、当該センサ情報からの特徴量抽出も行ってよい。
　（推定位置指定部１４０）
　本実施形態に係る推定位置指定部１４０は、注意度を推定する位置を指定する。推定位置指定部１４０は予め決定されたルールに則って推定位置を決定してもよいし、訓練者２０とは異なるオペレータによる指示に従って推定位置を決定してもよい。
　（推定部１５０）
　本実施形態に係る推定部１５０は、ユーザの身体的状態に基づいて所定種類の出力情報にチアする当該ユーザの注意度を推定する。
　上述したように、本実施形態に係る推定部１５０は、深層強化学習により生成された推定モデル１５５を用いてユーザの注意度を推定することを特徴の一つとする。
　また、本実施形態に係る推定部１５０は、推定モデル１５５の深層強化学習を行う学習部として機能してもよい。
　本実施形態に係る推定部１５０が有する機能の詳細については別途説明する。
　（記憶部１６０）
　本実施形態に係る記憶部１６０は、情報処理装置１０が備える各構成により用いられる情報を記憶する。
　記憶部１６０は、例えば、推定モデル１５５に関する各種の情報（ネットワーク構成、パラメータ等）を記憶する。
　（出力制御部１７０）
　本実施形態に係る出力制御部１７０は、各種の情報の出力を制御する。例えば、本実施形態に係る出力制御部１７０は、推定部１５０により推定される注意度に基づいて出力情報出力を制御してよい。
　本実施形態に係る出力制御の具体例については別途説明する。
　（表示部１８０）
　本実施形態に係る表示部１８０は、出力制御部１７０による制御に従い、視覚情報を表示する。上述したように、視覚情報は、本実施形態に係る出力情報の一例である。
　本実施形態に係る表示部１８０は、２Ｄディスプレイ、３Ｄディスプレイ、プロジェクタなどであってもよい。
　以上、本実施形態に係る情報処理装置１０の構成例について述べた。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置１０の構成はかかる例に限定されない。
　例えば、情報処理装置１０は、聴覚情報を出力する音声出力部、触覚情報を提示する触覚提示部などをさらに備えてもよい。
　また、例えば、上記では、推定部１５０が推定モデル１５５の深層強化学習を行う学習部としても機能する場合について述べたが、推定モデル１５５の深層強化学習を行う学習部と、推定モデル１５５を用いた推定を行う推定部は明確に分離されてもよい。
　また、上記で挙げた情報処理装置１０が有する各機能は、複数の装置の協働により実現されてもよい。この場合、複数の装置はネットワークを介して情報通信が可能であればよく、同一の場所に設定される必要はない。
　例えば、推定部１５０はサーバに備えられ、出力制御部１７０はローカルコンピュータに備えられる等の構成をとることも可能である。
　本実施形態に係るシステム構成は、仕様、運用等に応じて柔軟に変形可能である。
　＜＜１．３．推定モデル１５５の深層強化学習の流れ＞＞
　次に、本実施形態に係る推定モデル１５５の深層強化学習の流れについて詳細に説明する。
　図４は、本実施形態に係る推定モデル１５５の深層強化学習の流れの一例を示すシーケンス図である。
　図４に示す一例の場合、まず、訓練者２０による訓練中に、状態取得部１２０が訓練者２０の身体的状態に係るセンサ情報を取得し、特徴量抽出部１３０が当該センサ情報から特徴量を抽出する（Ｓ１０２）。
　ここで、状態取得部１２０が環境状態に係るセンサ情報を取得する場合、特徴量抽出部１３０は当該センサ情報から特徴量をさらに抽出してもよい。
　特徴量抽出部１３０が抽出した特徴量は、推定部１５０が備える推定モデル１５５に入力される。
　次に、推定部１５０が備える推定モデル１５５が、ステップＳ１０２において抽出された特徴量、および推定位置指定部１４０により指定された推定位置を入力とし、出力情報の出力態様の変化の度合いを決定（出力）する（Ｓ１０４）。
　すなわち、本実施形態に係る推定モデル１５５は、練用情報の出力（表示）位置にさらに基づいて訓練用情報の出力態様の変化の度合いを決定するといえる。
　この際、環境状態に係るセンサ情報から抽出された特徴量が推定モデル１５５に入力されることにより、推定モデル１５５が注意の強弱および空間的な広がりを訓練者２０の身体的状態に加え環境状態と対応付けて学習することが可能となる。
　また、推定部１５０は、推定モデル１５５が決定した出力情報の出力態様の変化の度合いに基づいて、注意度を算出してよい。
　例えば、本実施形態に係る推定部１５０は、推定モデル１５５が決定した出力情報の出力態様の変化の度合いと、当該出力態様に係る最大変化量と、に基づいて注意度を算出する。
　ここで上記の最大変化量とは、推定モデル１５５が決定し得る変化の度合いの最大値を指す。最大変化量は、例えば、表示部１８０の仕様、プロセッサの性能等に応じて設定されてもよい。
　本実施形態に係る注意度は、例えば、以下の数式（１）または数式（２）を用いて算出されてもよい。
　　　注意度＝｛１－（決定された出力態様の変化の度合い）／（最大変化量）｝＊１００［％］　　　・・・（１）
　　　注意度＝｛１－（決定された出力態様の変化の度合い）２／（最大変化量）２｝＊１００［％］　　　・・・（２）
　ただし、上記の数式（１）および数式（２）はあくまで一例であり、本実施形態に係る注意度算出に用いられる数式はかかる例に限定されない。また、本実施形態に係る注意度は必ずしも％を用いて表現されなくてもよい。
　次に、出力制御部１７０は、推定モデル１５５が決定した出力情報の出力態様の変化の度合いに基づき訓練用情報３１０の表示制御を行う（Ｓ１０６）。
　訓練者２０は、出力態様の変化に気づいた場合、指摘部１１０を操作し、指摘部１１０の状態が変更される（Ｓ１０８）。
　次に、指摘部１１０の状態に関する情報が推定モデル１５５に入力され、推定モデル１５５は当該情報に基づいて訓練者２０による指摘有無を経験として記憶する（Ｓ１１０）。
　また、推定モデル１５５が上記経験に基づいて更新され、必要に応じて更新された推定モデル１５５に関する情報が記憶部１６０に記憶される（Ｓ１１２）。
　情報処理装置１０は、上述したステップＳ１０２～Ｓ１１２における処理を学習が完了するまで繰り返し実行する。
　ここで、本実施形態に係る指摘有無に係る経験に基づく推定モデル１５５の更新についてより詳細に説明する。
　本実施形態に係る推定モデル１５５は、訓練者２０が訓練用情報３１０の出力態様の変化を知覚したか否かで異なる目的関数を用いて訓練用情報３１０の出力態様の変化の度合いを決定してもよい。
　すなわち、本実施形態に係る深層強化学習は、訓練者２０による指摘の有無に応じて推定モデル１５５のパラメータ更新規則が切り替えられることを特徴の一つとする。
　例えば、本実施形態に係る推定モデル１５５は、訓練者２０が訓練用情報３１０の出力態様の変化を知覚していない場合、訓練用情報３１０の出力態様の変化の度合いに比例した正数に相当する目的関数が最大となるように訓練用情報３１０の出力態様の変化の度合いを決定してもよい。
　また、例えば、本実施形態に係る推定モデル１５５は、訓練者２０が訓練用情報３１０の出力態様の変化を知覚した場合、訓練用情報３１０の出力態様の変化の度合いに比例した負数に相当する目的関数が最大となるように訓練用情報３１０の出力態様の変化の度合いを決定してもよい。
　上記のような目的関数の切り替えによれば、指摘があった場合には出力態様の変化の度合いを小さくするように、指摘がない場合には出力態様の変化の度合いを大きくする行動をとるよう推定モデル１５５が更新される。これによれば、注意の強弱をより高精度に推定することが可能となる。
　以上、本実施形態に係る深層強化学習の流れについて詳細に説明した。なお、図４を用いて説明した流れはあくまで一例であり、本実施形態に係る深層強化学習の流れはかかる例に限定されない。
　例えば、本実施形態に係る出力制御部１７０は、ステップＳ１０６において、図５に示すように、訓練用情報３１０に加え、訓練用情報３１０と同種類（同一の感覚により知覚される）ダミー情報３１５の出力を制御してもよい。
　この際、出力制御部１７０は、ダミー情報３１５の出力態様を例えばランダムに変化させてもよい。ただし、訓練者２０は訓練用情報３１０とダミー情報とを区別可能である。
　訓練用情報３１０のみが出力される場合、訓練者２０は訓練用情報３１０の出力態様の小さな変化にも過敏に反応してしまう可能性がある。これに対し、上記のようなダミー情報が出力されることにより、訓練者２０が訓練用情報３１０により高い注意を向けることが求められることから、注意度の推定精度が向上することが期待される。
　＜＜１．４．推定モデル１５５を用いた注意度算出および注意度に基づく表示制御の流れ＞＞
　次に、本実施形態に係る推定モデル１５５を用いた注意度算出および注意度に基づく表示制御の流れについて詳細に説明する。
　図６は、本実施形態に係る推定モデル１５５を用いた注意度算出および注意度に基づく表示制御の流れの一例を示すシーケンス図である。
　図６に示す一例の場合、まず、図４を用いて説明した深層強化学習により生成された推定モデル１５５を利用したアプリケーションが開始される。
　上記アプリケーションの利用中において、状態取得部１２０がユーザ３０の身体的状態に係るセンサ情報を取得し、特徴量抽出部１３０が当該センサ情報から特徴量を抽出する（Ｓ２０２）。
　なお、学習時に環境状態に係るセンサ情報が用いられている場合、ステップＳ２０２においても環境状態に係るセンサ情報の取得、および当該センサ情報からの特徴量の抽出が行われる。
　特徴量抽出部１３０が抽出した特徴量は、推定部１５０が備える推定モデル１５５に入力される。
　次に、推定部１５０が備える推定モデル１５５が、ステップＳ１０２において抽出された特徴量、および推定位置指定部１４０により指定された推定位置を入力とし、出力情報の出力態様の変化の度合いを決定（出力）する。また、推定部１５０が、当該出力態様の変化の度合いに基づきユーザ３０の注意度を算出する（Ｓ２０４）。
　推定部１５０は、上述した数式（１）や数式（２）などを用いて注意度の算出を行ってもよい。
　次に、出力制御部１７０がステップＳ２０４において算出された注意度に基づく表示制御を行い（Ｓ２０６）、表示部１８０が出力制御部１７０による制御に従いユーザ３０の注意度が反映された視覚情報を表示する（Ｓ２０８）。
　＜＜１．５．注意度に基づく表示制御の具体例＞＞
　次に、本実施形態に係るユーザ３０の注意度に基づく表示制御について具体例を挙げて説明する。
　上述したように、本実施形態に係る出力制御部１７０は、推定部１５０が算出したユーザ３０の注意度に基づいて出力情報の出力を制御する。
　例えば、本実施形態に係る出力制御部１７０は、推定部１５０により連続的に推定される注意度の動的表示を制御してもよい。
　図７および図８は、本実施形態に係る連続的に推定される注意度の動的表示の制御例について説明するための図である。
　図７には、ユーザ３０の注意が表示部１８０まったく向いていない状況における表示制御の例が示される。
　図７および図８に示す一例の場合、表示部１８０には、出力制御部１７０による制御に従い４行７列合計２８個の注意度可視化オブジェクト３２０が表示される。
　出力制御部１７０は、推定部１５０が算出した位置ごとの注意度に基づいて、注意度可視化オブジェクト３２０の表示態様を制御する。
　出力制御部１７０は、例えば、算出された注意度が高いほど、該当する注意度可視化オブジェクト３２０が強調されて表示されるよう制御してもよい。
　例えば、図８の上段には、ユーザ３０が表示部１８０の左上隅に注意を向けている場合の表示例が示される。
　この場合、出力制御部１７０は、推定部１５０により算出された注意度に基づき、表示部１８０の左上の領域に位置する注意度可視化オブジェクト３２０が強調表示されるよう制御を行う。
　また、図８の中段には、ユーザ３０が表示部１８０の右上隅に注意を向けている場合の表示例が示される。
　この場合、出力制御部１７０は、推定部１５０により算出された注意度に基づき、表示部１８０の右上の領域に位置する注意度可視化オブジェクト３２０が強調表示されるよう制御を行う。
　また、図８の下段には、ユーザ３０が表示部１８０の右上隅に注意を向けている場合の表示例が示される。
　この場合、出力制御部１７０は、推定部１５０により算出された注意度に基づき、表示部１８０の右下の領域に位置する注意度可視化オブジェクト３２０が強調表示されるよう制御を行う。
　なお、図８には、出力制御部１７０が、注意度が高いほど注意度可視化オブジェクト３２０をより大きく、かつドット柄の密度がより高くなるように制御する場合が例示される。
　一方、図８に示す強調は例に過ぎず、注意度可視化オブジェクト３２０の強調表示は、色、明度、再度、点滅の速度などにより行われてもよい。
　このような注意度に基づく注意度可視化オブジェクト３２０の強調表示によれば、ユーザ３０が注意を向けている領域をリアルタイムに表示することが可能となり、かつユーザ３０が注意を向けている領域を直感的に把握することが可能となる。
　なお、本実施形態に係る注意度可視化オブジェクト３２０は、他の視覚情報に重畳的に表示されてもよい。
　また、本実施形態に係る出力制御部１７０は、出力中の複数のコンテンツの各々に対する注意度に基づいてコンテンツの出力を制御してもよい。
　図９は、本実施形態に係る複数のコンテンツの各々に対する注意度に基づくコンテンツの出力制御例について説明するための図である。
　図９には、Ｗｅｂ会議システムを利用したオンラインコンサルタントの実施中におけるコンサルト側の表示部１８０の表示制御例が示される。
　図９に示す一例の場合、出力制御部１７０には、第１のグラフ領域３４１、第２のグラフ領域３４２、テキスト領域３４３、クライアント画像領域３４４、およびコンサルタント画像領域３４５の複数のコンテンツの各々に対する注意度に基づき表示制御を行う。
　例えば、図９の上段には、クライアント（ユーザ３０）の注意がコンサルタント画像領域３４５に最も強く向いている状況が示される。この場合、出力制御部１７０は、コンサルタント画像領域３４５の外縁が他のコンテンツの外縁と比較して強調させるよう制御を行ってもよい。
　また、例えば、図９の下段には、クライアント（ユーザ３０）の注意が第２のグラフ領域３４２に最も強く向いている状況が示される。この場合、出力制御部１７０は、第２のグラフ領域３４２の外縁が他のコンテンツの外縁と比較して強調させるよう制御を行ってもよい。
　なお、コンテンツごとの注意度の提示は外縁の強調に限定されるものではなく、色、明度、点滅等、種々の表示態様の変化により表されてよい。
　また、図９には、視認性を優先し、クライアント（ユーザ３０）の注意が最も強くコンテンツのみを強調表示する場合を例示したが、出力制御部１７０は、コンテンツの各々の注意度に応じて複数のコンテンツの表示態様を同時に制御してもよい。
　また、出力制御部１７０は、コンテンツごとの注意度を明示的に数値で提示してもよい。
　図９を用いて説明したような表示制御によれば、説明を行う側（例えば、コンサルタント）が説明を受ける側（例えば、クライアント）の注意がどのコンテンツに向いているかを直感的に把握することができ、説明をより効果的より効率的に行うことが可能となる。
　また、本実施形態に係る出力制御部１７０は、算出された注意度に基づいて、例えば、ゲームアプリケーションにおけるキャラクター等の表示オブジェクトの挙動を制御してもよい。
　図１０は、本実施形態に係る注意度に基づく表示オブジェクトの表示制御例について説明するための図である。
　図１０には、ゲームアプリケーションにおいて、あるキャラクターに相当する表示オブジェクト３３０がユーザ３０の操作する別キャラクター側に近づいてくる状況が示される。
　本実施形態に係る出力制御部１７０は、例えば、ユーザ３０の注意度が表示オブジェクト３３０に強く向いている場合（例えば、注意度が閾値を超える場合）に、表示オブジェクト３３０が上記のような挙動を行う制御を行ってもよい。
　上記のような制御によれば、ユーザ３０が自キャラクターを操作して表示オブジェクト３３０に相当するキャラクターに近づけて話しかける等の操作をわざわざ行わなくても、表示オブジェクト３３０に相当するキャラクターから自キャラクターに近づいてきて話しかけてくる等の演出を実現することができる。
　反対に、出力制御部１７０は、例えば、ユーザ３０の注意度が表示オブジェクト３３０に向いていない場合（例えば、注意度が閾値を下回る場合）に、表示オブジェクト３３０が上記のような挙動を行う制御を行ってもよい。
　上記のような制御によれば、ユーザが油断している際に、表示オブジェクト３３０に相当する敵キャラクターがユーザ３０の操作する自キャラクターに接近してくる等の演出を実現することができる。
　また、上記のような制御によれば、世界各地において行われるStatues game（例えば、北アメリカにおけるRed Light, Green Light）のような演出を容易に実現することができる。
　また、本実施形態に係る出力制御部１７０は、ユーザ３０の注意度に基づいて、特に通知等に係る出力情報の出力位置を制御してもよい。
　例えば、出力制御部１７０は、重要度または緊急度が高いメールの受信等を示すアイコンを表示させる場合、表示部１８０においてユーザ３０が注意を向けている領域（注意度が閾値を超える領域）に当該アイコンを表示させてもよい。
　上記のような制御によれば、ユーザ３０が重要度や緊急度の高い情報を見逃す可能性を効果的に低減することが可能となる。
　反対に、出力制御部１７０は、重要度または緊急度が低いメールの受信等を示すアイコンを表示させる場合、表示部１８０においてユーザ３０の注意が向いていない領域（注意度が閾値を下回る領域）に当該アイコンを表示させてもよい。
　上記のような制御によれば、表示部１８０上の他の出力情報に向いているユーザ３０の注意を不必要に引き付けるなどしてユーザを不快にさせる可能性を効果に低減することができる。
　また、本実施形態に係る出力制御部１７０は、複数のユーザ３０の各々に係る注意度に基づいて出力情報の出力を制御してもよい。
　図１１は、本実施形態に係る複数のユーザ３０の各々に係る注意度に基づく出力制御例について説明するための図である。
　図１１には、表示部１８０におけるユーザ３０Ａの高注意度領域３７１Ａおよび低注意度領域３７２Ａ、ユーザ３０Ｂの高注意度領域３７１Ｂおよび低注意度領域３７２Ｂが例示される。
　ここで、密度の高いドットで示される高注意度領域３７１Ａは、ユーザ３０Ａの注意度が第１の閾値を超える領域であってもよい。また、密度の高い斜線で示される高注意度領域３７１Ｂは、ユーザ３０Ｂの注意度が第１の閾値を超える領域であってもよい。
　また、密度の低いドットで示される低注意度領域３７２Ａは、ユーザ３０Ａの注意度が第１の閾値以下でありかつ第２の閾値を超える領域であってもよい。また、密度の低い斜線で示される低注意度領域３７２Ｂは、ユーザ３０Ｂの注意度が第１の閾値以下でありかつ第２の閾値を超える領域であってもよい。
　上記のような状況においてユーザ３０Ａおよび３０Ｂの両名にとって重要な情報を表示させる場合、出力制御部１７０は、低注意度領域３７２Ａおよび３７２Ｂが重複する領域に当該情報を表示させてもよい。
　上記のような制御によれば、ユーザ３０Ａおよび３０Ｂの両名が重要な情報を見逃す可能性を効果的に低減することができる。
　なお、高注意度領域３７１Ａおよび３７１Ｂが重複する領域が存在する場合には、出力制御部１７０は当該領域に情報を表示させてよい。
　一方、ユーザ３０Ａにとって重要でありユーザ３０Ｂにとっては重要ではない情報を表示させる場合、出力制御部１７０は、高注意度領域３７１Ａに当該情報を表示させてもよい。同様に、ユーザ３０Ｂにとって重要でありユーザ３０Ａにとっては重要ではない情報を表示させる場合、出力制御部１７０は、高注意度領域３７１Ｂに当該情報を表示させてもよい。
　上記のような制御によれば、複数のユーザ３０が存在する場合であっても、対象外のユーザ３０の体験を妨害せずに対象とするユーザ３０のみに通知を行うこと等が実現できる。
　以上、本実施形態に係る注意度に基づく出力情報の制御について具体例を挙げて説明した。なお、本実施形態に係る出力制御部１７０は、上記で挙げた例以外にも各種の出力制御が可能である。
　例えば、出力制御部１７０は、ユーザ３０の注意度が高い領域に広告を表示させる等の制御を行うことも可能である。
　また、例えば、出力制御部１７０は、運転中であるユーザ３０の注意度が低い領域に注意を向かせるための表示制御を行うことも可能である。
　本実施形態に係る注意度に基づく出力制御は、アプリケーションの仕様等に応じて柔軟に変形可能である。
　また、本実施形態に係る情報処理方法により算出される注意度は、ＵＩデザイン等に知見として活用することが可能である。
　また、上記では、出力情報が視覚情報である場合を主な例として述べたが、本実施形態に係る出力情報は、聴覚情報、触覚情報等であってもよい。
　本実施形態に係る情報処理方法によれば、ユーザ３０の注意の強弱等に基づいた聴覚情報または触覚情報の効果的な出力制御を実現可能である。
　＜２．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理装置９０のハードウェア構成例について説明する。図１２は、本開示の一実施形態に係る情報処理装置９０のハードウェア構成例を示すブロック図である。
　情報処理装置９０は、本開示の一実施形態に係る情報処理装置１０と同等のハードウェア構成を有する装置であってよい。
　図１２に示すように、情報処理装置９０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記憶媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体９０１に記録された情報を読み出し、又はリムーバブル記憶媒体９０１に情報を書き込む装置である。
　（リムーバブル記憶媒体９０１）
リムーバブル記憶媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本開示の一実施形態に係る情報処理装置１０は、ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部１５０を備える。また、本開示の一実施形態に係る推定部１５０は、訓練者の身体的状態と、出力情報と同種類の訓練用情報の出力態様を変化させた場合に訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき出力情報の出力態様の変化の度合いを決定する推定モデル１５５、を用いて注意度を推定することを特徴の一つとする。
　上記の構成によれば、ユーザの注意の強弱、注意の空間的な広がりを精度高く推定することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本開示において説明した処理に係る各ステップは、必ずしもフローチャートやシーケンス図に記載された順序に沿って時系列に処理される必要はない。例えば、各装置の処理に係る各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本開示において説明した各装置による一連の処理は、コンピュータにより読み取り可能な非一過性の記憶媒体（non-transitory computer readable storage medium）に格納されるプログラムにより実現されてもよい。各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部、
　を備え、
　前記推定部は、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定する、
情報処理装置。
（２）
　前記推定モデルは、前記経験に基づき前記訓練者に前記訓練用情報の出力態様の変化が知覚されないように前記訓練用情報の出力態様の変化の度合いを決定する、
前記（１）に記載の情報処理装置。
（３）
　前記推定モデルは、前記訓練者が前記訓練用情報の出力態様の変化を知覚したか否かで異なる目的関数を用いて前記訓練用情報の出力態様の変化の度合いを決定する、
前記（２）に記載の情報処理装置。
（４）
　前記推定モデルは、前記訓練者が前記訓練用情報の出力態様の変化を知覚していない場合、前記訓練用情報の出力態様の変化の度合いに比例した正数に相当する目的関数が最大となるように前記訓練用情報の出力態様の変化の度合いを決定する、
前記（３）に記載の情報処理装置。
（５）
　前記推定モデルは、前記訓練者が前記訓練用情報の出力態様の変化を知覚した場合、前記訓練用情報の出力態様の変化の度合いに比例した負数に相当する目的関数が最大となるように前記訓練用情報の出力態様の変化の度合いを決定する、
前記（３）または（４）に記載の情報処理装置。
（６）
　前記推定部は、前記推定モデルにユーザの身体的状態を示すセンサ情報から抽出された特徴量を入力した場合に、前記推定モデルが出力する前記出力情報の出力態様の変化の度合いに基づいて前記注意度を算出する、
前記（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記推定部は、前記推定モデルが出力した前記出力情報の出力態様の変化の度合いと、当該出力態様に係る最大変化量と、に基づいて前記注意度を算出する、
前記（６）に記載の情報処理装置。
（８）
　前記出力情報は、視覚情報を含む、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
　前記推定モデルは、前記訓練用情報の表示位置にさらに基づいて前記訓練用情報の出力態様の変化の度合いを決定する、
前記（８）に記載の情報処理装置。
（１０）
　前記訓練用情報の出力態様は、表示位置を含む、
前記（８）に記載の情報処理装置。
（１１）
　前記センサ情報は、ユーザの顔を撮影した画像を含む、
前記（６）に記載の情報処理装置。
（１２）
　前記推定部により推定される前記注意度に基づいて前記出力情報の出力を制御する出力制御部、
　をさらに備える、
前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記出力制御部は、前記注意度に基づいて前記出力情報の出力位置を制御する、
前記（１２）に記載の情報処理装置。
（１４）
　前記出力制御部は、前記注意度に基づいて表示オブジェクトの挙動を制御する、
前記（１２）または（１３）に記載の情報処理装置。
（１５）
　前記出力制御部は、出力中の複数のコンテンツの各々に対する前記注意度に基づいて前記コンテンツの出力を制御する、
前記（１２）～（１４）のいずれかに記載の情報処理装置。
（１６）
　前記出力制御部は、前記推定部により連続的に推定される前記注意度の動的表示を制御する、
前記（１２）に記載の情報処理装置。
（１７）
　前記出力制御部は、複数のユーザの各々に係る前記注意度に基づいて前記出力情報の出力を制御する、
前記（１２）～（１６）のいずれかに記載の情報処理装置。
（１８）
　プロセッサが、
　ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定すること、
　を含み、
　前記推定することは、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定すること、
　をさらに含む、
情報処理方法。
（１９）
　コンピュータを、
　ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部、
　を備え、
　前記推定部は、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定する、
　情報処理装置、
として機能させるプログラム。
　１０　　　情報処理装置
　１１０　　指摘部
　１２０　　状態取得部
　１３０　　特徴量抽出部
　１４０　　推定位置指定部
　１５０　　推定部
　１５５　　推定モデル
　１６０　　記憶部
　１７０　　出力制御部
　１８０　　表示部

Claims (19)

  1. 　ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部、
    　を備え、
    　前記推定部は、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定する、
    情報処理装置。
  2. 　前記推定モデルは、前記経験に基づき前記訓練者に前記訓練用情報の出力態様の変化が知覚されないように前記訓練用情報の出力態様の変化の度合いを決定する、
    請求項１に記載の情報処理装置。
  3. 　前記推定モデルは、前記訓練者が前記訓練用情報の出力態様の変化を知覚したか否かで異なる目的関数を用いて前記訓練用情報の出力態様の変化の度合いを決定する、
    請求項２に記載の情報処理装置。
  4. 　前記推定モデルは、前記訓練者が前記訓練用情報の出力態様の変化を知覚していない場合、前記訓練用情報の出力態様の変化の度合いに比例した正数に相当する目的関数が最大となるように前記訓練用情報の出力態様の変化の度合いを決定する、
    請求項３に記載の情報処理装置。
  5. 　前記推定モデルは、前記訓練者が前記訓練用情報の出力態様の変化を知覚した場合、前記訓練用情報の出力態様の変化の度合いに比例した負数に相当する目的関数が最大となるように前記訓練用情報の出力態様の変化の度合いを決定する、
    請求項３に記載の情報処理装置。
  6. 　前記推定部は、前記推定モデルにユーザの身体的状態を示すセンサ情報から抽出された特徴量を入力した場合に、前記推定モデルが出力する前記出力情報の出力態様の変化の度合いに基づいて前記注意度を算出する、
    請求項１に記載の情報処理装置。
  7. 　前記推定部は、前記推定モデルが出力した前記出力情報の出力態様の変化の度合いと、当該出力態様に係る最大変化量と、に基づいて前記注意度を算出する、
    請求項６に記載の情報処理装置。
  8. 　前記出力情報は、視覚情報を含む、
    請求項１に記載の情報処理装置。
  9. 　前記推定モデルは、前記訓練用情報の表示位置にさらに基づいて前記訓練用情報の出力態様の変化の度合いを決定する、
    請求項８に記載の情報処理装置。
  10. 　前記訓練用情報の出力態様は、表示位置を含む、
    請求項８に記載の情報処理装置。
  11. 　前記センサ情報は、ユーザの顔を撮影した画像を含む、
    請求項６に記載の情報処理装置。
  12. 　前記推定部により推定される前記注意度に基づいて前記出力情報の出力を制御する出力制御部、
    　をさらに備える、
    請求項１に記載の情報処理装置。
  13. 　前記出力制御部は、前記注意度に基づいて前記出力情報の出力位置を制御する、
    請求項１２に記載の情報処理装置。
  14. 　前記出力制御部は、前記注意度に基づいて表示オブジェクトの挙動を制御する、
    請求項１２に記載の情報処理装置。
  15. 　前記出力制御部は、出力中の複数のコンテンツの各々に対する前記注意度に基づいて前記コンテンツの出力を制御する、
    請求項１２に記載の情報処理装置。
  16. 　前記出力制御部は、前記推定部により連続的に推定される前記注意度の動的表示を制御する、
    請求項１２に記載の情報処理装置。
  17. 　前記出力制御部は、複数のユーザの各々に係る前記注意度に基づいて前記出力情報の出力を制御する、
    請求項１２に記載の情報処理装置。
  18. 　プロセッサが、
    　ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定すること、
    　を含み、
    　前記推定することは、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定すること、
    　をさらに含む、
    情報処理方法。
  19. 　コンピュータを、
    　ユーザの身体的状態に基づいて所定種類の出力情報に対する当該ユーザの注意度を推定する推定部、
    　を備え、
    　前記推定部は、訓練者の身体的状態と、前記出力情報と同種類の訓練用情報の出力態様を変化させた場合に前記訓練者が当該出力態様の変化を知覚したか否かの経験と、に基づき前記出力情報の出力態様の変化の度合いを決定する推定モデル、を用いて前記注意度を推定する、
    　情報処理装置、
    として機能させるプログラム。
PCT/JP2023/004997 2022-03-29 2023-02-14 情報処理装置、情報処理方法、およびプログラム WO2023188904A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-053416 2022-03-29
JP2022053416 2022-03-29

Publications (1)

Publication Number Publication Date
WO2023188904A1 true WO2023188904A1 (ja) 2023-10-05

Family

ID=88201051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004997 WO2023188904A1 (ja) 2022-03-29 2023-02-14 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023188904A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105384A (ja) * 2011-11-15 2013-05-30 Nippon Hoso Kyokai <Nhk> 注目度推定装置およびそのプログラム
JP2019111291A (ja) * 2017-12-26 2019-07-11 日本電信電話株式会社 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
JP2020080035A (ja) * 2018-11-13 2020-05-28 株式会社ビービット モーメント分析システム、方法及びプログラム
JP2020190942A (ja) * 2019-05-22 2020-11-26 株式会社デンソー 表示制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105384A (ja) * 2011-11-15 2013-05-30 Nippon Hoso Kyokai <Nhk> 注目度推定装置およびそのプログラム
JP2019111291A (ja) * 2017-12-26 2019-07-11 日本電信電話株式会社 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
JP2020080035A (ja) * 2018-11-13 2020-05-28 株式会社ビービット モーメント分析システム、方法及びプログラム
JP2020190942A (ja) * 2019-05-22 2020-11-26 株式会社デンソー 表示制御装置

Similar Documents

Publication Publication Date Title
US10933321B2 (en) Information processing device and information processing method
JP6841241B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
JP6877341B2 (ja) 情報処理装置、表示装置、情報処理方法及びプログラム
US11748056B2 (en) Tying a virtual speaker to a physical space
US20150081304A1 (en) System for say-feel gap analysis in video
US8161398B2 (en) Assistive group setting management in a virtual world
JP6760271B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2015531932A (ja) マルチモードフィードバックでイメージを認識するシステム及び方法
WO2017221492A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017030193A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230080905A1 (en) Dynamic notification surfacing in virtual or augmented reality scenes
JP2017182247A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023188904A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6969576B2 (ja) 情報処理装置、および情報処理方法
CN116071452A (zh) 一种风格图像生成方法、装置、计算机设备和存储介质
JP6922743B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017169272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230316671A1 (en) Attention-based content visualization for an extended reality environment
WO2023175699A1 (ja) 情報処理システム、情報処理方法、およびプログラム
Derby Designing Tomorrow's Reality: The Development and Validation of an Augmented and Mixed Reality Heuristic Checklist
KR20230102785A (ko) 색-기반 학습을 위한 전자 장치 및 그 동작 방법
WO2023192254A1 (en) Attention-based content visualization for an extended reality environment
KR20230174025A (ko) 캐릭터를 이용한 모바일 기기용 챗봇의 작동 방법 및 챗봇 애플리케이션

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23778938

Country of ref document: EP

Kind code of ref document: A1