JP7247784B2 - Interest estimation system - Google Patents
Interest estimation system Download PDFInfo
- Publication number
- JP7247784B2 JP7247784B2 JP2019118569A JP2019118569A JP7247784B2 JP 7247784 B2 JP7247784 B2 JP 7247784B2 JP 2019118569 A JP2019118569 A JP 2019118569A JP 2019118569 A JP2019118569 A JP 2019118569A JP 7247784 B2 JP7247784 B2 JP 7247784B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- interest
- content
- estimation
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本開示は、興味推定システムに関する。 The present disclosure relates to interest estimation systems.
コンテンツが提供される施設における着席状況を把握するために、シートに対する着席の有無を検知するシステムが知られている(特許文献1参照)。 A system is known that detects whether or not a person is seated on a seat in order to grasp the seating situation in a facility where content is provided (see Patent Document 1).
上述のシステムは、利用者による席の確保を支援する機能を有しているが、コンテンツの提供開始後に、着席した利用者のコンテンツに対する興味を推定する機能は備えていない。 The system described above has a function of assisting the user in securing a seat, but does not have a function of estimating the interest of the seated user in the content after the start of provision of the content.
本開示の一局面は、コンテンツに対する利用者の興味を推定できる興味推定システムを提供することを目的としている。 One aspect of the present disclosure aims to provide an interest estimation system capable of estimating a user's interest in content.
本開示の一態様は、コンテンツの利用者の姿勢を検出する検出装置(2)と、検出装置(2)が検出した姿勢から利用者の視線の方向を取得し、視線の方向の維持時間によって、コンテンツに対する利用者の興味の高さを推定する処理装置(4)と、を備える興味推定システム(1)である。 One aspect of the present disclosure is a detection device (2) that detects the posture of a user of content, acquires the direction of the user's line of sight from the posture detected by the detection device (2), , and a processing device (4) for estimating the level of user's interest in content.
このような構成によれば、利用者の視線の動きに基づいて、利用者のコンテンツへの興味の高さ(つまり、注視度合い)を推定できる。この結果に基づいて、コンテンツの内容、提供方法等を変更すれば、利用者の興味の向上を図ることができる。また、利用者の視線を推定に用いるため、解析精度に左右される言語情報(つまり、利用者の発言内容)を用いずに興味の高さを推定できる。 According to such a configuration, it is possible to estimate the user's level of interest in the content (that is, the degree of gaze) based on the movement of the user's line of sight. Based on this result, it is possible to improve the user's interest by changing the contents of the content, the method of providing the content, and the like. In addition, since the user's line of sight is used for estimation, the level of interest can be estimated without using language information (that is, user's utterance content) that is affected by analysis accuracy.
本開示の一態様では、処理装置(4)は、視線の方向が変化する頻度によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、利用者のコンテンツへの注視度合いを、視線の方向の維持時間のみを用いて判定する場合よりも高い精度で判定することができる。 In one aspect of the present disclosure, the processing device (4) may estimate the user's level of interest in the content based on the frequency with which the line-of-sight direction changes. According to such a configuration, it is possible to determine the degree of attention of the user to the content with higher accuracy than in the case of determining only the maintenance time of the line-of-sight direction.
本開示の一態様では、処理装置(4)は、コンテンツによる視線誘導の開始から、視線の方向が視線誘導の方向と一致するまでの時間によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、視線誘導が含まれるコンテンツに対する興味の高さを容易かつ的確に判定することができる。 In one aspect of the present disclosure, the processing device (4) estimates the level of interest of the user in the content based on the time from the start of the visual guidance by the content until the direction of the visual line coincides with the direction of the visual guidance. may According to such a configuration, it is possible to easily and accurately determine the level of interest in content that includes visual guidance.
本開示の一態様では、処理装置(4)は、検出装置(2)が検出した姿勢から姿勢遷移量を取得し、視線誘導の開始後における姿勢遷移量によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、視線誘導が含まれるコンテンツへの注視度合いを、視線の方向のみを用いて判定する場合よりも高い精度で判定することができる。 In one aspect of the present disclosure, the processing device (4) acquires the posture transition amount from the posture detected by the detection device (2), and determines whether the user's interest in the content is high based on the posture transition amount after the gaze guidance is started. can be estimated. According to such a configuration, it is possible to determine the degree of attention to the content including the line-of-sight guidance with higher accuracy than when determining only the line-of-sight direction.
本開示の一態様では、検出装置(2)は、コンテンツが提供される空間に配置されたシート(21)と、シート(21)に配置された少なくとも1つの加速度センサ(22A,22B,22C)と、を有してもよい。処理装置(4)は、少なくとも1つの加速度センサ(22A,22B,22C)の出力に基づいて、シート(21)に着座した利用者の姿勢遷移量を推定してもよい。このような構成によれば、利用者の姿勢の遷移をカメラ等の画像処理を使用した検知よりも的確に検知することができる。また、コンテンツが提供される空間の明るさ、騒音等の環境による検知精度への影響を低減することができる。 In one aspect of the present disclosure, the detection device (2) includes a seat (21) placed in a space where content is provided, and at least one acceleration sensor (22A, 22B, 22C) placed on the seat (21). and may have The processing device (4) may estimate the posture transition amount of the user seated on the seat (21) based on the output of at least one acceleration sensor (22A, 22B, 22C). According to such a configuration, it is possible to detect the transition of the user's posture more accurately than detection using image processing such as a camera. In addition, it is possible to reduce the influence of environment such as brightness and noise of the space where the content is provided on the detection accuracy.
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的構成等との対応関係を示す一例であり、本開示は上記括弧内の符号に示された具体的構成等に限定されるものではない。 It should be noted that the symbols in each parenthesis above are examples showing the correspondence with the specific configurations and the like described in the embodiments described later, and the present disclosure is limited to the specific configurations and the like shown in the symbols in the parentheses. not something.
以下、本開示が適用された実施形態について、図面を用いて説明する。
[1.第1実施形態]
[1-1.構成]
図1に示す興味推定システム1は、例えば、スタジアム、映画館、劇場、コンサートホール、ライブハウス等の施設、又は、自動車、鉄道車両、船舶、航空機、宇宙船等の移動体に設置される。
Embodiments to which the present disclosure is applied will be described below with reference to the drawings.
[1. First Embodiment]
[1-1. composition]
The
興味推定システム1は、コンテンツの利用者の姿勢を検出する検出装置2と、検出された利用者の姿勢から興味を推定する処理装置4とを備える。
The
<検出装置>
検出装置2は、シート21と、第1クッション用加速度センサ22A、第2クッション用加速度センサ22B、及びバック用加速度センサ22Cと、カメラ23とを備える。
<Detection device>
The
シート21及びカメラ23は、施設又は移動体において、コンテンツが提供される空間に配置される。「コンテンツ」には、スポーツ、ボードゲーム、ビデオゲーム等の観戦イベント、演劇、演奏等の鑑賞イベント、実写又は仮想の映像、音楽、風景(つまり観光)などが含まれる。
The
特に、興味推定システム1は、利用者の行動によって内容が変化する双方向性のあるコンテンツに効果的に適用できる。このような双方向性のコンテンツの例として、仮想現実(VR:Virtual Reality)空間又は拡張現実(AR:Augmented Reality)空間と、仮想現実空間又は拡張現実空間に配置される仮想人物のキャラクタとを含むコンテンツが挙げられる。
In particular, the
(シート)
シート21は、シートクッション21Aと、シートバック21Bとを有する。シートクッション21Aは、利用者の臀部等を支持するための部位である。シートバック21Bは、利用者の背部を支持するための部位である。
(sheet)
The
シートクッション21Aには、後述する第1クッション用加速度センサ22Aと、第2クッション用加速度センサ22Bとが配置されている。シートバック21Bには、後述するバック用加速度センサ22Cが配置されている。
A first
(加速度センサ)
第1クッション用加速度センサ22A、第2クッション用加速度センサ22B、及びバック用加速度センサ22Cは、それぞれ、3軸加速度センサであり、3次元の加速度データを出力可能に構成されている。
(Acceleration sensor)
The first
第1クッション用加速度センサ22A、第2クッション用加速度センサ22B、及びバック用加速度センサ22Cは、必要に応じて、3軸の角速度(つまり、ロール角速度、ピッチ角速度、及びヨー角速度)の検出機能を有してもよい。
The first
ただし、後述する処理装置4において、角速度を入力データとして用いることなく興味の推定が実現される場合は、センサのコストと消費電力とを低減する観点から、各加速度センサは加速度のみの検出機能を有することが好ましい。 However, if the processing device 4, which will be described later, can estimate interest without using angular velocity as input data, from the viewpoint of reducing the cost and power consumption of the sensor, each acceleration sensor can detect only acceleration. It is preferable to have
第1クッション用加速度センサ22A及び第2クッション用加速度センサ22Bは、シートクッション21Aの幅方向に互いに離間して、つまり左右方向に並んでシートクッション21Aの内部に埋められている。
The first
具体的には、第1クッション用加速度センサ22Aは、シートクッション21Aの幅方向中心よりも右側に配置されている。第2クッション用加速度センサ22Bは、シートクッション21Aの幅方向中心よりも左側に配置されている。
Specifically, the first
第1クッション用加速度センサ22A及び第2クッション用加速度センサ22Bは、それぞれ、利用者のヒップポイント(つまり大腿骨の最外部)と重なるように配置されている。また、第1クッション用加速度センサ22Aと第2クッション用加速度センサ22Bとの左右方向の距離は、例えば100mm以上150mm以下である。
The first
バック用加速度センサ22Cは、シートバック21Bの内部に埋められている。バック用加速度センサ22Cは、シートバック21Bの幅方向中央に配置されている。バック用加速度センサ22Cの高さは、例えばヒップポイントに150mm以上400mm以下の高さを加えたものである。
The
(カメラ)
カメラ23は、シート21に着席した利用者の姿勢を撮影する3次元カメラである。カメラ23は、利用者の体の向きを画像として取得し、処理装置4に出力する。なお、検出装置2は、複数のカメラ23を有してもよい。
(camera)
The
<処理装置>
処理装置4は、シート21に着座している利用者に提供されている現在のコンテンツに対する、利用者の興味を推定する装置である。
<Processing device>
The processing device 4 is a device for estimating the user's interest in the current content provided to the user sitting on the
処理装置4は、推定部41と、記憶部42と、制御部43とを有する。処理装置4は、例えばマイクロプロセッサと、RAM、ROM等の記憶媒体と、入出力部とを備えるマイクロコンピュータにより構成される。処理装置4は、シート21に装着又は内蔵されてもよいし、シート21とは離間して配置されてもよい。
The processing device 4 has an
(推定部)
推定部41は、検出装置2が検出した姿勢から、推定用情報を取得する。推定用情報には、利用者の視線の方向と、姿勢遷移量とが含まれる。
(Estimation part)
The
推定に用いられる視線の方向は、例えば、利用者の頭部の方向として取得される。利用者の頭部の方向は、カメラ23が取得した画像、各加速度センサの出力、又はこれらの組み合わせから推定される。
The line-of-sight direction used for estimation is acquired as, for example, the direction of the user's head. The direction of the user's head is estimated from the image acquired by the
例えば、頭部の方向は、利用者の上半身の鉛直方向に対する傾きと、利用者の両肩を結んだ線分の基準軸に対する傾きと、利用者の首と鼻とを結んだ線分の鉛直方向に対する傾きと、の組み合わせによって決定される。つまり、視線の方向は、これらの傾きの組み合わせを表すコードとして取得される。 For example, the direction of the head is the tilt of the user's upper body with respect to the vertical direction, the tilt of the line segment connecting the user's shoulders with respect to the reference axis, and the vertical line segment connecting the user's neck and nose. It is determined by a combination of the tilt with respect to the direction. That is, the line-of-sight direction is obtained as a code representing a combination of these tilts.
上述の3つの傾きは、それぞれ、カメラ23の画像解析によって検出できる。また、各加速度センサの出力から、機械学習により構築された学習モデルを用いて3つの傾きを推定することもできる。
Each of the three tilts mentioned above can be detected by image analysis of the
上記学習モデルは、第1クッション用加速度センサ22A、第2クッション用加速度センサ22B、及びバック用加速度センサ22Cの出力に基づく入力データと、利用者の姿勢又は利用者の姿勢遷移に係る情報に基づく教師データ(つまりラベルデータ)とによる機械学習により構築される。学習モデルは、後述する記憶部42に記憶されている。
The learning model is based on input data based on the outputs of the first
学習モデルは、教師あり機械学習によって構築される分類器(つまり分類モデル)であり、例えば多層ニューラルネットワークで構成される。多層ニューラルネットワークの例としては、例えば、CNN(Convolution Neural Network)、DNN(Deep Neural Network)、LSTM(Long Short-Term Memory)等が挙げられる。 A learning model is a classifier (that is, a classification model) constructed by supervised machine learning, and is composed of, for example, a multilayer neural network. Examples of multilayer neural networks include CNN (Convolution Neural Network), DNN (Deep Neural Network), LSTM (Long Short-Term Memory), and the like.
なお、学習モデルは、多層ニューラルネットに限定されず、ニューラルネットワーク以外のモデルを用いてもよい。例えば、SVC(サポートベクターマシンによるクラス分類)、ランダムフォレスト等のアルゴリズムを用いて学習モデルを構築してもよい。 Note that the learning model is not limited to a multilayer neural network, and a model other than a neural network may be used. For example, a learning model may be constructed using an algorithm such as SVC (class classification by support vector machine), random forest, or the like.
記憶部42が記憶する学習モデルの機械学習では、入力データとして、各加速度センサの出力(つまり、3次元の加速度、又は3次元の加速度に3次元の角速度を加えた加速度データ)を用いる。また、教師データとして、利用者の姿勢パターンを示す一定数の姿勢ラベル、又は利用者の姿勢の遷移パターンを示す一定数の遷移ラベルを用いる。
In the machine learning of the learning model stored in the
学習モデルを生成する学習ステップでは、多数のラベル付きデータを機械学習装置に分析させる。ラベル付きデータは、加速度データに、対応する姿勢ラベル又は遷移ラベルを付けたデータである。機械学習装置は、多数のラベル付きデータから加速度データを複数のラベルに分類するための特徴量を学習し、学習モデルを構築する。 In the learning step of generating a learning model, a large amount of labeled data is analyzed by a machine learning device. Labeled data is acceleration data with corresponding posture labels or transition labels. A machine learning device learns feature quantities for classifying acceleration data into a plurality of labels from a large amount of labeled data, and constructs a learning model.
学習モデルの構築は、機械学習装置(図示省略)を用いて行われる。機械学習装置によって構築された学習モデルは、記憶部42に出力される。なお、機械学習装置は処理装置4に組み込まれていてもよい。
A learning model is constructed using a machine learning device (not shown). A learning model constructed by the machine learning device is output to the
図2に示すように、例えば、前傾の姿勢P1から、直立の姿勢P2に利用者の姿勢が遷移する場合、推定部41は、姿勢ラベルを教師データとした学習モデルに遷移時の各加速度センサの出力Oを入力し、「直立」という姿勢ラベルを入力データに付与する。これにより、「直立」という利用者の姿勢が推定される。
As shown in FIG. 2 , for example, when the user's posture transitions from a forward leaning posture P1 to an upright posture P2, the estimating
あるいは、推定部41は、姿勢遷移ラベルを教師データとした学習モデルに上記センサ出力Oを入力し、「後方に体を起こす」という姿勢遷移ラベルを入力データに付与する。これにより、「後方に体を起こす」という利用者の姿勢遷移が推定される。
Alternatively, the estimating
推定部41が入力データに付与する姿勢ラベルは、推定する複数の姿勢パターンを予め定義したものである。本実施形態の姿勢ラベルは、例えば、視線の方向を示すコードとされる。
The posture labels given to the input data by the
視線の方向と共に推定に用いられる姿勢遷移量は、各加速度センサの出力から算出される特徴量として取得される。この特徴量は、取得された出力に対する積分、平均等の演算に基づいて算出される。推定部41が算出する特徴量の内容と、特徴量の算出に使用する入力データと、特徴量の算出方法との組み合わせの一例を表1に示す。
The posture transition amount used for estimation together with the direction of the line of sight is obtained as a feature amount calculated from the output of each acceleration sensor. This feature amount is calculated based on calculations such as integration and averaging of the acquired output. Table 1 shows an example of a combination of the content of the feature amount calculated by the
表1中の「シートバックの加速度」及び「シートバックの角速度」は、バック用加速度センサ22Cの出力であり、「シートクッションの加速度」及び「シートクッションの角速度」は、第1クッション用加速度センサ22A及び第2クッション用加速度センサ22Bの出力である。
The "seat back acceleration" and "seat back angular velocity" in Table 1 are outputs of the
推定部41は、検出装置2の検出結果(つまり、カメラ23が取得した画像及び各加速度センサの出力)に基づいて取得した利用者の視線の方向と、姿勢遷移量とに基づいて、コンテンツに対する利用者の興味の高さを推定する。
The estimating
具体的には、推定部41は、視線の維持時間に基づく第1推定、視線の変化頻度に基づく第2推定、共同注視に基づく第3推定、及びリアクションの大きさに基づく第4推定を行う。
Specifically, the
第1推定では、推定部41は、視線の方向の維持時間によって、コンテンツに対する利用者の興味の高さを推定する。具体的には、視線の方向の維持時間が予め定めた第1閾値以上の場合に、利用者の興味スコアが加点される。
In the first estimation, the
なお、「視線の方向の維持」とは、推定部41によって取得される「視線の方向を示すコード」が変化しないことを意味し、視線の方向コードが変化しない(つまり視線の変化後も同じ方向コードに含まれる)微小な視線の変動は「視線の方向の維持」に含まれる。第1閾値は、コンテンツの内容に合わせて設定され、コンテンツの進行に合わせて変化してもよい。第1閾値は、例えば1.5秒である。
Note that "maintaining the direction of the line of sight" means that the "code indicating the direction of the line of sight" acquired by the
第2推定では、推定部41は、視線の方向が変化する頻度(つまり視線の逸脱率)によって、コンテンツに対する利用者の興味の高さを推定する。具体的には、一定時間における視線の方向の変化回数が予め定めた第2閾値以下の場合に、利用者の興味スコアが加点される。
In the second estimation, the
なお、第1推定と同様、「視線の方向の変化」は、「視線の方向を示すコード」が変化することを意味する。第2閾値は、コンテンツの内容と第1閾値とに合わせて設定され、コンテンツの進行に合わせて変化してもよい。第2閾値は、例えば、2回/5秒である。 As in the first estimation, "change in the direction of the line of sight" means that the "code indicating the direction of the line of sight" changes. The second threshold may be set according to the details of the content and the first threshold, and may change according to the progress of the content. The second threshold is, for example, 2 times/5 seconds.
第3推定では、推定部41は、コンテンツによる視線誘導の開始から、視線の方向が視線誘導の方向と一致する(つまり共同注視に遷移する)までの時間によって、コンテンツに対する利用者の興味の高さを推定する。
In the third estimation, the
具体的には、コンテンツによって共同注視シーンが提供されている間に、コンテンツが視線誘導の方向と利用者の視線の方向とが一致した場合に、利用者の興味スコアが加点される。 Specifically, the user's interest score is added when the direction of the line-of-sight guidance of the content matches the direction of the user's line of sight while the joint gaze scene is provided by the content.
図3Aに、利用者の視線の方向の変化の一例を示す。図3Aでは、利用者の視線の方向を「右」「真っ直ぐ」「左」に分類した場合における視線の方向の変化が示されている。破線は、推定部41が取得した利用者の視線の方向、一点鎖線は、コンテンツが利用者の視線を誘導する方向(つまり利用者に見てもらいたい方向)を示す。実線は、利用者の視線の方向と、視線誘導の方向とが一致した部分である。
FIG. 3A shows an example of a change in the direction of the user's line of sight. FIG. 3A shows changes in the direction of the line of sight of the user when the direction of the line of sight is classified into "right", "straight", and "left". The dashed line indicates the direction of the user's line of sight acquired by the
図3Aの期間T1では、利用者の視線の方向が定まっていない。つまり、利用者は、頭を左右に回転させ、コンテンツ自体、又はコンテンツが誘導している方向を探している状態である。 In period T1 in FIG. 3A, the direction of the user's line of sight is not fixed. In other words, the user turns his or her head left and right to look for the content itself or the direction the content is guiding.
なお、推定部41は、このような視線の方向の往復を利用者がコンテンツに対して興味を持ち始めた状態と評価し、往復回数が一定以上の場合に利用者の興味スコアを加点してもよい。
Note that the estimating
期間T1に続く期間T2では、視線の方向が一定時間維持されているため、第1推定により興味スコアが加点される。また、コンテンツの誘導方向の変化に追従して、視線の方向も変化しているため、第3推定によって興味スコアが加点される。 In the period T2 following the period T1, the direction of the line of sight is maintained for a certain period of time, so the interest score is added by the first estimation. In addition, since the direction of the line of sight also changes in accordance with the change in the guiding direction of the content, the interest score is added by the third estimation.
期間T2に続く期間T3では、視線の方向が一定時間維持されると共に、視線の逸脱が1回のみであるため、第1推定と第2推定とによって、興味スコアが加点される。
期間T3に続く期間T4では、視線の方向が変化し、かつコンテンツの誘導方向にも追従していないので、第1推定及び第3推定による興味スコアの加点が生じない。
In the period T3 following the period T2, the direction of the line of sight is maintained for a certain period of time, and the line of sight deviates only once, so the interest score is added by the first estimation and the second estimation.
In the period T4 following the period T3, the direction of the line of sight changes and the guidance direction of the content is not followed, so the interest score is not added by the first estimation and the third estimation.
第4推定は、第3推定と合わせて実施される。第4推定では、コンテンツによる視線誘導の開始後における姿勢遷移量によって、コンテンツに対する利用者の興味の高さを推定する。 A fourth estimate is performed in conjunction with the third estimate. In the fourth estimation, the degree of user's interest in content is estimated based on the posture transition amount after the start of visual guidance by the content.
具体的には、推定部41は、上記表1に示された少なくとも1つの特徴量を算出し、特徴量がそれぞれ閾値を超えるごとに利用者の興味スコアを加点する。また、推定部41は、複数の特徴量すべてが閾値を超えた場合に興味スコアを加点してもよい。
Specifically, the
さらに、推定部41は、コンテンツによる視線誘導の開始から、少なくとも1つの特徴量が一定値に到達するまでの時間が予め定めた閾値以下の場合(つまり、遷移速度が一定値以上の場合)に、利用者の興味スコアを加点してもよい。
Furthermore, the estimating
なお、表1に示された特徴量は一例である。そのため、推定部41は、表1に示す特徴量を全て算出する必要はない。また、推定部41は、表1に示されない特徴量(ただし、加速度センサの出力に基づいて算出されるものに限られる)を用いて、第4推定を行ってもよい。
Note that the feature values shown in Table 1 are examples. Therefore, the
推定部41は、例えば、利用者の姿勢(つまり視線の方向コード)ごとに分けて利用者の興味スコアを算出してもよい。例えば、利用者が右方向を見ている時に、利用者のコンテンツに対する興味が高いと推定された場合は、「右方向」の興味スコアが加点される。同様に、利用者が左方向を見ている時に、利用者のコンテンツに対する興味が高いと推定された場合は、「左方向」の興味スコアが加点される。
For example, the
興味スコアは、図3Bに示すように、時間の経過と共に変化する。つまり、第1推定から第4推定は一定時間ごとに実施され、推定部41は、これらの推定による興味スコアの合計を一定時間ごとに出力する。
Interest scores change over time, as shown in FIG. 3B. In other words, the first to fourth estimations are performed at regular time intervals, and the
なお、第1推定から第4推定による興味スコアの加点の大きさは、異なってもよい。また、コンテンツの内容に合わせて、各推定における興味スコアの加点の大きさが変化してもよい。 It should be noted that the magnitude of the interest score added by the first estimation to the fourth estimation may be different. In addition, the magnitude of the added interest score in each estimation may be changed according to the details of the content.
推定部41は、このようにして求めた興味スコアの大きさによって、興味スコア算出時に供給されていたコンテンツへの興味(つまり、関心度又は没入度)の大きさを推定する。つまり、興味スコアが大きければ、そのコンテンツへの興味が高いと推定し、興味スコアが低ければ、そのコンテンツへの興味が低いと推定する。
The
また、推定部41は、姿勢ごとの興味スコア同士を比較することで、どの姿勢の興味スコアが高いか判定し、コンテンツ提供時に利用者が最も興味を示した方向を推定することができる。
In addition, the
推定部41は、算出した各時間における興味スコアをコンテンツに対する興味の推定結果として、記憶部42及び制御部43に出力する。
The
(記憶部)
記憶部42は、推定部41による利用者のコンテンツに対する興味の推定結果(つまり興味スコア)をデータとして記録する。また、記憶部42は、利用者の姿勢を推定する学習モデルを記憶する。
(storage unit)
The
記憶部42が記憶したデータは、記録媒体への書き込み、通信回路によるサーバへの送信、紙への印刷等の手段によって出力される。出力されたデータは、利用者により適したサービスを提供するための参照情報、不特定多数の利用者の興味の傾向を解析するためのビッグデータ等として使用することができる。
The data stored in the
また、記憶部42が記憶したデータは、制御部43からも参照される。制御部43は、記憶部42のデータを直接参照することで、過去の興味推定結果に基づいて、後述するようにコンテンツの内容を制御する。
The data stored in the
(制御部)
制御部43は、推定部41による利用者のコンテンツに対する興味の推定結果(つまり興味スコア)に基づいて、コンテンツの内容を制御する。
(control part)
The
例えば、現在のコンテンツの興味スコアが低い場合は、制御部43は、現在のコンテンツに替えて、異なるコンテンツの提供を開始する。また、制御部43は、利用者に現在のコンテンツへの興味を持たせるための新たなイベントの追加又はストーリーの変化(例えば、キャラクタの性格の変更)を実施してもよい。さらに、制御部43は、視覚以外の知覚で認識される刺激(例えば、音、におい、風、振動等)を利用者に提供してもよい。したがって、制御部43は、このような刺激を出力するハードウェアを有してもよい。
For example, if the current content has a low interest score, the
また、現在のコンテンツの興味スコアが高い場合は、制御部43は、利用者の興味を促進させ、コンテンツへの没入度が向上するように、イベントの追加、ストーリーの変化、刺激の提供等を行う。
Further, when the interest score of the current content is high, the
また、制御部43は、記憶部42に記憶された過去の興味スコアを現在の興味スコアと組み合わせて利用者の嗜好を判断し、現在提供されているコンテンツの内容を制御してもよい。
Further, the
<推定部の処理>
以下、図4Aのフロー図を参照しつつ、推定部41が実行する推定処理の一例について説明する。
<Processing of estimation unit>
An example of the estimation process performed by the
本処理では、推定部41は、最初に、検出装置2が検出した利用者の姿勢を受信し、興味推定に用いる推定用情報(つまり、視線の方向及び姿勢遷移量)を取得する(ステップS10)。次に、推定部41は、推定用情報に基づいて、図4Bの興味スコア算出処理を実行する(ステップS20)。
In this process, the
興味スコア算出処理では、推定部41は、第1推定による利用者の興味が高いか否か判定する(ステップS210)。興味が高い場合(S210:YES)、推定部41は、興味スコアに一定の点数を加点する(ステップS220)。一方、興味が低い場合(S210:NO)、推定部41は、興味スコアの加点を行わない。
In the interest score calculation process, the
第1推定後、推定部41は、第2推定による利用者の興味が高いか否かの判定(ステップS230)、第3推定による利用者の興味が高いか否かの判定(ステップS250)、及び第4推定による利用者の興味が高いか否かの判定(ステップS270)を行う。
After the first estimation, the
各推定において、興味が高い場合(S230,S250,S270:YES)、推定部41は、興味スコアに一定の点数を加点する(ステップS240,S260,S280)。一方、興味が低い場合(S230,S250,S270:NO)、推定部41は、興味スコアの加点を行わない。なお、第1推定から第4推定は、図4Bのように直列に行われてもよいし、並列に行われてもよい。
In each estimation, if the interest is high (S230, S250, S270: YES), the
興味スコア算出後、推定部41は、コンテンツが終了したか判定する(ステップS30)。コンテンツが終了している場合(S30:YES)、推定部41は処理を終了する。一方、コンテンツが終了していない(つまりコンテンツが継続している)場合(S30:NO)、推定部41は、ステップS10からの処理を繰り返す。
After calculating the interest score, the
なお、推定部41は、興味スコアの大きさに応じて、コンテンツの切り替え、イベントの追加、ストーリーの変化、刺激の提供等の制御を実施するように制御部43に指示するステップを有してもよい。
Note that the estimating
<移動体>
以下では、図5に示す移動体10に興味推定システム1が設置され、仮想現実空間と仮想人物であるキャラクタVとを含むコンテンツが利用者Uに提供される例を説明する。
<Moving body>
An example will be described below in which the
移動体10は、興味推定システム1のシート21が配置された内部空間10Aを有すると共に、電力等の動力を用いて地上を自走可能な装置である。ただし、内部空間10Aを有する移動体10は地上を走行するものに限定されない。
The moving
移動体10の内部空間10Aは、興味推定システム1を利用する利用者Uが滞在する客室を構成する。移動体10の内部空間10Aは、1つの地点に固定されない移動可能な空間(つまりモビリティ空間)である。
The
移動体10は、自動運転機能を有し、予め定められたルートに沿った自動走行が可能である。移動体10は、内部空間10Aと移動体10の外部とを仕切る少なくとも1つの窓を備えており、移動体10の内部空間10Aに搭乗した利用者Uは、窓を介して移動体10の外側の景観を視認できる。ただし、移動体10は必ずしも自動運転機能を有しなくてもよい。
The moving
移動体10の内部空間10Aには、シート21、カメラ23及び後述するキャラクタVが着席するキャラクタ用シート11以外に、図示されていない、机、照明、空調設備、ディスプレイ、運転制御機器(例えば、タッチパネル等の入力デバイス)等の設備が配置される。
In the
興味推定システム1の処理装置4は、移動体10の内部に配置される。また、コンテンツは、表示部12に表示される。本実施形態では、表示部12は、利用者Uが装着したウェアラブルデバイスによって構成されている。
The processing device 4 of the
表示部12を構成するウェアラブルデバイスとしては、例えば、利用者Uの頭部に装着されるヘッドマウントディスプレイが使用できる。ヘッドマウントディスプレイは、利用者Uの眼を覆うディスプレイと、ジャイロセンサ、加速度センサ等のヘッドトラッキング用のセンサとを有する。
As a wearable device that configures the
表示部12としてヘッドマウントディスプレイを用いることで、利用者Uの位置及び姿勢を計測できるほか、拡張現実空間への利用者Uの没入度を高めることができる。ただし、表示部12として用いられるウェアラブルデバイスは、ヘッドマウントディスプレイに限定されない。
By using a head-mounted display as the
また、表示部12は、ウェアラブルデバイスに限定されない。例えば、内部空間10Aに配置された平面ディスプレイを表示部12として用いてもよい。また、内部空間10Aを構成する窓にディスプレイ機能を持たせて表示部12として使用してもよい。
Moreover, the
処理装置4は、図示しない撮像部によって撮影した内部空間10Aの画像に基づいて、実空間に基づいた拡張現実空間を形成する。また、処理装置4は、予め記憶したキャラクタVの情報と、キャラクタVを動かすプログラムとに基づいて、拡張現実空間とこの拡張現実空間に配置されるキャラクタVとを含む提供画像をリアルタイムに形成する。
The processing device 4 forms an augmented reality space based on the real space based on the image of the
処理装置4が形成した提供画像は、リアルタイムに表示部12に送信される。例えば、移動体10から見える景観の変化、内部空間10Aの照明の変化等は、即時提供画像に反映される。その結果、利用者Uは、表示部12を介して、これらの変化を拡張現実空間においてリアルタイムで認識することができる。
The provided image formed by the processing device 4 is transmitted to the
表示部12に表示されるコンテンツでは、キャラクタVが利用者Uへの会話や身振り等で視線の誘導を行う。処理装置4は、キャラクタVの視線の誘導方向と、利用者の視線の方向とを用いて、利用者UのキャラクタVへの興味(つまり関心)を推定する。
In the content displayed on the
例えば、利用者Uの関心が低い場合は、処理装置4は、キャラクタVがガイドとして振る舞うコンテンツを提供する。一方、利用者Uの関心が高い場合は、処理装置4は、キャラクタVが恋人のように振る舞うコンテンツを提供する。 For example, if the user U has little interest, the processing device 4 provides content in which the character V acts as a guide. On the other hand, if the user U is highly interested, the processing device 4 provides content in which the character V behaves like a lover.
また、処理装置4は、利用者Uの視線の方向が維持された場面(つまり、移動体10が走行していた位置、利用者Uから視認可能であった景色等)から、利用者Uの興味の対象を推定する。
In addition, the processing device 4 selects a scene in which the direction of the user U's line of sight is maintained (that is, the position where the moving
[1-2.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(1a)利用者の視線の動きに基づいて、利用者のコンテンツへの興味の高さ(つまり、注視度合い)を推定できる。この結果に基づいて、コンテンツの内容、提供方法等を変更すれば、利用者の興味の向上を図ることができる。また、利用者の視線を推定に用いるため、解析精度に左右される言語情報(つまり、利用者の発言内容)を用いずに興味の高さを推定できる。
[1-2. effect]
According to the embodiment detailed above, the following effects are obtained.
(1a) Based on the movement of the user's line of sight, the user's level of interest in the content (that is, the degree of attention) can be estimated. Based on this result, it is possible to improve the user's interest by changing the contents of the content, the method of providing the content, and the like. In addition, since the user's line of sight is used for estimation, the level of interest can be estimated without using language information (that is, user's utterance content) that is affected by analysis accuracy.
(1b)視線の方向が変化する頻度を用いた第2推定によって、利用者のコンテンツへの注視度合いを、視線の方向の維持時間による第1推定のみを用いて判定する場合よりも高い精度で判定することができる。 (1b) Using the second estimation using the frequency of changes in the line-of-sight direction, the degree of attention of the user to the content can be determined with higher accuracy than when only the first estimation based on the line-of-sight direction maintenance time is used. can judge.
(1c)視線の方向とコンテンツによる誘導方向との一致時間を用いた第3推定によって、視線誘導が含まれるコンテンツに対する興味の高さを容易かつ的確に判定することができる。 (1c) It is possible to easily and accurately determine the level of interest in the content that includes the line-of-sight guidance by the third estimation using the match time between the line-of-sight direction and the guidance direction of the content.
(1d)姿勢遷移量を用いた第4推定によって、視線誘導が含まれるコンテンツへの注視度合いを、視線の方向による第3推定のみを用いて判定する場合よりも高い精度で判定することができる。 (1d) By the fourth estimation using the posture transition amount, it is possible to determine the degree of attention to the content including the gaze guidance with higher accuracy than when determining only the third estimation based on the direction of the gaze. .
(1e)シート21に配置された加速度センサ22A,22B,22Cによって姿勢遷移量を推定することで、利用者の姿勢の遷移をカメラ等の画像処理を使用した検知よりも的確に検知することができる。また、コンテンツが提供される空間の明るさ、騒音等の環境による検知精度への影響を低減することができる。
(1e) By estimating the posture transition amount by the
[2.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
[2. Other embodiments]
Although the embodiments of the present disclosure have been described above, it is needless to say that the present disclosure is not limited to the above embodiments and can take various forms.
(2a)上記実施形態の興味推定システム1において、処理装置4は、必ずしも第2推定、第3推定及び第4推定を実施しなくてもよい。処理装置4は、第1推定のみ、第1推定及び第2推定のみ、又は第1推定及び第3推定のみを実施してもよい。
(2a) In the
(2b)上記実施形態の興味推定システム1において、検出装置2は、加速度センサ22A,22B,22C及びカメラ23以外の検出機器を有してもよい。つまり、検出装置2は、利用者の姿勢を検出できれば、必ずしもシート21、加速度センサ22A,22B,22C、及びカメラ23を有しなくてもよい。
(2b) In the
(2c)上記実施形態の興味推定システム1において、処理装置4は、必ずしも利用者のコンテンツに対する興味の推定結果に基づいて、コンテンツの内容を制御させなくてもよい。また、処理装置4は、必ずしも利用者のコンテンツに対する興味の推定結果をデータとして記録しなくてもよい。
(2c) In the
(2d)上記実施形態の興味推定システム1において、加速度センサの数は、1つ又は2つでもよいし、4つ以上であってもよい。例えば、2つのクッション用加速度センサ22A,22Bのみがシート21に配置されてもよい。
(2d) In the
(2e)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。 (2e) The function of one component in the above embodiments may be distributed as multiple components, or the functions of multiple components may be integrated into one component. Also, part of the configuration of the above embodiment may be omitted. Also, at least a part of the configuration of the above embodiment may be added, replaced, etc. with respect to the configuration of the other above embodiment. It should be noted that all aspects included in the technical idea specified by the wording in the claims are embodiments of the present disclosure.
1…興味推定システム、2…検出装置、4…処理装置、10…移動体、
10A…内部空間、11…キャラクタ用シート、12…表示部、21…シート、
21A…シートクッション、21B…シートバック、
22A…第1クッション用加速度センサ、22B…第2クッション用加速度センサ、
22C…バック用加速度センサ、23…カメラ、41…推定部、42…記憶部、
43…制御部。
DESCRIPTION OF
10A... Internal space, 11... Character sheet, 12... Display section, 21... Sheet,
21A... seat cushion, 21B... seat back,
22A... Acceleration sensor for first cushion, 22B... Acceleration sensor for second cushion,
22C...back acceleration sensor, 23...camera, 41...estimating section, 42...storage section,
43... Control part.
Claims (3)
前記検出装置が検出した前記姿勢から前記利用者の視線の方向を取得し、前記視線の方向の維持時間によって、前記コンテンツに対する前記利用者の興味の高さを推定する処理装置と、
を備え、
前記処理装置は、前記視線の方向が変化する頻度が低いほど、前記コンテンツに対する前記利用者の興味の高さが大きいと推定すると共に、前記コンテンツによる視線誘導の開始から、前記視線の方向が前記視線誘導の方向と一致するまでの時間によって、前記コンテンツに対する前記利用者の興味の高さを推定する、興味推定システム。 a detection device that detects the posture of a content user;
a processing device that acquires the direction of the user's line of sight from the posture detected by the detection device and estimates the level of interest of the user in the content based on the maintenance time of the direction of the line of sight;
with
The processing device estimates that the user's interest in the content increases as the frequency of change in the line-of-sight direction decreases , and the line-of-sight direction changes from the start of the line-of-sight guidance by the content. An interest estimation system for estimating the level of interest of the user in the content based on the direction of visual guidance and the time it takes to match .
前記処理装置は、前記検出装置が検出した前記姿勢から姿勢遷移量を取得し、前記視線誘導の開始後における前記姿勢遷移量によって、前記コンテンツに対する前記利用者の興味の高さを推定する、興味推定システム。 An interest estimation system according to claim 1 ,
The processing device acquires a posture transition amount from the posture detected by the detection device, and estimates a level of interest of the user in the content based on the posture transition amount after the gaze guidance is started. estimation system.
前記検出装置は、
前記コンテンツが提供される空間に配置されたシートと、
前記シートに配置された少なくとも1つの加速度センサと、
を有し、
前記処理装置は、前記少なくとも1つの加速度センサの出力に基づいて、前記シートに着座した前記利用者の前記姿勢遷移量を推定する、興味推定システム。 The interest estimation system according to claim 2 ,
The detection device is
a sheet arranged in a space where the content is provided;
at least one acceleration sensor located on the seat;
has
The interest estimation system, wherein the processing device estimates the posture transition amount of the user seated on the seat based on the output of the at least one acceleration sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019118569A JP7247784B2 (en) | 2019-06-26 | 2019-06-26 | Interest estimation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019118569A JP7247784B2 (en) | 2019-06-26 | 2019-06-26 | Interest estimation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021005215A JP2021005215A (en) | 2021-01-14 |
JP7247784B2 true JP7247784B2 (en) | 2023-03-29 |
Family
ID=74097208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019118569A Active JP7247784B2 (en) | 2019-06-26 | 2019-06-26 | Interest estimation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7247784B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022109741A (en) | 2021-01-15 | 2022-07-28 | 株式会社タニタ | Weighing machine, strain-generating body, and load cell |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016502201A (en) | 2012-11-29 | 2016-01-21 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Resource management for head mounted display |
JP2016218534A (en) | 2015-05-15 | 2016-12-22 | 国立大学法人九州大学 | Image display system and image display method |
JP2018092304A (en) | 2016-12-01 | 2018-06-14 | コニカミノルタ株式会社 | Print setting device, print setting system and print setting program |
JP2018184024A (en) | 2017-04-24 | 2018-11-22 | 日産自動車株式会社 | Display moving method, and display moving device |
JP2019175413A (en) | 2018-03-29 | 2019-10-10 | 富士通株式会社 | Determination program, determination method, and determination device |
-
2019
- 2019-06-26 JP JP2019118569A patent/JP7247784B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016502201A (en) | 2012-11-29 | 2016-01-21 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Resource management for head mounted display |
JP2016218534A (en) | 2015-05-15 | 2016-12-22 | 国立大学法人九州大学 | Image display system and image display method |
JP2018092304A (en) | 2016-12-01 | 2018-06-14 | コニカミノルタ株式会社 | Print setting device, print setting system and print setting program |
JP2018184024A (en) | 2017-04-24 | 2018-11-22 | 日産自動車株式会社 | Display moving method, and display moving device |
JP2019175413A (en) | 2018-03-29 | 2019-10-10 | 富士通株式会社 | Determination program, determination method, and determination device |
Also Published As
Publication number | Publication date |
---|---|
JP2021005215A (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11833311B2 (en) | Massage chair and operating method thereof | |
CN109643162B (en) | Augmenting virtual reality content with real world content | |
JP5187517B2 (en) | Information providing apparatus, information providing method, and program | |
US20190061655A1 (en) | Method and apparatus for motion sickness prevention | |
US11024081B2 (en) | Method and system for operating at least one pair of virtual reality glasses in a motor vehicle | |
EP3229107A1 (en) | Massive simultaneous remote digital presence world | |
CN106415671A (en) | Method and system for presenting a digital information related to a real object | |
JP6083441B2 (en) | Vehicle occupant emotion response control device | |
JP6115577B2 (en) | Vehicle occupant emotion response control device | |
JP6575933B2 (en) | Vehicle driving support system | |
JP6213489B2 (en) | Vehicle occupant emotion response control device | |
JP7247784B2 (en) | Interest estimation system | |
KR20210022456A (en) | A game system using vehicle driving information and a method for providing game service in a vehicle | |
JP2016137200A (en) | Control device for coping with feeling of passenger for vehicle | |
JP7095593B2 (en) | Interest estimation system | |
JP2016137202A (en) | Control device for coping with feeling of passenger for vehicle | |
KR20220014254A (en) | Method of providing traveling virtual reality contents in vehicle such as a bus and a system thereof | |
JP6213488B2 (en) | Vehicle occupant emotion response control device | |
JP2018169700A (en) | Vehicle driving support system | |
JP2020107220A (en) | Absorption promotion system | |
JP7359095B2 (en) | Mobile space provision system | |
JP2021108037A (en) | Immersion promotion system | |
JP7159110B2 (en) | Behavior reporting system, behavior reporting device, behavior reporting method, and behavior reporting control program | |
KR101750064B1 (en) | Apparatus and method for simulatin virtual experience | |
JP2021081333A (en) | Interest estimation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221025 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230105 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230105 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230117 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7247784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |