JP7247784B2 - Interest estimation system - Google Patents

Interest estimation system Download PDF

Info

Publication number
JP7247784B2
JP7247784B2 JP2019118569A JP2019118569A JP7247784B2 JP 7247784 B2 JP7247784 B2 JP 7247784B2 JP 2019118569 A JP2019118569 A JP 2019118569A JP 2019118569 A JP2019118569 A JP 2019118569A JP 7247784 B2 JP7247784 B2 JP 7247784B2
Authority
JP
Japan
Prior art keywords
user
interest
content
estimation
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019118569A
Other languages
Japanese (ja)
Other versions
JP2021005215A (en
Inventor
伸樹 林
良平 金原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Boshoku Corp
Original Assignee
Toyota Boshoku Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Boshoku Corp filed Critical Toyota Boshoku Corp
Priority to JP2019118569A priority Critical patent/JP7247784B2/en
Publication of JP2021005215A publication Critical patent/JP2021005215A/en
Application granted granted Critical
Publication of JP7247784B2 publication Critical patent/JP7247784B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、興味推定システムに関する。 The present disclosure relates to interest estimation systems.

コンテンツが提供される施設における着席状況を把握するために、シートに対する着席の有無を検知するシステムが知られている(特許文献1参照)。 A system is known that detects whether or not a person is seated on a seat in order to grasp the seating situation in a facility where content is provided (see Patent Document 1).

特開2003-61779号公報JP-A-2003-61779

上述のシステムは、利用者による席の確保を支援する機能を有しているが、コンテンツの提供開始後に、着席した利用者のコンテンツに対する興味を推定する機能は備えていない。 The system described above has a function of assisting the user in securing a seat, but does not have a function of estimating the interest of the seated user in the content after the start of provision of the content.

本開示の一局面は、コンテンツに対する利用者の興味を推定できる興味推定システムを提供することを目的としている。 One aspect of the present disclosure aims to provide an interest estimation system capable of estimating a user's interest in content.

本開示の一態様は、コンテンツの利用者の姿勢を検出する検出装置(2)と、検出装置(2)が検出した姿勢から利用者の視線の方向を取得し、視線の方向の維持時間によって、コンテンツに対する利用者の興味の高さを推定する処理装置(4)と、を備える興味推定システム(1)である。 One aspect of the present disclosure is a detection device (2) that detects the posture of a user of content, acquires the direction of the user's line of sight from the posture detected by the detection device (2), , and a processing device (4) for estimating the level of user's interest in content.

このような構成によれば、利用者の視線の動きに基づいて、利用者のコンテンツへの興味の高さ(つまり、注視度合い)を推定できる。この結果に基づいて、コンテンツの内容、提供方法等を変更すれば、利用者の興味の向上を図ることができる。また、利用者の視線を推定に用いるため、解析精度に左右される言語情報(つまり、利用者の発言内容)を用いずに興味の高さを推定できる。 According to such a configuration, it is possible to estimate the user's level of interest in the content (that is, the degree of gaze) based on the movement of the user's line of sight. Based on this result, it is possible to improve the user's interest by changing the contents of the content, the method of providing the content, and the like. In addition, since the user's line of sight is used for estimation, the level of interest can be estimated without using language information (that is, user's utterance content) that is affected by analysis accuracy.

本開示の一態様では、処理装置(4)は、視線の方向が変化する頻度によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、利用者のコンテンツへの注視度合いを、視線の方向の維持時間のみを用いて判定する場合よりも高い精度で判定することができる。 In one aspect of the present disclosure, the processing device (4) may estimate the user's level of interest in the content based on the frequency with which the line-of-sight direction changes. According to such a configuration, it is possible to determine the degree of attention of the user to the content with higher accuracy than in the case of determining only the maintenance time of the line-of-sight direction.

本開示の一態様では、処理装置(4)は、コンテンツによる視線誘導の開始から、視線の方向が視線誘導の方向と一致するまでの時間によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、視線誘導が含まれるコンテンツに対する興味の高さを容易かつ的確に判定することができる。 In one aspect of the present disclosure, the processing device (4) estimates the level of interest of the user in the content based on the time from the start of the visual guidance by the content until the direction of the visual line coincides with the direction of the visual guidance. may According to such a configuration, it is possible to easily and accurately determine the level of interest in content that includes visual guidance.

本開示の一態様では、処理装置(4)は、検出装置(2)が検出した姿勢から姿勢遷移量を取得し、視線誘導の開始後における姿勢遷移量によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、視線誘導が含まれるコンテンツへの注視度合いを、視線の方向のみを用いて判定する場合よりも高い精度で判定することができる。 In one aspect of the present disclosure, the processing device (4) acquires the posture transition amount from the posture detected by the detection device (2), and determines whether the user's interest in the content is high based on the posture transition amount after the gaze guidance is started. can be estimated. According to such a configuration, it is possible to determine the degree of attention to the content including the line-of-sight guidance with higher accuracy than when determining only the line-of-sight direction.

本開示の一態様では、検出装置(2)は、コンテンツが提供される空間に配置されたシート(21)と、シート(21)に配置された少なくとも1つの加速度センサ(22A,22B,22C)と、を有してもよい。処理装置(4)は、少なくとも1つの加速度センサ(22A,22B,22C)の出力に基づいて、シート(21)に着座した利用者の姿勢遷移量を推定してもよい。このような構成によれば、利用者の姿勢の遷移をカメラ等の画像処理を使用した検知よりも的確に検知することができる。また、コンテンツが提供される空間の明るさ、騒音等の環境による検知精度への影響を低減することができる。 In one aspect of the present disclosure, the detection device (2) includes a seat (21) placed in a space where content is provided, and at least one acceleration sensor (22A, 22B, 22C) placed on the seat (21). and may have The processing device (4) may estimate the posture transition amount of the user seated on the seat (21) based on the output of at least one acceleration sensor (22A, 22B, 22C). According to such a configuration, it is possible to detect the transition of the user's posture more accurately than detection using image processing such as a camera. In addition, it is possible to reduce the influence of environment such as brightness and noise of the space where the content is provided on the detection accuracy.

なお、上記各括弧内の符号は、後述する実施形態に記載の具体的構成等との対応関係を示す一例であり、本開示は上記括弧内の符号に示された具体的構成等に限定されるものではない。 It should be noted that the symbols in each parenthesis above are examples showing the correspondence with the specific configurations and the like described in the embodiments described later, and the present disclosure is limited to the specific configurations and the like shown in the symbols in the parentheses. not something.

図1は、実施形態における興味推定システムを示す模式的な構成図である。FIG. 1 is a schematic configuration diagram showing an interest estimation system according to an embodiment. 図2は、図1のシートにおける利用者の姿勢と加速度センサの出力との対応について説明する模式図である。FIG. 2 is a schematic diagram for explaining the correspondence between the posture of the user on the seat of FIG. 1 and the output of the acceleration sensor. 図3Aは、視線の方向の変化の一例を示すグラフであり、図3Bは、興味スコアの変化の一例を示すグラフである。FIG. 3A is a graph showing an example of changes in line-of-sight direction, and FIG. 3B is a graph showing an example of changes in interest scores. 図4Aは、図1の推定部が実行する推定処理を概略的に示すフロー図であり、図4Bは、興味スコア算出処理を概略的に示すフロー図である。4A is a flow diagram schematically showing estimation processing executed by the estimation unit in FIG. 1, and FIG. 4B is a flow diagram schematically showing interest score calculation processing. 図5は、図1の興味推定システムが搭載された移動体の模式図である。FIG. 5 is a schematic diagram of a moving object on which the interest estimation system of FIG. 1 is installed.

以下、本開示が適用された実施形態について、図面を用いて説明する。
[1.第1実施形態]
[1-1.構成]
図1に示す興味推定システム1は、例えば、スタジアム、映画館、劇場、コンサートホール、ライブハウス等の施設、又は、自動車、鉄道車両、船舶、航空機、宇宙船等の移動体に設置される。
Embodiments to which the present disclosure is applied will be described below with reference to the drawings.
[1. First Embodiment]
[1-1. composition]
The interest estimation system 1 shown in FIG. 1 is installed, for example, in facilities such as stadiums, movie theaters, theaters, concert halls, and live houses, or mobile objects such as automobiles, railroad vehicles, ships, aircraft, and spaceships.

興味推定システム1は、コンテンツの利用者の姿勢を検出する検出装置2と、検出された利用者の姿勢から興味を推定する処理装置4とを備える。 The interest estimation system 1 includes a detection device 2 that detects the posture of the content user and a processing device 4 that estimates the interest from the detected posture of the user.

<検出装置>
検出装置2は、シート21と、第1クッション用加速度センサ22A、第2クッション用加速度センサ22B、及びバック用加速度センサ22Cと、カメラ23とを備える。
<Detection device>
The detection device 2 includes a seat 21 , a first cushion acceleration sensor 22 A, a second cushion acceleration sensor 22 B, a back acceleration sensor 22 C, and a camera 23 .

シート21及びカメラ23は、施設又は移動体において、コンテンツが提供される空間に配置される。「コンテンツ」には、スポーツ、ボードゲーム、ビデオゲーム等の観戦イベント、演劇、演奏等の鑑賞イベント、実写又は仮想の映像、音楽、風景(つまり観光)などが含まれる。 The seat 21 and the camera 23 are arranged in a space where contents are provided in a facility or a mobile body. The “contents” include viewing events such as sports, board games, and video games, viewing events such as plays and musical performances, live-action or virtual images, music, scenery (that is, sightseeing), and the like.

特に、興味推定システム1は、利用者の行動によって内容が変化する双方向性のあるコンテンツに効果的に適用できる。このような双方向性のコンテンツの例として、仮想現実(VR:Virtual Reality)空間又は拡張現実(AR:Augmented Reality)空間と、仮想現実空間又は拡張現実空間に配置される仮想人物のキャラクタとを含むコンテンツが挙げられる。 In particular, the interest estimation system 1 can be effectively applied to interactive content whose content changes according to user behavior. Examples of such interactive content include a virtual reality (VR) space or an augmented reality (AR) space and a virtual person character placed in the virtual reality space or the augmented reality space. Content includes:

(シート)
シート21は、シートクッション21Aと、シートバック21Bとを有する。シートクッション21Aは、利用者の臀部等を支持するための部位である。シートバック21Bは、利用者の背部を支持するための部位である。
(sheet)
The seat 21 has a seat cushion 21A and a seat back 21B. The seat cushion 21A is a part for supporting the user's buttocks and the like. The seat back 21B is a part for supporting the user's back.

シートクッション21Aには、後述する第1クッション用加速度センサ22Aと、第2クッション用加速度センサ22Bとが配置されている。シートバック21Bには、後述するバック用加速度センサ22Cが配置されている。 A first cushion acceleration sensor 22A and a second cushion acceleration sensor 22B, which will be described later, are arranged on the seat cushion 21A. A back acceleration sensor 22C, which will be described later, is arranged on the seat back 21B.

(加速度センサ)
第1クッション用加速度センサ22A、第2クッション用加速度センサ22B、及びバック用加速度センサ22Cは、それぞれ、3軸加速度センサであり、3次元の加速度データを出力可能に構成されている。
(Acceleration sensor)
The first cushion acceleration sensor 22A, the second cushion acceleration sensor 22B, and the back acceleration sensor 22C are three-axis acceleration sensors and are configured to output three-dimensional acceleration data.

第1クッション用加速度センサ22A、第2クッション用加速度センサ22B、及びバック用加速度センサ22Cは、必要に応じて、3軸の角速度(つまり、ロール角速度、ピッチ角速度、及びヨー角速度)の検出機能を有してもよい。 The first cushion acceleration sensor 22A, the second cushion acceleration sensor 22B, and the back acceleration sensor 22C have a function of detecting triaxial angular velocities (that is, roll angular velocity, pitch angular velocity, and yaw angular velocity) as necessary. may have.

ただし、後述する処理装置4において、角速度を入力データとして用いることなく興味の推定が実現される場合は、センサのコストと消費電力とを低減する観点から、各加速度センサは加速度のみの検出機能を有することが好ましい。 However, if the processing device 4, which will be described later, can estimate interest without using angular velocity as input data, from the viewpoint of reducing the cost and power consumption of the sensor, each acceleration sensor can detect only acceleration. It is preferable to have

第1クッション用加速度センサ22A及び第2クッション用加速度センサ22Bは、シートクッション21Aの幅方向に互いに離間して、つまり左右方向に並んでシートクッション21Aの内部に埋められている。 The first cushion acceleration sensor 22A and the second cushion acceleration sensor 22B are embedded in the seat cushion 21A so as to be spaced apart from each other in the width direction of the seat cushion 21A, that is, side by side in the left-right direction.

具体的には、第1クッション用加速度センサ22Aは、シートクッション21Aの幅方向中心よりも右側に配置されている。第2クッション用加速度センサ22Bは、シートクッション21Aの幅方向中心よりも左側に配置されている。 Specifically, the first cushion acceleration sensor 22A is arranged on the right side of the center of the seat cushion 21A in the width direction. The second cushion acceleration sensor 22B is arranged on the left side of the center of the seat cushion 21A in the width direction.

第1クッション用加速度センサ22A及び第2クッション用加速度センサ22Bは、それぞれ、利用者のヒップポイント(つまり大腿骨の最外部)と重なるように配置されている。また、第1クッション用加速度センサ22Aと第2クッション用加速度センサ22Bとの左右方向の距離は、例えば100mm以上150mm以下である。 The first cushion acceleration sensor 22A and the second cushion acceleration sensor 22B are arranged so as to overlap the user's hip point (that is, the outermost part of the femur). Moreover, the distance in the horizontal direction between the first cushion acceleration sensor 22A and the second cushion acceleration sensor 22B is, for example, 100 mm or more and 150 mm or less.

バック用加速度センサ22Cは、シートバック21Bの内部に埋められている。バック用加速度センサ22Cは、シートバック21Bの幅方向中央に配置されている。バック用加速度センサ22Cの高さは、例えばヒップポイントに150mm以上400mm以下の高さを加えたものである。 The back acceleration sensor 22C is embedded inside the seat back 21B. The back acceleration sensor 22C is arranged at the center of the seat back 21B in the width direction. The height of the back acceleration sensor 22C is, for example, the hip point plus a height of 150 mm or more and 400 mm or less.

(カメラ)
カメラ23は、シート21に着席した利用者の姿勢を撮影する3次元カメラである。カメラ23は、利用者の体の向きを画像として取得し、処理装置4に出力する。なお、検出装置2は、複数のカメラ23を有してもよい。
(camera)
The camera 23 is a three-dimensional camera that captures the posture of the user seated on the seat 21 . The camera 23 acquires the orientation of the user's body as an image and outputs the image to the processing device 4 . Note that the detection device 2 may have a plurality of cameras 23 .

<処理装置>
処理装置4は、シート21に着座している利用者に提供されている現在のコンテンツに対する、利用者の興味を推定する装置である。
<Processing device>
The processing device 4 is a device for estimating the user's interest in the current content provided to the user sitting on the seat 21 .

処理装置4は、推定部41と、記憶部42と、制御部43とを有する。処理装置4は、例えばマイクロプロセッサと、RAM、ROM等の記憶媒体と、入出力部とを備えるマイクロコンピュータにより構成される。処理装置4は、シート21に装着又は内蔵されてもよいし、シート21とは離間して配置されてもよい。 The processing device 4 has an estimation unit 41 , a storage unit 42 and a control unit 43 . The processing device 4 is composed of, for example, a microcomputer including a microprocessor, storage media such as RAM and ROM, and an input/output unit. The processing device 4 may be attached to or built into the seat 21 or may be arranged apart from the seat 21 .

(推定部)
推定部41は、検出装置2が検出した姿勢から、推定用情報を取得する。推定用情報には、利用者の視線の方向と、姿勢遷移量とが含まれる。
(Estimation part)
The estimation unit 41 acquires information for estimation from the posture detected by the detection device 2 . The information for estimation includes the direction of the user's line of sight and the amount of posture transition.

推定に用いられる視線の方向は、例えば、利用者の頭部の方向として取得される。利用者の頭部の方向は、カメラ23が取得した画像、各加速度センサの出力、又はこれらの組み合わせから推定される。 The line-of-sight direction used for estimation is acquired as, for example, the direction of the user's head. The direction of the user's head is estimated from the image acquired by the camera 23, the output of each acceleration sensor, or a combination thereof.

例えば、頭部の方向は、利用者の上半身の鉛直方向に対する傾きと、利用者の両肩を結んだ線分の基準軸に対する傾きと、利用者の首と鼻とを結んだ線分の鉛直方向に対する傾きと、の組み合わせによって決定される。つまり、視線の方向は、これらの傾きの組み合わせを表すコードとして取得される。 For example, the direction of the head is the tilt of the user's upper body with respect to the vertical direction, the tilt of the line segment connecting the user's shoulders with respect to the reference axis, and the vertical line segment connecting the user's neck and nose. It is determined by a combination of the tilt with respect to the direction. That is, the line-of-sight direction is obtained as a code representing a combination of these tilts.

上述の3つの傾きは、それぞれ、カメラ23の画像解析によって検出できる。また、各加速度センサの出力から、機械学習により構築された学習モデルを用いて3つの傾きを推定することもできる。 Each of the three tilts mentioned above can be detected by image analysis of the camera 23 . Also, from the output of each acceleration sensor, it is possible to estimate the three tilts using a learning model constructed by machine learning.

上記学習モデルは、第1クッション用加速度センサ22A、第2クッション用加速度センサ22B、及びバック用加速度センサ22Cの出力に基づく入力データと、利用者の姿勢又は利用者の姿勢遷移に係る情報に基づく教師データ(つまりラベルデータ)とによる機械学習により構築される。学習モデルは、後述する記憶部42に記憶されている。 The learning model is based on input data based on the outputs of the first cushion acceleration sensor 22A, the second cushion acceleration sensor 22B, and the back acceleration sensor 22C, and information related to the user's posture or the user's posture transition. It is constructed by machine learning using teacher data (that is, label data). The learning model is stored in the storage unit 42, which will be described later.

学習モデルは、教師あり機械学習によって構築される分類器(つまり分類モデル)であり、例えば多層ニューラルネットワークで構成される。多層ニューラルネットワークの例としては、例えば、CNN(Convolution Neural Network)、DNN(Deep Neural Network)、LSTM(Long Short-Term Memory)等が挙げられる。 A learning model is a classifier (that is, a classification model) constructed by supervised machine learning, and is composed of, for example, a multilayer neural network. Examples of multilayer neural networks include CNN (Convolution Neural Network), DNN (Deep Neural Network), LSTM (Long Short-Term Memory), and the like.

なお、学習モデルは、多層ニューラルネットに限定されず、ニューラルネットワーク以外のモデルを用いてもよい。例えば、SVC(サポートベクターマシンによるクラス分類)、ランダムフォレスト等のアルゴリズムを用いて学習モデルを構築してもよい。 Note that the learning model is not limited to a multilayer neural network, and a model other than a neural network may be used. For example, a learning model may be constructed using an algorithm such as SVC (class classification by support vector machine), random forest, or the like.

記憶部42が記憶する学習モデルの機械学習では、入力データとして、各加速度センサの出力(つまり、3次元の加速度、又は3次元の加速度に3次元の角速度を加えた加速度データ)を用いる。また、教師データとして、利用者の姿勢パターンを示す一定数の姿勢ラベル、又は利用者の姿勢の遷移パターンを示す一定数の遷移ラベルを用いる。 In the machine learning of the learning model stored in the storage unit 42, the output of each acceleration sensor (that is, three-dimensional acceleration or acceleration data obtained by adding three-dimensional angular velocity to three-dimensional acceleration) is used as input data. Also, as teacher data, a certain number of posture labels indicating a user's posture pattern or a certain number of transition labels indicating a user's posture transition pattern are used.

学習モデルを生成する学習ステップでは、多数のラベル付きデータを機械学習装置に分析させる。ラベル付きデータは、加速度データに、対応する姿勢ラベル又は遷移ラベルを付けたデータである。機械学習装置は、多数のラベル付きデータから加速度データを複数のラベルに分類するための特徴量を学習し、学習モデルを構築する。 In the learning step of generating a learning model, a large amount of labeled data is analyzed by a machine learning device. Labeled data is acceleration data with corresponding posture labels or transition labels. A machine learning device learns feature quantities for classifying acceleration data into a plurality of labels from a large amount of labeled data, and constructs a learning model.

学習モデルの構築は、機械学習装置(図示省略)を用いて行われる。機械学習装置によって構築された学習モデルは、記憶部42に出力される。なお、機械学習装置は処理装置4に組み込まれていてもよい。 A learning model is constructed using a machine learning device (not shown). A learning model constructed by the machine learning device is output to the storage unit 42 . Note that the machine learning device may be incorporated in the processing device 4 .

図2に示すように、例えば、前傾の姿勢P1から、直立の姿勢P2に利用者の姿勢が遷移する場合、推定部41は、姿勢ラベルを教師データとした学習モデルに遷移時の各加速度センサの出力Oを入力し、「直立」という姿勢ラベルを入力データに付与する。これにより、「直立」という利用者の姿勢が推定される。 As shown in FIG. 2 , for example, when the user's posture transitions from a forward leaning posture P1 to an upright posture P2, the estimating unit 41 converts each acceleration at the time of transition to a learning model in which posture labels are teacher data. The sensor output O is input, and the posture label "upright" is added to the input data. As a result, the user's posture of "upright" is estimated.

あるいは、推定部41は、姿勢遷移ラベルを教師データとした学習モデルに上記センサ出力Oを入力し、「後方に体を起こす」という姿勢遷移ラベルを入力データに付与する。これにより、「後方に体を起こす」という利用者の姿勢遷移が推定される。 Alternatively, the estimating unit 41 inputs the sensor output O to the learning model using the posture transition label as teacher data, and assigns the posture transition label "raising the body backward" to the input data. As a result, the user's posture transition of "raising the body backward" is estimated.

推定部41が入力データに付与する姿勢ラベルは、推定する複数の姿勢パターンを予め定義したものである。本実施形態の姿勢ラベルは、例えば、視線の方向を示すコードとされる。 The posture labels given to the input data by the estimation unit 41 predefine multiple posture patterns to be estimated. The posture label of this embodiment is, for example, a code indicating the direction of the line of sight.

視線の方向と共に推定に用いられる姿勢遷移量は、各加速度センサの出力から算出される特徴量として取得される。この特徴量は、取得された出力に対する積分、平均等の演算に基づいて算出される。推定部41が算出する特徴量の内容と、特徴量の算出に使用する入力データと、特徴量の算出方法との組み合わせの一例を表1に示す。 The posture transition amount used for estimation together with the direction of the line of sight is obtained as a feature amount calculated from the output of each acceleration sensor. This feature amount is calculated based on calculations such as integration and averaging of the acquired output. Table 1 shows an example of a combination of the content of the feature amount calculated by the estimation unit 41, the input data used for calculating the feature amount, and the method of calculating the feature amount.

Figure 0007247784000001
Figure 0007247784000001

表1中の「シートバックの加速度」及び「シートバックの角速度」は、バック用加速度センサ22Cの出力であり、「シートクッションの加速度」及び「シートクッションの角速度」は、第1クッション用加速度センサ22A及び第2クッション用加速度センサ22Bの出力である。 The "seat back acceleration" and "seat back angular velocity" in Table 1 are outputs of the back acceleration sensor 22C, and the "seat cushion acceleration" and "seat cushion angular velocity" are the outputs of the first cushion acceleration sensor. 22A and the output of the second cushion acceleration sensor 22B.

推定部41は、検出装置2の検出結果(つまり、カメラ23が取得した画像及び各加速度センサの出力)に基づいて取得した利用者の視線の方向と、姿勢遷移量とに基づいて、コンテンツに対する利用者の興味の高さを推定する。 The estimating unit 41 estimates the content based on the direction of the user's line of sight and the posture transition amount obtained based on the detection result of the detection device 2 (that is, the image obtained by the camera 23 and the output of each acceleration sensor). Estimate the level of user interest.

具体的には、推定部41は、視線の維持時間に基づく第1推定、視線の変化頻度に基づく第2推定、共同注視に基づく第3推定、及びリアクションの大きさに基づく第4推定を行う。 Specifically, the estimation unit 41 performs a first estimation based on the gaze maintenance time, a second estimation based on the frequency of changes in the gaze, a third estimation based on joint gaze, and a fourth estimation based on the magnitude of the reaction. .

第1推定では、推定部41は、視線の方向の維持時間によって、コンテンツに対する利用者の興味の高さを推定する。具体的には、視線の方向の維持時間が予め定めた第1閾値以上の場合に、利用者の興味スコアが加点される。 In the first estimation, the estimation unit 41 estimates the user's level of interest in the content based on the gaze direction maintenance time. Specifically, the user's interest score is added when the gaze direction maintenance time is equal to or greater than a predetermined first threshold.

なお、「視線の方向の維持」とは、推定部41によって取得される「視線の方向を示すコード」が変化しないことを意味し、視線の方向コードが変化しない(つまり視線の変化後も同じ方向コードに含まれる)微小な視線の変動は「視線の方向の維持」に含まれる。第1閾値は、コンテンツの内容に合わせて設定され、コンテンツの進行に合わせて変化してもよい。第1閾値は、例えば1.5秒である。 Note that "maintaining the direction of the line of sight" means that the "code indicating the direction of the line of sight" acquired by the estimation unit 41 does not change, and the direction code of the line of sight does not change (that is, the same Minor changes in line of sight (included in the direction code) are included in "maintenance of direction of line of sight". The first threshold may be set according to the details of the content, and may change according to the progress of the content. The first threshold is, for example, 1.5 seconds.

第2推定では、推定部41は、視線の方向が変化する頻度(つまり視線の逸脱率)によって、コンテンツに対する利用者の興味の高さを推定する。具体的には、一定時間における視線の方向の変化回数が予め定めた第2閾値以下の場合に、利用者の興味スコアが加点される。 In the second estimation, the estimation unit 41 estimates the user's level of interest in the content based on the frequency of changes in the line-of-sight direction (that is, the line-of-sight deviation rate). Specifically, the user's interest score is added when the number of changes in the line-of-sight direction within a certain period of time is equal to or less than a predetermined second threshold.

なお、第1推定と同様、「視線の方向の変化」は、「視線の方向を示すコード」が変化することを意味する。第2閾値は、コンテンツの内容と第1閾値とに合わせて設定され、コンテンツの進行に合わせて変化してもよい。第2閾値は、例えば、2回/5秒である。 As in the first estimation, "change in the direction of the line of sight" means that the "code indicating the direction of the line of sight" changes. The second threshold may be set according to the details of the content and the first threshold, and may change according to the progress of the content. The second threshold is, for example, 2 times/5 seconds.

第3推定では、推定部41は、コンテンツによる視線誘導の開始から、視線の方向が視線誘導の方向と一致する(つまり共同注視に遷移する)までの時間によって、コンテンツに対する利用者の興味の高さを推定する。 In the third estimation, the estimation unit 41 determines whether the user's interest in the content is high based on the time from the start of the visual guidance by the content until the direction of the visual line matches the direction of the visual guidance (that is, transition to joint gaze). to estimate the

具体的には、コンテンツによって共同注視シーンが提供されている間に、コンテンツが視線誘導の方向と利用者の視線の方向とが一致した場合に、利用者の興味スコアが加点される。 Specifically, the user's interest score is added when the direction of the line-of-sight guidance of the content matches the direction of the user's line of sight while the joint gaze scene is provided by the content.

図3Aに、利用者の視線の方向の変化の一例を示す。図3Aでは、利用者の視線の方向を「右」「真っ直ぐ」「左」に分類した場合における視線の方向の変化が示されている。破線は、推定部41が取得した利用者の視線の方向、一点鎖線は、コンテンツが利用者の視線を誘導する方向(つまり利用者に見てもらいたい方向)を示す。実線は、利用者の視線の方向と、視線誘導の方向とが一致した部分である。 FIG. 3A shows an example of a change in the direction of the user's line of sight. FIG. 3A shows changes in the direction of the line of sight of the user when the direction of the line of sight is classified into "right", "straight", and "left". The dashed line indicates the direction of the user's line of sight acquired by the estimation unit 41, and the dashed line indicates the direction in which the content guides the user's line of sight (that is, the direction the user wants the user to look at). A solid line is a portion where the direction of the user's line of sight and the direction of line of sight guidance match.

図3Aの期間T1では、利用者の視線の方向が定まっていない。つまり、利用者は、頭を左右に回転させ、コンテンツ自体、又はコンテンツが誘導している方向を探している状態である。 In period T1 in FIG. 3A, the direction of the user's line of sight is not fixed. In other words, the user turns his or her head left and right to look for the content itself or the direction the content is guiding.

なお、推定部41は、このような視線の方向の往復を利用者がコンテンツに対して興味を持ち始めた状態と評価し、往復回数が一定以上の場合に利用者の興味スコアを加点してもよい。 Note that the estimating unit 41 evaluates such reciprocation of the line-of-sight direction as a state in which the user has begun to take an interest in the content, and adds the interest score of the user when the number of reciprocations exceeds a certain value. good too.

期間T1に続く期間T2では、視線の方向が一定時間維持されているため、第1推定により興味スコアが加点される。また、コンテンツの誘導方向の変化に追従して、視線の方向も変化しているため、第3推定によって興味スコアが加点される。 In the period T2 following the period T1, the direction of the line of sight is maintained for a certain period of time, so the interest score is added by the first estimation. In addition, since the direction of the line of sight also changes in accordance with the change in the guiding direction of the content, the interest score is added by the third estimation.

期間T2に続く期間T3では、視線の方向が一定時間維持されると共に、視線の逸脱が1回のみであるため、第1推定と第2推定とによって、興味スコアが加点される。
期間T3に続く期間T4では、視線の方向が変化し、かつコンテンツの誘導方向にも追従していないので、第1推定及び第3推定による興味スコアの加点が生じない。
In the period T3 following the period T2, the direction of the line of sight is maintained for a certain period of time, and the line of sight deviates only once, so the interest score is added by the first estimation and the second estimation.
In the period T4 following the period T3, the direction of the line of sight changes and the guidance direction of the content is not followed, so the interest score is not added by the first estimation and the third estimation.

第4推定は、第3推定と合わせて実施される。第4推定では、コンテンツによる視線誘導の開始後における姿勢遷移量によって、コンテンツに対する利用者の興味の高さを推定する。 A fourth estimate is performed in conjunction with the third estimate. In the fourth estimation, the degree of user's interest in content is estimated based on the posture transition amount after the start of visual guidance by the content.

具体的には、推定部41は、上記表1に示された少なくとも1つの特徴量を算出し、特徴量がそれぞれ閾値を超えるごとに利用者の興味スコアを加点する。また、推定部41は、複数の特徴量すべてが閾値を超えた場合に興味スコアを加点してもよい。 Specifically, the estimation unit 41 calculates at least one feature value shown in Table 1 above, and adds the user's interest score each time the feature value exceeds the threshold value. Also, the estimation unit 41 may add an interest score when all of the plurality of feature amounts exceed the threshold.

さらに、推定部41は、コンテンツによる視線誘導の開始から、少なくとも1つの特徴量が一定値に到達するまでの時間が予め定めた閾値以下の場合(つまり、遷移速度が一定値以上の場合)に、利用者の興味スコアを加点してもよい。 Furthermore, the estimating unit 41, when the time from the start of the visual guidance by the content until at least one feature value reaches a constant value is equal to or less than a predetermined threshold value (that is, when the transition speed is equal to or greater than a constant value) , the user's interest score may be added.

なお、表1に示された特徴量は一例である。そのため、推定部41は、表1に示す特徴量を全て算出する必要はない。また、推定部41は、表1に示されない特徴量(ただし、加速度センサの出力に基づいて算出されるものに限られる)を用いて、第4推定を行ってもよい。 Note that the feature values shown in Table 1 are examples. Therefore, the estimation unit 41 does not need to calculate all the feature values shown in Table 1. Also, the estimation unit 41 may perform the fourth estimation using feature amounts not shown in Table 1 (however, limited to those calculated based on the output of the acceleration sensor).

推定部41は、例えば、利用者の姿勢(つまり視線の方向コード)ごとに分けて利用者の興味スコアを算出してもよい。例えば、利用者が右方向を見ている時に、利用者のコンテンツに対する興味が高いと推定された場合は、「右方向」の興味スコアが加点される。同様に、利用者が左方向を見ている時に、利用者のコンテンツに対する興味が高いと推定された場合は、「左方向」の興味スコアが加点される。 For example, the estimation unit 41 may calculate the user's interest score separately for each user's posture (that is, line-of-sight direction code). For example, when it is estimated that the user is highly interested in the content when the user is looking to the right, the interest score for the "right direction" is added. Similarly, when it is estimated that the user is highly interested in the content when the user is looking leftward, the "leftward" interest score is added.

興味スコアは、図3Bに示すように、時間の経過と共に変化する。つまり、第1推定から第4推定は一定時間ごとに実施され、推定部41は、これらの推定による興味スコアの合計を一定時間ごとに出力する。 Interest scores change over time, as shown in FIG. 3B. In other words, the first to fourth estimations are performed at regular time intervals, and the estimation unit 41 outputs the sum of the interest scores resulting from these estimations at regular time intervals.

なお、第1推定から第4推定による興味スコアの加点の大きさは、異なってもよい。また、コンテンツの内容に合わせて、各推定における興味スコアの加点の大きさが変化してもよい。 It should be noted that the magnitude of the interest score added by the first estimation to the fourth estimation may be different. In addition, the magnitude of the added interest score in each estimation may be changed according to the details of the content.

推定部41は、このようにして求めた興味スコアの大きさによって、興味スコア算出時に供給されていたコンテンツへの興味(つまり、関心度又は没入度)の大きさを推定する。つまり、興味スコアが大きければ、そのコンテンツへの興味が高いと推定し、興味スコアが低ければ、そのコンテンツへの興味が低いと推定する。 The estimation unit 41 estimates the degree of interest (that is, the degree of interest or the degree of immersion) in the content supplied at the time of calculating the interest score, based on the magnitude of the interest score obtained in this way. That is, if the interest score is high, it is estimated that the interest in the content is high, and if the interest score is low, it is estimated that the interest in the content is low.

また、推定部41は、姿勢ごとの興味スコア同士を比較することで、どの姿勢の興味スコアが高いか判定し、コンテンツ提供時に利用者が最も興味を示した方向を推定することができる。 In addition, the estimation unit 41 can determine which posture has the highest interest score by comparing the interest scores for each posture, and can estimate the direction in which the user showed the greatest interest when the content was provided.

推定部41は、算出した各時間における興味スコアをコンテンツに対する興味の推定結果として、記憶部42及び制御部43に出力する。 The estimation unit 41 outputs the calculated interest score at each time to the storage unit 42 and the control unit 43 as a result of estimating the interest in the content.

(記憶部)
記憶部42は、推定部41による利用者のコンテンツに対する興味の推定結果(つまり興味スコア)をデータとして記録する。また、記憶部42は、利用者の姿勢を推定する学習モデルを記憶する。
(storage unit)
The storage unit 42 records, as data, the estimation result of the user's interest in the content (that is, the interest score) by the estimation unit 41 . The storage unit 42 also stores a learning model for estimating the posture of the user.

記憶部42が記憶したデータは、記録媒体への書き込み、通信回路によるサーバへの送信、紙への印刷等の手段によって出力される。出力されたデータは、利用者により適したサービスを提供するための参照情報、不特定多数の利用者の興味の傾向を解析するためのビッグデータ等として使用することができる。 The data stored in the storage unit 42 is output by writing to a recording medium, transmission to a server via a communication circuit, printing on paper, or the like. The output data can be used as reference information for providing more suitable services to users, big data for analyzing trends of interests of unspecified number of users, and the like.

また、記憶部42が記憶したデータは、制御部43からも参照される。制御部43は、記憶部42のデータを直接参照することで、過去の興味推定結果に基づいて、後述するようにコンテンツの内容を制御する。 The data stored in the storage unit 42 is also referred to by the control unit 43 . By directly referring to the data in the storage unit 42, the control unit 43 controls the details of the content based on the past interest estimation results, as will be described later.

(制御部)
制御部43は、推定部41による利用者のコンテンツに対する興味の推定結果(つまり興味スコア)に基づいて、コンテンツの内容を制御する。
(control part)
The control unit 43 controls the details of the content based on the estimation result of the user's interest in the content (that is, the interest score) by the estimation unit 41 .

例えば、現在のコンテンツの興味スコアが低い場合は、制御部43は、現在のコンテンツに替えて、異なるコンテンツの提供を開始する。また、制御部43は、利用者に現在のコンテンツへの興味を持たせるための新たなイベントの追加又はストーリーの変化(例えば、キャラクタの性格の変更)を実施してもよい。さらに、制御部43は、視覚以外の知覚で認識される刺激(例えば、音、におい、風、振動等)を利用者に提供してもよい。したがって、制御部43は、このような刺激を出力するハードウェアを有してもよい。 For example, if the current content has a low interest score, the control unit 43 starts providing different content instead of the current content. The control unit 43 may also add a new event or change the story (for example, change the character's personality) to make the user interested in the current content. Furthermore, the control unit 43 may provide the user with a stimulus (for example, sound, smell, wind, vibration, etc.) recognized by perception other than sight. Therefore, the controller 43 may have hardware for outputting such a stimulus.

また、現在のコンテンツの興味スコアが高い場合は、制御部43は、利用者の興味を促進させ、コンテンツへの没入度が向上するように、イベントの追加、ストーリーの変化、刺激の提供等を行う。 Further, when the interest score of the current content is high, the control unit 43 adds an event, changes the story, provides stimulation, etc. so as to promote the user's interest and improve the degree of immersion in the content. conduct.

また、制御部43は、記憶部42に記憶された過去の興味スコアを現在の興味スコアと組み合わせて利用者の嗜好を判断し、現在提供されているコンテンツの内容を制御してもよい。 Further, the control unit 43 may combine the past interest score stored in the storage unit 42 with the current interest score to determine the user's preference, and control the details of the currently provided content.

<推定部の処理>
以下、図4Aのフロー図を参照しつつ、推定部41が実行する推定処理の一例について説明する。
<Processing of estimation unit>
An example of the estimation process performed by the estimation unit 41 will be described below with reference to the flowchart of FIG. 4A.

本処理では、推定部41は、最初に、検出装置2が検出した利用者の姿勢を受信し、興味推定に用いる推定用情報(つまり、視線の方向及び姿勢遷移量)を取得する(ステップS10)。次に、推定部41は、推定用情報に基づいて、図4Bの興味スコア算出処理を実行する(ステップS20)。 In this process, the estimation unit 41 first receives the posture of the user detected by the detection device 2, and acquires information for estimation (that is, the direction of the line of sight and the amount of posture transition) used for estimating the interest (step S10). ). Next, the estimation unit 41 executes the interest score calculation process of FIG. 4B based on the information for estimation (step S20).

興味スコア算出処理では、推定部41は、第1推定による利用者の興味が高いか否か判定する(ステップS210)。興味が高い場合(S210:YES)、推定部41は、興味スコアに一定の点数を加点する(ステップS220)。一方、興味が低い場合(S210:NO)、推定部41は、興味スコアの加点を行わない。 In the interest score calculation process, the estimation unit 41 determines whether or not the user's interest is high according to the first estimation (step S210). If the interest is high (S210: YES), the estimation unit 41 adds a certain number of points to the interest score (step S220). On the other hand, when the interest is low (S210: NO), the estimation unit 41 does not add the interest score.

第1推定後、推定部41は、第2推定による利用者の興味が高いか否かの判定(ステップS230)、第3推定による利用者の興味が高いか否かの判定(ステップS250)、及び第4推定による利用者の興味が高いか否かの判定(ステップS270)を行う。 After the first estimation, the estimation unit 41 determines whether the user is highly interested by the second estimation (step S230), determines whether the user is highly interested by the third estimation (step S250), Then, it is determined whether or not the user's interest is high based on the fourth estimation (step S270).

各推定において、興味が高い場合(S230,S250,S270:YES)、推定部41は、興味スコアに一定の点数を加点する(ステップS240,S260,S280)。一方、興味が低い場合(S230,S250,S270:NO)、推定部41は、興味スコアの加点を行わない。なお、第1推定から第4推定は、図4Bのように直列に行われてもよいし、並列に行われてもよい。 In each estimation, if the interest is high (S230, S250, S270: YES), the estimation unit 41 adds a certain number of points to the interest score (steps S240, S260, S280). On the other hand, if the interest is low (S230, S250, S270: NO), the estimation unit 41 does not add the interest score. Note that the first to fourth estimations may be performed in series as shown in FIG. 4B, or may be performed in parallel.

興味スコア算出後、推定部41は、コンテンツが終了したか判定する(ステップS30)。コンテンツが終了している場合(S30:YES)、推定部41は処理を終了する。一方、コンテンツが終了していない(つまりコンテンツが継続している)場合(S30:NO)、推定部41は、ステップS10からの処理を繰り返す。 After calculating the interest score, the estimation unit 41 determines whether the content has ended (step S30). If the content has ended (S30: YES), the estimation unit 41 ends the process. On the other hand, if the content has not ended (that is, the content continues) (S30: NO), the estimation unit 41 repeats the processing from step S10.

なお、推定部41は、興味スコアの大きさに応じて、コンテンツの切り替え、イベントの追加、ストーリーの変化、刺激の提供等の制御を実施するように制御部43に指示するステップを有してもよい。 Note that the estimating unit 41 has a step of instructing the control unit 43 to perform control such as content switching, event addition, story change, stimulation provision, etc. according to the magnitude of the interest score. good too.

<移動体>
以下では、図5に示す移動体10に興味推定システム1が設置され、仮想現実空間と仮想人物であるキャラクタVとを含むコンテンツが利用者Uに提供される例を説明する。
<Moving body>
An example will be described below in which the interest estimation system 1 is installed in the moving body 10 shown in FIG.

移動体10は、興味推定システム1のシート21が配置された内部空間10Aを有すると共に、電力等の動力を用いて地上を自走可能な装置である。ただし、内部空間10Aを有する移動体10は地上を走行するものに限定されない。 The moving object 10 has an internal space 10A in which the seat 21 of the interest estimation system 1 is arranged, and is a device capable of self-propelled on the ground using power such as electric power. However, the moving body 10 having the internal space 10A is not limited to one that travels on the ground.

移動体10の内部空間10Aは、興味推定システム1を利用する利用者Uが滞在する客室を構成する。移動体10の内部空間10Aは、1つの地点に固定されない移動可能な空間(つまりモビリティ空間)である。 The internal space 10A of the moving body 10 constitutes a guest room in which the user U who uses the interest estimation system 1 stays. 10 A of internal spaces of the mobile body 10 are movable spaces (namely, mobility space) which are not fixed to one point.

移動体10は、自動運転機能を有し、予め定められたルートに沿った自動走行が可能である。移動体10は、内部空間10Aと移動体10の外部とを仕切る少なくとも1つの窓を備えており、移動体10の内部空間10Aに搭乗した利用者Uは、窓を介して移動体10の外側の景観を視認できる。ただし、移動体10は必ずしも自動運転機能を有しなくてもよい。 The moving body 10 has an automatic driving function and can automatically travel along a predetermined route. The mobile body 10 has at least one window that separates the interior space 10A from the exterior of the mobile body 10, and the user U boarding the interior space 10A of the mobile body 10 can see the outside of the mobile body 10 through the window. You can see the scenery of However, the moving body 10 does not necessarily have to have an automatic driving function.

移動体10の内部空間10Aには、シート21、カメラ23及び後述するキャラクタVが着席するキャラクタ用シート11以外に、図示されていない、机、照明、空調設備、ディスプレイ、運転制御機器(例えば、タッチパネル等の入力デバイス)等の設備が配置される。 In the interior space 10A of the moving body 10, in addition to a seat 21, a camera 23, and a character seat 11 on which a character V (to be described later) is seated, there are not shown desks, lighting, air conditioning equipment, displays, and operation control equipment (for example, equipment such as input devices such as touch panels) are arranged.

興味推定システム1の処理装置4は、移動体10の内部に配置される。また、コンテンツは、表示部12に表示される。本実施形態では、表示部12は、利用者Uが装着したウェアラブルデバイスによって構成されている。 The processing device 4 of the interest estimation system 1 is arranged inside the mobile object 10 . Also, the content is displayed on the display unit 12 . In this embodiment, the display unit 12 is configured by a wearable device worn by the user U. As shown in FIG.

表示部12を構成するウェアラブルデバイスとしては、例えば、利用者Uの頭部に装着されるヘッドマウントディスプレイが使用できる。ヘッドマウントディスプレイは、利用者Uの眼を覆うディスプレイと、ジャイロセンサ、加速度センサ等のヘッドトラッキング用のセンサとを有する。 As a wearable device that configures the display unit 12, for example, a head-mounted display that is worn on the head of the user U can be used. The head-mounted display has a display that covers the eyes of the user U, and a sensor for head tracking such as a gyro sensor and an acceleration sensor.

表示部12としてヘッドマウントディスプレイを用いることで、利用者Uの位置及び姿勢を計測できるほか、拡張現実空間への利用者Uの没入度を高めることができる。ただし、表示部12として用いられるウェアラブルデバイスは、ヘッドマウントディスプレイに限定されない。 By using a head-mounted display as the display unit 12, the position and orientation of the user U can be measured, and the degree of immersion of the user U in the augmented reality space can be enhanced. However, the wearable device used as the display unit 12 is not limited to the head mounted display.

また、表示部12は、ウェアラブルデバイスに限定されない。例えば、内部空間10Aに配置された平面ディスプレイを表示部12として用いてもよい。また、内部空間10Aを構成する窓にディスプレイ機能を持たせて表示部12として使用してもよい。 Moreover, the display unit 12 is not limited to a wearable device. For example, a flat display arranged in the internal space 10A may be used as the display unit 12. FIG. Further, the window forming the internal space 10A may be provided with a display function and used as the display unit 12. FIG.

処理装置4は、図示しない撮像部によって撮影した内部空間10Aの画像に基づいて、実空間に基づいた拡張現実空間を形成する。また、処理装置4は、予め記憶したキャラクタVの情報と、キャラクタVを動かすプログラムとに基づいて、拡張現実空間とこの拡張現実空間に配置されるキャラクタVとを含む提供画像をリアルタイムに形成する。 The processing device 4 forms an augmented reality space based on the real space based on the image of the internal space 10A captured by an imaging unit (not shown). In addition, the processing device 4 forms in real time a provided image including the augmented reality space and the character V arranged in the augmented reality space, based on pre-stored information on the character V and a program for moving the character V. .

処理装置4が形成した提供画像は、リアルタイムに表示部12に送信される。例えば、移動体10から見える景観の変化、内部空間10Aの照明の変化等は、即時提供画像に反映される。その結果、利用者Uは、表示部12を介して、これらの変化を拡張現実空間においてリアルタイムで認識することができる。 The provided image formed by the processing device 4 is transmitted to the display unit 12 in real time. For example, a change in scenery seen from the moving body 10, a change in lighting in the internal space 10A, and the like are reflected in the instantly provided image. As a result, the user U can recognize these changes in the augmented reality space in real time via the display unit 12 .

表示部12に表示されるコンテンツでは、キャラクタVが利用者Uへの会話や身振り等で視線の誘導を行う。処理装置4は、キャラクタVの視線の誘導方向と、利用者の視線の方向とを用いて、利用者UのキャラクタVへの興味(つまり関心)を推定する。 In the content displayed on the display unit 12, the character V guides the user U's line of sight through conversation, gestures, and the like. The processing device 4 estimates the user U's interest in the character V by using the guiding direction of the line of sight of the character V and the direction of the user's line of sight.

例えば、利用者Uの関心が低い場合は、処理装置4は、キャラクタVがガイドとして振る舞うコンテンツを提供する。一方、利用者Uの関心が高い場合は、処理装置4は、キャラクタVが恋人のように振る舞うコンテンツを提供する。 For example, if the user U has little interest, the processing device 4 provides content in which the character V acts as a guide. On the other hand, if the user U is highly interested, the processing device 4 provides content in which the character V behaves like a lover.

また、処理装置4は、利用者Uの視線の方向が維持された場面(つまり、移動体10が走行していた位置、利用者Uから視認可能であった景色等)から、利用者Uの興味の対象を推定する。 In addition, the processing device 4 selects a scene in which the direction of the user U's line of sight is maintained (that is, the position where the moving body 10 was running, the scenery that was visible to the user U, etc.). Infer the subject of interest.

[1-2.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(1a)利用者の視線の動きに基づいて、利用者のコンテンツへの興味の高さ(つまり、注視度合い)を推定できる。この結果に基づいて、コンテンツの内容、提供方法等を変更すれば、利用者の興味の向上を図ることができる。また、利用者の視線を推定に用いるため、解析精度に左右される言語情報(つまり、利用者の発言内容)を用いずに興味の高さを推定できる。
[1-2. effect]
According to the embodiment detailed above, the following effects are obtained.
(1a) Based on the movement of the user's line of sight, the user's level of interest in the content (that is, the degree of attention) can be estimated. Based on this result, it is possible to improve the user's interest by changing the contents of the content, the method of providing the content, and the like. In addition, since the user's line of sight is used for estimation, the level of interest can be estimated without using language information (that is, user's utterance content) that is affected by analysis accuracy.

(1b)視線の方向が変化する頻度を用いた第2推定によって、利用者のコンテンツへの注視度合いを、視線の方向の維持時間による第1推定のみを用いて判定する場合よりも高い精度で判定することができる。 (1b) Using the second estimation using the frequency of changes in the line-of-sight direction, the degree of attention of the user to the content can be determined with higher accuracy than when only the first estimation based on the line-of-sight direction maintenance time is used. can judge.

(1c)視線の方向とコンテンツによる誘導方向との一致時間を用いた第3推定によって、視線誘導が含まれるコンテンツに対する興味の高さを容易かつ的確に判定することができる。 (1c) It is possible to easily and accurately determine the level of interest in the content that includes the line-of-sight guidance by the third estimation using the match time between the line-of-sight direction and the guidance direction of the content.

(1d)姿勢遷移量を用いた第4推定によって、視線誘導が含まれるコンテンツへの注視度合いを、視線の方向による第3推定のみを用いて判定する場合よりも高い精度で判定することができる。 (1d) By the fourth estimation using the posture transition amount, it is possible to determine the degree of attention to the content including the gaze guidance with higher accuracy than when determining only the third estimation based on the direction of the gaze. .

(1e)シート21に配置された加速度センサ22A,22B,22Cによって姿勢遷移量を推定することで、利用者の姿勢の遷移をカメラ等の画像処理を使用した検知よりも的確に検知することができる。また、コンテンツが提供される空間の明るさ、騒音等の環境による検知精度への影響を低減することができる。 (1e) By estimating the posture transition amount by the acceleration sensors 22A, 22B, and 22C arranged on the seat 21, it is possible to detect the posture transition of the user more accurately than detection using image processing such as a camera. can. In addition, it is possible to reduce the influence of environment such as brightness and noise of the space where the content is provided on the detection accuracy.

[2.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
[2. Other embodiments]
Although the embodiments of the present disclosure have been described above, it is needless to say that the present disclosure is not limited to the above embodiments and can take various forms.

(2a)上記実施形態の興味推定システム1において、処理装置4は、必ずしも第2推定、第3推定及び第4推定を実施しなくてもよい。処理装置4は、第1推定のみ、第1推定及び第2推定のみ、又は第1推定及び第3推定のみを実施してもよい。 (2a) In the interest estimation system 1 of the above embodiment, the processing device 4 does not necessarily have to perform the second estimation, the third estimation, and the fourth estimation. The processing device 4 may perform only the first estimate, only the first and second estimates, or only the first and third estimates.

(2b)上記実施形態の興味推定システム1において、検出装置2は、加速度センサ22A,22B,22C及びカメラ23以外の検出機器を有してもよい。つまり、検出装置2は、利用者の姿勢を検出できれば、必ずしもシート21、加速度センサ22A,22B,22C、及びカメラ23を有しなくてもよい。 (2b) In the interest estimation system 1 of the above embodiment, the detection device 2 may have detection equipment other than the acceleration sensors 22A, 22B, 22C and the camera 23 . That is, the detection device 2 does not necessarily have the seat 21, the acceleration sensors 22A, 22B, and 22C, and the camera 23 as long as the posture of the user can be detected.

(2c)上記実施形態の興味推定システム1において、処理装置4は、必ずしも利用者のコンテンツに対する興味の推定結果に基づいて、コンテンツの内容を制御させなくてもよい。また、処理装置4は、必ずしも利用者のコンテンツに対する興味の推定結果をデータとして記録しなくてもよい。 (2c) In the interest estimation system 1 of the above embodiment, the processing device 4 does not necessarily have to control the details of the content based on the estimation result of the user's interest in the content. Also, the processing device 4 does not necessarily have to record the estimation result of the user's interest in the content as data.

(2d)上記実施形態の興味推定システム1において、加速度センサの数は、1つ又は2つでもよいし、4つ以上であってもよい。例えば、2つのクッション用加速度センサ22A,22Bのみがシート21に配置されてもよい。 (2d) In the interest estimation system 1 of the above embodiment, the number of acceleration sensors may be one, two, or four or more. For example, only the two cushion acceleration sensors 22A and 22B may be arranged on the seat 21 .

(2e)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。 (2e) The function of one component in the above embodiments may be distributed as multiple components, or the functions of multiple components may be integrated into one component. Also, part of the configuration of the above embodiment may be omitted. Also, at least a part of the configuration of the above embodiment may be added, replaced, etc. with respect to the configuration of the other above embodiment. It should be noted that all aspects included in the technical idea specified by the wording in the claims are embodiments of the present disclosure.

1…興味推定システム、2…検出装置、4…処理装置、10…移動体、
10A…内部空間、11…キャラクタ用シート、12…表示部、21…シート、
21A…シートクッション、21B…シートバック、
22A…第1クッション用加速度センサ、22B…第2クッション用加速度センサ、
22C…バック用加速度センサ、23…カメラ、41…推定部、42…記憶部、
43…制御部。
DESCRIPTION OF SYMBOLS 1... Interest estimation system, 2... Detection apparatus, 4... Processing apparatus, 10... Moving body,
10A... Internal space, 11... Character sheet, 12... Display section, 21... Sheet,
21A... seat cushion, 21B... seat back,
22A... Acceleration sensor for first cushion, 22B... Acceleration sensor for second cushion,
22C...back acceleration sensor, 23...camera, 41...estimating section, 42...storage section,
43... Control part.

Claims (3)

コンテンツの利用者の姿勢を検出する検出装置と、
前記検出装置が検出した前記姿勢から前記利用者の視線の方向を取得し、前記視線の方向の維持時間によって、前記コンテンツに対する前記利用者の興味の高さを推定する処理装置と、
を備え、
前記処理装置は、前記視線の方向が変化する頻度が低いほど、前記コンテンツに対する前記利用者の興味の高さが大きいと推定すると共に、前記コンテンツによる視線誘導の開始から、前記視線の方向が前記視線誘導の方向と一致するまでの時間によって、前記コンテンツに対する前記利用者の興味の高さを推定する、興味推定システム。
a detection device that detects the posture of a content user;
a processing device that acquires the direction of the user's line of sight from the posture detected by the detection device and estimates the level of interest of the user in the content based on the maintenance time of the direction of the line of sight;
with
The processing device estimates that the user's interest in the content increases as the frequency of change in the line-of-sight direction decreases , and the line-of-sight direction changes from the start of the line-of-sight guidance by the content. An interest estimation system for estimating the level of interest of the user in the content based on the direction of visual guidance and the time it takes to match .
請求項に記載の興味推定システムであって、
前記処理装置は、前記検出装置が検出した前記姿勢から姿勢遷移量を取得し、前記視線誘導の開始後における前記姿勢遷移量によって、前記コンテンツに対する前記利用者の興味の高さを推定する、興味推定システム。
An interest estimation system according to claim 1 ,
The processing device acquires a posture transition amount from the posture detected by the detection device, and estimates a level of interest of the user in the content based on the posture transition amount after the gaze guidance is started. estimation system.
請求項に記載の興味推定システムであって、
前記検出装置は、
前記コンテンツが提供される空間に配置されたシートと、
前記シートに配置された少なくとも1つの加速度センサと、
を有し、
前記処理装置は、前記少なくとも1つの加速度センサの出力に基づいて、前記シートに着座した前記利用者の前記姿勢遷移量を推定する、興味推定システム。
The interest estimation system according to claim 2 ,
The detection device is
a sheet arranged in a space where the content is provided;
at least one acceleration sensor located on the seat;
has
The interest estimation system, wherein the processing device estimates the posture transition amount of the user seated on the seat based on the output of the at least one acceleration sensor.
JP2019118569A 2019-06-26 2019-06-26 Interest estimation system Active JP7247784B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019118569A JP7247784B2 (en) 2019-06-26 2019-06-26 Interest estimation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019118569A JP7247784B2 (en) 2019-06-26 2019-06-26 Interest estimation system

Publications (2)

Publication Number Publication Date
JP2021005215A JP2021005215A (en) 2021-01-14
JP7247784B2 true JP7247784B2 (en) 2023-03-29

Family

ID=74097208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019118569A Active JP7247784B2 (en) 2019-06-26 2019-06-26 Interest estimation system

Country Status (1)

Country Link
JP (1) JP7247784B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022109741A (en) 2021-01-15 2022-07-28 株式会社タニタ Weighing machine, strain-generating body, and load cell

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016502201A (en) 2012-11-29 2016-01-21 マイクロソフト テクノロジー ライセンシング,エルエルシー Resource management for head mounted display
JP2016218534A (en) 2015-05-15 2016-12-22 国立大学法人九州大学 Image display system and image display method
JP2018092304A (en) 2016-12-01 2018-06-14 コニカミノルタ株式会社 Print setting device, print setting system and print setting program
JP2018184024A (en) 2017-04-24 2018-11-22 日産自動車株式会社 Display moving method, and display moving device
JP2019175413A (en) 2018-03-29 2019-10-10 富士通株式会社 Determination program, determination method, and determination device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016502201A (en) 2012-11-29 2016-01-21 マイクロソフト テクノロジー ライセンシング,エルエルシー Resource management for head mounted display
JP2016218534A (en) 2015-05-15 2016-12-22 国立大学法人九州大学 Image display system and image display method
JP2018092304A (en) 2016-12-01 2018-06-14 コニカミノルタ株式会社 Print setting device, print setting system and print setting program
JP2018184024A (en) 2017-04-24 2018-11-22 日産自動車株式会社 Display moving method, and display moving device
JP2019175413A (en) 2018-03-29 2019-10-10 富士通株式会社 Determination program, determination method, and determination device

Also Published As

Publication number Publication date
JP2021005215A (en) 2021-01-14

Similar Documents

Publication Publication Date Title
US11833311B2 (en) Massage chair and operating method thereof
CN109643162B (en) Augmenting virtual reality content with real world content
JP5187517B2 (en) Information providing apparatus, information providing method, and program
US20190061655A1 (en) Method and apparatus for motion sickness prevention
US11024081B2 (en) Method and system for operating at least one pair of virtual reality glasses in a motor vehicle
EP3229107A1 (en) Massive simultaneous remote digital presence world
CN106415671A (en) Method and system for presenting a digital information related to a real object
JP6083441B2 (en) Vehicle occupant emotion response control device
JP6115577B2 (en) Vehicle occupant emotion response control device
JP6575933B2 (en) Vehicle driving support system
JP6213489B2 (en) Vehicle occupant emotion response control device
JP7247784B2 (en) Interest estimation system
KR20210022456A (en) A game system using vehicle driving information and a method for providing game service in a vehicle
JP2016137200A (en) Control device for coping with feeling of passenger for vehicle
JP7095593B2 (en) Interest estimation system
JP2016137202A (en) Control device for coping with feeling of passenger for vehicle
KR20220014254A (en) Method of providing traveling virtual reality contents in vehicle such as a bus and a system thereof
JP6213488B2 (en) Vehicle occupant emotion response control device
JP2018169700A (en) Vehicle driving support system
JP2020107220A (en) Absorption promotion system
JP7359095B2 (en) Mobile space provision system
JP2021108037A (en) Immersion promotion system
JP7159110B2 (en) Behavior reporting system, behavior reporting device, behavior reporting method, and behavior reporting control program
KR101750064B1 (en) Apparatus and method for simulatin virtual experience
JP2021081333A (en) Interest estimation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230117

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R151 Written notification of patent or utility model registration

Ref document number: 7247784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151