JP5089470B2

JP5089470B2 - 関心度推定装置および方法

Info

Publication number: JP5089470B2
Application number: JP2008101940A
Authority: JP
Inventors: 孝方越膳; 一幸合原; 基織今
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-04-09
Filing date: 2008-04-09
Publication date: 2012-12-05
Anticipated expiration: 2028-04-09
Also published as: US20090262973A1; JP2009247753A; US8044808B2

Description

本発明は、対象に対する人間の関心度を推定する関心度推定装置および関心度推定方法に関する。

対象に対する人間の関心度を推定する装置および方法としては、たとえば、該人間の眼球運動からコンテンツへの該人間の関心の程度を測定する装置が開発されている（特許文献１）。しかし、対象に対する人間の関心度を該人間の眼球運動に関する測定値のみによって推定するのは必ずしも適切ではない。また、同様の対象であっても人間の関心度は、時間とともに変化する場合がある。慣れによって、同様の対象に対する関心度（反応性）が低下する現象は馴化（habituation）という。逆に同様の対象に対する関心度（反応性）が増加する現象は脱馴化（dishabituation）という。従来の関心度を推定する装置および方法は、上記のような人間の関心度の時間に対する推移を十分に考慮していない。

このように、人間の関心度を表す適切な測定値を使用し、関心度の時間に対する推移(関心度の時間的非定常性)を十分に考慮した、人間の関心度を推定する関心度推定装置および関心度推定方法は開発されていなかった。
特開２００６−２０１３１号公報

したがって、人間の関心度を表す適切な測定値を使用し、関心度の時間に対する推移を十分に考慮した、人間の関心度を推定する関心度推定装置および関心度推定方法に対するニーズがある。

本発明による関心度推定装置は、人間の関心度を推定する関心度推定装置であって、前記人間の視線速度を測定する視線速度測定部と、前記人間の皮膚電位を測定する皮膚電位測定部と、を備える。本装置は、所定の時間ごとに皮膚電位の時間変化率および視線速度の標準偏差を求め、前記所定の時間ごとに皮膚電位の時間変化率の変曲点を求め、前記所定の時間ごとに、前記変曲点に対応する時間以前に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心ありの状態に対応させ、前記変曲点に対応する時間以後に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心なしの状態に対応させることによって、皮膚電位の時間変化率および視線速度の標準偏差と関心度との関係を求める関心度推定部と、をさらに備える。

本発明による関心度推定方法は、人間の関心度を推定する関心度推定方法であって、所定の時間ごとに前記人間の皮膚電位の時間変化率および視線速度の標準偏差を求め、前記所定の時間ごとに皮膚電位の時間変化率の変曲点を求める。本方法は、さらに、前記所定の時間ごとに、前記変曲点に対応する時間以前に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心ありの状態に対応させ、前記変曲点に対応する時間以後に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心なしの状態に対応させることによって、前記人間の関心度を推定する。

本発明によれば、皮膚電位の時間変化率および視線速度の標準偏差の二つの変数を使用し、関心度の時間に対する推移を十分に考慮して人間の関心度を推定することができる。

図１は、本発明の一実施形態による関心度推定装置の構成を示す図である。関心度推定装置は、視線測定部１０１、皮膚電位測定部１０３および関心度推定部１０５を含む。

本実施形態による視線測定部１０１は、被験者の顔の画像を取得するステレオカメラおよび該画像を処理して被験者の視線を測定するプロセッサからなる。プロセッサは、顔検出モジュールおよび顔測定モジュールを含む。顔検出モジュールは、顔の標準エッジ・テンプレートを使用して、一対のステレオ画像から顔の領域を抽出する。顔測定モジュールは、視線を含む顔の情報を検出する。視線を測定するには、最初に眼球の中心位置を計算する。つぎに、眼球の半径および虹彩の位置を計算する。最後に、眼球の中心位置からの、虹彩の位置のオフセットによって視線を推定する。視線測定部１０１は、約１０ミリ秒で、５度以内の精度で視線ベクトルを計算する。視線データは、（ｘ、ｙ）のような２次元座標で得られる。

本実施形態による皮膚電位測定部１０３は、被験者の覚醒レベルを定量化する皮膚電位を測定する。サンプリング・レイトは、１０乃至１００ヘルツである。

図２は、本実施形態による関心度推定装置の関心度推定部１０５の構成を示す図である。関心度推定部１０５は、視線速度演算部５０１、皮膚電位時間変化率演算部５０３、入力データ・パラメータ作成部５０５、偏微分方程式演算部５０７、境界形成部５０９およびデータ記憶部５１１を備える。

視線速度演算部５０１は、視線測定部１０１が測定し、データ記憶部５１１に格納された視線データに基づいて所定の時間ごとに視線速度を演算する。

皮膚電位時間変化率演算部５０３は、皮膚電位測定部１０３が測定し、データ記憶部５１１に格納された皮膚電位データに基づいて所定の時間ごとに皮膚電位の時間変化率を演算する。皮膚電位の時間変化率を演算する際には、バタワース・フィルター（Butterworth filter）などのロー・パスフィルタを使用して、測定された皮膚電位データのノイズを除去する。

入力データ・パラメータ作成部５０５は、データ記憶部５１１に格納されたデータに基づいて、偏微分方程式の入力データを作成し、また、偏微分方程式のパラメータを作成する。入力データ・パラメータ作成部５０５は、作成した入力データおよびパラメータを偏微分方程式演算部５０７に送る。

偏微分方程式演算部５０７は、入力データ・パラメータ作成部５０５の作成した入力データ、パラメータおよびデータ記憶部５１１に格納された過去のデータに基づいて偏微分方程式の演算を行う。ここで、偏微分方程式は、後で説明する正規化２次元空間の変数（ｘ、ｙ）および時間に関する未知関数ｕを記述するものである。本実施形態において、偏微分方程式として以下の形のアレンカーン方程式を使用する。

ここで、εはパラメータであり、ω(u)は、２個の最小値が２個の異なった位相に対応する、二重井戸型ポテンシャル式(double-well potential equation)である。パラメータεが０に近づくと、未知関数ｕは、境界によって分離された２個の領域において、２個の最小値に対応する値、すなわち、１または−１の一方に近づく。境界は、ｕ＝０の線によって表せる。本実施形態においては、上記の境界によって、正規化２次元空間において、関心ありの状態と関心なしの状態とを分離する。

偏微分方程式演算部５０７は、時間の経過にしたがって受け取る入力データに基づいて、正規化２次元空間における未知関数ｕの値を演算し、境界形成部５０９に送るとともにデータ記憶部５１１に格納する。

境界形成部５０９は、偏微分方程式演算部５０７から受け取った正規化２次元空間における未知関数ｕの値に基づいて、正規化２次元空間における関心度ありの状態と関心度なしの状態との境界を定める。

本発明の一実施形態による関心度推定方法について、入力データ・パラメータ作成部５０５、偏微分方程式演算部５０７および境界形成部５０９の詳細な機能とともに、以下に説明する。

図３は、本発明の一実施形態による関心度推定方法を示す流れ図である。

図３のステップＳ３０１０において、入力データ・パラメータ作成部５０５は、式(１)におけるパラメータεの値をたとえば、以下の式にしたがって定める。

ここで、αおよびλは定数であり、τはビンの個数(正規化２次元空間上の入力データ数)である。初期値の場合に、τは１である。新たな入力データが加わるたびに、τは増加するので、パラメータεの値は減少する。

図３のステップＳ３０２０において、入力データ・パラメータ作成部５０５は、データ記憶部５１１に格納されたデータに基づいて、偏微分方程式の入力データを作成する。

図４は、図３のステップＳ３０２０の詳細な方法を説明するための流れ図である。

図５は、図４の方法を説明するための図である。図５のグラフの横軸は、時間の経過を表し、縦軸は皮膚電位（ＳＰＬ）の大きさを表す。

図４のステップＳ４０１０において、皮膚電位時間変化率演算部５０３は、データ記憶部５１１から、新たな入力データとしてビンサイズＢの数の皮膚電位（ＳＰＬ）のデータを読み込み、皮膚電位時間変化率の平均値を計算する（図５の（Ａ）および（Ｂ））。ここで、ビンサイズの数は、一例として２００である。データのサンプリング間隔は、一例として、０．１秒であり、平均値を計算する時間間隔は２０秒である。皮膚電位の時間変化率の平均値は、データ記憶部５１１に格納される。

図４のステップＳ４０２０において、入力データ・パラメータ作成部５０５は、データ記憶部５１１に記憶されている各ビンにおける皮膚電位の時間変化率の平均値から中央値を求める。ビンの数が偶数の場合には、２個の平均値の内小さい方の平均値を中央値とする。中央値を含むビンの横軸(時間軸)の中間位置に対応する点を変曲点とする（図５の（Ｃ））。

図４のステップＳ４０３０において、皮膚電位時間変化率演算部５０３は、上記変曲点のデータおよびデータ記憶部５１１に記憶されている皮膚電位のデータに基づいて、変曲点の前の期間および変曲点の後の期間における皮膚電位の時間変化率の平均値（ｄｘ１，ｄｘ２）を求める。また、視線速度演算部５０１は、上記変曲点のデータおよびデータ記憶部５１１に記憶されている視線のデータに基づいて、変曲点の前の期間および変曲点の後の期間における視線速度の標準偏差の平均値（ｄｙ１，ｄｙ２）を求める（図５の（Ｄ））。データ（ｄｘ１，ｄｘ２）および（ｄｙ１，ｄｙ２）は、入力データ・パラメータ作成部５０５に送られる。

図４のステップＳ４０４０において、入力データ・パラメータ作成部５０５は、（ｄｘ１、ｄｙ１）を正規化して（ＤＸ１，ＤＹ１）とし、（ｄｘ２、ｄｙ２）を正規化して（ＤＸ２，ＤＹ２）とする。実際に正規化するには、全ての変数がその中に含まれる十分に大きな範囲を定め、該範囲をたとえば２００分割した区分にそれぞれの変数を割り当てる。このように正規化した皮膚電位の時間変化率および視線速度の標準偏差のなす２次元空間を正規化２次元空間と呼称する。

図４のステップＳ４０５０において、（ＤＸ１，ＤＹ１）にｕ＝１を割り当て、（ＤＸ２，ＤＹ２）にｕ＝−１を割り当てる。このように正規化２次元空間において入力された一対のデータを１個の入力データとする。ｕ＝１は関心ありの状態に対応し、ｕ＝−１は関心なしの状態に対応する。既に説明したように１個の入力データはビンサイズの測定データに対応する。

図３のステップＳ３０３０において、偏微分方程式演算部５０７は、入力データの数(すなわち、ビンの数)に相当する時間にわたって、式(１)および(２)の偏微分方程式を解くことによって、正規化２次元空間におけるｕの値を求める。その際、正規化２次元空間を離散化し、ラプラシアンをたとえば５点近似によって計算する。

図３のステップＳ３０４０において、境界形成部５０９は、正規化２次元空間においてｕ=０となる線を関心のありの状態および関心なしの状態の境界と定める。

図３のステップＳ３０５０において、入力データ・パラメータ作成部５０５は、新たな入力データがあるかどうか判断し、新たな入力データがあればステップＳ３０１０に戻る。新たな入力データがなければ処理を終了する。

図６は、本実施形態による方法によって推定された、正規化２次元空間における関心あり状態と関心なし状態との境界の、時間に対する推移を示す図である。図６において、境界は実線で示し、黒い点はｕ＞０の点、白い点はｕ＜０の点を示す。τは入力データの数を示す。入力データの数が増加するにしたがって、境界の左側の領域(関心ありの領域)が右側に向けて広がっている。

図７は、本実施形態による方法によって推定された、被験者ごとの関心度の正答率を示す図である。横軸は、被験者の番号を示す。被験者は１９人(男性１７人、女性２人)であり、年齢は、２０代後半から６０代半ばまでである。実験は、被検者に自動車運転シミュレータによって５分間の道路上の運転を体験させることによって行った。縦軸は、関心度の正答率を示す。正答率は、正規化２次元区間に新しくプロットされた点のラベル（すなわち、ｕ＝１またはｕ＝−１）と、その点が加わる前のそのプロットされる場所のもともとのラベルが合致しているかどうかによって判断する。すなわち、新しく追加された点のラベルがもともとのラベルと同じ場合には正解、そうでない場合には不正解として正答率を求める。さらに、式(１)のパラメータεの値を変化させて、それぞれの値に対して正答率を求め、その平均値を図７における正答率とし、標準偏差を図７におけるエラーバーとしている。

図８は、本実施形態による方法によって推定された、道路の種類ごとの関心度の正答率を示す図である。横軸は、道路の種類を示す。図１０は、自動車運転シミュレータの画像の一例を示す図である。図１０の左側は直線道路の画像を示し、右側はカーブの道路の画像を示す。図８の左側は、全ての被験者によるカーブの道路(図１０の右側)における自動車運転シミュレーションの正答率を示す。図８の右側は、全ての被験者による直線道路(図１０の左側)における自動車運転シミュレーションの正答率を示す。正答率とエラーバーの求め方は、図７の場合と同様である。

図９は、本実施形態による方法によって推定された、関心ありの状態および関心なしの状態と視線速度の標準偏差との関係を示す図である。横軸は、道路の種類を示す。図９の左側は、全ての被験者によるカーブの道路(図１０の右側)における自動車運転シミュレーションにおける、関心ありの状態および関心なしの状態と視線速度の標準偏差との関係を示す。図９の右側は、全ての被験者による直線道路(図１０の左側)における自動車運転シミュレーションにおける、関心ありの状態および関心なしの状態と視線速度の標準偏差との関係を示す。縦軸は、視線速度の標準偏差を示す。図９において、斜線を付したバーが関心ありの状態を示す。カーブの道路において、関心なしの状態における視線速度の標準偏差は、関心ありの状態のそれよりも大きくなる。これは、馴化して関心なしの状態となった被験者が、カーブの道路をより広い範囲で眺めようとしているためと考えられる。これに対して、直線道路において、関心なしの状態における視線速度の標準偏差は、関心ありの状態のそれよりも小さくなる。これは、馴化して関心なしの状態となった被験者が、直線道路をぼんやり眺めているためと考えられる。

このように本実施形態によれば、時間の変化による人間の関心度の変化を適切に推定することができる。

本発明による実施形態の特徴は以下のとおりである。

本発明の一実施形態によれば、所定の時間ごとに、変曲点に対応する時間以前に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心ありの状態に対応させ、前記変曲点に対応する時間以後に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心なしの状態に対応させるのに、正規化された皮膚電位の時間変化率および正規化された視線速度の標準偏差を変数とする正規化２次元面における未知関数ｕに関するアレンカーン方程式を使用する。

本実施形態によれば、正規化された皮膚電位の時間変化率および正規化された視線速度の標準偏差を変数とする正規化２次元面における未知関数ｕに関するアレンカーン方程式を使用することによって、関心ありの状態と関心なしの状態との、時間的に非定常な境界を適切に推定することができる。

本発明の他の実施形態によれば、所定の時間ごとに、前記変曲点に対応する時間以前に求めた、皮膚電位の時間変化率の平均値および視線速度の標準偏差の平均値に対応する前記正規化２次元面上の点、および前記変曲点に対応する時間以後に求めた、皮膚電位の時間変化率の平均値および視線速度の標準偏差の平均値に対応する前記正規化２次元面上の点からなる、前記正規化２次元面上の一対の点を求め、所定の時間ごとに、前記一対の点に対する未知関数ｕにそれぞれ正および負の所定の値を与えてアレンカーン方程式を解き、前記正規化２次元面上においてｕ＝０となる線によって関心度ありの状態と関心度なしの状態とを区別する。

本実施形態によれば、所定の時間ごとに、正規化２次元面上において求めた一対の点に対する未知関数ｕにそれぞれ正および負の所定の値を与えてアレンカーン方程式を解き、前記正規化２次元面上においてｕ＝０となる線によって関心度ありの状態と関心度なしの状態とを区別することによって、関心ありの状態と関心なしの状態との、時間的に非定常な境界を適切に推定することができる。このような、時間的に非定常な境界の推定は、たとえば、サポートベクターマシン（ＳＶＭ）を使用した従来の方法で効率的に行うことはできなかった。

本発明の一実施形態による関心度推定装置の構成を示す図である。本実施形態による関心度推定装置の関心度推定部の構成を示す図である。本発明の一実施形態による関心度推定方法を示す流れ図である。図３のステップＳ３０２０の詳細な方法を説明するための流れ図である。図４の方法を説明するための図である。本実施形態による方法によって推定された、正規化２次元空間における関心あり状態と関心なし状態との境界の、時間に対する推移を示す図である。本実施形態による方法によって推定された、被験者ごとの関心度の正答率を示す図である。本実施形態による方法によって推定された、道路の種類ごとの関心度の正答率を示す図である。本実施形態による方法によって推定された、関心ありの状態および関心なしの状態と視線速度の標準偏差との関係を示す図である。自動車運転シミュレータの画像の一例を示す図である。

符号の説明

１０１…視線速度測定部、１０３…皮膚電位測定部、１０５…関心度推定部

Claims

人間の関心度を推定する関心度推定装置であって、
前記人間の視線速度を測定する視線測定部と、
前記人間の皮膚電位を測定する皮膚電位測定部と、
所定の時間ごとに皮膚電位の時間変化率および視線速度の標準偏差を求め、前記所定の時間ごとに皮膚電位の時間変化率の変曲点を求め、前記所定の時間ごとに、前記変曲点に対応する時間以前に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心ありの状態に対応させ、前記変曲点に対応する時間以後に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心なしの状態に対応させることによって、皮膚電位の時間変化率および視線速度の標準偏差と関心度との関係を求める関心度推定部と、を備えた関心度推定装置。
関心度推定部が、前記所定の時間ごとに、前記変曲点に対応する時間以前に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心ありの状態に対応させ、前記変曲点に対応する時間以後に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心なしの状態に対応させるのに、正規化された皮膚電位の時間変化率および正規化された視線速度の標準偏差を変数とする正規化２次元面における未知関数ｕに関するアレンカーン方程式を使用する請求項１に記載の関心度推定装置。
関心度推定部が、前記所定の時間ごとに、前記変曲点に対応する時間以前に求めた、皮膚電位の時間変化率の平均値および視線速度の標準偏差の平均値に対応する前記正規化２次元面上の点、および前記変曲点に対応する時間以後に求めた、皮膚電位の時間変化率の平均値および視線速度の標準偏差の平均値に対応する前記正規化２次元面上の点からなる、前記正規化２次元面上の一対の点を求め、前記所定の時間ごとに、前記一対の点に対する未知関数ｕにそれぞれ正および負の所定の値を与えてアレンカーン方程式を解き、前記正規化２次元面上においてｕ＝０となる線によって関心度ありの状態と関心度なしの状態とを区別する請求項２に記載の関心度推定装置。
人間の関心度を推定する関心度推定方法であって、
所定の時間ごとに前記人間の皮膚電位の時間変化率および視線速度の標準偏差を求め、
前記所定の時間ごとに皮膚電位の時間変化率の変曲点を求め、
前記所定の時間ごとに、前記変曲点に対応する時間以前に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心ありの状態に対応させ、前記変曲点に対応する時間以後に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心なしの状態に対応させることによって、皮膚電位の時間変化率および視線速度の標準偏差と関心度との関係を求める関心度推定方法。
前記所定の時間ごとに、前記変曲点に対応する時間以前に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心ありの状態に対応させ、前記変曲点に対応する時間以後に求めた皮膚電位の時間変化率および視線速度の標準偏差を関心なしの状態に対応させるのに、正規化された皮膚電位の時間変化率および正規化された視線速度の標準偏差を変数とする正規化２次元面における未知関数ｕに関するアレンカーン方程式を使用する請求項４に記載の関心度推定方法。
前記所定の時間ごとに、前記変曲点に対応する時間以前に求めた、皮膚電位の時間変化率の平均値および視線速度の標準偏差の平均値に対応する前記正規化２次元面上の点、および前記変曲点に対応する時間以後に求めた、皮膚電位の時間変化率の平均値および視線速度の標準偏差の平均値に対応する前記正規化２次元面上の点からなる、前記正規化２次元面上の一対の点を求め、前記所定の時間ごとに、前記一対の点に対する未知関数ｕにそれぞれ正および負の所定の値を与えてアレンカーン方程式を解き、前記正規化２次元面上においてｕ＝０となる線によって関心度ありの状態と関心度なしの状態とを区別する請求項５に記載の関心度推定方法。