JP5829590B2

JP5829590B2 - 疲労感評価装置、疲労感評価方法、及びプログラム

Info

Publication number: JP5829590B2
Application number: JP2012198951A
Authority: JP
Inventors: 喜美子川嶋; 岡本　淳; 淳岡本
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-09-10
Filing date: 2012-09-10
Publication date: 2015-12-09
Anticipated expiration: 2032-09-10
Also published as: JP2014050649A

Description

本発明は、映像サービス提供時の疲労感評価技術に関するものである。

TV、ゲーム端末、携帯端末等で立体映像を観視できる環境が整いつつあり、家庭環境でも容易に観視可能となっている（非特許文献１）。しかしながら、立体映像サービスでは、裸眼モニタや専用メガネ方式のモニタ、あるいは、ヘッドマウントディスプレイ（HMD）を利用して観視可能であるが、立体映像視聴時に体調不良を起こすケースが国民生活センター等に報告され、問題視されている（非特許文献２）。そのため、政府や業界としては適正な観視状況での視聴を推奨している（非特許文献３）。
一方で、生体計測手法を用いて、日々のユーザの健康を経時的に管理する取り組みが進んでいる（非特許文献４）。生体計測手法を用いることで、3D映像視聴中のユーザが感じる疲労感を、リアルタイムに評価することが可能となっている。

３Ｄディスプレイ３度目の正直、NIKKEI ELECTRONICS ２００８．９．２２３Ｄ映画による体調不良 (http://www.kokusen.go.jp/pdf/n-20100804_2.pdf) ３Ｄコンソーシアムガイドライン(http://www.3dc.gr.jp/jp/scmt_wg_rep/guide_index.html) LifeMinder : ウェアラブル健康管理システム(http://ci.nii.ac.jp/naid/110003272519) Eye-Sensing Displayを用いた眼疲労測定システムの構築と実験的評価(http://hydro.energy.kyoto-u.ac.jp/Lab/ronbun/P_2004/nishimura.pdf) 三橋哲雄, "CFF の測定・解析法とテレビ観視者の疲労に関する一検討," 信学論(A), vol. J77-A, no. 12, pp.1768-1776, Dec. 1994. 不二門尚, "視覚情報処理機構からみた眼精疲労 : 3D映像視聴の影響を中心に," あたらしい眼科, vol.14 no. 9, pp.1295-1299, Sept. 1997. ニコン分析的画質評価ツールVQ-1200、http://www.nikon-sys.co.jp/products/index_1_0.htm NTTエレクトロニクス映像品質客観評価ソフトウェアQE1000、http://www.ntt-electronics.com/digital_video/products/qe1000/index.html ソニー 3Dクオリティコントロールソフトウェア MPES-3DQC1 http://www.sony.jp/pro/products/MPES-3DQC1/feature_1.html#L2_10 VDT作業による疲労の主観評価値と客観的測定値との相関 http://ci.nii.ac.jp/els/110003676032.pdf?id=ART0004547832&type=pdf&lang=jp&host=cinii&order_no=&ppv_type=0&lang_sw=&no=1333951089&cp=

映像配信事業者にとって、ユーザに疲労感を感じさせることなく、快適に映像配信サービスを提供することは、ユーザ満足度の高いサービスを提供するために重要なことである。そのため、事前に、映像コンテンツや映像提示モニタ等の品質検査を行い、映像視聴中のユーザの疲労感を評価することが望まれている。しかし、高い精度で疲労感を評価するには、以下のような課題がある。

1つは、リアルタイムに客観的にユーザの疲労感を評価するために、生体計測手法を用いて疲労感を評価する場合、安定して高精度な生体計測は難しく、生体データにノイズがのりやすいという課題である。また、生体データは、映像視聴日のユーザの体調の影響や環境の影響を受けやすいという課題もある。さらに、ユーザが感じている疲労の原因が映像視聴にあるか、そうでないかを切り分けることが困難であるという課題もある。
本発明は上記の点に鑑みてなされたものであり、映像を視聴するユーザの疲労感を高い精度で評価することを可能とする疲労感評価技術を提供することを目的とする。

上記の課題を解決するために、本発明は、映像を視聴するユーザの疲労感評価を行う疲労感評価装置であって、
疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴した前記ユーザから取得した生体データに基づき得られた値を、疲労感評価のための基準値として記憶する基準値記憶手段と、
前記ユーザが視聴する前記対象映像の映像信号を解析する映像信号処理手段と、
前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記映像信号処理手段により得られた解析結果とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価して第１の評価結果を取得し、前記計測値と前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価して第２の評価結果を取得し、前記第１の評価結果と前記第２の評価結果とを用いて疲労感レベルを算出し、出力する疲労感評価手段と
を備えたことを特徴とする疲労感評価装置として構成される。
また、本発明は、疲労感評価装置が実行する疲労感評価方法、及びコンピュータを疲労感評価装置として機能させるためのプログラムとして構成することもできる。

本発明によれば、映像を視聴するユーザの疲労感を高い精度で評価することを可能とする疲労感評価技術を提供することが可能となる。

本発明の実施の形態に係る疲労感評価装置の構成を示す図である。入力映像制御部１の構成を示す図である。計算部２の構成を示す図である。評価部４００の動作例を示すフローチャートである。生体データ処理部２００における瞳孔径データのノイズ除去の一例を示す図である。生体データ処理部２００における瞬目の解析精度向上の一例を示す図である。生体データ処理部２００における解析結果例を示す図である。映像信号処理部３００における解析結果例を示す図である。評価部４００の基準値導出処理における動作例を示す図である。評価部４００の疲労感評価処理における動作例１を示す図である。評価部４００の疲労感評価処理における動作例２を示す図である。評価部４００の疲労感評価処理における動作例３を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（装置構成、動作概要）
図１は、本発明の実施の形態の係る疲労感評価装置の構成図である。図１に示すように、本実施の形態に係る疲労感評価装置は、入力映像制御部１と計算部２を有する。また、図１には記載されていないが、疲労感評価装置には映像を再生する再生装置と、ユーザの生体データを取得するための生体センサが接続されている。

図２に、入力映像制御部１の構成図を示す。図２に示すように、入力映像制御部１は、テスト映像記憶部２０とスイッチ１０を有する。図３に、計算部２の構成図を示す。図３に示すように、計算部２は、生体データ取得部１００、生体データ処理部２００、映像信号処理部３００、評価部４００、及び基準値記憶部５００を有する。

以下、上記の構成を有する疲労感評価装置の動作の概要を説明する。

ユーザは疲労感評価装置に対し、リモコンなどを用いて要求を入力する。この要求は、基準値導出の要求と疲労感評価実施の要求のうちのいずれかである。ユーザからの要求が疲労感評価装置に入力されると、入力映像制御部１（図２）では、要求に応じてテスト映像か外部入力映像のどちらかを選択し、計算部２と再生装置に映像信号を出力する。

図３に示すように、計算部２は、ユーザからの要求、入力映像制御部１からの映像信号の入力、及び外部の生体センサからの入力を受ける。計算部２に入力された映像信号は、映像信号処理部３００において解析され、解析結果は評価部４００に入力される。

生体データ取得部１００は、生体センサからの信号を入力とし、生体データを計測する。生体データ取得部１００における計測結果は、生体データ処理部２００において解析され、解析結果が評価部４００に入力される。

評価部４００では、ユーザからの要求に応じて、基準値導出処理、もしくは疲労感評価処理を行う。疲労感評価処理では、生体データ処理部２００の解析結果、映像信号処理部３００の解析結果、及び、基準値導出処理で導出された基準値記憶部５００の基準値を基に、映像視聴中のユーザの疲労感評価を実行し、評価結果を要求者に回答する。これにより、映像視聴中のユーザの疲労感評価が実現できる。

一例として、本実施の形態に係る疲労感評価装置における計算部２は、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、計算部２の各部が有する機能は、当該計算部２を構成するコンピュータに内蔵されるＣＰＵやメモリ、ハードディスクなどのハードウェア資源を用いて、各部で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

なお、上記コンピュータ内に入力映像制御部１を備えることで、上記コンピュータにより本実施の形態に係る疲労感評価装置を実現してもよいし、計算部２となるコンピュータと、入力映像制御部１となる装置（コンピュータ等）を組み合わせることで疲労感評価装置を実現してもよい。また、計算部２自体を疲労感評価装置とし、基準値を別の装置で求め、計算部２における基準値記憶部５００に基準値を予め格納しておくという構成も可能である。

（動作詳細）
以下、本実施の形態に係る疲労感評価装置における各部の動作を詳細に説明する。

＜入力映像制御部１＞
図２に示す入力映像制御部１では、入力された要求に応じて、スイッチ１０で映像信号の切り替えを行う。入力された要求が基準値導出の要求の場合には、スイッチ１０はテスト映像記憶部２０と接続し、再生装置及び計算部２に対し、テスト映像信号を出力する。この場合、再生装置からテスト映像が出力され、ユーザはテスト映像を視聴する。一方、入力された要求が疲労感評価実施の要求の場合には、スイッチ１０は、疲労感評価の対象となる映像を再生する再生装置と接続し、計算部２に対し、再生装置の映像信号を出力する。この場合、ユーザは疲労感評価の対象となる映像を視聴する。

テスト映像記憶部２０にはテスト映像が保存されている。テスト映像は、例えば「画面全体が白い映像と画面全体が黒い映像を切り替えた映像」、「動きの速いシーンを含んだ映像」などである。

＜計算部２：評価部４００＞
評価部４００の動作フローを図４に示す。図４に示すように、評価部４００では、入力された要求に応じて、基準値導出処理、疲労感評価処理の処理を行う。すなわち、入力された要求が基準値導出の要求の場合（ステップ１のYes）には、基準値導出処理を実行する（ステップ２）。ステップ２の基準値導出処理ではユーザの瞬目や瞳孔反応などの基準値を導出し、導出結果を基準値記憶部５００に保存する。

入力された要求が疲労感評価実施の要求の場合（ステップ１のNo）で、かつ、すでに基準値導出の要求を実施している場合（基準値記憶部５００にデータが保存されている場合）（ステップ３のYes）には、疲労感評価処理を実行する（ステップ４）。ステップ４の疲労感評価処理では、生体データ処理部２００の解析結果と映像信号処理部３００の解析結果、及び基準値記憶部５００の基準値を基に、映像視聴中のユーザの疲労感を評価する。疲労感評価実施の要求の場合（ステップ１のNo）で、かつ、基準値導出の要求を実施していない場合（基準値記憶部５００にデータが保存されていない場合）（ステップ３のNo）には、評価部４００において、基準値導出処理と疲労感評価処理の順に実行し、疲労感を評価する（ステップ５）。

＜計算部２：生体データ取得部１００＞
生体データ取得部１００は、疲労により変化する生体情報を取得するために、映像視聴中のユーザの生体情報を各種生体センサを用いて計測する。つまり、生体データ取得部１００には各種生成センサが接続されており、生体データ取得部１００は各種生成センサにより得られた生体データを取得する。

例えば、非特許文献５に記されているように、疲労すると瞬目や瞳孔径の挙動が変化することが知られている。そのため、瞬目や瞳孔径の挙動を捉えるために、眼球運動計測装置や眼電図（眼電信号の波形）で計測を行う。眼球運動計測装置や眼電図で瞬目や瞳孔径の挙動を捉えること自体は従来技術である。なお、脳波計測データから瞬目を抽出したり、カメラでユーザの眼球を撮影して瞬目や瞳孔径を捉えることもでき、これらの手法で瞬目や瞳孔径データを生体データとして取得することも可能である。さらに、疲労すると臨界融合周波数が低下すること（非特許文献６）や調節応答が変化すること（非特許文献７）等も知られており、疲労により変化する生体情報として、これらを計測することとしてもよい。なお、生体データ取得部１００が取得可能な疲労により変化する生体情報はこれらに限られるわけではない。

＜計算部２：生体データ処理部２００＞
生体データ処理部２００は、生体データ取得部１００の計測結果を受けてデータ処理を行う。生体データには大きなノイズがのることが知られている。例えば、瞳孔径変動に関して、図５上段に示したように、大きなノイズがのってしまうことがある。精度のよいデータとするためにはノイズ除去が必要である。具体的には、映像視聴中のユーザの視線位置は、左右眼で大きくずれることはないことから、左右眼の視線位置データのうち、片眼の視線がモニタよりも外側を向いている場合には、その時刻のデータを除去するといった方法がある。

また、映像視聴中の左右眼は同じ輝度の映像を見ていること、湿度などの外界の影響も同一であることから、両眼の瞳孔径の大きさが極端に異なることはないため、左右眼の瞳孔径のサイズ（２つの生体データの例である）を比較し、極端に大きさに差異がある場合にはその時刻のデータを除去するという方法でノイズを除去することが可能である（図５下段）。なお、この場合の生体データ処理部２００での処理にあたっては、例えば、左右眼の瞳孔径のサイズの差異が予め定めた閾値よりも大きい場合に、その時刻のデータを除去するという処理を行う。

瞬目に関して、瞳孔径サイズや眼電図から検出することが考えられるが、本実施の形態では、両者（２つの生体データの例である）を利用することで精度向上を狙う。例えば、眼電図はまぶたに直接電極を貼付して眼筋の動きを直接計測するため精度よく計測できるが、長い瞬目（１回）の場合、眼を閉じたときと開いたときに筋活動が発生するため、２回と誤検出することがあるというデメリットがある（図６上段）。そのため、眼電図のデータと瞳孔径のサイズを比較して解析することで、瞬目の検出精度を上げることができる（図６下段）。図６に示す例では、眼電図において瞬目と判定し得る２回の波形の山が発生しているが、２回の波形の山の区間において、瞳孔径のデータはほぼ０であり、これは目を閉じていることを示すため、眼電図における２回の波形の山は、１回の瞬目における眼を閉じたときと開いたときに対応すると判断できる。生体データ処理部２００は、例えば、眼電図において所定時間間隔内に２回の山が発生したことを検知した場合に、２回の山の時間区間の瞳孔径のデータを参照し、図６下段に示すように瞳孔径がほぼ０であれば、眼電図における２回の山は１回の瞬目であると判定する処理を行う。

一方、眼球運動計測装置には、完全に目を閉じていない瞬目を捉えられないというデメリットがある。この場合にも、眼電図のデータと瞳孔径のデータを比較して解析することで、瞬目の検出精度を上げることができる。このように、ノイズ除去手法を施した生体データを利用し、図７に示すように、瞬目の時間間隔や、瞳孔径のサイズ、瞳孔径収縮スピード等を解析し、ノイズが除去された解析結果（計測値）として出力する。

＜計算部２：映像信号処理部３００＞
映像信号処理部３００は、入力された映像信号の映像フレーム間の動きベクトル量や、平均輝度変化、３Ｄ映像の左右映像の縦方向の画素ずれなどの映像劣化の有無やフリッカの有無を解析する（非特許文献８、９、１０）。図８には、映像解析結果の例として、輝度、及び動き量の変化の様子が示されている。

＜計算部２：評価部４００の基準値導出処理＞
評価部４００の基準値導出処理時は、ユーザの瞬目や瞳孔反応などの基準値を導出する。具体的には、生体データ処理部２００における解析結果（図７に例示）と映像信号処理部３００における解析結果（図８に例示）とを比較、対応付けし、図９に示すように基準値を導出し、基準値記憶部５００に保存する。基準値の種類（項目）は、予め決定しておく。図９に示す例では、基準値として、動き変化のないときの瞬目率、平均瞳孔径サイズ、最大瞳孔径収縮スピード、提示映像の輝度と瞳孔径との関係、提示映像の動き量と瞳孔径変動との関係が示されているが、これらは例であり、基準値はこれらに限られるわけではない。

なお、基準値導出処理は、疲労感評価の対象となる映像を視聴する視聴日の体調の影響や視聴環境の影響が基準値に加味されるように、疲労感評価の対象となる映像を視聴する直前に、疲労感評価の対象となる映像を視聴する環境と同じ環境で実行することが望ましい。

入力された要求が基準値導出の要求の場合には、テスト映像提示時の映像信号、生体データの解析結果を基に基準値を導出する。入力された要求が疲労感評価実施の要求の場合で、事前に基準値導出の要求を実施していない場合には、外部入力映像視聴時の最初１０分間の映像信号及び生体データの解析結果を基に基準値を導出する。この場合、外部入力映像視聴時の最初１０分間の映像を「テスト映像」と呼んでもよい。

＜計算部２：評価部４００の疲労感評価処理＞
評価部４００の疲労感評価処理時は、映像視聴中のユーザの疲労感評価を実施する。疲労感評価としては、例えば、ユーザが疲労感を感じているか否かを０と１の二値でレベル分けすることや、「疲労感レベル５」のように複数段階で出力することなどが考えられる。本実施の形態では、疲労感を複数段階でレベル分けする。具体的には、最初のレベルを０とし、レベル値が大きくなるほど疲労感が強い状況とする。疲労感レベル導出のための具体的な動作を以下に示す。

疲労感は、映像信号処理部３００の解析結果と生体データ処理部２００の解析結果、及び基準値記憶部５００の基準値を基に評価される。ここでは、瞬目の解析結果に基づき疲労感を検出した場合をa_1t= 1 とし、検出しない場合はa_1t= 0 とする（t は計測時刻）。瞳孔径の解析結果に基づき疲労感を検出した場合をa_2t = 1 とし、検出しない場合は a_2t = 0 とする。図９の基準値と比較した結果に基づき疲労感を検出した場合をa_3t = 1とし、検出しない場合はa_3t = 0とする。また、映像信号処理部３００による解析結果に基づいて、提示映像に劣化があることを検出した場合には、b_t = 1とし、検出しない場合はb_t = 0 とする。疲労感レベルL_tは、本実施の形態では、以下のように定義し、この定義に従って評価部４００は疲労感レベルL_tを算出し、出力する。

なお、上記のようにして疲労感レベルを算出することは一例にすぎない。例えば、基準値記憶部５００の基準値を用いた評価のみで疲労感レベルを算出するようにしてもよい。

また、評価部４００が、映像信号処理部３００の解析結果から提示映像に劣化があると判定した場合には、提示映像を修正する必要がある。そのため、b_t = 1の場合には、評価部４００がアラームを出力する制御を行うこととする。「アラーム」としては、例えば、疲労感評価装置についているランプを点滅させることや、疲労感評価装置についているスピーカから音を提示することなどが考えられるが、これらに限られるわけではない。なお、評価部４００において映像劣化を判定する手段を劣化判定手段と呼び、アラーム出力を制御する手段及びアラームを出す手段（ランプやスピーカなど）をまとめてアラーム出力手段と呼ぶことができる。

以下、a_1t, a_2t, a_3t, b_tの算出方法例についてより具体的に説明する。まず、図１０、図１１を参照して瞬目の解析結果と映像信号処理部３００の解析結果の比較について説明する。図１０に示すように、瞬目間隔が1秒を下回る状況が1分間続いている(疲労感を検出している)けれども、映像信号処理部３００の結果が、映像に異常がないことを示している場合には、映像劣化が原因ではなく、長時間映像視聴、ユーザの視聴環境が原因で、疲労感が生じている可能性がある。そのため、a_1t = 1、b_t = 0 とし、疲労感レベルL_tを1段階上昇させる。

ここでは、疲労感の検出基準の一例として、「瞬目間隔が1秒を下回る状況が1分間続いた」としているが、これは一例である。本実施の形態の例においては、あらかじめ実験を実施して疲労感検出の閾値、条件等を決定することとしており、「瞬目間隔が1秒を下回る状況が1分間続いた」ことは、このようにして決定した疲労感の検出基準の一例である。

また、このように疲労感が検出されているときに、図１１に示すように、さらに映像信号処理部３００の結果が、映像に劣化があったり、動きの速いシーンであったり、映像にフリッカが発生していることを示している場合には、提示している映像が原因でユーザが疲労感を感じている可能性が考えられる。そのため、a_1t = 1、b_t = 1 とし、この場合においても疲労感レベルL_tを上昇させ、アラームを出力する。

また、ユーザが3D映像を視聴している場合において、映像信号処理部３００の結果が、左右眼映像が水平方向や上下方向にずれている、輝度がずれている、サイズがずれている等の映像劣化があることを示している場合には、これらの提示映像に生じた劣化が原因で瞬目間隔が短くなった（ユーザが疲労感を感じている）という可能性が考えられる。そのため、a_1t = 1、b_t = 1 とし、疲労感レベルLtを1上昇させ、アラームを上げる。

さらに、例えば瞬目間隔が10秒を上回る状況が続いた場合には、ユーザが映像を注視しており、疲労しやすい状況にあるため、a_1t = 1、b_t = 0 とする。ここで、瞬目間隔は10秒と記載したが、これは一例である。前述したとおり、本実施の形態の例においては、あらかじめ実験を実施して決定することとしており、「瞬目間隔10秒」はこのようにして決定された検出基準の一例である。

一方、瞳孔径に関しては、図１２に示すように、瞳孔径サイズ変化と提示映像の輝度変化を比較して、瞳孔径のサイズが輝度変化に応じて変化していない場合には、ユーザが疲労感を感じていることが考えられるため、a_2t = 1、b_t = 0とし、疲労感レベルL_tを1上昇させる。このとき、提示する輝度が高すぎるために、輝度変化に応じて瞳孔径が変化しない場合には、a_2t = 1、b_t = 1 とし、疲労感レベルL_tを1上昇させ、アラームを出力する。瞳孔径サイズの変化スピードが映像の輝度変化スピードに比べて遅い場合には、ユーザが疲労感を感じていることが考えられる。そのためa_2t = 1、b_t = 0とし、疲労感レベルL_tを1上昇させる。また、提示映像の変化に関係がなく、瞳孔径サイズが変動している場合には、ユーザが正しく映像を視聴できていなかったり、ユーザの視聴環境に原因があり疲労感が生じている可能性があるので、a_2t = 1、b_t = 0とし、疲労感レベルL_tを上昇させる。

次に、基準値を用いた評価について説明する。生体データは計測日の体調の影響や視聴環境の影響を受けて大きく変動する。例えば、湿度が低く乾燥している日に視聴している場合には、湿度の高い日に視聴した場合よりも瞬目が多くなる。そのため、本実施の形態では、視聴日の体調の影響や視聴環境の影響が加味された値である基準値記憶部５００に記憶された基準値（図９、右図）と、疲労感評価の際の生体データの解析結果（計測値）とを比較することで、視聴日の体調の影響や視聴環境の影響を排除した評価値を得ることとしている。例えば、基準値記憶部５００に記憶された瞬目率と、疲労感評価の際の瞬目率とを比較し、後者が前者に対して２割以上増加、もしくは減少している場合には、ユーザの体調が視聴前に比べて悪化していることが考えられる。そのため、a_3t = 1、b_t = 0とし、疲労感レベルL_tを上昇させる。提示映像の輝度変化と瞳孔径変動の関係等に関しても、図９より、提示映像の輝度に対応する瞳孔径サイズを読み取り、計測した瞳孔径サイズと比較し、2割以上増加、もしくは減少している場合には、ユーザの体調が視聴前に比べて悪化していることが考えられる。そのため、a_3t = 1、b_t = 0とし、疲労感レベルL_tを上昇させる。ここでは、疲労感の検出基準の一例として疲労感検出の閾値、条件等を、一例として「2割以上」としているが、前述したとおり、本実施の形態の例においては、あらかじめ実験を実施して決定することとしており、「2割以上」はこのようにして決定された疲労感の検出基準の一例である。

なお、要求を受け取った後、継続的に疲労感評価を実施するのではなく、映像信号処理部３００の解析結果を基に、定常的なシーンでは疲労感評価は実施せず、輝度変化の大きいシーンなどの特徴的なシーンでのみ疲労感評価を実施することとしてもよい。

（実施の形態のまとめ、効果）
以上説明したように、本実施の形態では、映像視聴中のユーザの生体情報をカメラや各種センサにより計測し、生体データのノイズ除去等の解析を行う。そして、映像視聴前にテスト映像を流し、映像視聴前の生体データを取得しておき、この値を基準として評価することで、映像視聴日の体調の影響や視聴環境の影響を除外する。さらに、視聴映像に原因がある疲労感を評価するために、視聴中の映像信号の解析を行い、映像劣化が検出されればアラームを出力する。このアラームの有無と疲労感評価結果とを比較することで、視聴している映像が疲労感の原因になっていないかどうかを判断できる。

本実施の形態に係る技術を用いることにより、映像の事前の品質チェックを効率よく実施できるようになる。また、本技術を映像配信システムに組み込めば、映像視聴中のユーザが感じている疲労感の評価結果をリアルタイムに取得できるようになる。この評価結果を利用すれば、視聴映像が原因でユーザが疲労感を感じている場合にはすぐに視聴を中止する、視聴映像が原因ではなく、長時間視聴やユーザの視聴環境が原因でユーザが疲労感を感じている場合には、ユーザに休憩をとるよう促す等の対応をリアルタイムにとることができるようになる。これにより、より安心・安全な3D映像サービスの提供が可能となるので、3D映像サービスの普及が進むことが期待できる。

本発明に係る技術は、映像配信サービスに限らず、VDT作業中のユーザの疲労感を評価したい場合に利用することができる。近年、VDT作業者が増え、VDT作業による眼精疲労が増えている（非特許文献１１）。そのため、VDT作業中のユーザの生体情報や表示モニタ内容から、ユーザの疲労感を評価し、休憩を促すことが考えられる。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１…入力映像制御部
２…計算部
１０…スイッチ
２０…テスト映像記憶部
１００…生体データ取得部
２００…生体データ処理部
３００…映像信号処理部
４００…評価部
５００…基準値記憶部
t …計測時刻
a_1t …瞬目変動から疲労感を検出した結果
a_2t …瞳孔径変動から疲労感を検出した結果
a_3t …基準値との比較により疲労感を検出した結果
b_t …映像信号処理部の解析結果から異常を検出した結果
L_t …疲労感レベル

Claims

映像を視聴するユーザの疲労感評価を行う疲労感評価装置であって、
疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴した前記ユーザから取得した生体データに基づき得られた値を、疲労感評価のための基準値として記憶する基準値記憶手段と、
前記ユーザが視聴する前記対象映像の映像信号を解析する映像信号処理手段と、
前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記映像信号処理手段により得られた解析結果とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価して第１の評価結果を取得し、前記計測値と前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価して第２の評価結果を取得し、前記第１の評価結果と前記第２の評価結果とを用いて疲労感レベルを算出し、出力する疲労感評価手段と
を備えたことを特徴とする疲労感評価装置。
前記疲労感評価手段は、
前記ユーザから生体データを取得する生体データ取得手段と、
前記生体データを比較することにより、前記計測値として、ノイズを除去した計測値を算出する生体データ処理手段と、
前記ノイズを除去した計測値に基づいて、前記ユーザの疲労感を評価する評価手段と
を備えたことを特徴とする請求項１に記載の疲労感評価装置。
前記映像信号処理手段により解析された映像信号に基づいて、前記対象映像が劣化しているか否かを判定する劣化判定手段と、
前記劣化判定手段により前記対象映像が劣化していると判定された場合に、アラームを出力するアラーム出力手段と
を更に備えることを特徴とする請求項１又は２に記載の疲労感評価装置。
映像を視聴するユーザの疲労感評価を行う疲労感評価装置が実行する疲労感評価方法であって、
疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴する前記ユーザから生体データを取得し、当該生体データに基づき得られた値を、疲労感評価のための基準値として基準値記憶手段に記憶する基準値取得ステップと、
前記ユーザが視聴する前記対象映像の映像信号を解析する映像信号処理ステップと、
前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記映像信号処理ステップにより得られた解析結果とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価して第１の評価結果を取得し、前記計測値と前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価して第２の評価結果を取得し、前記第１の評価結果と前記第２の評価結果とを用いて疲労感レベルを算出し、出力する疲労感評価ステップと
を備えたことを特徴とする疲労感評価方法。
前記疲労感評価ステップは、
前記ユーザから生体データを取得する生体データ取得ステップと、
前記生体データを比較することにより、前記計測値として、ノイズを除去した計測値を算出する生体データ処理ステップと、
前記ノイズを除去した計測値に基づいて、前記ユーザの疲労感を評価する評価ステップと
を備えたことを特徴とする請求項４に記載の疲労感評価方法。
前記映像信号処理ステップにより解析された映像信号に基づいて、前記対象映像が劣化しているか否かを判定する劣化判定ステップと、
前記劣化判定ステップにより前記対象映像が劣化していると判定された場合に、アラームを出力するアラーム出力ステップと
を更に備えることを特徴とする請求項４又は５に記載の疲労感評価方法。
コンピュータを、請求項１ないし３のうちいずれか１項に記載の疲労感評価装置における各手段として機能させるためのプログラム。