実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。
また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。
(実施の形態1)
本実施の形態では、本発明の一態様の測定システム及び評価システムについて図1〜図7を用いて説明する。
本発明の一態様の測定システム及び評価システムは、被験者がコンテンツを観察している間に、感性データと生体データとを同時に取得する。
本発明の一態様の評価システムは、感性データと生体データとを用いて解析データを生成する。
感性データと生体データをそれぞれ解析することで、被験者がコンテンツから得られた感性の度合いを評価することができる。また、2つのデータの解析データを組み合わせることで、より高精度に評価することができる。
同時に取得された被験者の感性データと生体データとを解析することで、感性と生体情報との相関を高精度に求めることができる。人の感性から生じる現象または人の感性自体を定量的に評価するために、感性と、定量的に表すことができる生体情報との相関を求めることは有益である。
互いに相関が不明な感性と生体情報について、感性データと生体データとを同時に取得することで、該感性と該生体情報との相関を高精度に求めることができる。
本実施の形態では、主に、二次元画像から得られる自然な立体感(n3D)の強さを評価することができる評価システムについて説明する。
同じコンテンツであっても、表示装置によって、観察者が得られるn3Dの強さは異なる。同じ表示装置であっても、コンテンツによって、観察者が得られるn3Dの強さは異なる。本発明の一態様の評価システムを用いることで、コンテンツまたは表示装置から得られるn3Dの強さを求めることができる。
本発明の一態様の評価システムを用いて、様々なコンテンツにおいて強いn3Dが得られる表示装置を確認することができる。本発明の一態様の評価システムを用いて、様々な表示装置において強いn3Dが得られるコンテンツを確認することができる。
本発明の一態様の評価システムを用いて作成された解析データは、コンテンツの補正または表示装置の設計等に活かすことができる。
本発明の一態様の評価システムを用いて作成された解析データを、表示装置またはコンテンツが与えるn3Dの強さを示す指標として用いることで、消費者に表示装置またはコンテンツの付加価値をアピールすることができる。
また、本発明の一態様は、解析データを利用して、音の出力、振動、表示の輝度、表示の解像度、及びコンテンツの内容のうち少なくとも一つを制御する機能を有する電子機器である。
[測定システムの構成例]
図1(A)に示す測定システム20は、処理部111a、記憶部112a、出力部114a、感性データ取得部121、及び生体データ取得部122を有する。
測定システム20は、被験者がコンテンツを観察している間に、感性データと生体データとを同時に取得する機能を有する。
<処理部111a>
処理部111aは、感性データ取得部121から感性データを供給される。処理部111aは、生体データ取得部122から生体データを供給される。
処理部111aは、感性データ取得部121と生体データ取得部122を制御する機能を有する。処理部111aは、記憶部112aからプログラムを読み出し、該プログラムを用いて、感性データ取得部121と生体データ取得部122を制御することが好ましい。
処理部111aは、感性データ取得部121と生体データ取得部122の動作を同期させる機能を有することが好ましい。
処理部111aは、記憶部112aに、感性データ及び生体データを供給する機能を有する。処理部111aは、記憶部112aから、感性データ及び生体データを読み出す機能を有する。
処理部111aは、出力部114aに、感性データ及び生体データを供給する機能を有する。
処理部111aには、後述する処理部111と同様の構成を適用することができる。
<記憶部112a>
記憶部112aは、感性データ及び生体データを格納する機能を有する。記憶部112aは、プログラムを格納する機能を有することが好ましい。
処理部111aが有する各種メモリが、記憶部112aとしての機能の少なくとも一部を有していてもよい。
記憶部112aには、後述する記憶部112と同様の構成を適用することができる。
<出力部114a>
出力部114aは、感性データ及び生体データを出力する機能を有する。
出力部114aは、有線または無線によりデータを外部に出力することができる。出力部114aは、外部接続端子及び通信部のうち一方または双方を有することが好ましい。
測定システム20は、記録媒体(フラッシュメモリ、ブルーレイディスク、もしくはDVD(Digital Versatile Disc)など)にデータを書き出す機能を有していてもよい。
<感性データ取得部121>
感性データ取得部121は、感性データを取得する機能を有する。感性データ取得部121は、処理部111aに感性データを供給する機能を有する。
感性データ取得部121は、コンテンツを観察している被験者の感性データをリアルタイムで取得することができる。
被験者は、コンテンツを観察しながら、コンテンツから得られた所定の感性の度合いを、測定システム20に入力する。感性データは、被験者が入力した感性の度合いが数値化されたデータである。
被験者が強さを評価する感性もしくは感性から生じる現象としては、コンテンツから得られる立体感、奥行き感、手前感、コンテンツの好み、心地よさ、興奮度、または疲労感等が挙げられる。また、1つのコンテンツまたは表示装置から得られる感性の評価だけでなく、2つのコンテンツまたは表示装置を比較して感性を評価してもよい。
被験者は、例えば、操作レバーまたは操作ボタン等を用いて、コンテンツから得られた感性の度合いを入力することができる。
操作レバーは、段階式または無段階式とすることができる。
無段階式の操作レバーは、段階式の操作レバーに比べて、被験者が直感的に動かすことができるため、評価の精度を高めることができ、好ましい。
被験者は、コンテンツを観察しながら操作レバーを動かす。そのため、被験者が操作レバーを見なくても、操作レバーのベースライン(0ポジション)を把握しやすいことが好ましい。例えば、被験者が操作レバーを大きく倒すほど、操作レバーがベースラインに戻る向きに大きな力がかかってもよい。被験者が操作レバーから手を離すことで、操作レバーをベースラインに戻すことができる。
段階式の操作レバーの場合、段階数が多いほど評価の分解能が多くなり、評価の精度が高まるため、好ましい。段階数が少ないほど、被験者にとって、評価が容易となり好ましい。
例えば、被験者は、コンテンツに強い手前感を感じるほど、レバーを手前に大きく倒し、コンテンツに強い奥行き感を感じるほど、レバーを奥に大きく倒す。
2つのコンテンツまたは表示装置を比較する場合、被験者は、例えば、一方に強い立体感を感じるほど、右に大きく倒し、他方に強い立体感を感じるほど、左に倒す。
なお、「手前感」とは、映像が被験者側に向かってくるように感じることを指す。また、「奥行き感」とは、表示装置の奥側に映像の広がりを感じることを指す。また、「立体感」とは、手前感と奥行き感を含むものとし、n3Dに最も近い意味をもつ評価語であるといえる。
操作ボタンは、表面に凹凸を施す等により、複数の操作ボタンを指で触って判別できることが好ましい。
操作ボタンの数は、操作レバーの段階数と同様のことがいえる。
例えば、被験者は、一度に押すボタンの数、または、押すボタンの種類によって、コンテンツから得られたn3Dの度合いを表現することができる。
感性データは、1種類以上取得することができる。被験者にとって容易な評価とするため、またはデータの信頼性を高めるために、一度に取得する感性データは、1種類であることが好ましい。
<生体データ取得部122>
生体データ取得部122は、被験者の生体データを取得する機能を有する。生体データ取得部122は、処理部111aに生体データを供給する機能を有する。
生体データ取得部122は、コンテンツを観察している被験者の生体データをリアルタイムで取得することができる。生体データ取得部122は、被験者の無意識下の反応を取得することができる。生体データは、被験者から取得した生体情報が数値化されたデータである。
生体情報としては、焦点距離、輻輳角、瞳孔径、脈波、血圧、呼吸、心拍、瞬目、発汗、皮膚電位(精神性発汗を電位として測定できる)、筋電位(筋肉の緊張具合を測定できる)、重心動揺、及び脳活動(脳血流測定、脳波計測、脳磁計測、近赤外分光法、機能的磁気共鳴撮像法等を用いて測定できる)等が挙げられる。
n3Dの強さを評価するために用いる生体情報としては、焦点距離、輻輳角、瞳孔径等が好適である。本実施の形態では、主に、焦点距離を測定する場合を例に挙げて説明する。
生体データは、1種類以上取得することができる。評価する感性と相関がある生体データを複数取得することで、より高精度の評価を行うことができる。
<コンテンツ>
コンテンツは、シーンごとに評価を行うと評価の精度が高まり、好ましい。シーンが切り替わる部分は、感性データと生体データの相関が低下することがある。同じシーンを繰り返し観察して評価することで、信頼性の高いデータを得ることができ、好ましい。
n3Dの強さを評価する際、被験者の疲労を考慮して、コンテンツの長さを決定することが好ましい。コンテンツの長さは、例えば、15秒以上90秒以下が好ましく、15秒以上60秒以下がより好ましい。
コンテンツを表示させる表示部は、測定システムの一部とすることができる。または、測定システムとは別に、表示装置を準備し、該表示装置にコンテンツを表示させてもよい。感性データ取得部121、生体データ取得部122、及び表示装置を同期させることができると好ましい。これにより、データの取得とコンテンツの再生との開始及び終了のタイミングを合わせることが容易となる。
複数のコンテンツを用いる場合、コンテンツが表示される順番はランダムであることが好ましい。これにより、被験者にコンテンツが表示される順番を把握されず、学習効果を抑制して感性評価を行うことができる。
[評価システムの構成例1]
図1(B)に示す評価システム10Aは、処理部111、記憶部112、出力部114、感性データ取得部121、及び生体データ取得部122を有する。なお、以降では、先に説明した構成及び機能等の説明を省略する場合がある。
評価システム10Aは、被験者がコンテンツを観察している間に、感性データと生体データとを同時に取得する機能を有する。評価システム10Aは、感性データと生体データとを用いて演算を行い、解析データを生成する機能を有する。評価システム10Aは、例えば、感性と生体情報との相関、及び感性の度合い等を評価することができる。
<処理部111>
処理部111は、感性データ取得部121から感性データを供給される。処理部111は、生体データ取得部122から生体データを供給される。
処理部111は、感性データ取得部121と生体データ取得部122を制御する機能を有する。処理部111は、記憶部112からプログラムを読み出し、該プログラムを用いて、感性データ取得部121と生体データ取得部122を制御することが好ましい。
処理部111は、感性データ取得部121と生体データ取得部122の動作を同期させる機能を有することが好ましい。
処理部111は、記憶部112に、感性データ及び生体データを供給する機能を有する。処理部111は、記憶部112から、感性データ、生体データ、及びプログラムを読み出す機能を有する。処理部111は、感性データ、生体データ、及びプログラムを用いて演算を行い、解析データを生成する機能を有する。
処理部111は、記憶部112に、解析データを供給する機能を有する。処理部111は、記憶部112から、解析データを読み出す機能を有する。処理部111は、出力部114に、解析データを供給する機能を有する。処理部111は、出力部114に、感性データ及び生体データを供給する機能を有していてもよい。
処理部111は、例えば、演算回路、または中央演算装置(CPU:Central Processing Unit)等を有する。
処理部111には、チャネル形成領域に酸化物半導体を有するトランジスタを用いることが好ましい。当該トランジスタはオフ電流が極めて低いため、当該トランジスタを記憶素子として機能する容量素子に流入した電荷(データ)を保持するためのスイッチとして用いることで、データの保持期間を長期にわたり確保することができる。この特性を、処理部111が有するレジスタ及びキャッシュメモリのうち一方または双方に用いることで、必要なときだけ処理部111を動作させ、他の場合には直前の処理の情報を当該記憶素子に待避させることにより、ノーマリーオフコンピューティングが可能となり、評価システムの低消費電力化を図ることができる。
処理部111は、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等のマイクロプロセッサを有していてもよい。マイクロプロセッサは、FPGA(Field Programmable Gate Array)、FPAA(Field Programmable Analog Array)等のPLD(Programmable Logic Device)によって実現された構成でもよい。処理部111は、プロセッサにより種々のプログラムからの命令を解釈し実行することで、各種のデータ処理及びプログラム制御を行うことができる。プロセッサにより実行しうるプログラムは、プロセッサが有するメモリ領域及び記憶部112のうち一方または双方に格納される。
処理部111はメインメモリを有していてもよい。メインメモリは、RAM(Random Access Memory)等の揮発性メモリ、及びROM(Read Only Memory)等の不揮発性メモリのうち一方または双方を有する。
RAMとしては、例えばDRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)等が用いられ、処理部111の作業空間として仮想的にメモリ空間が割り当てられ利用される。記憶部112に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ、及びルックアップテーブル等は、実行のためにRAMにロードされる。RAMにロードされたこれらのデータ、プログラム、及びプログラムモジュールは、それぞれ、処理部111に直接アクセスされ、操作される。
ROMには、書き換えを必要としない、BIOS(Basic Input/Output System)及びファームウェア等を格納することができる。ROMとしては、マスクROM、OTPROM(One Time Programmable Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)等が挙げられる。EPROMとしては、紫外線照射により記憶データの消去を可能とするUV−EPROM(Ultra−Violet Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュメモリ等が挙げられる。
<記憶部112>
記憶部112は、感性データ、生体データ、プログラム、及び解析データを格納する機能を有する。
処理部111が有する各種メモリが、記憶部112としての機能の少なくとも一部を有していてもよい。または、処理部111とは別に、記憶部112を有していてもよい。
記憶部112は、例えば、処理部111が演算処理を実行するコンピュータプログラム、ルックアップテーブル等を有する。
記憶部112は、例えばフラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、PRAM(Phase change RAM)、ReRAM(Resistance RAM)、及びFeRAM(Ferroelectric RAM)等の不揮発性の記憶素子が適用された記憶装置、並びに、DRAM及びSRAM等の揮発性の記憶素子が適用された記憶装置等のうち少なくとも一つを有する。また、ハードディスクドライブ(Hard Disc Drive:HDD)及びソリッドステートドライブ(Solid State Drive:SSD)等の記録メディアドライブを有していてもよい。
評価システム10Aは、有線または無線でデータの送受信が可能な記憶装置と、データの受け渡しを行ってもよい。HDDもしくはSSD等の記憶装置、または、フラッシュメモリ、ブルーレイディスク、もしくはDVD等の記録媒体と、処理部111と、は、コネクタと、外部接続端子または通信部と、を介して、データの送受信が可能である。
<出力部114>
出力部114は、感性データ及び生体データを出力する機能を有する。
出力部114は、表示部、外部接続端子、及び通信部のうち一方または双方を有することが好ましい。
表示部は、解析データを表示することができる。表示部は、被験者が観察するコンテンツを表示してもよい。評価システム10Aは、2つの表示部を有していてもよい。2つの表示部のうち一方を、解析データを表示する表示部とし、他方を、被験者が観察するコンテンツを表示する表示部として用いることができる。
また、評価システム10Aは、エキスパートシステムを有することが好ましい。エキスパートシステムは、解析データを蓄積していくことで、評価の精度を高めることができる。
[評価システムの構成例2]
図1(C)に示す評価システム10Bは、処理部111、記憶部112、入力部113、撮像部117、表示部141、音声出力部142、通信部143、外部接続端子144、感性データ取得部121、及び2つの生体データ取得部122を有する。
評価システム10Bは、被験者がコンテンツを観察している間に、感性データと生体データとを同時に取得する機能を有する。評価システム10Bは、感性データと生体データとを用いて演算を行い、解析データを生成する機能を有する。
評価システム10Bは、生体データ取得部122を2つ有する。そのため、感性データと、2つの生体データと、を同時に取得することができる。そして、感性データと、2つの生体データと、を用いて演算を行い、解析データを生成することができる。
<入力部113>
入力部113は、入力データを供給される。入力部113は、入力データを処理部111に供給する機能を有する。評価システム10Aのオペレータまたは被験者は、入力部113を用いて、情報を入力することができる。入力された情報は、処理部111で処理され、記憶部112に格納される。情報としては、測定条件、被験者の情報等が挙げられる。測定条件としては、単眼または両眼、コンテンツを表示する表示装置の種類、コンテンツの種類等が挙げられる。被験者の情報としては、被験者の年齢、性別、及び被験者を識別する情報(氏名またはIDなど)等が挙げられる。
<撮像部117>
撮像部117は、被験者を撮影する機能を有する。例えば、焦点距離を測定する場合、撮像部117は、被験者の目の状態を撮影することが好ましい。処理部111は、撮像部117が撮影した画像を解析する機能を有することが好ましい。解析結果を用いて、処理部111は、焦点距離が正しく測定できるよう、生体データ取得部122を制御する。または、処理部111は、音声出力部142を制御して、被験者に対して指示を出すことができる。これにより、生体情報を取得するためにオペレータが同席する必要がなくなる。
<表示部141>
表示部141は、表示を行う機能を有する。表示部141は、処理部111によって制御される。
表示部141は、コントローラ及び表示パネルを有する。表示パネルは、表示素子を有する。表示素子としては、無機EL素子、有機EL素子、LED等の発光素子、液晶素子、電気泳動素子、MEMS(マイクロ・エレクトロ・メカニカル・システム)を用いた表示素子等が挙げられる。表示パネルは、タッチセンサを有するタッチパネルであってもよい。
表示部141は、解析データを表示する機能を有することが好ましい。つまり、表示部141は、出力部の一つとして機能することができる。
または、表示部141は、コンテンツを表示する機能を有することが好ましい。測定システムまたは評価システムが表示部を有することで、コンテンツの再生、感性データの取得、及び生体データの取得の開始及び終了のタイミングを合わせることが容易となる。
コンテンツは、記憶部112または外部から処理部111に供給され、処理部111から表示部141に供給される。処理部111は、評価方法に合ったコンテンツを、表示部141に表示させる。例えば、表示部141は、1つのコンテンツを繰り返し表示する、または、複数のコンテンツを順不同に表示する。
同じ表示装置を用いて、様々なコンテンツが与えるn3Dの強さを評価する場合、n3Dが得られやすい表示装置を用いて評価を行うことで、コンテンツ間の差が確認しやすいことがある。
n3Dの強さには、表示装置の精細度、コントラスト、及び応答速度等が影響する。有機ELディスプレイは、液晶ディスプレイに比べて、コントラストが高く、色再現性が高く、応答速度が速い等の特長を有する。そのため、表示部141は、有機ELディスプレイを有することが好ましい。
なお、表示部141は上記2つの機能のうち一方または双方を有することができる。また、測定システムまたは評価システムは、表示部を2つ以上有していてもよい。
<音声出力部142>
音声出力部142は、音を出力する機能を有する。音声出力部142は、処理部111によって制御される。記憶部112は、音声信号を記憶する機能を有することが好ましい。記憶部112に記憶された音声信号は、処理部111を介して音声出力部142に供給される。音声出力部142は、処理部111から供給された音声信号を音に変換し、測定システム20の外部に出力することができる。
音声出力部142は、例えば、スピーカもしくは音声出力コネクタと、コントローラと、を有する。
音声を含むコンテンツを評価する際、音声出力部142を用いて、コンテンツに含まれる音声を出力することができる。
表示部141または音声出力部142を用いて、測定及び評価の方法、手順、注意事項等を、被験者に伝えることができる。これにより、実験オペレータが同席していなくても、被験者は評価を行うことができる。
<通信部143>
通信部143は、例えば、FM変調でのアナログ伝送、Bluetooth(登録商標)、Wireless Fidelity(Wi−Fi(登録商標))等により通信規格化された無線通信、または赤外線通信等により、外部機器へデータを送信することができる。
または、通信部143は、測定システム20とコンピュータネットワークと、を接続させる機能を有する。コンピュータネットワークとしては、World Wide Web(WWW)の基盤であるインターネット、イントラネット、エクストラネット、PAN(Personal Area Network)、LAN(Local Area Network)、CAN(Campus Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)等が挙げられる。
測定システムまたは評価システムは複数の通信手段を有していてもよい。
<外部接続端子144>
評価システム10Bは、外部接続端子144に接続されたケーブルまたはコードを介して外部機器と接続することができる。
[評価システムの構成例3]
図2に示す評価システム10Cは、測定システム21A及び解析システム22Aを有する。測定システム21Aは、感性データと生体データとを、同時に取得する機能を有する。解析システム22Aは、感性データと生体データとを用いて演算を行い、解析データを生成する機能を有する。
測定システム21Aは、処理部111a、記憶部112a、入力部113a、通信部143a、感性データ取得部121、及び生体データ取得部122を有する。
解析システム22Aは、処理部111b、記憶部112b、入力部113b、出力部114b、及び通信部143bを有する。
感性データ取得部121は、感性データを取得する機能を有する。感性データ取得部121は、処理部111aに感性データを供給する機能を有する。
生体データ取得部122は、生体データを取得する機能を有する。生体データ取得部122は、処理部111aに生体データを供給する機能を有する。
記憶部112aは、感性データ及び生体データを格納する機能を有する。記憶部112aは、プログラムを格納する機能を有することが好ましい。
記憶部112bは、感性データ、生体データ、プログラム、及び解析データを格納する機能を有する。
処理部111aは、感性データ取得部121及び生体データ取得部122を制御する機能を有する。処理部111aは、記憶部112aに、感性データ及び生体データを供給する機能を有する。処理部111aは、記憶部112aから、感性データ及び生体データを読み出す機能を有する。処理部111aは、通信部143aに、感性データ及び生体データを供給する機能を有する。
通信部143aは、感性データ及び生体データを、通信部143bに供給する機能を有する。通信部143bは、感性データ及び生体データを、処理部111bに供給する機能を有する。
処理部111bは、プログラムを読み出す機能と、感性データ、生体データ、及びプログラムを用いて演算を行い、解析データを生成する機能と、を有する。
処理部111bは、記憶部112bに、感性データ及び生体データを供給する機能を有する。処理部111bは、記憶部112bから、感性データ及び生体データを読み出す機能を有する。処理部111bは、記憶部112bに、解析データを供給する機能を有する。処理部111bは、記憶部112bから、解析データを読み出す機能を有する。
<通信部143a、143b>
図2では、測定システム21Aが通信部143aを有し、解析システム22Aが通信部143bを有する例を示す。2つの通信部を用いて、測定システム21Aと解析システム22Aの間でデータを受け渡すことが可能である。
例えば、FM変調でのアナログ伝送、無線通信、または赤外線通信等により、直接データを受け渡してもよい。または、コンピュータネットワークを用いて、データを、オンラインストレージに保存した後、オンラインストレージから該データをダウンロードしてもよい。
測定システム21Aと解析システム22Aの間でデータを受け渡す他の方法としては、測定システム21A及び解析システム22Aが、それぞれ外部接続端子を有し、有線で2つを接続する方法、測定システム21Aからデータを記録媒体に書き出し、解析システム22Aが該記録媒体から該データを読み込む方法等が挙げられる。
<入力部113a、113b>
入力部113a、入力部113bは、それぞれ独立に、入力データを供給される。入力部113aは、入力データを処理部111aに供給する機能を有する。入力部113bは、入力データを処理部111bに供給する機能を有する。
<出力部114b>
解析システム22Aは、出力部114bを用いて評価システム10Cの外部にデータを供給することができる。解析システム22Aは、通信部143bを用いて評価システム10Cの外部にデータを供給することもできる。なお、解析システム22Aは、出力部114bを有していなくてもよい。
測定システム21Aと解析システム22Aは、物理的に接続されていてもよいし、離れた場所に配置されていてもよい。
[評価システムの構成例4]
図3に示す評価システム10Dは、測定システム21B及び解析システム22Bを有する。
測定システム21Bは、測定システム21Aの構成に加え、撮像部117、表示部141a、及び音声出力部142を有する。
撮像部117及び音声出力部142の機能等は、先に説明した内容を参酌できる。
<表示部141a>
表示部141aは、コンテンツを表示する機能を有することが好ましい。
解析システム22Bは、処理部111b、記憶部112b、入力部113b、表示部141b、及び通信部143bを有する。
解析システム22Bは、通信部143bを用いて評価システム10Dの外部にデータを供給することができる。なお、解析システム22Bは、さらに他の出力部を有していてもよい。
<表示部141b>
表示部141bは、解析データを表示する機能を有することが好ましい。つまり、表示部141bは、出力部の一つとして機能することができる。
[測定方法例]
図1(A)に示す測定システム20を用いた測定方法を図4(A)に示す。
<ステップS11:データの取得>
ステップS11では、被験者がコンテンツを観察している間に、感性データと生体データを同時に取得する。感性データ取得部121は感性データを取得する。生体データ取得部122は、生体データを取得する。感性データと生体データは、処理部111aを介して、記憶部112aに供給される。
処理部111aを用いて、感性データ取得部121が感性データを取得する周期を制御することができると好ましい。同様に、処理部111aを用いて、生体データ取得部122が生体データを取得する周期を制御することができると好ましい。感性データを取得する周期と、生体データを取得する周期は異なっていてもよく、同一であることが好ましい。これらの周期は短いほど高精度な測定を行うことができる。これらの周期は、例えば、0.01秒以上0.5秒以下とすることが好ましい。生体データによって、取得する周期の好ましい範囲は異なる。具体的には、焦点距離を測定する場合は、データを取得する周期を0.1秒以上0.2秒以下とすることが好ましい。
<ステップS14:データの出力>
ステップS14では、取得したデータを出力する。処理部111aは、記憶部112aから感性データと生体データを読み出し、出力部114aに供給する。出力部114aは、感性データ取得部121が取得した感性データと、生体データ取得部122が取得した生体データを出力することができる。
[評価方法例1]
評価システムを用いた評価方法の一例を図4(B)に示す。以下では、図1(B)に示す評価システム10Aを用いる場合を例に挙げて説明する。
<ステップS11:データの取得>
ステップS11では、被験者がコンテンツを観察している間に、感性データと生体データを同時に取得する。感性データ取得部121は感性データを取得する。生体データ取得部122は、生体データを取得する。感性データと生体データは処理部111を介して、記憶部112に供給される。
<ステップS12:データの解析>
ステップS12では、処理部111が、感性データと生体データとを用いて演算を行い、解析データを生成する。ステップS12の詳細な説明は後述する。
<ステップS13:解析データの出力>
ステップS13では、解析データを出力する。処理部111は、記憶部112から解析データを読み出し、出力部114に供給する。出力部114は、解析データを出力することができる。出力部114は、感性データ及び生体データを出力してもよい。
図5(A)、(B)に、評価方法の変形例を示す。図5(A)、(B)に示す評価方法は、図4(B)に示すステップに加え、ステップS21を有する。
<ステップS21:ベースラインの測定>
被験者ごとに生体データの基準値(ここでは、立体感を感じていないときの焦点距離)は異なるため、被験者ごとにキャリブレーションが必要である。また、同じ被験者であっても、体調や日によって基準値は変化することがあるため、評価を行うたびに、生体データのベースラインを測定することが好ましい。
被験者が基準のコンテンツを観察している間に、被験者の基準となるデータ(ベースライン)を取得する。
例えば、被験者に立体感を与えない表示を表示部で行い、それを観察している間の被験者の生体データを取得する。このとき、基準のコンテンツとしては、文字、記号等が挙げられる。
生体データのベースラインだけでなく、感性データのベースラインを測定してもよい。生体データのベースラインと感性データのベースラインは同時に測定することができる。
ステップS21は、ステップS11の前後の一方または双方で行うことが好ましい。特に、ステップS21は、ステップS11の前後の双方で行うことが好ましい(図6参照)。
[評価方法例2]
評価システムを用いた評価方法の一例を図6に示す。以下では、図1(C)に示す評価システム10Bを用いる場合を例に挙げて説明する。
評価システム10Bのオペレータまたは被験者は、入力部113を用いて、情報を入力することができる。入力された情報は、処理部111で処理され、記憶部112で記憶される。情報としては、例えば、測定条件、被験者情報等が挙げられる。
<ステップS31:生体データの取得に適した被験者であるか>
被験者の生体データを適切に検出することができるか、事前に確認することが好ましい。
例えば、焦点距離を測定する場合は、視力、利き目、乱視の有無、矯正の有無、まぶたが瞳を隠していないか、まつげが瞳孔にかかっていないか、瞳孔径が小さすぎないか等を確認することが好ましい。
これらの情報は事前に確認しておくことができ、オペレータまたは被験者は、入力部113を用いて、評価システム10Bに入力することができる。
または、これらの情報を、評価システム10Bを用いて取得することができる。例えば、まぶたが瞳を隠していないか、まつげが瞳孔にかかっていないか等の判定は、撮像部117を用いて被験者の目を撮影し、撮影した画像を処理部111で解析することで行うことができる。また、評価システム10Bを用いて視力または瞳孔径の測定を行ってもよい。
被験者が生体データの取得に適している場合、評価システム10Bを用いて生体データと感性データを同時に取得することができる。図6では、ステップS31からステップS32に進む。
被験者が生体データの取得に適していない場合、評価システム10Bを用いた生体データの取得が難しい可能性がある。図6では、評価システム10Bを用いた評価を行わないこととしたが、これに限定されない。例えば、生体データの取得はせず、評価システム10Bを用いて、感性データのみを取得してもよい。
<ステップS32:練習>
ステップS32では、練習として、コンテンツを観察している間に、感性データと生体データを同時に取得する。
練習を行うことで、被験者は、後のステップS11において、コンテンツから得られた所定の感性の度合いを円滑に入力することができる。練習を行うことで、被験者は、操作レバーまたは操作ボタンの操作に慣れて、均一な尺度で感性の度合いを入力できるようになる。また、ステップS11で、操作レバーまたは操作ボタンの使い方を誤ることを防止できる。
例えば、n3Dの強さを評価する場合、n3Dを強く感じられるコンテンツを用いて、練習を行ってもよい。これにより、被験者は、得られたn3Dの強さを表現することが容易となる。
また、練習を行うことで、感性データ及び生体データが正常に取得できているかを事前に確認することができる。
ステップS32では、撮像部117を用いて被験者を撮影し、撮像部117が撮影した画像を解析してもよい。解析結果を用いて、より高精度にデータを取得できるよう、音声出力部142または表示部141等を用いて、被験者に対して指示を出すことができる。
なお、オペレータがいる場合は、オペレータが、被験者に対して指示を出してもよい。また、被験者が、オペレータに質問等をする機会を設けてもよい。
<ステップS21A:ベースラインの測定>
ステップS11の前に、ベースラインの測定を行うことが好ましい。ステップS21Aでは、被験者が基準のコンテンツを観察している間に、被験者の基準となるデータ(ベースライン)を取得する。
<ステップS11:データの取得>
ステップS11では、被験者がコンテンツを観察している間に、感性データと生体データを同時に取得する。感性データ取得部121は感性データを取得する。生体データ取得部122は、生体データを取得する。感性データと生体データは、処理部111を介して、記憶部112に供給される。
<ステップS21B:ベースラインの測定>
ステップS11の後に、ベースラインの測定を行うことが好ましい。ステップS21Bでは、被験者が基準のコンテンツを観察している間に、被験者の基準となるデータ(ベースライン)を取得する。
ステップS11の前後にベースラインの測定を行う場合、測定条件等は全て同一であると、ベースラインの決定が容易となるため好ましい。基準のコンテンツは、ステップS21Aと同様であると好ましい。ステップS21AとステップS21Bの測定時間は同一であることが好ましい。
<ステップS12:データの解析>
ステップS12では、処理部111が、感性データと生体データとを用いて演算を行い、解析データを生成する。
ステップS12の詳細を図7(A)、(B)に示す。ステップS12は、解析用データの生成を行うステップS41と、解析用データを解析するステップS42を有する。
解析用データの生成を行うステップS41は、ステップS41AとステップS41Bを有する。2つのステップを行う順番に限定はなく、並行して行われてもよい。
以下では、感性データが、被験者がコンテンツから得られたn3Dの強さのデータであり、生体データが、被験者の焦点距離のデータである場合を例に挙げて、データの解析方法例を説明する。また、ステップS11では、被験者が、1つのコンテンツを複数回繰り返して観察したこととする。
<ステップS41A:解析用感性データの生成>
ステップS41Aでは、感性データから解析用感性データを生成する。感性データから不要なデータを除去する、感性データのベースラインを補正する等により、解析用感性データを生成することができる。なお、感性データ取得部121が取得した感性データを、そのまま解析用感性データとすることもでき、その場合、ステップS41Aは省略できる。
ステップS41Aでは、感性データが正しく取得できているかを判断することが好ましい。正しく取得できていないと判断された感性データは、解析用感性データの生成に使用しないことが好ましい。該感性データを用いて解析用感性データを生成する場合、その解析データは、信頼性の低いデータであることを示すことが好ましい。
例えば、被験者が1つのコンテンツを複数回繰り返して観察した場合、各サイクルの結果を比較することで、感性データが正しく取得できているかを判断することができる。他のサイクルの結果と相関がないと判断されたサイクルは、正しく取得できていない可能性が高い。
ステップS41Aでは、感性データからノイズを除去することが好ましい。ノイズの除去は、例えば、スムージングにより行うことができる。スムージングの方法に限定はなく、例えば、移動平均を用いてスムージングを行うことができる。
ステップS21A及びステップS21Bにおいて、感性データのベースラインを測定した場合、感性データのベースラインを補正する。
例えば、ステップS21Aで取得したデータとステップS21Bで取得したデータを合わせて求めた平均値を、ベースラインとして用いることができる。また、ステップS21AとステップS21Bの測定時間が同じ場合は、ステップS21Aで取得したデータの平均値とステップS21Bで取得したデータの平均値とをそれぞれ求め、2つの値の平均値を、ベースラインとして用いてもよい。
なお、ステップS21A及びステップS21Bで取得した感性データのベースラインからノイズを除去することで、より高精度に、感性データのベースラインを求めることができる。
また、無段階式のレバーを用いた場合など、被験者によって、感性データの変動量の幅が異なることがある。このとき、感性データの規格化を行ってもよい。これにより、各被験者の感性データの比較が容易となる。
<ステップS41B:解析用生体データの生成>
ステップS41Bでは、生体データから解析用生体データを生成する。生体データから不要なデータを除去する、生体データのベースラインを補正する等により、解析用生体データを生成することができる。なお、生体データ取得部122が取得した生体データを、そのまま解析用生体データとすることもでき、その場合、ステップS41Bは省略できる。
ステップS41Bでは、生体データが正しく取得できているかを判断することが好ましい。正しく取得できていないと判断された生体データは、解析用生体データの生成に使用しないことが好ましい。該生体データを解析用生体データに含む場合、その解析データは、信頼性の低いデータであることを示すことが好ましい。
例えば、被験者が1つのコンテンツを複数回繰り返して観察した場合、各サイクルの結果を比較することで、生体データが正しく取得できているかを判断することができる。他のサイクルの結果と相関がないと判断されたサイクルは、正しく取得できていない可能性が高い。なお、ノイズ、疲労、または学習効果等により、サイクルによって生体データの傾向が変化することもあるため、それらを考慮して判断することが好ましい。
焦点距離のデータの場合、視距離から大きく離れた値は、まばたきの影響、測定ミス等により、正しく取得できていない可能性が高い。記憶部112に、過去に測定した焦点距離のデータが格納されている場合、そのデータと今回のデータを比較し解析することで、視距離から大きく離れた値が、まばたきの影響、測定ミス等による値か否かを、精度よく確認することができる。なお、比較に用いる焦点距離のデータとしては、同じ被験者のデータ及び他の被験者のデータのうち一方または双方を用いることができる。
ステップS41Bでは、生体データからノイズを除去することが好ましい。ノイズの除去は、例えば、スムージングにより行うことができる。スムージングの方法に限定はなく、例えば、移動平均を用いてスムージングを行うことができる。
ステップS21A及びステップS21Bにおいて、生体データのベースラインを測定した場合、生体データのベースラインを補正する。
なお、ステップS21A及びステップS21Bで取得した生体データのベースラインからノイズを除去することで、より高精度に、生体データのベースラインを求めることができる。
解析用データを解析するステップS42は、ステップS42A〜ステップS42Cを有する。3つのステップを行う順番に限定はなく、2つ以上のステップが並行して行われてもよい。
<ステップS42A:解析用感性データと解析用生体データの相関を求める>
2つのデータの相関を求める方法に限定はなく、例えば、ピアソンの積率相関係数を用いて、2つのデータの相関を評価することができる。
例えば、被験者が1つのコンテンツを複数回繰り返し観察した場合、サイクルごとの相関及び全サイクルの平均の相関の一方または双方を評価することができる。
<ステップS42B:解析用感性データから感性の度合いを求める>
感性の度合いを求める方法に限定はなく、例えば、感性データの変動量から、感性の度合いを求めることができる。
例えば、レバーを倒す量が大きいほど、被験者がコンテンツから強いn3Dを得たと評価することができる。
また、レバーを倒す方向及び倒す量を組み合わせることで、手前感の強さと奥行き感の強さをそれぞれ独立に評価することができる。例えば、ベースラインを0、奥行き方向を正方向とすると、正の値が大きいほど奥行き感が強く、負の値が大きいほど手前感が強いと判断できる。
例えば、レバーのベースラインが0であり、ある被験者が動かしたレバーの最大値が0.3であり、最低値が−0.2であるとする。ここでは、説明を簡単にするため、被験者が動かしたレバーの変動量を、被験者がコンテンツから得たn3Dの強さと同等とみなす。つまり、被験者が得たn3Dの強さは0.5、奥行き感は0.3、手前感は0.2と判定される。これにより、手前感に比べ奥行き感の強いコンテンツであると評価することができる。
または、レバーのベースラインが0であるとき、正の値の平均値を用いて奥行き感の強さを評価し、負の値の絶対値の平均値を用いて手前感の強さを評価してもよい。
例えば、被験者が1つのコンテンツを複数回繰り返して観察した場合、サイクルごとの感性の度合い及び全サイクルの平均の感性の度合いの一方または双方を評価することができる。
<ステップS42C:解析用生体データから感性の度合いを求める>
感性の度合いを求める方法に限定はなく、例えば、生体データの変動量から、感性の度合いを求めることができる。
例えば、焦点距離の変動量が大きいほど、被験者がコンテンツから強いn3Dを得たと評価することができる。
また、焦点距離の移動する方向及び移動量を組み合わせることで、手前感の強さと奥行き感の強さをそれぞれ独立に評価することができる。例えば、ベースラインを0とすると、正の値が大きいほど奥行き感が強く、負の値が大きいほど手前感が強いと判断できる。
例えば、焦点距離のベースラインが0Dであり、ある被験者の焦点距離の最大値が0.3Dであり、最低値が−0.2Dであるとする。ここでは、説明を簡単にするため、被験者の焦点距離の変動量を、被験者がコンテンツから得たn3Dの強さと同等とみなす。つまり、被験者が得たn3Dの強さは0.5、奥行き感は0.3、手前感は0.2と判定される。これにより、手前感に比べ奥行き感の強いコンテンツであると評価することができる。
または、焦点距離のベースラインが0であるとき、正の値の平均値を用いて奥行き感の強さを評価し、負の値の絶対値の平均値を用いて手前感の強さを評価してもよい。
例えば、被験者が1つのコンテンツを複数回繰り返して観察した場合、サイクルごとの感性の度合い及び全サイクルの平均の感性の度合いの一方または双方を評価することができる。
なお、解析用データの解析方法は、ステップS42A〜ステップS42Cの方法に限られない。
例えば、エキスパートシステムを用いてデータを解析してもよい。エキスパートシステムを用いて、解析用感性データ及び解析用生体データを、それぞれ、様々な指標で判定することができる。例えば、ノイズの量、測定の正確性、変動量、ピークの数、複数のサイクルにおける相関等を判断し、それぞれ評価することができる。また、エキスパートシステムを用いて、解析用感性データと解析用生体データを比較し、変動量、ピークの位置、ピークの数等の違い、相関、または時間的なズレ等を判断し、評価することができる。
また、理想(予想)の感性データまたは理想(予想)の生体データを準備し、理想(予想)のデータと実測のデータを比較してもよい。理想(予想)のデータとの相関の有無、時間的なズレ等を評価することで、相関を低下させる要因を確認することができる。
複数の被験者のデータを用いて、コンテンツまたは表示装置から得られる感性の度合いを総合的に評価してもよい。同様に、複数の被験者のデータを用いて、感性データと生体データの相関を総合的に評価してもよい。
また、ステップS11の間に、撮像部117で被験者の目の状態を撮影してもよい。そして、撮影した画像を処理部111で解析してもよい。例えば、目が乾燥している、または目が大きく動いているなどと判定されたサイクルの焦点距離のデータは信頼性が低いと考えることができる場合がある。
<ステップS13:解析データの出力>
ステップS13では、解析データを出力する。処理部111は、記憶部112から解析データを読み出し、出力部114に供給する。評価システム10Bでは、表示部141、通信部143、及び外部接続端子144のうち少なくとも一つを用いて、解析データを出力することができる。出力部は、入力部113を用いて入力された情報も出力することができる。出力部は、感性データ及び生体データを出力してもよい。
以上のように、本発明の一態様の測定システム及び評価システムは、被験者がコンテンツを観察している間に、感性データと生体データとを同時に取得することができる。感性データと生体データとのそれぞれを用いて、感性の度合いを評価することができる。また、同時に取得された感性データと生体データとを解析することで、高い精度で、感性データと生体データとの相関を求めることができる。
本発明の一態様の評価システムを用いることで、コンテンツまたは表示装置が与えるn3Dの強さを高精度に評価することができる。また、本発明の一態様の評価システムは、n3Dの強さの定量的な評価に用いることができる。
本実施の形態は、他の実施の形態と適宜組み合わせることができる。
本実施例では、生体情報の測定と感性評価を同時に行い、これらの相関を調査した。具体的には、観察者の焦点距離と、観察者が得る立体感と、の相関を評価した。
本実施例では、生体情報として、目の焦点調節機能に着目した。観察者の焦点距離の測定を行うことで、観察者の無意識下の反応を測定した。
感性評価には、観察者が得た立体感を直感的に表現できるレバー(n3D−lever)を用いた。
本実施例の実験の被験者は56人である。被験者は、視力(裸眼視力または矯正視力)0.5以上(平均±標準偏差:1.1±0.3)であり、かつ、裸眼またはソフトコンタクトレンズで矯正を行っている人に限定した。なお、乱視の調査は行っていない。被験者の年齢は、20歳以上40歳以下(平均±標準偏差:28.6±4.01)であった。被験者の60%は技術職であり、40%が非技術職であった。
実験で用いたディスプレイ(Display)は、液晶ディスプレイ(LCD)と有機ELディスプレイ(OLED)の2種類である。実験で用いたコンテンツは、3種類の動画である。なお、動画は、左目用の画像及び右目用の画像といった両眼視差を含む画像ではなく、二次元画像で構成されている。
実験では、被験者がディスプレイに表示された動画を観察している間に、焦点距離の測定と、レバーを用いた感性評価を行った。
測定システムの構成を図8(A)に示す。感性データ取得部121には、レバーを用いた。生体データ取得部122は、焦点距離を測定する機能を有する。被験者は、椅子125に座り、生体データ取得部122を介して、ディスプレイ123を観察する。かつ、被験者は、ディスプレイ123を観察しながら、レバーを動かす。レバーの拡大図を図8(B)に示す。
視距離は、タブレット端末の一般的な視距離とされる30cmとした。観察時の部屋の明るさは、8lxであった。
焦点距離の測定には、両眼開放オートレフ/ケラトメーター(WAM−5500、株式会社シギヤ精機製作所)を用いた。本測定機では、両眼視による自然な状態での測定が可能である。なお、測定はマニュアル操作で行っており、手動での位置調整が間に合わない速度で眼球運動が行われた場合には、正しい測定を行うことが困難である。焦点距離の測定は、0.1秒から0.2秒間隔でデータを取得する“HI SPEED MODE”で行った。
感性評価は、無段階式のレバーを用いて行った。被験者は、直感に従ってレバーをスムーズに動かすことができる。被験者は、レバーを手前に倒すことで、動画から手前感を得ていることを表現する。被験者は、レバーを奥に倒すことで、動画から奥行き感を得ていることを表現する。レバーの位置に対応する値の測定は、0.1秒間隔で行った。
2種類のディスプレイは、いずれも市販品であり、解像度及び大きさ等が同様のスペックとなるように選定した(表1参照)。
被験者に先入観を与えないために、ディスプレイ123の縁を黒い紙124で覆い、何のディスプレイかわからないようにした。
コンテンツ(Contents)は、3種類のFHD(縦1080×横1920)動画を準備し、横向きの(ディスプレイの長辺が上下に位置する)ディスプレイ123に合わせて表示させた。
動画A(Video A)及び動画B(Video B)としては、レバーを直感的に使用しやすく、かつ、n3Dを感じやすい映像を選定した。動画Aと動画Bの内容は似ており、いずれも、視点が建物に近づく動きと建物から離れる動きを繰り返す。
図9(A)〜(D)に、動画Aと動画Bに含まれる画像の一例を示す。図9(A)は、動画Aに含まれる、視点が建物から遠い画像である。図9(B)は、動画Aに含まれる、視点が建物に近い画像である。図9(C)は、動画Bに含まれる、視点が建物から遠い画像である。図9(D)は、動画Bに含まれる、視点が建物に近い画像である。
動画Aでは、映像が一つの連続した建物で構成されており、画面周辺もひとつながりになっている。一方、動画Bでは、画面周辺はいくつかの分かれた建物で構成されている。
動画A及び動画Bは、ハイパーラプス(Hyper−lapse)動画である。ハイパーラプスは、タイムラプス(Time−lapse)の一種である。ハイパーラプス動画は、カメラを動かしながら連続して撮影した静止画を繋ぎ合わせて作成される。静止画の連続撮影から動画を作成するため、被写体のブレの影響が排除できる。また、カメラを動かす際に生じる予期せぬ映像の揺れは、デジタル処理によって調整することが可能であり、自然でブレのない動きのスムーズな映像を作成することができる。
動画A及び動画Bは、もともとの、視点が建物に近づく映像に、逆再生映像を加えることで、被写体が奥から手前へ、手前から奥へと連続して移動を繰り返す映像とした。
動画Aの長さは4.60秒であり、1サイクル(再生1回+逆再生1回を指す)9.20秒である。動画Bの長さは、5.97秒であり、1サイクル11.94秒である。1回の測定では、3サイクル再生した。
動画C(Video C)は、7秒の動画を30fpsで10種類繋ぎ合わせて作成した(表2参照)。10種類の動画に含まれる画像の一例を、図10(A)〜(J)に示す。動画Cは、1回の測定で1回再生した(70秒)。
動画Cは、動画A及び動画Bよりも複雑な構成である。動画Cを用いて実験を行うことで、様々なシーン同士での相関の比較を行うこと、及びシーンチェンジの影響の確認を行うことができる。
図11に、実験の手順を示す。
[Practice]
まず初めに、各被験者は、動画Cを用いて実験の練習を行った。動画Cは、レバーを直感的に使用すること及び焦点距離の測定の双方が難しいため、練習では動画Cを用いた。被験者は、練習中に、レバーの使い方について自由に質問することができる。練習は、オペレータにとって、より高精度で焦点距離の測定を行うために、焦点距離の測定を妨げる可能性のある点を被験者に指摘できる時間となる。例えば、目を大きく開ける、視点をディスプレイの中心から極力動かさない等を、被験者に依頼する。
[Baseline measurement]
次に、各被験者における、ディスプレイまでの焦点距離のベースラインを測定した。被験者は、白い背景に黒い十字が表示された静止画を15秒間観察した。ベースラインの測定は、液晶ディスプレイと有機ELディスプレイ、単眼(利き目)と両眼を組み合わせた計4種類の条件それぞれで行った。被験者への条件の提示順序はランダムとした。
[Video measurement]
次に、液晶ディスプレイ及び有機ELディスプレイ、並びに、動画A〜動画Cを用いて、焦点距離の測定と、レバーを用いた感性評価とを同時に行った。各被験者は、液晶ディスプレイと有機ELディスプレイ、動画A〜動画C、観視条件(Viewing condition)(単眼(1 eye)(利き目(Dominant eye))と両眼(Both eyes、2 eyes))を組み合わせた計12種類の条件で実験を行った。被験者への条件の提示順序はランダムとした(12 combinations in random order)。
[Baseline measurement]
その後再び、各被験者における、ディスプレイまでの焦点距離のベースラインを測定した。測定の詳細は、先に行った内容と同様である。
焦点距離の測定結果には、多くのノイズ、ギャップ、及びスパイクが観察された。これらの頻度及び傾向は、被験者によって大きく異なることが確認された。特に、被験者のまぶたやまつ毛が瞳孔に重なる場合、または、瞳孔径が小さすぎる場合には、正確な測定が難しいことがわかった。
焦点距離が−1D以上−5D以下(20cm以上100cm以下)の範囲外の場合、まばたきによる影響、または、測定の失敗によるスパイクであると考えられるため、データの削除を行った。つまり、以降では、焦点距離が−1D以上−5D以下の範囲のデータのみを用いた。なお、Dとは、メートルの逆数である。
残ったデータに関して、移動平均を用いてスムージングを行い、ノイズを除去した。スムージングを行いたいポイントと、その前後8ポイントとの計17ポイントから、値の上位及び下位それぞれ3ポイントを除外し(36%のトリミング)、残りの11ポイントの平均値を求めた。このような処理を全ポイントで行い、スムージングデータを得た。
感性評価で得られたレバーの位置に対応する値は、被験者ごとに、0以上1以下の値に規格化した。0が、レバーで最も手前と評価された部分であり、1が、レバーで最も奥と評価された部分である。また、焦点距離のデータと同様に、スムージングを行い、ノイズを除去した。
それぞれスムージングした焦点距離のデータ及び感性評価のデータを用いて、各シーンでの焦点距離と、レバーを用いた感性評価と、の相関を、ピアソンの積率相関係数によって計算した。なお、各被験者の焦点距離のベースラインは、被験者毎の全てのベースライン測定の平均値を用いた。計算で得たベースラインを、焦点距離の測定値から差し引いた値を、被験者の焦点距離のデータとした。つまり、ベースラインが0Dとなる。
測定条件毎に、動画の全サイクルの相関平均を計算した。動画A〜動画Cで、焦点距離と感性評価の相関平均が最も高かった結果を図12〜図14に示す。なお、全て異なる被験者の結果である。図12〜図14に示すグラフにおいて、縦軸は、Accommodation(単位:D)及びn3D−lever(任意単位)であり、横軸は、Time(単位:s)である。各グラフには、生データ(Raw data)、スムージングデータ(Smoothed)、レバーのデータ(Lever)を示す。図12及び図13に示すグラフは、Cycle 1、Cycle 2、Cycle 3の3つの部分を有する。
図12は、液晶ディスプレイに表示された動画Aを、両眼で観察した際の焦点距離と感性評価の結果である。図12では、各サイクルで、スムージングした焦点距離のデータとスムージングした感性評価のデータとの間に、高い相関が確認された。1サイクル目の相関平均は0.95、2サイクル目の相関平均は0.86、3サイクル目の相関平均は0.94、全サイクルの相関平均は、0.92であった。
比較のため、図12におけるスムージング前の焦点距離と、スムージング後の感性評価との相関を、ピアソンの積率相関係数によって計算した。1サイクル目の相関平均は0.67、2サイクル目の相関平均は0.81、3サイクル目の相関平均は0.74であった。このことから、焦点距離のデータは、スムージングすることでノイズが低減され、感性評価のデータとの相関が高まったことがわかる。
図13は、有機ELディスプレイに表示された動画Bを、両眼で観察した際の焦点距離と感性評価の結果である。図13では、1サイクル目と2サイクル目の境界付近を除いて、スムージングした焦点距離のデータと、スムージングした感性評価のデータのピークがほぼ一致していた。1サイクル目の相関平均は0.60、2サイクル目の相関平均は0.89、3サイクル目の相関平均は0.86、全サイクルの相関平均は、0.78であった。
図14は、有機ELディスプレイに表示された動画Cを、単眼で観察した際の焦点距離と感性評価の結果である。図14のシーン毎の相関を表3に示す。動画C全体の相関平均は、0.56であった。
動画Cでは、シーンによって、スムージングした焦点距離のデータと、スムージングした感性評価のデータと、の相関の度合いはまちまちであった。全10シーン中、0.7以上の高い相関が得られたシーンは5つであり、0.4以上0.7未満の相関が得られたシーンは3つであり、80%のシーンで相関が認められた。このことから、複雑なコンテンツの評価を十分に行えることが示された。相関が低いシーンは、立体感が得られにくい、またはシーンチェンジの影響等により、レバーの操作または焦点の調節を円滑に行うことが難しい内容であったことが考えられる。
次に、動画A及び動画Bを用いた実験のうち、測定が正しく行われなかった分のデータを削除するため、フィルタリングを行った。
4人の評価者によって、動画A及び動画Bの全ての焦点距離測定の生データ、焦点距離測定のスムージングデータ、及びレバーを用いた感性評価の規格化したデータに関して、測定が正しく行えているか(有効なデータであるか)、感性的な評価・判定を行った。なお、先入観を排除するため、評価者は、互いの評価内容、及び、どの条件で取得されたデータであるか、が全くわからない環境で評価を行った。
まず、1つ目のフィルターでは、焦点距離測定の生データが40%以上失われているサイクルを除外した。このフィルターは、4人の評価者が、焦点距離測定の生データが十分に取得できているかを判断する基準が約40%であったことから決定した。
2つ目のフィルターでは、4人の評価者のうち2人以上が、レバーの使用方法が適切ではない、または、データのノイズが大きくデータの信頼性が低い、と判断したサイクルを除外した。
図15に、フィルタリング前後での相関分布を示す。図15に示すグラフにおいて、縦軸は測定数(Number of measurements)であり、横軸は、相関係数(Correlation factor)である。図15には、1つ目のフィルターで除いたデータ(Filter 1、n=140)、2つ目のフィルターで除いたデータ(Filter 2、n=605)、フィルタリング後に残ったデータ(Remaining、n=591)を示す。図16に、フィルタリング後の、各条件における相関平均(Mean correlation)及び標準誤差を示す。表4に、フィルタリング後の、各条件における相関平均、標準偏差、及び標準誤差を示す。
図15のフィルタリング後の相関分布から、相関が低いデータまたは負の相関があるデータに比べて、正の相関があるデータが多く得られていることがわかった。特に、0.6より大きく1.0以下の値のデータが多く得られていることがわかった。2つのフィルターで削除されるデータは、相関分布の全体に存在することから、生体データを取得する測定系では、データの取得ミス及びノイズが生じやすいことがわかる。このことから、被験者の生体データを適切に検出することができるか、事前に確認することは重要であるといえる。
図16及び表4に示す有機ELディスプレイと液晶ディスプレイの比較では、相関平均に統計的な有意差が見られなかった。以下に述べる2つのことから、有機ELディスプレイと液晶ディスプレイの本質的な違いがノイズで埋もれてしまった可能性がある。1つ目に、2つのディスプレイは、精細度が同等かつ十分に高く、被験者がn3Dを得るために十分な性能を持っていた。2つ目に、有機ELディスプレイと液晶ディスプレイの本質的な違いには、コントラスト及び色再現性が挙げられるが、焦点距離を測定する装置で用いるハーフミラーが黄色味がかっており、ディスプレイ本来の色を被験者が感じられなかった可能性がある。そのため、有機ELディスプレイの特長が阻害され、有機ELディスプレイと液晶ディスプレイの結果に差が生じなかったと考えられる。
図16及び表4に示す動画Aと動画Bの比較では、相関平均に統計的な有意差が見られなかった。映像の構成が似ている動画Aと動画Bの間で、相関平均に差が生じなかったことで、信頼性の高い測定ができていることが示唆される。動画A〜動画Cはいずれも焦点距離と感性評価に相関が得られた。特に、動画Aと動画Bは、それぞれ、動画Cよりも高い相関が得られた。動画Cは、時間が長く、部分的には高い相関が得られても、全体を通して高い相関を得ることは困難であった。多くのシーンチェンジ及び多様な景色が含まれているため、ディスプレイの同じ箇所を見続けることが難しく、焦点測定が困難であった。
シーンチェンジの際、コンテンツの輝度変化等により、感性由来ではない生理反応が生じることがある。例えば、瞳孔径は輝度に大きく依存する。焦点は瞳孔径の変化に連動して変化することがあるため、感性評価と焦点距離との相関がとれなくなる場合がある。また、シーンチェンジの際に、被験者は、映像の把握、認知に時間を要するため、生理反応に比べて感性評価が遅れることもある。
図16及び表4に示す単眼と両眼の比較では、相関平均に統計的な有意差が見られ、単眼の方が、相関平均が高いことが確認された。両眼の状態では、両眼視差及び輻輳角等、立体認識に非常に強く関与する要因が存在するが、単眼の状態では、それら立体認識における絶対的要因がなくなることで、脳をだましやすくなり、その結果、n3Dが得られやすく、高い相関が得られたと考えられる。これは過去の多くの知見と一致する結果である。なお、両眼の場合でも、十分な相関が確認された。
図17(A)〜(C)に、フィルタリング後の、各条件における相関分布を示す。図17(A)〜(C)に示すグラフにおいて、縦軸は、Relative frequencyであり、横軸は、Correlation factorである。
図17(A)は、有機ELディスプレイと液晶ディスプレイを比較した相関分布である。図17(A)に示すように、0.8より大きく1.0以下の部分及び−0.2より大きく0以下の部分で、標準誤差以上の差が生じている。0.8より大きく1.0以下の最も相関が高い領域では、有機ELディスプレイの方が高い割合でデータが存在している。また、−0.2より大きく0以下の、正の相関が認められない領域では、液晶ディスプレイの方が高い割合でデータが存在している。このことから、相関平均では統計的有意差は見られなかったものの、有機ELディスプレイの方が液晶ディスプレイに比べて、相関の高いデータを得やすいと考えられる部分もある。
図17(B)は、単眼と両眼を比較した相関分布である。0.6より大きく1.0以下の相関が高い領域では、単眼の方が高い割合でデータが存在しており、かつ、0.6より大きく0.8以下の領域では、標準誤差以上の差が生じている。相関平均で得られた結果との整合性が取れており、単眼の方が、n3Dが得られやすく、感性評価と焦点距離の相関が高くなったと考えられる。
図17(C)は、動画Aと動画Bを比較した相関分布である。相関平均では差はなかったが、相関分布では標準誤差以上の差が見られる部分が存在する。特に、−1.0以上−0.8以下、及び0.8より大きく1.0以下の正または負の相関が非常に高い領域において、動画Aの方が優れた結果が得られている。相関という意味では正の相関と負の相関は同様の意味を持つため、正及び負の相関が非常に高いデータが得られる動画Aの方が、n3Dの評価に向いていると考えることもできる。
図17(A)〜(C)に示すように、全ての条件で、0.6より大きく1.0以下の範囲にピークが存在し、その他は、平坦であることが確認された。このことから、高い正の相関があるデータが多く得られていることがわかった。
本実施例の結果により、高精細なディスプレイでは、n3Dが観測できることがわかった。また、ディスプレイが与えるn3Dを評価する際に適切なコンテンツの条件の一例がわかった。また、立体感は、両眼よりも単眼で強く感じられることがわかった。
本実施例の結果から、全ての条件において、観察者の焦点調節機能と、観察者が得る立体感と、には相関があることがわかった。
本実施例により、焦点距離とn3Dの強さとの間に高い相関を得るために、また、信頼性の高いデータを得るために、必要な事項が確認できた。
実験には、焦点調節能力が十分に高い被験者に協力してもらうことが好ましい。まぶたが瞳を隠さず、まつげが瞳孔にかからない被験者が好ましい。
フィルタリング及びスムージングは、それぞれ、本実施例の方法に限定されない。レバーの操作と焦点調節の間に生じる生理的または感覚的な遅延を補正することで、さらに正確なデータ分析が可能となる。また、n3Dが得られている前提で、被験者がレバーをどのように動かすかを想定したデータを作成することで、測定で得られたレバーのデータ及び焦点調節のデータのどの部分が相関を低下させる要因になっているのかを判断することができる。動画A及び動画Bのような周期性のある動画では、レバーの動きの想定値を作成することが容易である。
本実施例では、本発明の一態様を適用することで、焦点距離の測定と、n3Dの強さの感性評価と、を同時に行うことができた。そして、焦点距離の測定のデータと、感性評価のデータと、の間の相関を求めることができた。