WO2023112994A1

WO2023112994A1 - 瞳孔径測定機能付きアイウェア

Info

Publication number: WO2023112994A1
Application number: PCT/JP2022/046276
Authority: WO
Inventors: 正臼倉; 八郎弓削
Original assignee: 株式会社夏目綜合研究所
Priority date: 2021-12-16
Filing date: 2022-12-15
Publication date: 2023-06-22
Also published as: JPWO2023112994A1; TW202327509A

Abstract

【解決課題】　画面輝度を考慮し，瞳孔径を適切に測定できるアイウェアを提供する。【解決手段】　表示画面を有し，対象者の瞳孔径を計測するための瞳孔径測定用アイウェアであって，表示画面の明るさに関する情報である画面輝度を得るための画面輝度取得部と，対象者の瞳孔を含む画像である対象者画像を得る撮影部と，画面輝度，及び対象者画像を用いて，対象者の輝度補正後の瞳孔径を求める，瞳孔径算出部と，を有する，瞳孔径測定用アイウェア。

Description

瞳孔径測定機能付きアイウェア

この発明は，瞳孔径測定機能付きアイウェアに関する。

　実用新案登録第３１３７３７５号公報には，瞳孔撮像装置が記載されている。

　この瞳孔撮像装置は，遮光性ゴーグル内における，光刺激におる瞳孔の光反応を観測できる。しかなしながら，この装置は遮光ゴーグルを用いているため，遮光ゴーグル内の光刺激以外の光による輝度を考慮していない。また，この装置は遮光ゴーグルを使用しているため，遮光ゴーグル以外のアイウェアには適さない。

実用新案登録第３１３７３７５号公報

　そこで，本発明は，画面輝度を考慮し，瞳孔径を適切に測定できるアイウェアを提供することを目的とする。

　この明細書に記載されるある発明は，画面輝度を得るための画面輝度取得部を有するので，輝度補正後の対象者の瞳孔径を求めることができるという知見に基づく。

　この発明は，瞳孔径測定用アイウェア１に関する。
　瞳孔径測定用アイウェア１は，表示画面３を有し，対象者の瞳孔径を計測するためのツールである。
　この瞳孔径測定用アイウェア１は，表示画面３の明るさに関する情報である画面輝度を得るための画面輝度取得部５と，
　対象者の瞳孔を含む画像である対象者画像を得る撮影部７と，
　画面輝度，及び対象者画像を用いて，輝度補正後の対象者の瞳孔径を求める，瞳孔径算出部９と，
　を有する。

　瞳孔径測定用アイウェア１は，ヘッドマウントディスプレイ（好ましくは，クロスリアリティ用ヘッドマウントディスプレイ），ヘルメット，ゴーグル，眼鏡又はサングラスであってもよい。

　瞳孔径測定用アイウェア１の好ましい例は，対象者の表示画面３上の視線位置を得る視線位置取得部１１と，
　視線位置取得部１１が取得した視線位置と，対象者の輝度補正後の瞳孔径とを用いて，表示画面３に表示される表示画像における対象者の注目箇所を判断する注目箇所分析部１３とをさらに有するものである。

　この例は，分析者用表示部に表示画面３を表示するための分析者用表示情報を取得する表示情報取得部１５をさらに有してもよい。

　分析者用表示情報の例は，表示画面３に表示される表示画像における対象者の注目箇所を表示したものでもよい。
　分析者用表示情報の別の例は，視線位置分析部取得した分析した視線位置を分析者用表示部に表示される表示画面３上に表示するとともに，瞳孔径算出部が算出対象者の瞳孔径に基づいて，分析者用表示部に表示される視線位置の色，大きさ又は形を変化させるための情報である。

　本発明は，画面輝度を考慮し，瞳孔径を適切に測定できるアイウェアを提供できる。

図１は，本発明の瞳孔径測定用アイウェアのブロック図の例である。図２は，表示画面にコマーシャル動画を流しつつ対象者の瞳孔径を測定した例を示す図面に代わるグラフである。図２（ａ）及び図２（ｂ）は，それぞれ対象者にとって興味が高いコマーシャルと興味が低いコマーシャルを表示した場合の，対象者の瞳孔径の変化を示すグラフである。図３は，瞳孔反応を用いた医療診断の例を示す図面に代わるグラフである。図３（ａ）は７３才男性の健常者のグラフであり，図３（ｂ）は５９才男性のめまいがある者（メニエール病患者）のグラフであり，図３（ｃ）は７６才男性のパーキンソン病患者のグラフである。図４は，分析者用表示部の表示例を表した図である。図５のグラフは，対象者によるコンテンツ感知時の瞳孔径の時間変位を表すグラフである。図６は，出力されるファイルデータのうち，各対象者の注目度の時間推移，その平均値のグラフデータを図示したものである。図６のグラフの横軸は時間軸であり，縦軸は対象者の注目度である。図７は，出力されるファイルデータのうち，各対象者の注目度総数分布データを図示したものである。

　以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜修正したものも含む。

　以下で説明する瞳孔径測定用アイウェア１は，基本的に，制御部，演算部，記憶部，入力部，及び出力部といったハードウェアを有してよい。制御部は，入力部から入力された情報に基づいて，記憶部に記憶されているプログラムに従った所定の演算処理を演算部に実行させ，その演算結果を適宜記憶部に記憶させ，出力部を制御する。制御部及び演算部の例は，ＣＰＵやＧＰＵなどのプロセッサである。記憶部のストレージ機能は，例えばＨＤＤ及びＳＳＤといった不揮発性メモリによって実現でき，記憶部のメモリ機能は，例えばＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。入力装置の例は，ネットワークを介して情報を受信するための通信モジュールや，マウスやキーボードなどの操作用モジュールである。出力装置の例は，ネットワークを介して情報を送信するための通信モジュールや，ディスプレイ，スピーカなどである。
　例えば，記憶部には，制御プログラムが記憶されていてもよいし，各種情報が記憶されていてもよい。入力装置から所定の情報が入力された場合，制御部は，記憶部に記憶される制御プログラムを読み出す。そして，制御部は，適宜記憶部に記憶された情報を読み出し，演算部へ伝える。また，制御部は，適宜入力された情報を演算部へ伝える。演算部は，受け取った各種情報を用いて演算処理を行い，記憶部に記憶する。制御部は，記憶部に記憶された演算結果を読み出して，出力部から出力する。このようにして，各種処理が実行される。この各種処理を実行するものが，各手段である。

　瞳孔径測定用アイウェア１
　図１は，本発明の瞳孔径測定用アイウェアのブロック図の例である。
　図１に示される通り，この瞳孔径測定用アイウェア１は，表示画面３，画面輝度取得部５と，撮影部７と，瞳孔径算出部９と，を有する。図１に示される通り，この瞳孔径測定用アイウェア１は，視線位置取得部１１と，注目箇所分析部１３と，表示情報取得部１５をさらに有してもよい。得られた瞳孔径は，例えば，動画（例えばＣＭ）の評価，アンケート調査，商品ディスプレイの評価，建築デザインの評価，ゲームの心理分析や，表示された表示情報に関する感情分析，自律神経の状況，認知症の状況，脳疾患の検査，脳状態や精神分析など，種々の用途に用いられる。

　瞳孔径測定用アイウェア１は，表示画面３を有し，対象者の瞳孔径を計測するためのツールである。対象者は，通常，ヒトである。瞳孔径は，通常ヒトの瞳孔径である。
　瞳孔径測定用アイウェア１の本体は，瞳孔を測定でき，体に装着でき，携帯できるものであればよい。瞳孔径測定用アイウェア１の本体の例は，ヘッドマウントディスプレイ（好ましくは，クロスリアリティ用ヘッドマウントディスプレイ），ヘルメット，ゴーグル，眼鏡及びサングラスであってもよい。クロスリアリティ（ＸＲ）の例はＶＲ（仮想現実），ＡＲ（拡張現実）及びＭＲ（複合現実）である。瞳孔径測定用アイウェア１は，ゲーム用であってもよいし，作業用であってもよいし，テレビやビデオを表示するためのものであってもよいし，仮想旅行用のものであってもよい。

　表示画面３
瞳孔径測定用アイウェア１は，表示画面３を有する。表示画面３は，液晶ディスプレイ，プラズマディスプレイなどの表示部である。表示画面は，制御部からの指示に従って，各種情報を表示する。なお，表示画面に表示されるコンテンツの例は動画や静止画である。

　画面輝度取得部５
画面輝度取得部５は，表示画面３の明るさに関する情報である画面輝度を得るための要素である。瞳孔径測定用アイウェア１が遮光ゴーグルといった遮光系の場合，表示画面３に表示される表示情報に基づいて，画面輝度を得てもよい。この場合であっても，センサを用いて，画面輝度３の画面輝度を求めてもよい。

　撮影部７
　撮影部７は，対象者の瞳孔を含む画像である対象者画像を得るための要素である。撮影部７の例は，瞳孔径測定用アイウェア１内のカメラである。カメラなどの撮影部７により，対象者画像を撮影できる。対象者画像は，静止画であってもよいし，動画であってもよい。また，撮影部７の例は，実用新案登録第３１３７３７５号公報にも記載されている。なお，撮影部７が，対象者画像を取得しやすくするように，対象者（の目を含む領域）に近赤外線を照射する近赤外線照射装置を有するものは，この発明の好ましい態様である。この場合，カメラは，近赤外線カメラであってもよい。

　瞳孔径算出部９
　瞳孔径算出部９は，画面輝度及び対象者画像を用いて，輝度補正後の対象者の瞳孔径を求めるための要素である。カメラ画像から瞳孔径を求める方法の例は，特許６６５１５３６号公報に記載される。求められた輝度補正後の対象者の瞳孔径は，適宜記憶部に記憶される。この際，表示部に表示されたコンテンツ（映像）の識別番号とともに，記憶部に記憶されることが好ましい。このようにすれば，コンテンツの表示タイミングと，瞳孔径の変化のタイミングとを関連付けて記憶できることとなる。

　以上の構成により，瞳孔径測定用アイウェア１は，画面輝度を考慮した輝度補正後の対象者の瞳孔径を得ることができる。この瞳孔径の経時変化を調査すれば，対象者の心理状況を把握することができる。例えば，検査対象に関する情報を機械学習部１７に機械学習させておく。そして，機械学習部に，得られた輝度補正後の対象者の瞳孔径の情報を入力する。すると，機械学習部は，入力された輝度補正後の対象者の瞳孔径（の経時変化）に基づいて，各種対象となる評価や診断を行う。この際，対象者の個人情報（年齢，性別，既往症など）が入力されていれば，より確度の高い評価や診察を行うことができる。

　図２は，表示画面にコマーシャル動画を流しつつ対象者の瞳孔径を測定した例を示す図面に代わるグラフである。図２（ａ）及び図２（ｂ）は，それぞれ対象者にとって興味が高いコマーシャルと興味が低いコマーシャルを表示した場合の，対象者の瞳孔径の変化を示すグラフである。縦軸は瞳孔径（任意単位），横軸は提示時間（秒）である。図２から，この瞳孔径測定用アイウェア１を用いることで，対象者の興味を分析できることがわかる。

　図３は，瞳孔反応を用いた医療診断の例を示す図面に代わるグラフである。図３（ａ）は７３才男性の健常者のグラフであり，図３（ｂ）は５９才男性のめまいがある者のグラフであり，図３（ｃ）は７６才男性のパーキンソン病患者のグラフである。縦軸は瞳孔径（任意単位），横軸は提示時間（秒）である。得られた輝度補正後の対象者の瞳孔径の情報が，機械学習部１７に入力されると，機械学習部１７は入力された情報に基づいて，対象者の疾患や精神状況を分析する。図３から，この瞳孔径測定用アイウェア１を用いることで，対象者を医学的に分析できることがわかる。

　視線位置取得部１１
　視線位置取得部１１は，対象者の表示画面３上の視線位置を得るための要素である。視線位置取得部１１は，撮影部が撮影した画像や，表示画面に表示される映像，対象者の眼球運動の情報から，対象者の視点位置を分析する。対象者の視点位置を分析する方法は公知である。視線位置取得部１１は，撮影部により撮影された眼球運動映像を取得する。次に，対象者の感知するコンテンツが，動画や静止画等の映像情報であるならば，その映像情報をコンテンツの映像情報として取得する。そして，視線位置取得部１１は，コンテンツの映像情報及び眼球運動映像から，その映像における対象者の視認位置を特定し，その情報を記憶部に保存する。記憶部に記憶された情報を出力すれば，表示画面に表示されたコンテンツ（映像）において，対象者がどの部分を視認していたかを表示できる。この情報は，各種の分析に用いることができる。

　注目箇所分析部１３
　注目箇所分析部１３は，視線位置取得部１１が取得した視線位置と，対象者の輝度補正後の瞳孔径とを用いて，表示画面３に表示される表示画像における対象者の注目箇所を判断するための要素である。瞳孔径が大きくなると注目度が高まったといえる。コンテンツ（映像）において，対象者がどの部分を視認していたかと併せて，対象者の注目度合いがどのように変化したかを表示できる。注目箇所分析部１３は，コンテンツを感知する対象者が，そのコンテンツ映像のどの部分に注目しているかを判断するために用いることができる。例えば，注目箇所分析部１３は，上記の視線位置分析部７の方法と同様に，対象者の感知するコンテンツの映像情報，対象者の眼球運動の情報等を受け取る。そして，映像画面の画面箇所の情報とその部分の対象者の注目度を記憶部に記憶する。これらの情報を用いることにより，分析者用表示部４にて表示される瞳孔分析結果動画に対して，後述する様々なマーカーによって表される対象者の視線位置を，付加することができる。

　表示情報取得部１５
　表示情報取得部１５は，分析者用表示部に表示画面３を表示するための分析者用表示情報を取得する表示情報取得部１５をさらに有してもよい。分析者用表示部は，対象者に関する各種分析を行う者が見るための表示部である。分析者用表示部は，表示画面と同じであってもよいし，他の表示部（例えばコンピュータのモニタ）であってもよい。例えば，注目箇所分析部１３が分析し，記憶部に記憶した情報は，分析者用表示情報である。表示情報取得部１５は，分析者用表示情報を，分析者のコンピュータに出力する。すると，分析者用表示部に分析者用表示情報に基づいた映像が表示される。このように分析者用表示情報の例は，表示画面３に表示される表示画像における対象者の注目箇所を表示したものでもよい。

　分析者用表示情報の別の例は，視線位置分析部取得した分析した視線位置を分析者用表示部に表示される表示画面３上に表示するとともに，瞳孔径算出部が算出対象者の瞳孔径に基づいて，分析者用表示部に表示される視線位置の色，大きさ又は形を変化させるための情報である。このようにすることで，対象者がどの部分に注目したかなどをわかりやすく表示できる。

　図４は，分析者用表示部の表示例を表した図である。図４は，分析者用表示部の表示例を表した概念図である。分析者用表示部４は，コンテンツを感知した対象者の瞳孔分析結果を表示するための要素である。分析者用表示部４は，ｗｅｂ上で動作するものであってもよいし，パソコン等の端末内にてオフラインで動作するものであってもよい。図４に示される様に，分析者用表示部は，例えば，対象者の注目度と瞳孔分析結果表示するための分析結果動画表示欄４ａを有してよい。
　分析者用表示部には，コンテンツヒートマップ設定欄４ｄや，瞳孔径・注目度グラフ表示設定欄４ｃと，ミニメニュー表示位置設定欄４ｄと瞳孔径・注目度グラフ表示欄４ｅが設けられてもよい。

　分析結果動画表示欄４ａは，対象者が感知したコンテンツ対象者の視線位置及び注目度を対応させた映像を表示する部分である。具体的には，例えば，分析結果動画表示欄４ａに表示される映像は，対象者が感知するコンテンツの映像情報を基本映像として以下の様に視線位置と注目箇所等の情報が付加されたものである。コンテンツ感知中の対象者の視線位置をその基本映像上に，所定のヒートマップマーカーとして付加表示する。
　つまり，コンテンツを感知中の対象者の実際の視線の位置と上記の映像情報のヒートマップマーカーの位置は対応している。また，そのマーカーは対象者の注目度に応じて，色や，大きさ又は形が変化してよい。
　分析結果動画表示欄４ａの下部には，例えば，動画再生ボタン，巻き戻しボタン，及び早送りボタンが設けられてよい。これ以外にも，再生位置設定と再生速度を設定するためのミニメニューが分析結果動画表示欄４ａに表示されてもよい。

　分析者用表示部には，分析結果動画にヒートマップのマーカー等を表示させるか否か，ユーザ（分析者）が選択できるラジオボックス等のヒートマップ設定欄４ｂが，設けらてもよい。例えば，ヒートマップ設定欄４ｂの非表示を選択して再生ボタンが押下されると，上記の分析結果動画に注目箇所のマーカーが表示されない状態で動画が再生される。また，コンテンツヒートマップ設定欄の表示を選択して再生ボタンが押下されると，上記の分析結果動画に注目箇所のマーカーが表示された動画が再生されされる。さらに，マーカーを分析結果動画に表示させる場合，動画上にメッシュ線が表示されてもよい。

　分析者用表示部には，上記のグラフのうち，どちらのグラフを表示させるか否か，ユーザが選択できるラジオボックスを有する瞳孔径・注目度グラフ選択欄４ｃが，設けらてもよい。
　瞳孔径のラジオボックスが選択されれば，瞳孔径グラフが，瞳孔径・注目度グラフ表示欄４ｅに表示され，注目度のラジオボックスが選択されれば，注目度グラフが瞳孔径・注目度グラフ表示欄４ｅに表示される。

　分析者用表示部は，対象者の瞳孔径を表す瞳孔径グラフと，対象者の注目度を表す注目度グラフとを表示する瞳孔径・注目度グラフ表示欄４ｄを有してよい。対象者の瞳孔径を表すグラフと対象者の注目度を表すグラフは，どちらか一方だけを表示する態様でもよいし，両方のグラフを表示する態様でもよい。

　この他にも，分析者用表示部には，ミニメニュー表示位置設定欄４ｄが設けられてもよい。ミニメニュー表示位置設定欄４ｄでは，ミニメニュー表示位置を設定することができる。

　図５のグラフは，対象者によるコンテンツ感知時の瞳孔径の時間変位を表すグラフである。このグラフの横方向は，分析結果動画の再生中の時間位置（動画再生中時間位置線３３）から，どの程度時間的に離れているかを表している。
　このグラフにおいて縦線の動画再生中時間位置線３３は，表示画面３で表示される瞳孔分析結果動画の，まさに再生中の位置（時間）を示している。グラフ上，動画再生中時間位置線３３の左側が，表示画面３にて再生済みの時間位置における注目度に関する情報であり，その右側が表示画面３にて未再生の時間位置における注目度に関する情報である。
　また，このグラフの縦方向（図５の上方向が正方向）は，瞳孔径，コンテンツ輝度相当の大きさを表す。

　このグラフにおいて横線の生測定瞳孔径２７は，対象者の再生時間位置ごとの瞳孔径の大きさを表す点の集合で形成される線である。このグラフにおいて横線のコンテンツ輝度相当２９は，対象者の再生時間位置ごとのコンテンツ輝度から想定される瞳孔径の大きさを表す点の集合で形成される線である。つまり，これらの生測定瞳孔径２７とコンテンツ輝度相当２９の線は，分析動画の再生位置（時間）が進めば，グラフ左方向に遷移することになる。また，瞳孔径グラフの仕様は，上記以外に以下の様なものであってもよい。　分析結果動画の全時間分の生測定瞳孔径２７とコンテンツ輝度相当２９が，動画再生前から先に固定表示され，動画再生中の位置（時間）に対応して，動画再生中時間位置線３３が遷移する仕様であってもよい。

　図６は，出力されるファイルデータのうち，各対象者の注目度の時間推移，その平均値のグラフデータを図示したものである。図６のグラフの横軸は時間軸であり，縦軸は対象者の注目度である。図７は，出力されるファイルデータのうち，各対象者の注目度総数分布データを図示したものである。上記の注目度総数分布データは，出力されるファイルデータのうち，各対象者の注目度総数分布の集計用データを図示したものである。また，上記のファイル以外にも，複数の対象者間の注目度のばらつきを示す標準偏差の情報や，一人の対象者の測定中における注目度のばらつきを示す標準偏差の情報を含むファイルが出力されてもよい。

　以上，本願明細書では，本発明の内容を実現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

　本発明は，情報解析分野において利用され得る。

１　瞳孔径測定用アイウェア
３　表示画面
５　画面輝度取得部
７　撮影部
９　瞳孔径算出部
１１　視線位置取得部
１３　注目箇所分析部
１５　表示情報取得部

Claims

　表示画面を有し，対象者の瞳孔径を計測するための瞳孔径測定用アイウェアであって，
　前記表示画面の明るさに関する情報である画面輝度を得るための画面輝度取得部と，
　前記対象者の瞳孔を含む画像である対象者画像を得る撮影部と，
　前記画面輝度，及び前記対象者画像を用いて，前記対象者の輝度補正後の瞳孔径を求める，瞳孔径算出部と，
　を有する，
　瞳孔径測定用アイウェア。
　請求項１に記載の瞳孔径測定用アイウェアであって，
　瞳孔径測定用アイウェアは，ヘッドマウントディスプレイである，瞳孔径測定用アイウェア。
　請求項１に記載の瞳孔径測定用アイウェアであって，
　瞳孔径測定用アイウェアは，クロスリアリティ用ヘッドマウントディスプレイである，瞳孔径測定用アイウェア。
　請求項１に記載の瞳孔径測定用アイウェアであって，
　瞳孔径測定用アイウェアは，ヘルメット，ゴーグル，眼鏡又はサングラスである，瞳孔径測定用アイウェア。
　請求項１に記載の瞳孔径測定用アイウェアであって，
　前記対象者の前記表示画面上の視線位置を得る視線位置取得部と，
　前記視線位置取得部が取得した前記視線位置と，前記対象者の輝度補正後の瞳孔径とを用いて，前記表示画面に表示される表示画像における前記対象者の注目箇所を判断する注目箇所分析部とをさらに有する，
　瞳孔径測定用アイウェア。
　請求項５に記載の瞳孔径測定用アイウェアであって，
　分析者用表示部に前記表示画面を表示するための分析者用表示情報を取得する表示情報取得部をさらに有し，
　前記分析者用表示情報は，
　　前記視線位置分析部取得した分析した視線位置を前記分析者用表示部に表示される前記表示画面上に表示するとともに，前記瞳孔径算出部が算出対象者の瞳孔径に基づいて，前記分析者用表示部に表示される視線位置の色，大きさ又は形を変化させるための情報である，
　瞳孔径測定用アイウェア。