JPWO2020016970A1

JPWO2020016970A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JPWO2020016970A1
Application number: JP2020530792A
Authority: JP
Inventors: 英彦小笠原; 洋一西牧; 平田　真一; 真一平田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2018-07-18
Filing date: 2018-07-18
Publication date: 2021-08-12
Anticipated expiration: 2038-07-18
Also published as: US11243609B2; WO2020016970A1; US20210116998A1; JP7181293B2

Abstract

表示装置（４０）が表示する映像を閲覧中のユーザーの視線が向けられている位置とは別の、当該ユーザーが潜在的に興味を向けている興味位置、及び／又は興味方向を推定し、当該推定結果に応じて、表示装置（４０）が表示する映像の内容を変化させる情報処理装置（１０）である。

Description

本発明は、映像表示装置に映像を表示させる制御を行う情報処理装置、情報処理方法、及びプログラムに関する。

ユーザーに映像を提示する場合において、ユーザーの瞳の向きを検出するなどの方法で、ユーザーの注視点（ユーザーの視線が向けられている位置）を特定する技術が知られている。このような技術によれば、映像内に登場する複数のオブジェクトのうちユーザーがどのオブジェクトに注目しているかなどを特定することができる。

上記従来例の技術では、ユーザーが明確に映像内の一点を注視している場合には、その位置を特定することができる。しかしながら、人の視野にはある程度の広さがあり、視線の向きも絶えず変動するので、ユーザーは視野の中心点以外の場所も視認しており、そのような場所に無意識に興味を向けている場合がある。例えば、ユーザーが今現在視線を向けている位置からは離れた位置に表示されているオブジェクトにも気をとられているなどのケースもあり得る。このようにユーザーの視線が向けられた位置以外のユーザーが無意識に興味を向けている位置については、これまで十分に考慮されていなかった。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、注視点からは離れているがユーザーが潜在的に注目している位置を考慮した表示を行うことのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。

本発明に係る情報処理装置は、表示装置が表示する映像を閲覧中のユーザーの視線が向けられている位置とは別の、当該ユーザーが潜在的に興味を向けている興味位置、及び／又は興味方向を推定する興味位置推定部と、前記推定結果に応じて、前記表示装置が表示する映像の内容を変化させる映像表示制御部と、を含むことを特徴とする。

本発明に係る情報処理方法は、興味位置推定部が、表示装置が表示する映像を閲覧中のユーザーの視線が向けられている位置とは別の、当該ユーザーが潜在的に興味を向けている興味位置、及び／又は興味方向を推定するステップと、映像表示制御部が、前記推定結果に応じて、前記表示装置が表示する映像の内容を変化させるステップと、を含むことを特徴とする。

本発明に係るプログラムは、表示装置が表示する映像を閲覧中のユーザーの視線が向けられている位置とは別の、当該ユーザーが潜在的に興味を向けている興味位置、及び／又は興味方向を推定するステップと、前記推定結果に応じて、前記表示装置が表示する映像の内容を変化させるステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置を含む映像表示システムの全体概要を示す図である。映像表示システムの構成ブロック図である。表示装置の背面側の様子を示す図である。表示装置の内部構成を示す図である。情報処理装置の機能ブロック図である。視線方向の時間変化の一例を示す図である。本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示す図である。興味方向に応じてターゲットの表示態様を変化させる例における変化前の状態を示す図である。興味方向に応じてターゲットの表示態様を変化させる例における変化後の状態を示す図である。興味方向に応じて中心窩レンダリングを行う例について説明する図である。

以下、本発明の実施の形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理装置１０を含む映像表示システム１の全体概要図である。また、図２は映像表示システム１の構成を示す構成ブロック図である。これらの図に示されるように、映像表示システム１は、情報処理装置１０と、カメラ２０と、操作デバイス３０と、頭部装着型の表示装置４０と、を含んで構成されている。

情報処理装置１０は、表示装置４０が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図２に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

制御部１１は、ＣＰＵ等のプロセッサを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

インタフェース部１３は、カメラ２０、操作デバイス３０、及び表示装置４０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかでカメラ２０、操作デバイス３０、及び表示装置４０のそれぞれと接続される。具体的にインタフェース部１３は、情報処理装置１０が供給する映像や音声のデータを表示装置４０に送信するために、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等のマルチメディアインタフェースを含むこととする。また、カメラ２０によって撮像された映像データや、操作デバイス３０に対するユーザーの操作入力の内容を示す信号を受信するために、ＵＳＢ（Universal Serial Bus）等のデータ通信インタフェースを含んでいる。

カメラ２０は、映像表示システム１を利用するユーザーの前方に設置され、ユーザー及びその周辺を含んだ映像を撮像する。後述するように、カメラ２０の撮像画像を解析することによって、情報処理装置１０は表示装置４０の現実空間内における位置を特定する。

操作デバイス３０は、ユーザーからの操作入力を受け付けるためのデバイスであって、その表面には操作ボタン等の操作部材が配置されている。ユーザーは、操作デバイス３０を手で把持したり、手に装着したりして、操作部材に対する操作入力を行う。操作デバイス３０は、ユーザーが行った操作入力の内容を示す操作信号を、情報処理装置１０に送信する。

表示装置４０は、ユーザーが頭部に装着して使用する映像表示装置であって、情報処理装置１０から送信される映像信号に応じた映像を表示し、ユーザーに閲覧させる。また、表示装置４０の前面には、発光素子が配置されている。この発光素子が発する光をカメラ２０が撮像し、情報処理装置１０がその撮像画像を解析することによって、情報処理装置１０は表示装置４０の現実空間内における位置を特定できる。特に本実施形態では、表示装置４０の前面に複数の発光素子が設けられており、これらの発光素子の位置関係を特定することによって、情報処理装置１０は表示装置４０の姿勢の変化を特定することとする。これにより、ユーザーが頭を動かして顔の向きを変化させたりした際に、情報処理装置１０はその向きの変化を特定できる。

さらに本実施形態において、表示装置４０は、ユーザーの視線方向の変化をリアルタイムに特定するための機構を備えている。以下、この機構の一例について説明する。図３は、表示装置４０の背面側の様子を示す図である。また、図４は、表示装置４０の内部構成を模式的に示す図であって、ユーザーの片方の瞳の向きを特定するために配置される構成要素の位置関係を示している。これらの図に示されるように、表示装置４０は、ユーザーの視線方向を特定するために、支持体４１と、複数のＬＥＤ４２と、レンズ４３と、ホットミラー４４と、眼球カメラ４５と、を含んでいる。

図３に示されるように、表示装置４０背面の、ユーザーの左右それぞれの目に対向する位置には、環状の支持体４１が配置されている。そして、左右の支持体４１のそれぞれには、複数のＬＥＤ４２が配置されている。これらのＬＥＤ４２は、いずれもユーザーの瞳に赤外線を照射可能な向きで固定されている。

ホットミラー４４は、可視光を透過し、赤外線を反射する特性を持つ光学素子である。表示装置４０の表示素子に表示される映像は、ホットミラー４４、及びレンズ４３を通過してユーザーに提示される。一方、ＬＥＤ４２から照射された光はユーザーの瞳に反射され、レンズ４３を通過し、さらにホットミラー４４に反射されて眼球カメラ４５に入射する。すなわち、眼球カメラ４５は、ＬＥＤ４２の照射による光点が写っているユーザーの眼球の様子を撮像することになる。ユーザーの眼球の動きに応じて、その表面に写っている光点の位置が変化する。そのため情報処理装置１０は、眼球カメラ４５の撮像画像内に含まれる光点の分布を解析することによって、ユーザーの瞳の向き（視線方向）を特定することができる。

また、ここでは図示されていないが、映像表示システム１は、ユーザーの生体情報を検出するための１又は複数のバイタルセンサーを含んでもよい。このようなバイタルセンサーは、情報処理装置１０と接続され、検出したユーザーの生体情報をリアルタイムで情報処理装置１０に送信する。バイタルセンサーによって取得可能な情報の一例としては、脳波、心拍、発汗量、体温、唾液量、皮下血流量などが挙げられる。

この場合のバイタルセンサーは、表示装置４０に配置されてもよい。表示装置４０はユーザーの頭部に装着されるため、この表示装置４０表面のユーザーの頭部に接触する位置にバイタルセンサーを配置することによって、ユーザーの脳波等の生体情報を検出することができる。

また、眼球カメラ４５をバイタルセンサーとして用いてもよい。ユーザーの眼球運動を記録するために、眼球カメラ４５は、比較的高解像度、かつ高フレームレートでユーザーの眼球周辺の映像を撮像する。そのため、この眼球カメラ４５が撮像した映像を解析することによって、ユーザーの眼球近くの血管の太さの時間変化を計測できる。この血管の太さの情報を用いて、情報処理装置１０は、ユーザーの血流量の変化を推定することができる。また、血流量の周期的な変化を特定することによって、ユーザーの心拍を計測することができる。

次に、情報処理装置１０が実現する機能について図５を用いて説明する。図５に示すように、情報処理装置１０は、機能的に、視線方向特定部５１と、興味位置推定部５２と、映像表示制御部５３と、を含んでいる。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

視線方向特定部５１は、後述する映像表示制御部５３によって表示装置４０に表示される映像をユーザーが閲覧している間の、ユーザーの視線方向の変化を特定する。具体的に視線方向特定部５１は、前述したＬＥＤ４２を動作させる制御信号を表示装置４０に対して送信し、ＬＥＤ４２が赤外線を放射している状態で眼球カメラ４５がユーザーの瞳を撮像して得られる撮像画像を取得する。そして、この撮像画像を用いて、その撮像が行われた時点におけるユーザーの視線方向（注視点の方向）を特定する。この視線方向の特定処理自体は、公知の手法によって実現可能である。視線方向特定部５１は、このような視線方向の特定処理を短い時間間隔で繰り返し実行し、実行結果を記憶部１２内に記憶する。これにより視線方向特定部５１は、視線方向のモニターを行っている間のユーザーの視線の動きの軌跡（視線方向の時間変化）を記録することができる。

興味位置推定部５２は、視線方向特定部５１によって特定された過去のユーザーの視線方向の時間変化に基づいて、ユーザーが現在注視している方向（注視点）とは別の、ユーザーが潜在的に興味を向けている位置、及び／又は方向を推定する。以下では、このように注視点とは別のユーザーが興味を向けていると推定される位置を、興味位置という。また、ユーザーが興味を向けていると推定される方向を、興味方向という。興味方向は、映像面内において注視点から興味位置に向かう方向である。興味位置推定部５２が興味方向や興味位置を推定する方法の具体例については、後述する。

映像表示制御部５３は、ユーザーに提示する映像を描画し、その内容を示す映像信号を表示装置４０に対して出力する。例えば映像表示制御部５３は、仮想オブジェクトが配置された仮想空間内の様子を示す空間画像を描画し、表示装置４０に表示させる。さらに映像表示制御部５３は、表示装置４０を頭部に装着したユーザーが自分の頭の向きを変化させた場合、カメラ２０の撮像画像を解析してその動作を特定し、ユーザーの頭の向きの変化に連動するように仮想空間内に設定された視点の向きを移動させる。これによりユーザーは、自分の頭を動かして視点の向きを変化させながら仮想空間内の様子を閲覧することができる。なお、このような制御を行う場合、ユーザーは表示装置４０が一度に表示可能な範囲を超える範囲を見渡すことができる。そのため、過去に表示されたが現在はユーザーの頭部の動きに合わせて表示装置４０に表示されなくなったオブジェクトが表示されていた位置の方にユーザーが意識を向けていることもあり得る。すなわち、興味位置推定部５２によって推定される興味位置は、必ずしもその時点で表示されている映像内の位置である必要はなく、画面外の位置であってもよい。

さらに本実施形態において、映像表示制御部５３は、興味位置推定部５２によって特定された興味位置に基づいて、表示装置４０に供給する映像の内容を変化させることとする。一例として、映像表示制御部５３は、ユーザーの注視点、及び興味位置に基づいて特定される領域の解像度が、他の解像度よりも高い映像を描画する。映像表示制御部５３が興味位置に基づいて描画する映像の内容の具体例については、後述する。

以下、興味位置推定部５２が興味方向、及び興味位置を推定する方法の具体例について、説明する。興味位置推定部５２は、直近の過去に視線方向特定部５１が記録したユーザーの視線方向の時間変化に基づいて、ユーザーの興味位置を推定する。具体的に、ユーザーの眼球が特定の位置（注視点）近傍に向けられている場合に、その位置から別の方向にわずかに動きすぐに戻るという往復運動を行うことがある。このような眼球運動はユーザーが意図的に行うのではなく、無意識に行われているのが通常である。このような眼球運動の一種として、マイクロサッカードと呼ばれるものが知られている。このような眼球運動が特定の方向に向けて繰り返し行われる場合、その方向にユーザーが潜在的に注目している（興味を向けている）可能性が高い。そこで興味位置推定部５２は、視線方向特定部５１が特定した視線方向の時間変化に特定パターンの動きが含まれる場合に、その特定パターンの動きに基づいて興味方向を推定する。さらに、その興味方向が指し示す位置に興味位置があると推定する。

図６は、視線方向特定部５１によって特定されるユーザーの視線方向の時間変化の一例を示している。この図の横軸は水平方向の角度θｘ、縦軸は垂直方向の角度θｙを示しており、図中の実線が視線方向の時間変化を示している。この例では、ユーザーの注視点は時間とともにおおよそ領域Ａから領域Ｂ、そして領域Ｃに移っている。しかしながら、どの領域にユーザーの視線が向けられている状態においても、ユーザーの視線方向は向かって右方向に移動して戻る細かな往復運動を繰り返している。この往復運動の方向が興味方向であると推定される。ただし、ユーザーは、興味位置が視野の中心に位置する状態まで眼球を動かすわけではない。したがって、わずかな回数の往復運動だけでは、興味方向が概ねどの方向かを推定することはできても、具体的に興味位置がどこなのか（すなわち、注視点から興味位置までどの程度の距離があるか）を推定することは難しい。そこで興味位置推定部５２は、直近の過去のある程度の時間における往復運動から、興味位置を推定してもよい。

図６の例では、中段の領域Ａに注視点が存在する場合、その往復運動の向きから、向かって右やや下方向に向かう破線Ｄａの方向が興味方向であると推定される。さらに、上方の領域Ｂ、及び下方の領域Ｃのそれぞれに注視点が存在する場合の興味方向も、図中の破線Ｄｂ、及びＤｃに示すような向きであると推定される。ユーザーの視線が領域Ａから領域Ｂ、そして領域Ｃに移動している間に興味位置が変化していなければ、３つの破線Ｄａ，Ｄｂ，Ｄｃの交点に対応する位置Ｘが興味位置であると推定される。なお、複数の注視点において特定される複数の興味方向が一点で交差しない場合であっても、このような複数の興味方向が集まる位置の近傍が、興味位置であると推定できる。

また、興味位置推定部５２は、映像表示制御部５３が表示中の映像の内容を参照して、興味位置を特定してもよい。例えば前述した図６の例において注視点が領域Ａ内に留まっている状態では、視線方向の情報だけでは破線Ｄａ上のどこに興味位置があるのか特定できない。この場合において、ユーザーの興味を惹く可能性のあるオブジェクト（候補オブジェクト）が破線Ｄａ上に表示されている場合、興味位置推定部５２はそのオブジェクトの表示位置を興味位置として推定してもよい。このような推定を行うために、興味位置推定部５２は、映像表示制御部５３から現在画面内に表示中の候補オブジェクトの位置を示す情報を受け付ける。そして、表示中の候補オブジェクトのうち、興味方向に最も近い位置に存在する候補オブジェクトの表示位置を、興味位置として推定する。

なお、映像表示制御部５３は、仮想空間の様子を描画するのではなく、現実空間の様子を撮像して得られる映像や、予め用意された映像などを表示装置４０に表示させる場合もある。このような場合においても、表示される映像を解析することによって、その中に映っている、ユーザーの興味を惹く可能性のある物体を候補オブジェクトとして特定してもよい。

さらに、興味位置推定部５２は、各種の情報に基づいて、ユーザーが映像に集中しているか否かなど、ユーザーの閲覧状況を示す情報を取得し、興味位置の推定に利用してもよい。例えば、眼球カメラ４５の撮像映像を解析することによって、興味位置推定部５２は、ユーザーが瞬きをしたタイミングや、瞳孔径の変化といった事象を特定することができる。一般的に、ユーザーは映像に集中する前に瞬きをしたり、集中度が高くなると瞳孔径が大きくなったりすると想定される。そのため、このようなユーザーの瞳を観測して得られる情報を用いることにより、その時点でのユーザーの映像に対する集中度（ユーザーがどの程度映像に興味を持っているかの指標値）を推定できる。

ただし、人の瞳孔径は、その人が見ている映像の輝度の変化による影響を受ける。さらに、映像の輝度が瞳孔径にどのように影響を与えるかについては個人差があり、映像全体の輝度の影響を受けやすいタイプの人や、注視点近傍の輝度の影響を受けやすいタイプの人、その中間の人など、タイプによっても影響の仕方が異なる。そこで興味位置推定部５２は、ユーザーごとに、映像の輝度の情報と、その映像が表示されているときに観測される瞳孔径の情報とを取得し、取得した情報を用いてそのユーザーの瞳孔径が映像の輝度によってどのように変化するかを示す情報を特定してもよい。

具体的に興味位置推定部５２は、各ユーザーが表示装置４０の使用を開始する際に、キャリブレーションのために用意された各種の背景色や輝度の画像を表示装置４０に表示させる。そして、これらのキャリブレーション用画像を閲覧中のユーザーの瞳孔径の大きさを計測し、その計測結果を教師データとして利用して、そのユーザーの集中度を推定する際に使用する基準値を決定する。また、興味位置推定部５２は、実際の表示装置４０の使用中にも、表示される映像の輝度と瞳孔径の計測結果とを定期的に教師データとして取得して、機械学習を行い、ユーザーごとの集中度を推定するための推定器を構築してもよい。なお、このような学習を行う際には、表示中の映像全体の輝度、及びユーザーが現在注視している領域の輝度の双方を入力として利用することが望ましい。こうすれば、現在表示中の映像の輝度の影響や、使用中のユーザーの個人差によらずに、精度よく集中度を推定できる。

また、興味位置推定部５２は、前述したバイタルセンサーの計測結果を用いてユーザーの集中度を推定してもよい。この場合も、バイタルセンサーによって計測される生体情報を教師データとして機械学習を行い、予めユーザーごとに生体情報が集中度にどのような影響を与えるか学習することによって、精度よく集中度の推定を行うことができる。

また、興味位置推定部５２は、利き目の情報を用いて興味位置の推定を行ってもよい。利き手などと同様、人の左右の目にも利き目があることが知られている。この利き目の情報を利用することで、例えば左右それぞれの眼球運動に基づいて得られる２個の興味位置の推定結果に対して、利き目がどちらかに応じた重み付けを行ったうえで両者を合成することによって、ユーザーの興味位置を推定してもよい。あるいは、左右の興味位置の推定結果が相反するものである場合、利き目の推定結果を優先して採用してもよい。なお、ユーザーの利き目がどちらかは、予めユーザー自身から入力を受け付けてもよいし、ユーザーの映像に対する視線の動きなどから推定してもよい。

以下、興味位置推定部５２が実行する処理の流れの一例について、図７のフロー図を用いて説明する。まず興味位置推定部５２は、ユーザーの視線方向の時間変化に基づいて、ユーザーが特定の領域を注視している状態か否かを判定する（Ｓ１）。具体的に、直近の過去所定期間内において、ユーザーの視線方向の移動範囲が所定の大きさの範囲内に収まっていれば、ユーザーは特定の領域を注視していると推定される。

ユーザーが特定の領域を注視している場合、さらに興味位置推定部５２は、その領域を注視している間のユーザーの視線方向の軌跡に基づいて、特定パターンの眼球運動が生じているか否かを判定する（Ｓ２）。この特定パターンの眼球運動とは、前述した特定方向への短距離の往復運動などであってよい。例えば興味位置推定部５２は、直近の過去所定期間内において所定回数以上の往復運動が行われている場合に、特定パターンの眼球運動が生じていると判定する。

Ｓ２で特定パターンの眼球運動が生じたと判定された場合、続いて興味位置推定部５２は、所与の判定基準に基づいてその時点でのユーザーの集中度を判定する（Ｓ３）。具体的に興味位置推定部５２は、前述したように瞬きの頻度や瞳孔径、またその他の各種生体情報に基づいて、ユーザーが映像に集中しているか否かを判定する。ユーザーが映像に集中していると判定される場合、Ｓ４に進んでユーザーの興味位置を推定する処理を実行する。一方、ここまでの判定条件のいずれかが満たされない場合、興味位置推定部５２は、Ｓ１に戻って各判定条件が満たされた状態になるまでＳ１〜Ｓ３の処理を繰り返すこととする。なお、機械学習などの結果に基づいて集中度を推定する場合、推定結果の信頼度（どの程度その推定結果が信頼できるかを示す指標値）も合わせて算出される。この信頼度が低い（すなわち、ユーザーがどの程度集中しているか精度よく推定できていない）場合、Ｓ４の処理に進んでもよい。

Ｓ３でユーザーが映像に集中していると判定された場合、興味位置推定部５２は、Ｓ２で検出された特定パターンの眼球運動のデータに基づいて、ユーザーが特定の方向に注意を向けているか否かを判定する（Ｓ４）。眼球の往復運動の向きが特定の方向に集中していない場合、ユーザーは単に集中して現在の注視点に意識を集中していると想定される。そのため、興味位置推定部５２は、興味位置が存在しないと判定する（Ｓ５）。

一方、眼球の往復運動が特定の方向に向けられている場合、その方向が興味方向であると推定される。そこで興味位置推定部５２は、往復運動の向き、及びその他の条件（画面内に表示中の候補オブジェクトの位置情報など）に基づいて、興味方向及び興味位置を特定する（Ｓ６）。このような処理を定期的に実行することにより、映像表示制御部５３は、興味位置を考慮した映像をユーザーに提示することができる。

以下、映像表示制御部５３がユーザーに提示する映像の内容を興味位置や興味方向に応じて制御する方法の具体例について、説明する。

第１の例として、映像表示制御部５３は、画面内に複数のオブジェクトを表示する場合に、興味位置又は興味方向に存在するオブジェクトと、それ以外のオブジェクトとで、表示態様を変化させてもよい。具体的には、興味位置近傍、又は興味方向に近い位置に存在するオブジェクトを強調表示の対象として、その色や明度、大きさなどを変化させてもよい。また、逆に興味位置から離れた位置に存在するオブジェクトが目立たなくなるように、その明度を下げたり、透明度を上げたり、ピントをぼかした表示に変化させたりしてもよい。このような制御によれば、ユーザーが無意識に興味を惹かれていた対象に意識的に注意を向けさせるようにすることができる。

図８は、このような制御によって表示される映像の一例を示しており、図８Ａは表示を変化させる前、図８Ｂは興味方向に応じて表示を変化させた後の様子を示している。この図の例では、映像内に複数のターゲットＴが表示されているが、そのうちターゲットＴｐにユーザーの視線が向けられており、ターゲットＴｐから向かって左下方向が、興味方向Ｄとして特定されたこととしている。この場合において、映像中に含まれる複数のターゲットのうち、興味方向に近い左下のターゲットＴ４，Ｔ８，Ｔ９は図８Ａと図８Ｂとで変化がないが、その他のターゲットについては、図８Ｂにおいては目立たなくなるように変化している。

なお、ここでは興味位置や興味方向に合致するオブジェクトを目立たせるような制御を行うこととしたが、映像表示制御部５３はこれとは逆の制御を行ってもよい。例えばゲームなどにおいて、ユーザーに注目してもらいたい目標オブジェクトを映像内に表示することとする。この場合において、ユーザーが目標オブジェクトとは別の位置や方向に興味を惹かれていると推定された場合、徐々に目標オブジェクトを強調するような表示制御を行ってもよい。

第２の例として、映像表示制御部５３は、興味方向又は興味位置を考慮した中心窩レンダリング（Foveated rendering）を実現してもよい。中心窩レンダリングとは、ユーザーの注視点などを中心とした注目領域を比較的高解像度で描画する一方で、注目領域より外側の周辺領域については比較的低解像度で描画することによって、描画負荷を抑える手法である。本実施形態では、注視点を注目領域の中心とするのではなく、そこから興味方向に対して広がった範囲を注目領域とする（すなわち、注目領域の中心を注視点よりも興味方向にずれた位置に設定する）ことで、ユーザーが真に興味を持って閲覧している、又はこれから注目する可能性の高い範囲も高解像度で描画することができる。図９は、このように注視点Ｐ及び興味方向Ｄに基づいて設定された注目領域Ａの一例を示している。また、映像表示制御部５３は、興味方向だけでなく、興味位置が画面内のどこなのかまで推定できている場合には、その興味位置と注視点の双方が含まれるように注目領域を決定してもよい。

さらに、このような中心窩レンダリングを実行した場合、ユーザーがあまり注目していないと想定される周辺領域の解像度を下げることになるが、ユーザーはこの解像度の低下に気がつく場合もある。ユーザーが解像度の低下に気がついた場合、解像度の低下した領域に急に注視点や興味位置が向けられるなど、ユーザーの視線に不自然な動きが生じると想定される。そこで、興味位置推定部５２がこのような解像度の低下に反応するユーザーの視線の動きを検出した場合、映像表示制御部５３は、中心窩レンダリングを中断したり、周辺領域の解像度を上げたりするなど、画質を改善する制御を実行してもよい。このような制御によれば、ユーザーに違和感を生じさせないようにしながら描画負荷を抑えることができる。

第３の例として、映像表示制御部５３は、画像の更新頻度を領域ごとに変化させてもよい。この例でも、第２の例と同様に、ユーザーが注目していると想定される注目領域とその外側の周辺領域とで、表示される画像の描画手法を変化させる。ただし、第２の例のように一度に表示されるフレーム画像内における解像度を領域ごとに変化させるのではなく、映像の更新頻度（フレームレート）を領域ごとに変化させる。例えば映像表示制御部５３は、周辺領域についてはフレーム画像の更新頻度を注目領域の半分に低下させ、相対的に注目領域内の映像の更新頻度が周辺領域の更新頻度より高くなるよう制御する。このような手法によれば、表示装置４０が表示するフレーム画像の全体を毎フレーム情報処理装置１０から表示装置４０に対して送信する必要がなくなる。そのため、情報処理装置１０から表示装置４０に対して単位時間あたりに送信すべきデータ量を削減でき、比較的通信帯域が小さい場合であってもユーザーに違和感を生じさせにくい映像を提示できる。この第３の例においても、注目領域の位置、及び大きさを興味位置や興味方向に基づいて決定することで、ユーザーが注視点以外の場所に興味を惹かれている場合に、そのような場所も含めて高解像度の映像を提示することができる。

第４の例として、映像表示制御部５３は、興味位置の近傍領域を高解像度で先行描画してもよい。この例でも映像表示制御部５３は中心窩レンダリングと同様の制御を行うこととするが、以前の例と異なり注目領域は注視点に基づいて決定されることとする。一方で、注視点とは別にユーザーが興味を持っている興味位置が存在する場合、ユーザーがその位置に視線を移動させる（すなわち、興味位置を新たな注視点とする）ことが予想される。そこで映像表示制御部５３は、その興味位置近傍の領域についても、注視点近傍の領域と同様に予め高解像度で描画した画像を用意しておく。そして、ユーザーの注視点がこの興味位置近傍に移動した際には、予め描画された画像を用いて表示装置４０に表示させる映像を生成する。このような制御によれば、ユーザーが視線方向をそれまでの注視点から興味位置に動かした場合に、待ち時間なく直ちに新たな注視点を高解像度で描画した映像をユーザーに提示することができる。

さらに、興味位置が現在の注視点から所定距離以上離れている場合、映像表示制御部５３は、中心窩レンダリングの対象となる注目領域を小さくしてもよい。現在の注視点から大きく離れた位置にユーザーが興味を惹かれていると推定された場合、ユーザーが頭部の向きを変化させるなどして、現在の注視点から興味位置まで比較的高速で大きな距離の視点移動を行おうとしている可能性が高い。このような大きな視点移動の間は、表示されている映像を広い範囲にわたって詳細に確認することは難しい。そのため、高解像度で描画する領域を小さくしてもユーザーが違和感を感じにくくなる。そこで映像表示制御部５３は、このような遠くの興味位置までの視点移動が開始されると判定した場合、注目領域を小さくしつつ、並行して移動先の興味位置近傍の領域を高解像度で予め描画することとする。これにより、データ送信量の増大や描画負荷の増大を抑えつつ、ユーザーの興味を惹く領域を高解像度で表示する準備を進めることができる。

第５の例として、映像表示制御部５３は、興味位置を優先的に高解像度で描画してもよい。この例では、第２の例などと同様に領域ごとに解像度を変化させる中心窩レンダリングと同様の処理を実行する。ただし、第２の例などと異なり、注視点とは無関係に興味位置近傍の領域を高解像度で描画する注目領域として設定する。これにより、ユーザーの視線を自然に興味位置に誘導することができる。また、映像表示制御部５３は、興味位置近傍だけでなく、現在の注視点から興味位置までの経路を含む領域についても、高解像度で描画する対象としてもよい。また、併せて映像表示制御部５３は、興味位置の近傍やその位置までの経路以外の領域を、さらに低解像度化してもよい。

なお、以上説明した各種の処理は、組み合わせて適用してもよい。例えば第３の例以外の各例において他の領域より高解像度で描画するとした領域については、併せて画像の更新頻度も他領域より高くしてもよい。また、以上の説明では、中心窩レンダリングに相当する処理を実行する場合、注目領域と周辺領域の２段階で解像度を変化させることとしたが、これに限らず３段階以上の領域に映像を分割し、領域ごとに解像度や更新頻度を変化させてもよい。

以上説明したように、本発明の実施の形態に係る情報処理装置１０によれば、ユーザーの視線の時間変化に基づいて、注視点以外のユーザーが興味を惹かれている位置、又は方向を推定することができる。さらに、このようにして推定された興味位置や興味方向に応じて変化する映像をユーザーに提示することで、ユーザーの視線を自然に誘導したり、ユーザーに違和感を生じさせないようにしながら描画負荷や通信帯域を抑えた表示を実現したりすることができる。

なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では、カメラ２０によって表示装置４０の向きの変化を特定することとしたが、これ以外にも各種の方法で表示装置４０の向きの変化を特定してもよい。また、表示装置４０内でユーザーの視線方向の変化を特定するための方法も、以上説明したものに限られず、各種の方法を利用することができる。

１映像表示システム、１０情報処理装置、１１制御部、１２記憶部、１３インタフェース部、２０カメラ、３０操作デバイス、４０表示装置、４１支持体、４２ＬＥＤ、４３レンズ、４４ハーフミラー、４５眼球カメラ、５１視線方向特定部、５２興味位置推定部、５３映像表示制御部。

Claims

表示装置が表示する映像を閲覧中のユーザーの視線が向けられている位置とは別の、当該ユーザーが潜在的に興味を向けている興味位置、及び／又は興味方向を推定する興味位置推定部と、
前記推定結果に応じて、前記表示装置が表示する映像の内容を変化させる映像表示制御部と、
を含むことを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記映像表示制御部は、前記映像内に含まれる複数のオブジェクトのうち、前記興味位置、及び／又は興味方向に応じて決まるオブジェクトを強調表示する
ことを特徴とする情報処理装置。
請求項１又は２に記載の情報処理装置において、
前記映像表示制御部は、前記ユーザーの視線が向けられている位置、及び前記興味方向に応じて決まる領域を、その周囲の領域よりも高解像度で描画した映像を前記表示装置に表示させる
ことを特徴とする情報処理装置。
請求項１又は２に記載の情報処理装置において、
前記映像表示制御部は、前記興味位置に応じて決まる領域を、その周囲の領域よりも高解像度で描画した映像を前記表示装置に表示させる
ことを特徴とする情報処理装置。
請求項１又は２に記載の情報処理装置において、
前記映像表示制御部は、前記ユーザーの視線が向けられている位置に応じて決まる領域を、その周囲の領域よりも高解像度で描画した映像を前記表示装置に表示させるとともに、前記興味位置に応じて決まる領域を予め高解像度で描画し、前記ユーザーの視線が前記興味位置に向けられた際には、予め描画された画像を用いて前記表示装置に表示させる映像を生成する
ことを特徴とする情報処理装置。
請求項５に記載の情報処理装置において、
前記映像表示制御部は、前記ユーザーの視線が向けられている位置と前記興味位置との間の距離に応じて、高解像度で描画する領域の大きさを変化させる
ことを特徴とする情報処理装置。
請求項１から６のいずれか一項に記載の情報処理装置において、
前記映像表示制御部は、前記興味位置、及び／又は興味方向に応じて決まる領域を、その周囲の領域よりも高い頻度で更新した映像を前記表示装置に表示させる
ことを特徴とする情報処理装置。
興味位置推定部が、表示装置が表示する映像を閲覧中のユーザーの視線が向けられている位置とは別の、当該ユーザーが潜在的に興味を向けている興味位置、及び／又は興味方向を推定するステップと、
映像表示制御部が、前記推定結果に応じて、前記表示装置が表示する映像の内容を変化させるステップと、
を含むことを特徴とする情報処理方法。
表示装置が表示する映像を閲覧中のユーザーの視線が向けられている位置とは別の、当該ユーザーが潜在的に興味を向けている興味位置、及び／又は興味方向を推定するステップと、
前記推定結果に応じて、前記表示装置が表示する映像の内容を変化させるステップと、
をコンピュータに実行させるためのプログラム。