JP7448856B2

JP7448856B2 - 視線再現システム、視線再現方法、及びプログラム

Info

Publication number: JP7448856B2
Application number: JP2022539866A
Authority: JP
Inventors: 誉宗巻口; 正典横山; 公孝堤; 隆佐藤
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2024-03-13
Anticipated expiration: 2040-07-29
Also published as: JPWO2022024255A1; WO2022024255A1; US20230334802A1

Description

本発明は、視線再現システム、視線再現方法、及びプログラムに関する。

人同士のコミュニケーションにおいて、対面する人物と視線を合わせることはもちろん、視線を合わせないという仕草は重要な非言語情報である。絵画や看板等において、表示されている例えば人物の視線を実空間の任意の位置の観察者と一致させる古典的な手法に、２層の表示面を用いた錯覚を用いる方法がある。

また、例えば非特許文献１に、２層のディスプレイを用いて黒目の映像を顔の映像よりも手前に表示することで、２次元のバーチャルキャラクタの視線を特定の観察者に向ける状態を再現する手法が開示されている。

一居太朗、他３名、「広い視野範囲で美観を損ねずにモナリザ効果を排除できる二層式ディスプレイを用いた平面映像提示手法」、情報処理学会、インタラクション2019

しかしながら、従来の技術では、特定の対象に視線を送っている状態は再現できるものの、視線を合わせない（逸視）動作を再現することができない。つまり、従来の技術は、どちらも２層の奥行きによって視線の状態がハードウェア的に決定されるものであり、視線を合わせない（逸視）動作を再現することができないという課題がある。

本発明は、この課題を鑑みてなされたものであり、視線を合わせない動作（逸視）を再現することができる視線再現システム、視線再現方法、及びプログラムを提供することを目的とする。

本発明の一態様に係る視線再現システムは、疑似眼球モデル生成装置と表示装置を備える視線再現システムであって、前記疑似眼球モデル生成装置は、仮想眼球を表す仮想眼球情報と、観察者の視点から目線を逸らす逸視の度合いに対応させて疑似黒目の位置を前記仮想眼球の表面から観察者側に移動させた疑似黒目情報とで疑似眼球を表す疑似眼球モデルを生成し、前記表示装置は、前記疑似眼球モデルに基づいて前記疑似眼球を表す疑似眼球画像をレンダリングした後に他の表示要素の表示画像をレンダリングすることを要旨とする。

また、本発明の一態様に係る視線再現方法は、上記の視線再現システムが行う視線再現方法であって、前記疑似眼球モデル生成装置は、仮想眼球を表す仮想眼球情報と、観察者の視点から目線を逸らす逸視の度合いに対応させて疑似黒目の位置を前記仮想眼球の表面から観察者側に移動させた疑似黒目情報とで疑似眼球を表す疑似眼球モデルを生成し、前記表示装置は、前記疑似眼球モデルに基づいて前記疑似眼球を表す疑似眼球画像をレンダリングした後に他の表示要素の表示画像をレンダリングすることを要旨とする。

また、本発明の一態様に係るプログラムは、上記の視線再現システムとしてコンピュータを機能させるためのプログラムであることを要旨とする。

本発明によれば、視線を合わせない（逸視）動作を再現することができる。

本発明の実施形態に係る視線再現システムの構成例を示す図である。疑似眼球モデルの構成例を模式的に示す図である。疑似黒目が瞼に重なる場合の疑似眼球モデルを示す図である。本発明の実施形態に係る表示装置の構成例を示す図である。図４に示す表示装置で表示した顔画像の例を示す図である。疑似眼球モデルと観察者の視点との関係を示す図である。図１に示す視線再現システムの処理手順を示すフローチャートである。汎用的なコンピュータシステムの構成例を示すブロック図である。

以下、本発明の実施形態について図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１は、本発明の実施形態に係る視線再現システムの構成例を示す図である。図１に示す視線再現システム１００は、特定の対象から視点を逸らす逸視動作を再現するものである。

視線再現システム１００は、疑似眼球モデル生成装置１０と表示装置２０を備える。

疑似眼球モデル生成装置１０は、仮想眼球を表す仮想眼球情報と、観察者の視点から目線を逸らす逸視の度合いに対応させて疑似黒目の位置を前記仮想眼球の表面から観察者側に移動させた疑似黒目情報とで疑似眼球を表す疑似眼球モデルを生成する。

図１に示すように、「逸視の度合い」を表す情報は外部から与えられる。「逸視の度合い」は、逸視の有無を表す二値の情報で有ってもよいし、大中小のように複数の段階を持つ情報で有ってもよい。

（疑似眼球モデル）
図２は、疑似眼球モデルの構成例を模式的に示す図である。

図２に示す疑似眼球モデル３０は、仮想眼球３１を表す仮想眼球情報と、疑似黒目３２を表す疑似黒目情報と、瞼３３を表す開口部情報と含む。仮想眼球３１は、透明又は半透明であり、観察者は疑似黒目３２を、仮想眼球３１の遮蔽を受けずに視認することが可能である。

図２おいて、参照符号４０は観察者の視点を表す。図２示すように、観察者の視点４０から目線を逸らす逸視の度合いに対応させて疑似黒目３２の位置を、仮想眼球３１の表面から観察者側に移動させて配置する。

このように疑似黒目３２を配置すると、観察者の視点４０と疑似黒目３２の中心を結ぶ一点鎖線で示す直線αは、視点４０と仮想眼球３１の中心を結ぶ破線で示す直線βよりも内側に位置するようになる。観察者は、直線βとαの差分が大きいほど逸視の度合いが強いと感じる。逆に、直線βとαが近いほど観察者は視線が一致しているように感じる。

また、図２に示す例の場合、観察者は、二点鎖線の楕円３２′で示すように疑似黒目３２の中心が仮想眼球３１の中心を通る水平線よりも下に有るように知覚する。よって、観察者はより視線を逸らしているように感じることができる。

瞼３３は、円環の一部分を削除した図２に示す形状に限られない。瞼３３を表す開口部情報は、開口部３４が形成できれば何でも構わない。瞼３３は、仮想眼球３１の一部と疑似黒目３２が見える平面形状（図示せず）でもよい。つまり、疑似眼球モデル３０は、瞼に相当する開口部を表す開口部情報を含まなくてもよい。

また、その平面形状の部材の表面に人の顔画像を描いてもよい。その場合、表示装置２０は、顔画像パネルの瞼３３の開口部の位置に合わせて疑似眼球画像を表示するだけでよい。つまり、表示装置２０は顔画像を表示しなくてもよい。表示装置２０について詳しくは後述する。

疑似黒目３２を仮想眼球３１の外側に配置すると、３Ｄ映像の通常のレンダリングは瞼３３よりも手前に疑似黒目３２が描画されるため、オクルージョン（重なり表現）に矛盾が生じる場合がある。

図３は、疑似黒目３２が観察者の視線を遮ることで瞼３３の上に黒目が見えてしまう様子を示す図である。この場合、瞼３３で覆われて見えないはずの疑似黒目３２の全体が視認できてしまうという問題が生じる。

本実施形態に係る表示装置２０は、このオクルージョンに矛盾を生じさせない。次に、表示装置２０について説明する。

（表示装置）
図４は、実施形態に係る表示装置２０の構成例を示す図である。表示装置２０は、疑似眼球モデル３０に基づいて疑似眼球を表す疑似眼球画像をレンダリングした後に他の表示要素の表示画像をレンダリングする。

図４に示すように、表示装置２０は、視点映像情報生成部２１、複数の投影装置２２、及びスクリーン２３を備える。この例では、３つの投影装置２２－１，２２－２，２２－３を示す。投影装置２２の数は、２つ以上有ればよい。また、スクリーン２３は反射型の例を示す。観察者の視点４０（図示せず）は、複数の投影装置２２を挟んでスクリーン２３と反対側にある。

視点映像情報生成部２１は、疑似眼球モデル生成装置１０から入力される疑似眼球モデル３０に基づいて、疑似眼球を観察者が向かって右側から見た画像情報と、疑似眼球を観察者が正面から見た画像情報と、疑似眼球を観察者が向かって左側から見た画像情報の３つの画像情報に変換する。

また、同時に視点映像情報生成部２１は、人の顔をそれぞれの方向から見た画像情報を生成する。但し、顔の表情は同じでもよい。視点映像情報生成部２１は、人の顔と疑似眼球を含む３つの画像情報を投影装置２２に出力する。

この時、視点映像情報生成部２１は、疑似眼鏡モデル３０に基づいて疑似眼球を表す疑似眼球画像をレンダリングした後に他の表示要素の表示画像をレンダリングする。他の表示要素とは、例えば顔の各要素のことである。このように、疑似眼球モデル３０を顔の各要素よりも先に描画することでオクリュージョンの矛盾を防止することができる。

図５は、疑似眼球モデル３０を顔の各要素よりも先に描画した場合の顔画像の例を示す図いである。図５に示すように、黒目の外縁部は瞼に隠されていてオクリュージョンに矛盾がない。

スクリーン２３に向かって右側の投影装置２２－１は、人の顔と疑似眼球を左側から見た画像情報を投影する。スクリーン２３の正面に位置する投影装置２２－２は、人の顔と疑似眼球を正面から見た画像情報を投影する。スクリーン２３に向かって左側の投影装置２２－３は、人の顔と疑似眼球を右側から見た画像情報を投影する。

隣り合う投影装置２２－１と２２－２及び２２－２と２２－３は、画像情報をスクリーン２３に重ねて投影する。投影装置２２－２の投影面２４－２を、スクリーン２３の表面に示す。投影装置２２－１は、投影面２４－２の左側に投影面２４－１（図示せず）の一部を重ねて投影する。投影装置２２－３は、投影面２４－２の右側に投影面２４－３（図示せず）の一部を重ねて投影する。

スクリーン２３は、視点の移動に伴って表示映像の輝度が滑らかに遷移するスクリーンである。このような特性を持つスクリーンとして「空間結像アイリス面型スクリーン」が知られている。アイリスとは、投影装置２２の内部に存在する機構であり、カメラの絞りに相当する光量を調整するものである。

観察者は、中央の投影面２４－２の中心から投影面２４－３に移動しながらスクリーン２３を見ると、疑似眼球を含む人の顔を正面から右方向に回り込むようにして見た立体画像を知覚することになる。中央の投影面２４－２の中心から投影面２４－１に移動しながらスクリーン２３を見ると、疑似眼球を含む人の顔を正面から左方向に回り込むようにして見た立体画像を知覚することになる。つまり、運動視差を持つ立体画像を表示することができる。

なお、表示装置２０は、上記のような運動視差は必ずしも必要ではない。視点数の少ない多視点ディスプレイのように、観察者の位置に応じて単眼映像が切り替えられる表示装置を用いてもよい。

以上説明したように、本実施形態に係る視線再現システム１００は、疑似眼球モデル生成装置１０と表示装置２０を備える視線再現システムであって、疑似眼球モデル生成装置１０は、仮想眼球３１を表す仮想眼球情報と、観察者の視点４０から目線を逸らす逸視の度合いに対応させて疑似黒目３２の位置を仮想眼球３１の表面から観察者側に移動させた疑似黒目情報とで疑似眼球を表す疑似眼球モデル３０を生成し、表示装置２０は、疑似眼球モデル３０に基づいて疑似眼球を表す疑似眼球画像をレンダリングした後に他の表示要素の表示画像をレンダリングする。これにより、視線を合わせない（逸視）動作を再現することができる。

また、表示装置２０は、疑似眼球モデル３０に対応させて異なる人の顔画像（表情）を表示してもよい。その場合、視点映像情報生成部２１は、疑似眼球モデル３０と感情情報を入力とする。

感情情報は、怒り、喜び、悲しみ等の各種の感情を表す情報である。視点映像情報生成部２１は、感情情報に対応させた異なる顔と、疑似眼球モデル３０に基づ疑似眼球とを表示する。

このように、表示装置２０は、感情を表現する感情情報を入力として、疑似眼球モデル３０に対応する疑似眼球と感情情報に対応する顔の表情とを表示してもよい。これによれば、視線を合わせない（逸視）動作をより豊かな感情表現を付与して提供することができる。

（疑似黒目の直径）
上記のように、疑似黒目３２の位置を仮想眼球３１の表面から観察者側に移動させることで、逸視動作の再現が行えることを説明した。ここでは、仮想眼球３１及び疑似黒目３２の大きさの目安について説明する。

図６は、疑似眼球モデル３０と観察者の視点４０との関係を示す図である。図６において、ｑは疑似黒目３２の直径、ｐは仮想眼球上の黒目の大きさ、ｒは仮想眼球３１の半径、ｕは仮想眼球３１の中心から疑似黒目３２の中心までの距離、及びｄは仮想眼球３１の中心から観察者の視点４０までの距離である。

疑似黒目３２の直径ｑは次式に基づいて算出する。

このように、疑似眼球モデル生成装置１０は、疑似黒目３２の直径ｑを、疑似黒目３２の中心と観察者の視点４０との距離Ｓと、仮想眼球３１の観察者側の表面と観察者の視点４０との距離Ｒの比を、仮想眼球上の黒目の大きさｐに乗じて生成する。これにより適切な大きさの疑似眼球を表示できる疑似眼球モデル３０を生成することができる。

（視線再現方法）
図７は、本実施形態に係る視線再現システム１００が行う視線再現方法の処理手順を示すフローチャートである。

疑似眼球モデル生成装置１０は、仮想眼球３１を表す仮想眼球情報と、観察者の視点４０から目線を逸らす逸視の度合いに対応させて疑似黒目３２の位置を仮想眼球３１の表面から観察者側に移動させた疑似黒目情報とで疑似眼球を表す疑似眼球モデル３０を生成する（ステップＳ１）。

表示装置２０は、疑似眼球モデル３０に基づいて疑似眼球を表す疑似眼球画像をレンダリングした後に他の表示要素の表示画像をレンダリングする（ステップＳ２）。これにより、視線を合わせない（逸視）動作を再現することができる。

視線再現システム１００は、図８に示す汎用的なコンピュータシステムで実現することができる。例えば、ＣＰＵ９０、メモリ９１、ストレージ９２、通信部９３、入力部９４、及び出力部９５を備える汎用的なコンピュータシテムにおいて、ＣＰＵ９０がメモリ９１上にロードされた所定のプログラムを実行することにより、視線再現システム１００の各機能が実現される。所定のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。

本発明は、上記の実施形態に限定されるものではなく、その要旨の範囲内で変形が可能である。例えば、表示装置２０のスクリーン２３は反射型の例で説明したが、本発明はこの例に限定されない。スクリーン２３は透過型であっても構わない。透過型のスクリーンの場合、観察者はスクリーンを透過する光で疑似眼球を観察する。

また、「逸視の度合い」の情報は、外部から入力される例で説明したが、本発明はこの例に限定されない。例えば、シナリオに沿って「逸視の度合い」の情報を生成する視線生成部を備えるようにしてもよい。

このように本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１０：疑似眼球モデル生成装置
２０：表示装置
２１：視点映像情報生成部
２２－１～２２－３：投影装置
２３：スクリーン
３０：疑似眼球モデル
３１：仮想眼球
３２：疑似黒目
３３：瞼
４０：観察者の視点
１００：視線再現システム

Claims

疑似眼球モデル生成装置と表示装置を備える視線再現システムであって、
前記疑似眼球モデル生成装置は、
仮想眼球を表す仮想眼球情報と、観察者の視点から目線を逸らす逸視の度合いに対応させて疑似黒目の位置を前記仮想眼球の表面から観察者側に移動させた疑似黒目情報とで疑似眼球を表す疑似眼球モデルを生成し、
前記表示装置は、
前記疑似眼球モデルに基づいて前記疑似眼球を表す疑似眼球画像をレンダリングした後に他の表示要素の表示画像をレンダリングする
視線再現システム。
前記疑似眼球モデル生成装置は、
前記疑似黒目の直径を、前記疑似眼球の正面に位置する前記観察者の視点と前記疑似黒目の中心との間の距離と、前記視点と前記仮想眼球の前記観察者側の表面との間の距離の比に基づいて決定する
請求項１に記載の視線再現システム。
前記表示装置は、
感情を表現する感情情報を入力として、前記疑似眼球画像と前記感情情報に対応する顔画像とをレンダリングする
請求項１又は２に記載の視線再現システム。
疑似眼球モデル生成装置と表示装置を備える視線再現システムが行う視線再現方法であって、
前記疑似眼球モデル生成装置は、
仮想眼球を表す仮想眼球情報と、観察者の視点から目線を逸らす逸視の度合いに対応させて疑似黒目の位置を前記仮想眼球の表面から観察者側に移動させた疑似黒目情報とで疑似眼球を表す疑似眼球モデルを生成し、
前記表示装置は、
前記疑似眼球モデルに基づいて前記疑似眼球を表す疑似眼球画像をレンダリングした後に他の表示要素の表示画像をレンダリングする
視線再現方法。
請求項１乃至３の何れかに記載の視線再現システムとしてコンピュータを機能させるためのプログラム。