JP6529208B2 - 鑑賞者の着用メガネの補正レンズの屈折力を推定する方法及び装置 - Google Patents

Description

本発明は、鑑賞者（スペクテータ）によって着用されたメガネの補正レンズの屈折力を推定する方法に関する。

本発明は、画面上のメディアストリームを鑑賞する分野に関している。この分野では、鑑賞者が着用しているメガネの補正レンズの屈折力についてのデータによると、これらの画面上に鑑賞（ビューイング）されるメディアストリームの処理を調整する必要がある可能性がある。１つは、このように、例えば、メディアストリームを鑑賞するときに鑑賞者が妨害されないように修正鑑賞者ビューで３Ｄ画面上に鑑賞されるストリームの被写界深度の効果を調整することができる。

本発明によって解決される問題は、鑑賞者によって着用されたメガネの補正レンズの屈折力を得ることであり、画面上に鑑賞されるべきメディアストリームの処理を調整することができることである。

この屈折力についてのデータを得るための第１のアプローチは、眼科医、検眼医、又はメガネプロバイダ等の医療専門家によって定義された実際の具体的なデータをユーザインターフェースによって提供するために鑑賞者に尋ねることである。しかしながら、鑑賞者が画面にメディアストリームを鑑賞したいときに、ほとんどの場合そのようなデータを鑑賞者が利用することができないため、このデータを知って入力することは現実的ではない。加えて、このデータは、国に応じて、異なる測定単位で表され、必然的にそれらの間の対応関係が存在することがなく、鑑賞されるメディアストリームに適用されるべき処理を調整するためにこのデータを利用することを困難にする。

別のアプローチは、例えば、レンズメータを用いてレンズの屈折力を物理的に測定することである。しかしながら、そのような測定は、そのコストのために広く展開することができず、従って、専門家のために用意されている。

本発明によれば、一般的には、鑑賞者によって着用されたメガネの補正レンズの屈折力は、画像上のメディアストリームを鑑賞するために位置されている鑑賞者の前に配置されたカメラによって撮影された鑑賞者の顔の２つの画像から推定される。

本発明は、その態様の１つによれば、鑑賞者によって着用されたメガネの補正レンズの屈折力を推定する方法に関する。この方法は、
−２つの画像を得る手段の前に位置した鑑賞者の顔の連続した２つの画像を取得し、その際に、その画像の一方をメガネで取得し、他方をメガネなしで取得するステップと、
−その２つの取得画像の一方を他方の画像に対して調整するステップと、
−各画像の各目のアイリス（虹彩）の位置を識別するステップと、
−各画像化されたアイリスの拡大又はサイズ縮小を評価するステップと、
−評価された拡大又はサイズ縮小に基づいて補正レンズの屈折力を推定するステップと、を含むことを特徴としている。

本方法は迅速であり、従来技術の他の方法と比べて鑑賞者によって容易に使用することができる。

また、本発明は、コンピュータプログラムに関し、それは媒体に保存されたり及び／又は通信ネットワークからダウンロードされ得る。このコンピュータプログラムは、前記プログラムがコンピュータシステム又はプロセッサによって実行されるときには、上記した方法を実施する命令を含む。また、本発明は、そのようなコンピュータプログラムを含む、記憶する手段に関する。

別の態様によれば、また、本発明は上記した方法を実施する手段を含む装置に関する。

上記した発明の特徴は、他のものと同様に、特定の実施形態の次の詳細な説明を読めばより明らかになり、前記詳細な説明は添付された図面を参照しつつ行われている。
図１は鑑賞者の顔の位置決めを容易にするために画面上に表示されるマーキングの例を概略的に示している。 図２はユーザによって着用されたメガネのレンズの屈折力を推定する方法のステップ図を概略的に示している。 図３は図２の方法の一実施形態に係るメガネの補正レンズの屈折力を推定する例を概略的に示している。 図４は図２の方法を実施する装置の一実施形態のブロック図を概略的に示している 。

本発明は、遠視又は近視の鑑賞者に適用する。遠視の場合には、補正レンズは、収束レンズであり、正面から鑑賞者を観察するときに目のサイズを大きくする。近視の場合には、補正レンズは発散レンズであり、メガネがある場合にはない場合よりも目が小さく見える。

図２に示されたように、鑑賞者によって着用されたメガネの補正レンズの屈折力を推定する方法は、鑑賞者の顔の２つの連続した（consecutive：一貫した）画像Ｉａ及びＩｓを取得するステップ１を含み、その鑑賞者の顔は、これらの２つの画像を取得する手段の前に位置している点において特徴付けされている。これらの画像の一方Ｉａはメガネが着用されているときに取得されるが、これらの画像の他方Ｉｓはメガネが着用されていないときに取得される。

実際には、メディアストリームを鑑賞する意図の画面等の鑑賞装置にカメラ等の取得の手段を搭載するか又は統合することができる。また、それを「セットトップボックス」又はＳＴＢとして説明される装置等のビデオ信号受信及び復号化装置に搭載することもできる。そして、鑑賞者は、特定の位置においてカメラの前に立つように頼まれる。この目的のために、図１に示されたように、顔の目、鼻、及び輪郭がカメラによって見た鑑賞者の顔の画像と重なるように顔の目、鼻、及び輪郭のためのマーキングが画面上に表示されても良い。ミラー効果のためにカメラを使用することは鑑賞者の位置決めを容易にする。鑑賞者はそのように配置されている鑑賞者の目、鼻、及び顔ができるだけうまくこれらのマーキングと一致するように位置決めされる。カメラのズームを設定することは、鑑賞者の目、鼻、顔の適切な調整を手助けすることができる。

マルチメディアシステムで一般に使用されているカメラに基づいて、鑑賞者のこの初期位置決めは、我々が後で見るように２つの画像の十分な取得解像度が目の範囲を決定することを考慮に入れる必要がある。

本方法は、２つの画像のうちのＩａの如き一方をＩｓの如き他方に対して調整するステップ２に続き、その後に、各画像の各目のアイリスの位置を識別するステップ３、修正レンズのために各画像化アイリスの拡大又はサイズ縮小を評価するステップ４、そして、補正レンズの屈折力を推定するステップ５が続く。

鑑賞者の顔とカメラ等の取得の手段との間の距離は、２つの画像の取得中に一定のままであることが好ましい。しかしながら、これが当てはまらない場合には、スケール係数Ｓは、補正レンズに対する画像領域の外側に配置された画像のプリミティブを抽出してマッピングすることによって一方の面から他方の面に対して計算されることが好ましい。

本方法の一実施形態によれば、スケール係数Ｓが

によって与えられ、ここでＤｓはその後の基準とされる画像Ｉｓ内の２つのプリミティブポイント間の画素で表現される距離であり、Ｄａは画像Ｉａ内の同じ２つのプリミティブポイント間の画素で表現される距離である。

画像内のアイリスの位置の識別については、例えば、アイリスに対応する領域の特定のテクスチャを使用することが知られている。

そのような識別の実施形態によれば、３Ｄ画面上で見られるマーキングの１つの中心のような選択された位置の周囲に位置付けされたウィンドウに、画像中の目のアイリスのエッジが例えば、キャニー(Canny)エッジ検出器等のエッジ検出器を適用することによって検出される。次に、ハフ(Hough)変換は、円を検出し、その円の画素で表された半径を決定するために使用される。各画像の各目のアイリスを識別するために適用され、このアプローチは、鑑賞者がメガネを着用しているときの画像Ｉａの左目のアイリスの半径

と右目のアイリスの半径

との両方、鑑賞者がメガネを着用していないときの画像Ｉｓの右目のアイリスの半径

と左目のアイリスの半径

との両方を決定することを可能にする。

キャニーエッジ検出とハフ変換との併用はアイリスの半径を推定するためにサブピクセル精度を提供する。

次いで、係数

及び

は、例えば、基準画像としての画像Ｉｓを考慮して右目Ｋ_Ｒ又は左目Ｋ_Ｌのアイリスの倍数又はサイズ縮小を評価するために計算される。スケール係数Ｓは任意であることに留意すべきである。

矯正メガネの左レンズの屈折力Ｐ_Ｌは、係数Ｋ_Ｌから推定されたレンズＦ_Ｌの焦点距離の逆数によって与えられ、矯正メガネの右レンズの屈折力Ｐ_Ｒは、レンズＦ_Ｒの焦点距離の逆数によって与えられ、係数Ｋ_Ｒから推定される。

この目的のために、レンズと鑑賞者の一方の目のアイリスとの間の距離ｅは既知又は推定されなければならない。１４ｍｍの平均値が推定値として検眼士によって使用される。ガウス(Gaussian)近軸近似を考えると、レンズの焦点距離

をアイリスＫ_Ｌ及びＫ_Ｒの半径のサイズの明らかな変化から計算することができることが分かる。

図３において、Ｆ’は焦点であり、線Ｌは光学中心Ｏ（レンズの補正によって偏向されない）を通る半径であり、線Ｄはレンズの補正によって光軸から偏向される焦点Ｆ’からの半径であり、Ｏｘはレンズの光軸であり、点Ｂ及びＢ’は線Ｌと目のアイリス（図３の網掛け部分）と間の交点であり、点Ａ及びＡ’はアイリスの画像Ｉａ及びＩｓの光軸Ｏｘとの交点である。

が矯正メガネなしで目のアイリスの半径であり、

がメガネを通して眼の撮像されたアイリスの半径である場合に、Ｋ_Ｌ又はＫ_Ｒは、

によって与えられる。この値は位置ＯＡについてのメガネレンズの拡大Ｍに対応している。また、この値Ｍを、

の如く表すことができる。距離ｅが

である場合には

が得られる。

であるデカルト式の中心から出ている共役式にこれらの値を挿入することは、

によって焦点距離ｆ'_Ｌを提供する。ここで、

及び

である。

焦点距離ｆ'_Ｒは、この図３から考慮すると係数Ｋ_Ｌを係数Ｋ_Ｒで置き換えることによって同様に与えられる。

いくつかの利用では、焦点距離ｆ'を知ることは必要ないが、拡大値Ｍを知っていれば十分である。

これは、メガネレンズが使用された後、知覚角度方向θ_Ａ'に向かって、観測点から定義された元の角度方向θ_Ａからの光線の偏向を判断する必要がある場合である。

この場合に、

そして、推定された距離ｅ上の誤差は影響を与えない。

図４は、図２の方法を実施する装置のアーキテクチャの一実施形態を概略的に示している。

装置４００は、通信バス４０１によって接続された、
プロセッサ、マイクロプロセッサ、マイクロコントローラ（μｃ）、又はＣＰＵ（中央処理装置）４０２と、
ＲＡＭ（ランダムアクセスメモリ）４０３と、
ＲＯＭ（リードオンリメモリ）４０４と、
カメラ等の鑑賞者の顔の画像を取得する手段４０５と、
画面４０６と、
タッチスクリーン等のマンマシンインターフェース４０７及び／又はボタンセットと、を含む。

マイクロコントローラ４０２は、ＲＯＭ４０４から、外部メモリ（図示せず）から、ＳＤカード等の記憶媒体又は他の媒体から、又は通信ネットワークからＲＡＭ４０３に読み出された命令を実行することができる。装置４００をスイッチオンして作動させると、マイクロコントローラ４０２は、ＲＡＭ４０３からの命令を読み込み、それらを実行することができる。これらの命令は、図２について以下に説明されるアルゴリズムの一部又は全部をマイクロコントローラ４０２によって実施させるコンピュータプログラムを形成する。

図２について以下に説明されるアルゴリズムの一部又は全部は、ＤＳＰ（ディジタルシグナルプロセッサ）等のプログラマブルマシン又はマイクロコントローラ４０２等のマイクロコントローラ上の命令のセットを実行することによりソフトウェアを介して実施されても良いし、或いは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）等のマシーン又は専用コンポーネントによってハードウェアを介して実施されても良い。

手段４０７は、カメラのズームを変更するように、ユーザが装置とインターラクションを行うことを可能にしても良い。手段４０２、４０３、４０４は、各画像内の各目のアイリスの位置を識別し、各画像化されたアイリスの拡大又はサイズ縮小を評価し、評価された拡大又は縮小から補正レンズの屈折力を推定する手段の役割を提供するために共存する。
（付記１）
鑑賞者によって着用されたメガネの補正レンズの屈折力を推定する方法であって、
２つの画像を得る手段の前に位置する鑑賞者の顔の連続した２つの画像を取得し、当該２つの画像の取得の際に一方の画像を前記メガネを着用して取得し、他方の画像をメガネ着用しないで取得するステップと、
当該２つの取得画像のうちの前記一方の画像を前記他方の画像に対して調整するステップと、
前記画像の各々における各目のアイリスの位置を識別するステップと、
各画像化されたアイリスのサイズ拡大又はサイズ縮小を評価するステップと、
当該評価された拡大又はサイズ縮小に基づいて前記補正レンズの屈折力を推定するステップと、
を含む、前記方法。
（付記２）
前記画像の各々における各目のアイリスの位置を識別するステップにおいては、
選択された位置の周囲に位置するウィンドウでは、前記画像にエッジ検出器を適用することによって前記アイリスのエッジが前記画像内で検出され、ハフ変換が前記画像の各々の各アイリスを定める円の半径
を判断するために使用され、
前記画像化されたアイリスの前記拡大又はサイズ縮小は、前記アイリスに対応する前記画像内の２つの円の半径間の比率によって推定され、
前記アイリスについての矯正メガネのレンズの屈折力は、前記２つの円の半径間の前記比率と前記レンズと前記アイリスとの間の距離とから推定された前記レンズの焦点距離の逆数で与えられる、付記１記載の方法。
（付記３）
前記画像化されたアイリスの前記拡大又はサイズ縮小は、前記２つの取得画像の前記一方の画像上の２つのプリミティブポイント間の距離と、前記他方の画像の同一の２つのプリミティブポイント間の距離との間の比率によって定義されたスケール係数によって重み付けされている、付記１記載の方法。
（付記４）
３Ｄ画面上で前記鑑賞者によって鑑賞されることが意図されたメディアストリームに適用された処理を調整するために付記１から３のいずれかによる前記鑑賞者によって着用されたメガネの補正レンズの光学点を推定するための、方法の使用。
（付記５）
プログラムが装置のプロセッサによって実行されるとき付記１から４のいずれか１つによる方法を前記装置によって実施するための命令を含む、コンピュータプログラム。
（付記６）
プログラムが装置のプロセッサによって実行されるとき付記１から４のいずれか１つによる方法を前記装置によって実施するための命令を含むコンピュータプログラムを保存する、記憶手段。
（付記７）
鑑賞者によって着用されたメガネの補正レンズの屈折力を推定する装置であって、
２つの画像を得る手段の前に位置した鑑賞者の顔の連続した２つの画像を取得し、当該２つの画像の取得の際に一方の画像を前記メガネを着用して取得し、他方の画像をメガネ着用しないで取得する手段と、
当該２つの取得画像のうちの前記一方の画像を前記他方の画像に対して調整する手段と、
前記画像の各々の各目のアイリスの位置を識別する手段と、
各画像化されたアイリスのサイズ拡大又はサイズ縮小を評価する手段と、
当該評価された拡大又はサイズ縮小に基づいて前記補正レンズの屈折力を推定する手段と、
を含む、前記装置。

Claims (6)

1. 鑑賞者によって着用されたメガネのレンズの屈折力を推定する方法であって、
   ２つの画像を得る手段の前に位置する前記鑑賞者の顔の連続した２つの画像を取得することであって、当該画像の一方を前記メガネを着用して取得し、他方の画像をメガネ着用しないで取得する、前記取得することと、
   前記画像の各々における各目のアイリスの位置を識別することと、
   各画像化されたアイリスのサイズ拡大又はサイズ縮小を評価することと、
   当該評価されたサイズ拡大又はサイズ縮小に基づいて前記レンズの屈折力を推定することと、
   を含み、
   前記画像化されたアイリスの前記サイズ拡大又はサイズ縮小は、前記取得された２つの画像の一方の画像上の２つのプリミティブポイント間の距離と、前記他方の画像の同一の２つのプリミティブポイント間の距離との間の比率によって定義されたスケール係数に基づいて評価される、前記方法。
2. 前記画像の各々における各目のアイリスの位置を識別することにおいては、
   選択された位置の周囲に位置するウィンドウでは、前記画像にエッジ検出器を適用することによって前記アイリスのエッジが前記画像内で検出され、ハフ変換が前記画像の各々の各アイリスを定める円の半径
   
   を判定するために使用され、
   前記画像化されたアイリスの前記サイズ拡大又はサイズ縮小は、前記アイリスに対応する前記画像内の２つの円の半径間の比率によって推定され、
   前記アイリスについてのメガネのレンズの屈折力は、前記２つの円の半径間の前記比率と前記レンズと前記アイリスとの間の距離とから推定された前記レンズの焦点距離の逆数で与えられる、請求項１記載の方法。
3. ３Ｄ画面上で前記鑑賞者によって鑑賞されることが意図されたメディアストリームの被写界深度の効果を調整するために請求項１から２のいずれかによる前記鑑賞者によって着用されたメガネのレンズの屈折力を推定するための、方法の使用。
4. プログラムが装置のプロセッサによって実行されるとき請求項１から３のいずれか１つによる方法を前記装置によって実施するための命令を含む、コンピュータプログラム。
5. プログラムが装置のプロセッサによって実行されるとき請求項１から３のいずれか１つによる方法を前記装置によって実施するための命令を含むコンピュータプログラムを保存する、記憶手段。
6. 鑑賞者によって着用されたメガネのレンズの屈折力を推定する装置であって、
   ２つの画像を得る手段の前に位置した鑑賞者の顔の連続した２つの画像を取得する手段であって、当該画像の一方を前記メガネを着用して取得し、他方の画像をメガネ着用しないで取得する、前記取得する手段と、
   前記画像の各々の各目のアイリスの位置を識別する手段と、
   各画像化されたアイリスのサイズ拡大又はサイズ縮小を評価する手段と、
   当該評価されたサイズ拡大又はサイズ縮小に基づいて前記レンズの屈折力を推定する手段と、
   を含み、
   前記画像化されたアイリスの前記サイズ拡大又はサイズ縮小は、前記取得された２つの画像の一方の画像上の２つのプリミティブポイント間の距離と、前記他方の画像の同一の２つのプリミティブポイント間の距離との間の比率によって定義されたスケール係数に基づいて評価される、前記装置。