JP3546922B2

JP3546922B2 - Eyeglass lens image generation method and apparatus

Info

Publication number: JP3546922B2
Application number: JP07515598A
Authority: JP
Inventors: 高明秋本; 春美川村; 力堀越; 智鈴木; 隆志畑中; 康至酒井
Original assignee: Hoya Corp; Nippon Telegraph and Telephone Corp
Current assignee: Hoya Corp; Nippon Telegraph and Telephone Corp
Priority date: 1998-03-24
Filing date: 1998-03-24
Publication date: 2004-07-28
Anticipated expiration: 2018-03-24
Also published as: JPH11272728A

Description

【０００１】
【発明の属する技術分野】
本発明は、眼鏡レンズの画像をコンピュータ等によって人工的に生成する眼鏡レンズ画像生成方法及び装置に係わり、特に、眼鏡を正面から見たときの眼鏡のレンズ部分の写実的な画像を人工的に生成する方法及び装置に関するものである。
【０００２】
【従来の技術】
眼鏡の販売店において、コンピュータ等を使用して眼鏡購入者の顔画像上に眼鏡を重畳表示することにより、眼鏡購入者がある眼鏡をかけた時どのように見えるかを提示して、眼鏡購入者の眼鏡の選択やデザインの変更を支援する眼鏡装着シミュレーションシステムが知られている。
このようなシステムにおける眼鏡レンズ画像生成方法として、予め実物の眼鏡を撮影しておきその画像を重畳する方法がある。
しかしながら、この方法では、予め撮影している眼鏡の画像しか表示できないため、例えば、眼鏡のレンズ部分の外形（以下、玉型と称する。）を眼鏡購入者の好みに合わせて変更できるシステムは実現できない。
そのため、玉型などの情報から人工的にレンズ部分の画像を生成する方法が用いられている。
例えば、レンズの透過率や色に基づいてレンズを通して見えている背景部分の輝度を低下させたり色を加えることによって、レンズ画像を描画する方法が用いられていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、単にレンズを通して見えている背景部分の輝度や色を変化させるという従来のレンズ画像の描画方法では、どうしても平面的な画像となりレンズの質感が表現できないという不満があった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、眼鏡レンズ画像生成方法及び装置において、レンズの質感を表現した眼鏡レンズ画像を表示することが可能となる技術を提供することにある。
【０００４】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００５】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
【０００６】
即ち、本発明は、レンズに映り込む室内の実写画像などの映り込み画像と、人の正面顔画像などのレンズを通して見える背景画像を入力しておき、眼鏡レンズ上の各描画点について、その描画点では背景画像のどの画素が眼鏡レンズを通して見えているかを求め、また、その描画点に映り込み画像のどの画素が映り込んでいるかを眼鏡レンズの形状情報に基づいて求め、さらに、眼鏡レンズを通して見える背景画像中の画素の色と眼鏡レンズに映り込んでいる映り込み画像中の画素の色を所定の割合で加えた結果の色をその描画点の画素の色とすることによって眼鏡レンズ画像を描画することを特徴とする。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明の実施例を詳細に説明する。
【０００８】
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【０００９】
［実施の形態１］
図１は、本発明の実施の形態１の眼鏡レンズ画像生成方法の処理手順を示すフローチャートである。
図２は、本実施の形態１の眼鏡レンズ画像生成方法を説明するための図である。
我々が透明な眼鏡レンズを見てレンズの質感を感じる要因はいくつかあるが、大きな要因の一つはレンズ表面でのわずかな反射による景色の映り込みである。
つまり、大まかには球面であるレンズ前面、レンズ背面、あるいは、レンズ前面および背面によって、室内の電灯や明るい窓が歪曲して映り込み、それとレンズを通して見える背景とが重なって見えることから、そこに曲面の透明な物体が存在することを感じるのである。
本発明の眼鏡レンズ画像描画方法では、レンズの表面に周囲の景色が薄く映り込んでいる様子を疑似的に再現することにより、レンズの質感を表現する。
【００１０】
以下、図１、図２を用いて、本実施の形態の眼鏡レンズ画像生成方法について説明する。
【００１１】
始めに、眼鏡レンズ画像の描画に必要な眼鏡レンズ（以下、単にレンズと称する。）２０１に関するデータを入力する（ステップ１０１）。
このレンズ２０１に関するデータとは、レンズの玉型、レンズの曲率、レンズの度数、レンズの透過色、レンズの透過率、レンズのコーティング（レンズの透過率を上げるためにレンズ表面に施す薄い膜）の反射光の色、レンズの反射率である形状情報および光学的情報である。
なお、これらのレンズ２０１に関するデータは、レンズの設計図や計測結果から得られるレンズの実物に即した正確な値であっても良いし、あるいは、レンズの実物に即した値でなくリアリスティックなレンズの描画結果画像が得られるような適当な値でも良い。
【００１２】
次に、レンズ２０１を通して見える背景画像データ（以下、背景画像と称する。）２０２を入力し（ステップ１０２）、この背景画像２０２をレンズの度数に基づいて拡大縮小した画像データ（以下、拡大縮小後の背景画像と称する。）２０３を作成する（ステップ１０３）。
即ち、近視用レンズの度数であれば背景画像２０２を適当な縮小率で縮小し、遠視用レンズの度数であれば背景画像を拡大率で拡大することにより、近視レンズを通して見た背景は小さく見え、遠視レンズを通して見た背景は大きく見えることを表現する。
【００１３】
次に、映り込み画像データ（以下、映り込み画像と称する。）２０４を入力する（ステップ１０４）。
この映り込み画像２０４は、例えば、画像中に明るい窓や電灯が写っているような通常の室内の画像であり、この窓や電灯がレンズ前面の曲面によって湾曲して映り込む。
次に、描画結果画像データ（以下、描画結果画像と称する。）２０５を格納する描画結果画像メモリを用意し（ステップ１０５）、当該描画結果画像メモリ上の指定位置にレンズ玉型２０６を置き（ステップ１０６）、以下の処理を繰り返してレンズ玉型２０６内の各画素の色を計算する（ステップ１０７）。
【００１４】
まず、描画画素２０７と同じ位置にある拡大縮小後の背景画像２０３中の画素の色２０８を取り出すことにより、レンズ２０１を通して見える背景画像２０２中の画素の色（背景色）を得る（ステップ１０８）。
次に、描画画素２０７の中心（描画点）における視線方向２０９を求める（ステップ１０９）。
この視線方向とは、レンズ２０１を見ているときの目の位置（視点）から注視点、即ち、レンズ２０１上の描画点への方向のことである。
眼鏡を正面から見た画像を作成する場合は、レンズ２０１の光軸の方向を視線方向と見なしても実用上問題はない。
【００１５】
次に、レンズ前面の曲率に基づいて、描画点での法線方向２１０を求める（ステップ１１０）。
レンズ前面が球面の場合、その球面を構成する球の中心からレンズ前面上の描画点への方向が法線方向となる。
次に、視線方向２０９と法線方向２１０から描画点での視線方向の正反射方向２１１を求める（ステップ１１１）。
正反射方向２１１とは、視線方向２０９の角度で光線が描画点に入射して描画点でそれが反射したときの反射方向のことであり、法線を対象軸として視線方向ベクトルの線対称のベクトルを求めることによって得られる。
【００１６】
次に、図２に示すように、映り込み画像２０４がレンズ２０１に対して平行に配置されているとして、レンズ２０１の描画点を始点として正反射方向２１１の延長線上に位置する映り込み画像２０４中の画素の位置を求めて、その画素の色（映り込み色）２１２を得る（ステップ１１２）。
最後に、ステップ１０８で得た背景色２０８と、ステップ１１２で得た映り込み色２１２を用いて、描画画素２０７の色を求め、それを描画結果画像メモリに格納する（ステップ１１３）。
描画画素２０７の具体的な計算方法としては、例えば、下記（１）式に示すような方法がある。
【００１７】
【数１】

【００１８】
なお、前記（１）式において、色は三原色（Ｒ：赤、Ｇ：緑、Ｂ：青）で表すこととし、描画画素２０７の色を（Ｒ，Ｇ，Ｂ）、背景色２０８を（Ｒｂ，Ｇｂ，Ｂｂ）、映り込み色２１２を（Ｒｒ，Ｇｒ，Ｂｒ）、レンズ２０１の透過色を（Ｒｔ，Ｇｔ，Ｂｔ）、レンズ２０１のコーティング色を（Ｒｃ，Ｇｃ，Ｂｃ）とし、また、レンズ２０１の透過率をＴ１、反射率をＴ２で表している。
即ち、前記（１）式では、三原色（ＲＧＢ）の各要素毎に背景色２０８をレンズ２０１の透過色で着色し、それに透過率（Ｔ１）を乗じた値と、映り込み色２１２をコーティング色で着色しそれに反射率（Ｔ２）を乗じた値を合わせて、描画画素２０７の色とする。
なお、レンズ２０１への映り込みでは、窓や電灯などの非常に明るい部分の映り込みははっきりと見え、それ以外の暗い部分はあまり映り込みが見えないことが多い。
このような描画結果を得るために、映り込み色（Ｒｒ，Ｇｒ，Ｂｒ）の各要素を図３に示すような関数によって変換した結果を用いて描画画素２０７の色を計算してもよい。
即ち、映り込み色２１２が、ある程度小さな値（暗い）の場合はほとんど０の値に変換することにより、明るい部分のみ映り込みが見えるようにすることもできる。
前記した処理を、レンズ玉型２０６内の全ての画素の色が計算されるまで繰り返す（ステップ１１４）。
これにより、レンズ画像が描画結果画像メモリに生成される。
【００１９】
このように、本実施の形態の眼鏡レンズ画像生成によれば、レンズ２０１を通して背景画像２０２が見えると共に、薄く周囲の景色（例えば、室内の様子等）が映り込んでいるようなレンズ画像を作ることができ、透明なレンズの質感を表現したレンズ画像を得ることができる。
この場合に、当該映り込んでいる周囲の景色には、レンズ２０１のコーティング色が反映されており、さらに、レンズ２０１の度数及び透過色に従ってレンズ２０１を通して見える背景が拡大縮小及び着色されるので、極めてリアリスティックな眼鏡レンズ画像を生成することができる。
その結果として、よりリアリスティックな眼鏡を装着した顔画像を表示することができる。
【００２０】
［実施の形態２］
本発明の実施の形態２の眼鏡レンズ画像生成方法では、レンズ画像を描画する前に、先ずレンズ（図２の２０１）の玉型内の各描画点に映り込んでいる映り込み画像中の画素の位置を予め求め、映り込み画素位置表に記憶しておく。
図４は、本発明の実施の形態２の眼鏡レンズ画像生成方法において使用される映り込み画素位置表の作成手順を示すフローチャートである。
以下、図４を用いて、本実施の形態の眼鏡レンズ画像生成方法において使用される映り込み画素位置表の作成手順について説明する。
始めに、レンズの最大玉型（玉型に合わせてカットする前のレンズ、即ち「丸レンズ」）、レンズ前面の曲率を入力する（ステップ４０１）。
次に、レンズ玉型（図２の２０６）内の各画素について以下の処理を繰り返す（ステップ４０２）。
まず、描画画素（図２の２０７）の中心（描画点）における視線方向（図２の２０９）を求める（ステップ４０３）。
次に、レンズ前面の曲率に基づいて、描画点でのレンズ前面の法線方向（図２の２１０）を求める（ステップ４０４）。
次に、視線方向と法線方向から描画点での視線方向の正反射方向（図２の２１１）を求める（ステップ４０５）。
次に、映り込み画像（図２の２０４）がレンズに対して平行に配置されているとして、レンズの描画点を始点として正反射方向の延長線上に位置する映り込み画像中の画素の位置を求めて、映り込み画素位置表に記憶する（ステップ４０６）。
前記した処理を、レンズ玉型内の全ての画素について実行されるまで繰り返す（ステップ４０７）。
【００２１】
この映り込み画素位置表は、図５に示すような２次元の表である。
この映り込み画素位置表の各欄は、最大玉型上の各描画画素に対応しており、例えば、描画画素の位置が（Ｘ，Ｙ）とすると、この表中の横方向のインデックスがＸ、縦方向のインデックスがＹの欄がその描画画素に対応している欄である。
この映り込み画素位置表中の各欄には、その欄に対応する画素に映り込んでいる映り込み画像中の画素の位置（ｘ，ｙ）が記憶されている。
即ち一旦、この映り込み画素位置表が作成されれば、この表から、例えば、玉型中の（Ｘｎ，Ｙｎ）に位置する画素に映り込んでいる映り込み画像中の画素は（ｘｎ，ｙｎ）に位置する画素であることがすぐに分かる。
【００２２】
図６は、本発明の実施の形態２の眼鏡レンズ画像生成方法の処理手順を示すフローチャートである。
以下、図６を用いて、本実施の形態の眼鏡レンズ画像生成方法について説明する。
始めに、レンズの描画に必要なレンズに関するデータを入力する（ステップ４０８）。
このレンズに関するデータは、レンズの玉型、レンズの度数、レンズの透過色、レンズの透過率、レンズのコーティング（レンズの透過率を上げるためにレンズ表面に施す薄い膜）の色、レンズの反射率である。
次に、予め計算し記憶しておいた映り込み画素位置表を読み込み（ステップ４０９）、レンズを通して見える背景画像を入力する（ステップ４１０）。
次に、この背景画像をレンズの度数に基づいて拡大縮小した画像データを作成する（ステップ４１１）。
次に、映り込み画像を入力する（ステップ４１２）。
次に、描画結果画像を格納する描画結果画像メモリを用意し（ステップ４１３）、当該描画結果画像メモリ上の指定位置にレンズ玉型を置き（ステップ４１４）、以下の処理を繰り返してレンズ玉型内の各画素の色を計算する（ステップ４１５）。
【００２３】
まず、描画画素（図２の２０７）と同じ位置にある拡大縮小後の背景画像中の画素の色を取り出すことにより、レンズを通して見える背景画像中の画素の色（背景色）を得る（ステップ４１６）。
次に、映り込み画素位置表から映り込み画像中のどの画素が描画点に映り込んでいるかを調べて、その画素の色（図２の２１２）を得る（ステップ４１７）。
最後に、ステップ４１６で得た背景色と、ステップ４１７で得た映り込み色を用いて、描画画素の色を求め、それを描画結果画像メモリに格納する（ステップ４１８）。
前記した処理を、レンズ玉型内の全ての画素の色が計算されるまで繰り返す（ステップ４１９）。
【００２４】
前記映り込み画素位置表を作成する処理（ステップ４０１〜ステップ４０７）は、レンズ２０１の最大玉型で行う。
最大玉型とは、レンズ２０１を眼鏡のリム形状に合わせて削る前の玉型である。
これによって、最大玉型より小さい任意の玉型のレンズ２０１について、図６のステップ４０８〜ステップ４１９の処理で高速にレンズ画像を生成することができる。
このように、本実施の形態は、予め、映り込み画素位置表を作成し、各描画点ごとに映り込み画像中の画素の位置を計算することなしに、その映り込み画素位置表から映り込み画像中のどの画素が描画点に映り込んでいるかを調べてその画素の色を得るようにして、レンズ画像の生成処理の処理量を減らすようにしたものである。
【００２５】
［実施の形態３］
図７は、本発明の実施の形態３の眼鏡レンズ画像生成装置の概略構成を示すブロック図である。
同図において、６０１はレンズデータ格納部、６０２は背景画像メモリ、６０３は画像拡大縮小部、６０４は映り込み画像メモリ、６０５は描画結果画像メモリ、６０６はレンズ画像生成処理部である。
ここで、レンズデータ格納部６０１は、入力されたレンズの玉型、レンズの曲率、レンズの度数、レンズの透過色、レンズのコーティングの色、レンズの反射率等のレンズ２０１に関するデータを格納する。
背景画像メモリ６０２は、人の顔画像などの図２のレンズ２０１を通して見える画像を格納する。
画像拡大縮小部６０３は、近視レンズでは背景が小さく見え、遠視レンズでは背景が大きく見えるような効果を表現するために、レンズ度数に基づいて背景画像を拡大又は縮小する。
映り込み画像メモリ６０４は、レンズに映り込ませたい映り込み画像を格納する。
描画結果画像メモリ６０５は、描画したレンズ画像を格納する。
レンズ画像生成処理部６０６は、レンズデータ、背景画像、映り込み画像に基づいて眼鏡のレンズ画像の生成を行う部分である。
【００２６】
以下、本実施の形態の眼鏡レンズ画像生成装置の動作について説明する。
まず、レンズデータ、背景画像、および映り込み画像を、レンズデータ格納部６０１、背景画像メモリ６０２、映り込み画像メモリ６０４にそれぞれ入力する。
次に、レンズデータのレンズ度数に基づいて、画像拡大縮小部６０３で背景画像を縮小又は拡大する。
次に、レンズ画像生成処理部６０６で、レンズデータ、拡大縮小後の背景画像、映り込み画像を用いてレンズ画像を生成し、描画結果画像メモリ６０５に格納し、最終的に眼鏡レンズ画像として出力する。
このレンズ画像生成処理部６０６内での具体的なレンズ画像生成処理は、実施形態１のステップ１０６〜ステップ１１４、あるいは、実施形態２のステップ４０２〜ステップ４０７及びステップ４１４〜ステップ４１９の処理と同様であるので、ここでは詳細な動作内容の説明を省略する。
【００２７】
なお、前記各実施の形態では、周囲の景色（例えば、室内の様子等）が、レンズ前面で反射して背景画像に映り込む場合について説明したが、これに限らず、周囲の景色は、レンズ背面で反射して背景画像に映り込む場合もある。
このような場合でも、本発明の眼鏡レンズ画像生成方法及び装置により、周囲の景色がレンズ背面で反射して背景画像に映り込んだレンズ画像が生成できることは言うまでもない。
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００２８】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００２９】
（１）本発明によれば、眼鏡レンズを通して背景画像が見えると共に、薄く周囲の景色（例えば、室内の様子等）が映り込んでいるような眼鏡レンズ画像を作ることができ、透明な眼鏡レンズの質感を表現した眼鏡レンズ画像を得ることが可能となる。
【００３０】
（２）本発明によれば、映り込んでいる周囲の景色には、眼鏡レンズのコーティング色が反映されており、さらに、眼鏡レンズの度数及び透過色に従って眼鏡レンズを通して見える背景が拡大縮小及び着色されるので、極めてリアリスティックな眼鏡レンズ画像を生成することが可能となる。
その結果として、よりリアリスティックな眼鏡を装着した顔画像を表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の眼鏡レンズ画像生成方法の処理手順を示すフローチャートである。
【図２】本実施の形態１の眼鏡レンズ画像生成方法を説明するための図である。
【図３】本実施の形態１において、映り込み画像の各画素の明るさに応じて、映り込み画像の明るさを補正する一手法を説明するためのグラフである。
【図４】本発明の実施の形態２の眼鏡レンズ画像生成方法において使用される映り込み画素位置表の作成手順を示すフローチャートである。
【図５】本実施の形態２の眼鏡レンズ画像生成方法において使用される映り込み画素位置表の一例を示す図である。
【図６】本発明の実施の形態２の眼鏡レンズ画像生成方法の処理手順を示すフローチャートである。
【図７】本発明の実施の形態３の眼鏡レンズ画像生成装置の概略構成を示すブロック図である。
【符号の説明】
２０１…レンズ、２０２…背景画像、２０３…拡大縮小後の背景画像、２０４…映り込み画像、２０５…描画結果画像、２０６…レンズ玉型、２０７…描画画素、２０８…背景色、２０９…視線方向、２１０…法線方向、２１１…正反射方向、２１２…映り込み色、２１３…仮想視点、６０１…レンズデータ格納部、６０２…背景画像メモリ、６０３…画像拡大縮小部、６０４…映り込み画像メモリ、６０５…描画結果画像メモリ、６０６…レンズ画像生成処理部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a spectacle lens image generating method and apparatus for artificially generating an image of a spectacle lens by a computer or the like, and in particular, artificially generates a realistic image of a lens portion of spectacles when the spectacles are viewed from the front. It relates to a method and an apparatus for generating.
[0002]
[Prior art]
At a spectacles store, using a computer or the like, the spectacle purchaser presents what it looks like when wearing spectacles by superimposing the spectacles on the face image of the spectacle purchaser, and purchasing the spectacles. There is known a spectacle wearing simulation system that assists a user in selecting spectacles and changing a design.
As a method of generating a spectacle lens image in such a system, there is a method of photographing real spectacles in advance and superimposing the image.
However, in this method, only an image of eyeglasses captured in advance can be displayed. Therefore, for example, a system that can change the outer shape of a lens portion of the eyeglasses (hereinafter, referred to as a lens shape) according to the taste of eyeglass purchasers is realized. Can not.
Therefore, a method of artificially generating an image of a lens portion from information such as a target lens shape is used.
For example, a method of drawing a lens image by lowering the luminance of a background portion seen through the lens or adding a color based on the transmittance or the color of the lens has been used.
[0003]
[Problems to be solved by the invention]
However, the conventional method of drawing a lens image, which simply changes the luminance and color of the background portion seen through the lens, has a dissatisfaction that the image is inevitably a planar image and the texture of the lens cannot be expressed.
The present invention has been made in order to solve the problems of the prior art, and an object of the present invention is to display a spectacle lens image expressing the texture of a lens in a spectacle lens image generating method and apparatus. It is to provide a technology that becomes possible.
[0004]
The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
[0005]
[Means for Solving the Problems]
The following is a brief description of an outline of typical inventions disclosed in the present application.
[0006]
That is, according to the present invention, a reflection image such as a real image in a room reflected on a lens and a background image visible through a lens such as a frontal face image of a person are input, and each drawing point on a spectacle lens is drawn. At the point, it is determined which pixel of the background image is visible through the spectacle lens, and which pixel of the reflected image is reflected at the drawing point based on the shape information of the spectacle lens. A spectacle lens image is obtained by adding the color of the pixel in the visible background image and the color of the pixel in the reflected image reflected on the spectacle lens at a predetermined ratio to the color of the pixel at the drawing point. It is characterized by drawing.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0008]
In all the drawings for describing the embodiments, components having the same function are denoted by the same reference numerals, and a repeated description thereof will be omitted.
[0009]
[Embodiment 1]
FIG. 1 is a flowchart illustrating a processing procedure of the eyeglass lens image generation method according to the first embodiment of the present invention.
FIG. 2 is a diagram for explaining the eyeglass lens image generation method according to the first embodiment.
There are several factors that make us feel the texture of a transparent spectacle lens, but one of the major factors is the reflection of the scene due to slight reflection on the lens surface.
In other words, roughly the spherical front of the lens, the back of the lens, or the front and back of the lens, the lighting and bright windows in the room are distorted and reflected, and the background seen through the lens appears to overlap, so there is You can feel the existence of a curved transparent object.
In the eyeglass lens image drawing method of the present invention, the texture of the lens is expressed by simulating the appearance of the surrounding scene being reflected thinly on the surface of the lens.
[0010]
The eyeglass lens image generating method according to the present embodiment will be described below with reference to FIGS.
[0011]
First, data relating to a spectacle lens (hereinafter simply referred to as a lens) 201 required for drawing a spectacle lens image is input (step 101).
The data on the lens 201 includes the lens shape, the lens curvature, the lens power, the lens transmission color, the lens transmittance, and the lens coating (a thin film applied to the lens surface to increase the lens transmittance). Are the color of the reflected light, the shape information as the reflectance of the lens, and the optical information.
It should be noted that the data relating to the lens 201 may be accurate values based on the actual lens obtained from the lens design drawings and measurement results, or may be realistic values not based on the actual lens. It may be an appropriate value such that a drawing result image of the lens can be obtained.
[0012]
Next, background image data (hereinafter, referred to as a background image) 202 that can be seen through the lens 201 is input (step 102), and image data obtained by scaling the background image 202 based on the power of the lens (hereinafter referred to as “scaled Is created (step 103).
That is, if the power of the myopic lens is used, the background image 202 is reduced at an appropriate reduction ratio, and if the power of the hyperopic lens is used, the background image is enlarged at an enlargement ratio. Expresses that the background seen through the hyperopic lens looks large.
[0013]
Next, reflection image data (hereinafter, referred to as reflection image) 204 is input (step 104).
The reflection image 204 is, for example, a normal indoor image in which a bright window or a light is reflected in the image, and the window or the light is reflected by the curved surface of the front surface of the lens.
Next, a drawing result image memory for storing the drawing result image data (hereinafter, referred to as a drawing result image) 205 is prepared (step 105), and the lens target 206 is placed at a designated position in the drawing result image memory (step 105). Step 106), the following processing is repeated to calculate the color of each pixel in the lens target 206 (step 107).
[0014]
First, the color (background color) of the pixel in the background image 202 viewed through the lens 201 is obtained by extracting the pixel color 208 in the scaled background image 203 at the same position as the drawing pixel 207 (step 108). .
Next, the line-of-sight direction 209 at the center (drawing point) of the drawing pixel 207 is determined (step 109).
The line-of-sight direction refers to the direction from the eye position (viewpoint) when viewing the lens 201 to the point of gaze, that is, the drawing point on the lens 201.
When creating an image in which the spectacles are viewed from the front, there is no practical problem even if the direction of the optical axis of the lens 201 is regarded as the viewing direction.
[0015]
Next, the normal direction 210 at the drawing point is determined based on the curvature of the front surface of the lens (step 110).
When the front surface of the lens is spherical, the direction from the center of the sphere forming the spherical surface to the drawing point on the front surface of the lens is the normal direction.
Next, a specular reflection direction 211 of the line of sight at the drawing point is obtained from the line of sight 209 and the normal direction 210 (step 111).
The regular reflection direction 211 is a reflection direction when a light ray enters the drawing point at an angle of the line-of-sight direction 209 and is reflected at the drawing point, and is a line symmetry of the line-of-sight direction vector with the normal as the target axis. Obtained by finding a vector.
[0016]
Next, as shown in FIG. 2, assuming that the reflection image 204 is arranged in parallel to the lens 201, the reflection image 204 positioned on an extension of the specular reflection direction 211 with the drawing point of the lens 201 as a starting point. The position of the middle pixel is obtained, and the color (reflection color) 212 of the pixel is obtained (step 112).
Finally, the color of the drawing pixel 207 is determined using the background color 208 obtained in step 108 and the reflection color 212 obtained in step 112, and is stored in the drawing result image memory (step 113).
As a specific calculation method of the drawing pixel 207, for example, there is a method as shown in the following equation (1).
[0017]
(Equation 1)

[0018]
In the above equation (1), the colors are represented by three primary colors (R: red, G: green, B: blue), the color of the drawing pixel 207 is (R, G, B), and the background color 208 is (Rb , Gb, Bb), the reflection color 212 is (Rr, Gr, Br), the transmission color of the lens 201 is (Rt, Gt, Bt), the coating color of the lens 201 is (Rc, Gc, Bc). The transmittance of the lens 201 is represented by T1, and the reflectance is represented by T2.
That is, in the above equation (1), for each element of the three primary colors (RGB), the background color 208 is colored with the transmission color of the lens 201, multiplied by the transmittance (T1), and the reflection color 212 is used as the coating color. And a value obtained by multiplying the result by the reflectance (T2) to obtain a color of the drawing pixel 207.
In the reflection on the lens 201, the reflection of a very bright part such as a window or an electric light is clearly visible, and the reflection is often not visible in other dark parts.
In order to obtain such a drawing result, the color of the drawing pixel 207 may be calculated using a result obtained by converting each element of the reflection color (Rr, Gr, Br) by a function as shown in FIG.
That is, when the reflection color 212 has a somewhat small value (dark), it is converted to a value of almost 0 so that only a bright part can be reflected.
The above processing is repeated until the colors of all the pixels in the lens target 206 are calculated (step 114).
Thereby, a lens image is generated in the drawing result image memory.
[0019]
As described above, according to the eyeglass lens image generation of the present embodiment, a lens image is created in which the background image 202 is visible through the lens 201 and the surrounding scenery (for example, the state of the room) is reflected thinly. Thus, a lens image expressing the texture of a transparent lens can be obtained.
In this case, the reflected surrounding scenery reflects the coating color of the lens 201, and the background seen through the lens 201 is scaled and colored according to the power and transmission color of the lens 201. An extremely realistic spectacle lens image can be generated.
As a result, a face image wearing more realistic glasses can be displayed.
[0020]
[Embodiment 2]
In the eyeglass lens image generation method according to the second embodiment of the present invention, before drawing a lens image, first, pixels in the reflection image reflected at each drawing point in the lens shape of the lens (201 in FIG. 2) Is obtained in advance and stored in the reflection pixel position table.
FIG. 4 is a flowchart showing a procedure for creating a reflection pixel position table used in the eyeglass lens image generation method according to the second embodiment of the present invention.
Hereinafter, a procedure for creating a reflection pixel position table used in the eyeglass lens image generation method according to the present embodiment will be described with reference to FIG.
First, the maximum lens shape of the lens (a lens before cutting according to the lens shape, that is, a “round lens”) and the curvature of the front surface of the lens are input (step 401).
Next, the following processing is repeated for each pixel in the lens target (206 in FIG. 2) (step 402).
First, the line-of-sight direction (209 in FIG. 2) at the center (drawing point) of the drawing pixel (207 in FIG. 2) is determined (step 403).
Next, the normal direction (210 in FIG. 2) of the front surface of the lens at the drawing point is determined based on the curvature of the front surface of the lens (step 404).
Next, the specular direction (211 in FIG. 2) of the line of sight at the drawing point is determined from the line of sight and the direction of the normal (step 405).
Next, assuming that the reflection image (204 in FIG. 2) is arranged in parallel to the lens, the position of the pixel in the reflection image positioned on the extension line in the regular reflection direction with the drawing point of the lens as the starting point is determined. Then, it is stored in the reflection pixel position table (step 406).
The above-described processing is repeated until the processing is performed for all the pixels in the lens target (step 407).
[0021]
This reflection pixel position table is a two-dimensional table as shown in FIG.
Each column of the reflection pixel position table corresponds to each drawing pixel on the maximum lens shape. For example, if the position of the drawing pixel is (X, Y), the horizontal index in this table is X , A column whose vertical index is Y is a column corresponding to the drawing pixel.
Each column in the reflection pixel position table stores the position (x, y) of a pixel in the reflection image reflected on the pixel corresponding to that column.
That is, once this reflection pixel position table is created, from this table, for example, the pixels in the reflection image reflected on the pixel located at (Xn, Yn) in the lens shape are (xn, yn). ) Can be immediately identified.
[0022]
FIG. 6 is a flowchart illustrating a processing procedure of the eyeglass lens image generation method according to the second embodiment of the present invention.
Hereinafter, the eyeglass lens image generating method according to the present embodiment will be described with reference to FIG.
First, data relating to a lens necessary for drawing a lens is input (step 408).
Data on this lens include lens geometry, lens power, lens transmission color, lens transmission, lens coating (a thin film applied to the lens surface to increase lens transmission), lens reflection Rate.
Next, a reflection pixel position table calculated and stored in advance is read (step 409), and a background image seen through the lens is input (step 410).
Next, image data is created by enlarging or reducing the background image based on the lens power (step 411).
Next, a reflected image is input (step 412).
Next, a drawing result image memory for storing the drawing result image is prepared (step 413), and a lens target is placed at a designated position on the drawing result image memory (step 414). The color of each pixel in is calculated (step 415).
[0023]
First, the color of the pixel in the background image (background color) seen through the lens is obtained by extracting the color of the pixel in the background image after scaling which is located at the same position as the drawing pixel (207 in FIG. 2) (step 416). ).
Next, it is checked which pixel in the reflected image is reflected on the drawing point from the reflected pixel position table, and the color (212 in FIG. 2) of the pixel is obtained (step 417).
Finally, using the background color obtained in step 416 and the reflection color obtained in step 417, the color of the drawing pixel is obtained and stored in the drawing result image memory (step 418).
The above processing is repeated until the colors of all the pixels in the lens target are calculated (step 419).
[0024]
The processing for creating the reflection pixel position table (steps 401 to 407) is performed with the maximum lens shape of the lens 201.
The maximum lens shape is a lens shape before the lens 201 is cut according to the rim shape of the glasses.
Thus, a lens image of a lens 201 having an arbitrary lens shape smaller than the maximum lens shape can be generated at a high speed by the processing of Steps 408 to 419 in FIG.
As described above, in the present embodiment, the reflection pixel position table is created in advance, and the reflection pixel position table is calculated from the reflection pixel position table without calculating the position of the pixel in the reflection image for each drawing point. It is designed to check which pixel in the image is reflected on the drawing point and obtain the color of the pixel, thereby reducing the processing amount of the lens image generation processing.
[0025]
[Embodiment 3]
FIG. 7 is a block diagram illustrating a schematic configuration of a spectacle lens image generation device according to Embodiment 3 of the present invention.
In the figure, 601 is a lens data storage unit, 602 is a background image memory, 603 is an image enlargement / reduction unit, 604 is a reflection image memory, 605 is a drawing result image memory, and 606 is a lens image generation processing unit.
Here, the lens data storage unit 601 stores data relating to the lens 201 such as the input lens target, lens curvature, lens power, lens transmission color, lens coating color, and lens reflectance. .
The background image memory 602 stores an image such as a human face image that can be seen through the lens 201 of FIG.
The image enlargement / reduction unit 603 enlarges or reduces the background image based on the lens power in order to express an effect in which the background looks small with a near vision lens and the background looks large with a long vision lens.
The reflection image memory 604 stores a reflection image to be reflected on the lens.
The drawing result image memory 605 stores the drawn lens image.
The lens image generation processing unit 606 is a unit that generates a lens image of eyeglasses based on lens data, a background image, and a reflected image.
[0026]
Hereinafter, the operation of the eyeglass lens image generation device of the present embodiment will be described.
First, the lens data, the background image, and the reflection image are input to the lens data storage unit 601, the background image memory 602, and the reflection image memory 604, respectively.
Next, the background image is reduced or enlarged by the image enlargement / reduction unit 603 based on the lens power of the lens data.
Next, the lens image generation processing unit 606 generates a lens image using the lens data, the scaled background image, and the reflected image, stores the generated lens image in the drawing result image memory 605, and finally outputs as a spectacle lens image. I do.
Specific lens image generation processing in the lens image generation processing unit 606 is the same as the processing of steps 106 to 114 of the first embodiment, or steps 402 to 407 and steps 414 to 419 of the second embodiment. Therefore, the detailed description of the operation is omitted here.
[0027]
In the above embodiments, the case where the surrounding scenery (for example, the state of the room) is reflected on the front surface of the lens and reflected in the background image has been described. However, the present invention is not limited to this. In some cases, the light is reflected on the back and reflected in the background image.
Even in such a case, it is needless to say that the eyeglass lens image generating method and apparatus of the present invention can generate a lens image in which the surrounding scene is reflected on the back surface of the lens and reflected in the background image.
As described above, the invention made by the inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and can be variously modified without departing from the gist of the invention. Needless to say,
[0028]
【The invention's effect】
The following is a brief description of an effect obtained by a representative one of the inventions disclosed in the present application.
[0029]
(1) According to the present invention, it is possible to create a spectacle lens image in which a background image can be seen through a spectacle lens and the surrounding scenery (for example, an indoor state) is reflected thinly, and a transparent spectacle lens can be formed. It is possible to obtain a spectacle lens image expressing the texture of the image.
[0030]
(2) According to the present invention, the surrounding scenery reflected reflects the coating color of the spectacle lens, and the background seen through the spectacle lens is scaled and colored according to the power and transmission color of the spectacle lens. Therefore, an extremely realistic spectacle lens image can be generated.
As a result, it becomes possible to display a face image wearing more realistic glasses.
[Brief description of the drawings]
FIG. 1 is a flowchart illustrating a processing procedure of an eyeglass lens image generation method according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining a spectacle lens image generation method according to the first embodiment.
FIG. 3 is a graph for explaining one method of correcting the brightness of the reflected image according to the brightness of each pixel of the reflected image in the first embodiment.
FIG. 4 is a flowchart illustrating a procedure for creating a reflection pixel position table used in the eyeglass lens image generation method according to the second embodiment of the present invention.
FIG. 5 is a diagram showing an example of a reflection pixel position table used in the eyeglass lens image generation method according to the second embodiment.
FIG. 6 is a flowchart illustrating a processing procedure of an eyeglass lens image generation method according to the second embodiment of the present invention.
FIG. 7 is a block diagram illustrating a schematic configuration of a spectacle lens image generation device according to a third embodiment of the present invention.
[Explanation of symbols]
Reference numeral 201: lens, 202: background image, 203: background image after scaling, 204: reflection image, 205: drawing result image, 206: lens shape, 207: drawing pixel, 208: background color, 209: line of sight , 210: normal direction, 211: specular reflection direction, 212: reflected color, 213: virtual viewpoint, 601: lens data storage unit, 602: background image memory, 603: image enlargement / reduction unit, 604: reflected image memory 605: drawing result image memory; 606: lens image generation processing unit.

Claims

In a spectacle lens image generating method for artificially generating a spectacle lens image from shape information and optical information of a spectacle lens,
A first step of preparing a first image located behind the spectacle lens and a second image located ahead of the spectacle lens;
A second step of extracting a color of a pixel in the first image located at the same position as a drawing point for generating a spectacle lens image in the spectacle lens lens;
A third step of determining a line-of-sight direction from a virtual viewpoint for generating an eyeglass lens image to a drawing point in the lens shape of the eyeglass lens;
A fourth step of obtaining a specular reflection direction on at least one of the front and back surfaces of the spectacle lens with respect to the line of sight obtained in the third step based on the shape information of the spectacle lens;
A fifth step of extracting a color of a pixel in the second image located at a position that intersects with the extension line in the regular reflection direction obtained in the fourth step;
Based on the color of the pixel in the first image extracted in the second step, the color of the pixel in the second image extracted in the fifth step, and optical information of a spectacle lens, A sixth step of determining the color of the pixel of the spectacle lens image at the drawing point in the lens shape of the spectacle lens;
A seventh step of repeating the second to sixth steps for all drawing points in the target lens shape of the spectacle lens.

In a spectacle lens image generating method for artificially generating a spectacle lens image from shape information and optical information of a spectacle lens,
A first step of preparing a first image located behind the spectacle lens,
A second step of extracting a color of a pixel in the first image located at the same position as a drawing point for generating a spectacle lens image in the spectacle lens lens;
Based on the shape information of the spectacle lens, from the reflection pixel position table storing the positions of the pixels in the second image reflected on each drawing point in the lens shape of the spectacle lens created in advance, the eyeglass lens A third step of determining the position of a pixel in the second image located in front of the spectacle lens, which is reflected on a drawing point in the target lens shape, and extracting the color of the pixel;
Based on the color of the pixel in the first image extracted in the second step, the color of the pixel in the second image extracted in the third step, and the optical information of the eyeglass lens, A fourth step of determining a color of a pixel at a drawing point in a lens shape of the spectacle lens of the lens image;
A fifth step of repeating the second to fourth steps for all drawing points in the lens shape of the spectacle lens.

The reflection pixel position table is a first step of preparing a second image located in front of the spectacle lens;
A second step of obtaining a line-of-sight direction from a virtual viewpoint for generating an eyeglass lens image to a drawing point in the lens shape of the eyeglass lens;
A third step of obtaining a specular reflection direction on at least one of the front and back surfaces of the spectacle lens with respect to the line of sight obtained in the second step, based on the shape information of the spectacle lens;
A fourth step of obtaining and storing the position of a pixel in the second image that intersects with the extension line in the specular reflection direction obtained in the third step;
The eyeglass lens image generation method according to claim 2, wherein the eyeglass lens image generation method according to claim 2, wherein all of the drawing points in the lens shape of the eyeglass lens are created by a fifth step of repeating the second to fourth steps.

4. The prepared first image according to claim 1, wherein the image located behind the spectacle lens is an image enlarged or reduced based on optical information of the spectacle lens. 2. The eyeglass lens image generation method according to claim 1.

In a spectacle lens image generating apparatus that artificially generates a spectacle lens image from the shape information and optical information of the spectacle lens,
First means for inputting and storing the shape information and optical information of the spectacle lens,
Second means for inputting and storing a first image seen behind the spectacle lens;
Third means for inputting and storing a second image seen in front of the spectacle lens;
Fourth means for generating an eyeglass lens image;
Fifth means for storing and outputting the generation result of the spectacle lens image,
The fourth means may include, for all drawing points in the lens shape of the spectacle lens, a pixel in the first image at the same position as a drawing point for generating a spectacle lens image in the lens shape of the spectacle lens. Processing 1 for extracting colors;
Processing 2 for determining a line-of-sight direction from a virtual viewpoint for generating an eyeglass lens image to a drawing point in the lens shape of the eyeglass lens;
A process 3 for obtaining a specular reflection direction on at least one of the front surface and the back surface of the spectacle lens with respect to the viewing direction obtained in the process 2, based on the shape information of the spectacle lens;
A process 4 for extracting a color of a pixel in the second image located at a position intersecting with the extension line in the regular reflection direction obtained in the process 3;
The ball of the spectacle lens based on the color of the pixel in the first image extracted in the process 1, the color of the pixel in the second image extracted in the process 4, and the optical information of the spectacle lens. A spectacle lens image generating apparatus , which performs processing 5 for determining a color of a pixel of the spectacle lens image at a drawing point in the mold .

In a spectacle lens image generating apparatus that artificially generates a spectacle lens image from the shape information and optical information of the spectacle lens,
First means for inputting and storing the shape information and optical information of the spectacle lens,
Second means for inputting and storing a first image seen behind the spectacle lens;
Third means for inputting and storing a second image seen in front of the spectacle lens;
Fourth means for generating an eyeglass lens image;
Fifth means for storing and outputting the generation result of the spectacle lens image,
Said fourth means, for all of the drawing points in the target lens shape of the spectacle lens, the pixels in the first image at the same position as the drawing point of generating spectacle lens image in the target lens shape of the spectacle lens Processing 1 for extracting colors;
Based on the shape information of the spectacle lens, from the reflection pixel position table storing the positions of the pixels in the second image reflected on each drawing point in the lens shape of the spectacle lens created in advance, the eyeglass lens Processing 2 for determining the position of the pixel in the second image reflected on the drawing point in the target lens shape and extracting the color of the pixel;
Based on the color of the pixel in the first image extracted in the processing 1, the color of the pixel in the second image extracted in the processing 2, and the optical information of the spectacle lens, A spectacle lens image generating apparatus , which performs processing 3 for determining a color of a pixel at a drawing point in a lens shape of the spectacle lens.

A sixth means for creating the reflection pixel position table;
The sixth means is a process for obtaining a line-of-sight direction from a virtual viewpoint for generating a spectacle lens image to a drawing point within the lens shape of the spectacle lens, for all drawing points within the lens shape of the spectacle lens. When,
Based on the shape information of the spectacle lens, a processing 12 for obtaining a specular reflection direction on at least one surface of the front or back of the spectacle lens with respect to the viewing direction obtained in the processing 1,
A process 13 is performed in which a position of a pixel in the second image which intersects with the extension line in the specular reflection direction obtained in the process 12 is obtained and stored, and the reflection pixel position table is created. An eyeglass lens image generating apparatus according to claim 6 .

Wherein the means for scaling based on the frequency of the first image spectacle lenses, further 5 to claim, characterized by comprising the spectacle lens image generating apparatus according to any one of claims 7.