JP6052399B2 - 画像処理プログラム、画像処理方法及び情報端末 - Google Patents

Description

本発明は、画像処理プログラム、画像処理方法及び情報端末に関する。

情報セキュリティに対する意識の高まりに伴って、スマートフォンを始め、スレート端末やタブレット端末等の個人用の情報端末においても、ロック解除やログイン等の認証に生体認証が導入されつつある。

このように、情報端末で生体を撮影する場合には、被写体である生体部位の位置または姿勢が適切でない場合に、認証に用いる生体情報を正しく抽出できなかったり、抽出した特徴量が登録時の特徴量とマッチしなかったりといった不都合が発生する場合がある。このような場合、認証時間が長くなるだけでなく、認証の精度が低下してしまう。

この問題に対応する技術の一例としては、生体部位の位置合わせや誘導のための動作指示を、センサによって取得された生体画像に重畳して表示するものがある。

特表２０１０−５４１０４６号公報 特開２００７−０５２５３４号公報 特開２００９−１５７９０８号公報 特開２００４−２５８７１４号公報 特開２００８−０７１０３０号公報

しかしながら、上記の技術は、以下に説明するように、認証精度の向上に限界がある。

例えば、スマートフォン、スレート端末やタブレット端末等の個人用の情報端末の中には、生体を撮像するセンサが裏面、すなわち画面の背面に配置されるものもある。このような情報端末で生体が撮影される場合、利用者はセンサの位置を直接目視することはできないので、生体部位を適切な場所に配置することがいっそう困難になる。ところが、上記の技術は、いずれも利用者から直接目視できる位置にセンサが設置されることを前提に、生体部位の位置合わせや誘導のための動作指示を行うものに過ぎず、かかる位置合わせや誘導はセンサが裏面にある場合には通用しない。したがって、上記の技術では、認証に用いる生体情報を正しく抽出できなかったり、抽出した特徴量が登録時の特徴量とマッチしなかったりといった不都合を依然として解消できず、認証精度が低下してしまう場合がある。

１つの側面では、発明は、認証精度を向上させる画像処理プログラム、画像処理方法及び情報端末を提供することを目的とする。

一態様の画像処理プログラムは、画面と、該画面が配置された面の裏面に設けられた第一のセンサと、第二のセンサとを備えた情報端末に、前記第一のセンサによって撮像された第一の被写体の画像を前記画面に表示させる際に、該画像の拡縮度合い及び表示位置を、前記情報端末に設けられた第二のセンサによって撮像された第二の被写体の位置に応じて変更する処理を実行させる。

認証精度を向上させることができる。

図１は、実施例１に係る情報端末の機能的構成を示すブロック図である。 図２は、手のひら画像の表示領域の決定方法の一例を示す図である。 図３は、手のひら画像の表示領域の決定方法の一例を示す図である。 図４は、タッチパネルに表示される手のひら画像の一例を示す図である。 図５は、タッチパネルに表示される手のひら画像の一例を示す図である。 図６は、タッチパネルに表示される手のひら画像の一例を示す図である。 図７は、実施例１に係る認証処理の手順を示すフローチャートである。 図８は、実施例２に係る情報端末の機能的構成を示すブロック図である。 図９は、実施例２に係る認証処理の手順を示すフローチャートである。 図１０は、実施例３に係る情報端末の機能的構成を示すブロック図である。 図１１は、実施例３に係る認証処理の手順を示すフローチャートである。 図１２は、実施例１〜実施例３に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に添付図面を参照して本願に係る画像処理プログラム、画像処理方法及び情報端末について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［情報端末の構成］
まず、本実施例に係る情報端末の機能的構成について説明する。図１は、実施例１に係る情報端末の機能的構成を示すブロック図である。図１に示す情報端末１０は、情報処理を実行する端末装置である。図１の例では、情報端末１０の画面、すなわちスクリーンのロック解除やログインの認証に手のひら静脈認証が適用される場合を想定して以下の説明を行う。

ここで、上記の情報端末１０は、画面の背面に設けられた静脈センサ１３で手のひらを撮像させる場合に、静脈センサ１３によって撮像される画像を手のひらの位置合わせの照準として画面に表示させる。かかる位置合わせの一環として、情報端末１０は、画面側に設けられたカメラ１２によって撮像される画像に映る顔の器官の位置、例えば目の位置によって画面に表示させる画像の位置および大きさを変更する画像処理を実行する。なお、上記の手のひらは、第一の被写体の一態様に含まれる。また、上記の顔は、第二の被写体に含まれる。

一態様としては、情報端末１０は、パッケージソフトウェアやオンラインソフトウェアとして提供される画像処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、移動体通信網に接続しないＰＤＡ（Personal Digital Assistants）などを含むタブレット端末やスレート端末に上記の画像処理プログラムをインストールさせる。これによって、タブレット端末やスレート端末を情報端末１０として機能させることができる。なお、ここでは、情報端末１０の実装例としてタブレット端末やスレート端末を例示したが、パーソナルコンピュータを始めとする固定端末に画像処理プログラムをインストールさせることとしてもかまわない。

図１に示すように、情報端末１０は、タッチパネル１１と、カメラ１２と、静脈センサ１３と、距離センサ１４と、適正配置記憶部１５と、視点検出部１６と、表示制御部１７と、認証部１８とを有する。なお、情報端末１０は、図１に示した機能部以外にも既知のタブレット端末やスレート端末が有する各種の機能部を有することとしてもかまわない。例えば、情報端末１０が移動体通信端末として実装される場合には、アンテナ、移動体通信網を介して通信を行う無線通信部、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。

タッチパネル１１は、表示可能かつ入力可能なデバイスである。一態様としては、タッチパネル１１は、情報端末１０上で実行される画像処理プログラムを始め、ＯＳ（Operating System）やアプリケーションプログラムによって出力される画像を表示する。他の一態様としては、タッチパネル１１は、画面のスクリーン上でなされるタップ、フリック、スイープ、ピンチインやピンチアウトなどのタッチ操作を受け付ける。

カメラ１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを搭載する撮像デバイスである。例えば、カメラ１２には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１２の実装例としては、タブレット端末やスレート端末のスクリーンと同一の面側に設けられるインカメラを流用できる。なお、ここでは、情報端末１０がカメラ１２を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも情報端末１０がカメラ１２を有さずともかまわない。

例えば、カメラ１２は、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされたことを契機に、撮像を開始する。このとき、情報端末１０のスクリーン側に設けられたカメラ１２の撮像範囲には、スクリーンの表示を閲覧する情報端末１０の使用者の顔を始め、首や衣服などが含まれる。この結果、カメラ１２によって撮像される画像にも、情報端末１０の使用者の顔を始め、首や衣服などが含まれることになる。以下では、カメラ１２によって撮像される画像のことを「顔画像」と記載する場合がある。

静脈センサ１３は、手のひらの内部に存在する静脈の血管パターンを撮像するセンサである。一態様としては、静脈センサ１３は、近赤外光を照射する照明と、近赤外光を捉えることができるイメージセンサを含む撮像デバイスとを含んで構成される。このうち、撮像デバイスには、一例として、タブレット端末やスレート端末のスクリーンの背面に設けられるアウトカメラを流用できる。

ここで、静脈センサ１３は、情報端末１０の端部の近傍に設けられる。例えば、情報端末１０が矩形状の筐体である場合には、スクリーンが設置された面とは反対側の面、すなわち背面であって筐体の四隅のうちいずれかの隅の近傍に設けられる。このため、手のひらが静脈センサ１３の撮像範囲の中央に適切な大きさで配置された場合には、スクリーンの表示を見ながらその背面の静脈センサ１３に手のひらをかざす情報端末１０の使用者からスクリーン越しに自身の指先の一部がはみ出して見える場合がある。

上記の静脈センサ１３は、例えば、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされたことを契機に、撮像を開始する。すなわち、静脈センサ１３は、照明から近赤外光を照射する。これによって、静脈センサ１３は、照明からの赤外光の照射に連動して起動された撮像デバイスに手のひらの表面や内部から反射して戻ってきた近赤外光の反射光を結像させる。この結果、撮像デバイスに結像された反射光が光電変換されることによって撮像デバイスの撮像範囲内の被写体が映った画像が出力されることになる。このとき、撮像範囲に手のひらが含まれていた場合には、静脈中のヘモグロビンが近赤外線を吸収することによって静脈の血管パターンが強調された画像を得ることができる。なお、以下では、静脈センサ１３によって撮影された画像のことを「手のひら画像」と記載する場合がある。また、ここでは、静脈を含む認証部位を手のひらとする場合を想定するが、認証部位を手の甲とすることもできる。

このように、本実施例に係るカメラ１２及び静脈センサ１３は、スクリーンのロック解除やログインの認証を実行する場合には、２つの撮像デバイスの両方を起動し、２つの撮像デバイスの各々で画像が撮像される。この場合には、カメラ１２及び静脈センサ１３の間で同期して画像が撮像される。例えば、静脈センサ１３によって撮像される手のひら画像のフレームと、カメラ１２によって撮像される顔画像のフレームとの両者がフレーム番号等を用いて対応付けられる。かかる対応付けによって、フレーム番号が同一である画像の各々が同一の時点で撮像された画像として以降の処理に用いることができる。これら顔画像および手のひら画像の撮像は、一般の情報端末で撮影モードの切り換えによって一方のカメラが起動し、他方のカメラが停止された状態で１つのカメラを排他的に用いる一般の使用方法とは一線を画する。

なお、ここでは、手のひら画像の撮影を開始するトリガーとして、ロック解除やログイン認証などのタップ操作を例示したが、トリガーは本例に限定されない。例えば、図示しないボタンなどの物理キーに対する操作で開始することとしてもよい。また、特段のトリガーなしにカメラ１２及び静脈センサ１３を起動させておき、いずれかの撮像デバイスで撮像された画像から特定のジェスチャ、例えばウィンクやピースサインが検出された場合に、手のひらの位置合わせを開始してもよい。

距離センサ１４は、２点間の距離を測定するセンサである。一態様としては、距離センサ１４は、後述の視点検出部１６から指示された方向、すなわち顔画像上で視点が検出された位置に対応する方向に向けて赤外線、電波や超音波等の波動を送り出す。その上で、距離センサ１４は、被写体で反射した波動を受け取り、送り出した波動と受け取った波動の時間差または位相差等を算出することによって距離センサ１４および視点の間の距離を測定する。

適正配置記憶部１５は、静脈センサ１３に対する生体の適正配置を記憶する記憶部である。ここで言う「適正配置」とは、情報端末１０の使用時に使用者がとる標準的な姿勢で手のひらを静脈センサにかざした時に手の一部がスクリーン越しに露出して見える配置を指す。例えば、情報端末１０の使用者が一方の手で情報端末１０を保持し、スクリーンの表示を閲覧しながら他方の手の指をのばした姿勢で手のひらを静脈センサ１３にかざした時に親指、人差し指、中指や薬指の指先がスクリーン越しに露出して見える配置が挙げられる。

このような配置を適正配置に採用するのは、情報端末１０の角部の近傍に設置された静脈センサ１３の撮像範囲の中央に手のひらを配置させることに加え、次のような目的がある。すなわち、情報端末１０を持つ方の手とは逆の手の手のひらを撮影する場合に指先を露出させることによって情報端末１０の使用者が静脈センサ１３と手のひらの距離がどの程度離れているかを把握しやすくするためである。

これら静脈センサ１３及び手のひらの間で適正とされる距離は、静脈センサ１３の装備の性能、例えばイメージセンサが持つ解像度の他、レンズの枚数や種類によって定まる。なお、ここでは、手のひら静脈認証が実行される場合に撮影される場合だけでなく、情報端末１０の所有者本人の手のひら画像が予め登録される場合にも、適正配置と同様の環境で撮影された手のひら画像が登録されることとする。なお、以下では、静脈センサ１３によって撮像される手のひら画像と照合するために、予め登録された手のひら画像のことを「登録手のひら画像」と記載する場合がある。

一態様としては、適正配置記憶部１５は、静脈センサ１３に向けてかざされる手のひらの面がモデル化された矩形を特定可能な特定情報、例えば矩形を形成する頂点の３次元座標または矩形の重心の３次元座標と矩形の高さ及び幅などを記憶する。ここで言う座標には、一例として、情報端末１０に対する相対座標が採用される。なお、ここでは、静脈センサ１３に対する手のひらの配置が矩形にモデル化された場合を例示したが、モデル化には任意の形状、例えば楕円、円や多角形などを採用することができる。

視点検出部１６は、情報端末１０の使用者の視点の位置を検出する処理部である。一態様としては、視点検出部１６は、カメラ１２によって撮像された顔画像に対し、肌色検出やテンプレートマッチング等の画像処理を実行する。例えば、視点検出部１６は、顔画像から肌色検出を実行することによって顔画像内に含まれる顔の部分を抽出する。その上で、視点検出部１６は、肌色検出によって抽出された顔の領域にテンプレートマッチングを実行することによって顔の部分の画像から顔の器官、例えば目、鼻、口や耳の形状や大きさなどの幾何学的な特徴を抽出する。これによって、顔画像上の右目、左目または両目の位置が特定されることになる。

このようにして顔画像上の目の位置を特定した後に、視点検出部１６は、距離センサ１４に顔画像上の目の位置に対応する方向へ波動を送り出させることによって距離センサ１４および情報端末１０の使用者の目の間の距離を距離センサ１４に測定させる。このとき、距離センサ１４に波動を送り出させる方向は、顔画像上の右目の中心に対応する方向であってもよいし、左目の中心に対応する方向であってもよいし、両目の中間点に対応する方向であってもかまわない。その後、視点検出部１６は、距離センサ１４によって測定させた情報端末１０の使用者の目までの距離と、先に検出された顔画像上の目の位置、および距離センサ１４の座標とから情報端末１０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を算出する。

表示制御部１７は、タッチパネル１１に対する表示制御を実行する処理部である。一態様としては、表示制御部１７は、視点検出部１６によって検出された視点の位置と、適正配置記憶部１５に記憶された手のひらの適正配置とから、静脈センサ１３によって撮像された手のひら画像をタッチパネル１１に表示させる大きさ及び位置を決定する。

図２及び図３は、手のひら画像の表示領域の決定方法の一例を示す図である。図２には、情報端末１０のスクリーンを側面からみた場合の側面図が図示されており、図３には、情報端末１０のスクリーンを斜めからみた場合の斜視図が図示されている。なお、図３には、カメラ１２及び静脈センサ１３の図示が省略されている。

図２に示すように、視点２００と矩形状の適正配置２１０に含まれる各頂点との間が線分で結ばれるとしたとき、タッチパネル１１のスクリーンに投影される表示領域２２０の位置および大きさが表示位置および表示サイズとして決定される。例えば、表示領域２２０は、図３に示すように、上記の線分の各交点２２０Ａ〜２２０Ｄの４点によってタッチパネル１１に表示される位置および大きさが規定される。

このうち、交点２２０Ａは、視点２００と頂点２１０Ａを結ぶ線分がタッチパネル１１のスクリーンと交わる点を指し、交点２２０Ｂは、視点２００と頂点２１０Ｂを結ぶ線分がタッチパネル１１のスクリーンと交わる点を指す。また、交点２２０Ｃは、視点２００と頂点２１０Ｃを結ぶ線分がタッチパネル１１のスクリーンと交わる点を指し、交点２２０Ｄは、視点２００と頂点２１０Ｄを結ぶ線分がタッチパネル１１のスクリーンと交わる点を指す。

このように、表示制御部１７は、視点検出部１６によって検出された視点と、適正配置記憶部１５に記憶された適正配置に含まれる頂点とを結ぶ直線ごとに、当該直線がタッチパネル１１のスクリーンと交わる交点の座標を算出することによって手のひら画像の表示領域２２０を決定する。かかる表示領域２２０は、４つの交点２２０Ａ〜２２０Ｄの配置によって領域の位置および大きさが定まる。例えば、視点２００がスクリーンから近いほど表示領域２２０のサイズは小さくなり、視点がスクリーンから離れるほど表示領域２２０は適正配置２１０の大きさへ近づく。

その上で、表示制御部１７は、先に決定した表示位置および表示サイズにしたがって静脈センサ１３によって撮像された手のひら画像をタッチパネル１１に表示させる。例えば、図２及び図３の例で言えば、静脈センサ１３によって撮像された手のひら画像が交点２２０Ａ〜交点２２０Ｄを含む表示領域２２０に表示される。

図４〜図６は、タッチパネル１１に表示される手のひら画像の一例を示す図である。このうち、図４には、適正配置２１０と重なる位置に手のひらがかざされている態様が図示されている。このように、適正配置２１０と重なる位置に手のひらがかざされている場合には、タッチパネル１１に表示される手のひら画像の指の端部と、スクリーン越しに露出する指先の実物とが違和感なく接続されて見える。かかる手のひら画像の表示によって、情報端末１０の使用者は、手のひらが適正な位置に提示されている状況を確認できる結果、手のひら静脈の認証が終了するまで手のひらを現在の提示位置に留めることができる。

また、図５には、適正配置２１０よりもスクリーンに近い位置に手のひらがかざされている態様が図示されている。このように、適正配置２１０よりもスクリーンに近い位置に手のひらがかざされている場合には、スクリーン越しに露出する指先の実物のスケールに比べて、タッチパネル１１に表示される手のひら画像の指を始め、手のひらのスケールが大きく表示される。すなわち、情報端末１０の使用者の視点から指先までの距離に比べて静脈センサ１３から指先までの距離が短いことから、静脈センサ１３に広角レンズが設けられるケースが多いことに起因する。このため、スクリーン越しに指先を見る使用者からはわかりづらい程に手のひらが適正配置２１０よりもスクリーンに近づいた場合でも、スクリーン越しに見える指先の実物のスケールよりも大きいスケールで手のひらや指先が映った手のひら画像を表示できる。かかる手のひら画像の表示によって、情報端末１０の使用者は、手のひらが適正な位置よりも近づけて提示している状況を確認できる結果、現在の提示位置よりも情報端末１０の筐体から離して提示するのがよいと判断できる。

また、図６には、適正配置２１０よりもスクリーンから離れた位置に手のひらがかざされている態様が図示されている。このように、適正配置２１０よりもスクリーンから離れた位置に手のひらがかざされている場合には、スクリーン越しに露出する指先の実物のスケールに比べて、タッチパネル１１に表示される手のひら画像の指を始め、手のひらのスケールが小さく表示される。このため、スクリーン越しに指先を見る使用者からはわかりづらい程に手のひらが適正配置２１０よりもスクリーンから離れて提示された場合でも、スクリーン越しに見える指先の実物のスケールよりも小さいスケールで手のひらや指先が映った手のひら画像を表示できる。かかる手のひら画像の表示によって、情報端末１０の使用者は、手のひらが適正な位置よりも離れて提示している状況を確認できる結果、現在の提示位置よりも情報端末１０の筐体に近づけて提示するのがよいと判断できる。

さらに、図４〜図６の例では、情報端末１０の使用者の視点の真正面に手のひら画像を表示するのとは異なり、情報端末１０の使用者の視点から適正配置に向けた方向に真正面からずらして手のひら画像を表示させる。このため、情報端末１０の使用者は、スクリーンの背面に設置されて視認することが困難である静脈センサ１３の視野を直感的に把握しながら手のひらを提示することもできる。また、図４〜図６に示すように、手のひらの内部にある血管のパターンを抽出する範囲の中心位置を手のひら画像に重畳して表示させることによって当該位置を照準として手のひらを位置合わせすることもできる。

図１の説明に戻り、認証部１８は、手のひら静脈認証を実行する処理部である。一態様としては、認証部１８は、静脈センサ１３によって撮像された手のひら画像から静脈の血管パターンに関する特徴量を抽出する。例えば、認証部１８は、手のひら画像から血管部分を取り出した上で細線化し、血管における分岐点の座標、分岐点間の長さ、分岐点の分岐角度などの特徴量を静脈データとして抽出する。その上で、認証部１８は、手のひら画像から抽出された静脈データと、予め登録された情報端末１０の所有者本人等の静脈データとの間で照合スコアを算出する。このとき、情報端末１０の使用を許可する人物の静脈データを複数登録しておくことによって１対１認証のみならず、１対Ｎ認証を実行することもできる。そして、認証部１８は、先に算出した照合スコアのうち最大の照合スコアが所定の閾値以上である場合に、手のひら静脈認証が成功したと判定する。また、認証部１８は、最大の照合スコアが所定の未満以上である場合に、手のひら静脈認証に失敗したと判定する。このようにして認証部１８によって手のひら静脈認証が実行された認証結果は、ロック解除やログイン認証を実行するＯＳやアプリケーションプログラムへ出力される。なお、認証部１８は、マニューシャ方式、パターンマッチング方式や周波数解析法などの任意の照合方式を採用できる。

ここで、認証部１８は、静脈センサ１３によって手のひら画像が撮像されたからといって直ちに手のひら静脈認証を実行するとは限らない。すなわち、認証部１８は、静脈センサ１３によって手のひら画像が撮像される度に、当該手のひら画像に映る手のひらが適正な位置に配置されているかを判定する。例えば、認証部１８は、静脈センサ１３によって撮像された手のひら画像に映る指の太さと、予め登録された静脈データの指の太さとの差が所定の閾値以内である場合に、手のひら静脈認証を実行することができる。また、認証部１８は、情報端末１０の使用者から所定の音声メッセージ、例えば「ＯＫ」などの入力を受け付けた場合に、手のひら静脈認証を実行することができる。なお、認証部１８は、手のひら静脈認証に失敗した場合でも、手のひら静脈認証のリトライの回数が所定の回数になるまで、表示制御部１７によって手のひら画像をタッチパネル１１上に表示させるとともに、手のひら静脈認証をリトライさせることもできる。

なお、上記の視点検出部１６、表示制御部１７及び認証部１８は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに画像処理プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

また、上記の適正配置記憶部１５には、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

［処理の流れ］
図７は、実施例１に係る認証処理の手順を示すフローチャートである。この認証処理は、一例として、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされた場合に、処理が起動する。

図７に示すように、カメラ１２によって顔画像が撮像されるとともに、静脈センサ１３によって手のひら画像が撮像されると（ステップＳ１０１）、視点検出部１６は、ステップＳ１０１で撮像された顔画像上における使用者の目の位置を検出する（ステップＳ１０２）。

続いて、視点検出部１６は、距離センサ１４にステップＳ１０２で検出された顔画像上の目の位置に対応する方向へ波動を送り出させることによって距離センサ１４および情報端末１０の使用者の目の間の距離を距離センサ１４に測定させる（ステップＳ１０３）。

その後、視点検出部１６は、ステップＳ１０３で測定させた情報端末１０の使用者の目までの距離と、ステップＳ１０２で検出された顔画像上の目の位置、および距離センサ１４の座標とから情報端末１０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を算出する（ステップＳ１０４）。

そして、表示制御部１７は、適正配置記憶部１５に記憶された適正配置を読み出す（ステップＳ１０５）。その上で、表示制御部１７は、ステップＳ１０４で検出された視点と、ステップＳ１０５で読み出された適正配置に含まれる頂点とを結ぶ直線ごとに、当該直線とスクリーンとの交点の座標を算出することによって手のひら画像の表示領域、すなわち表示位置および表示サイズを決定する（ステップＳ１０６）。

続いて、表示制御部１７は、ステップＳ１０６で決定された表示位置および表示サイズにしたがってステップＳ１０１で撮像された手のひら画像をタッチパネル１１に表示させる（ステップＳ１０７）。

そして、認証部１８によって手のひら画像に含まれる手のひらが適切な位置に配置されたと判定されるまで（ステップＳ１０８Ｎｏ）、上記のステップＳ１０１〜ステップＳ１０７までの処理を繰り返し実行する。

その後、手のひら画像に含まれる手のひらが適切な位置に配置されると（ステップＳ１０８Ｙｅｓ）、認証部１８は、次のような処理を実行する。すなわち、認証部１８は、ステップＳ１０１で撮像された手のひら画像から抽出した静脈データと、予め登録された静脈データを照合することによって手のひら静脈認証を実行し（ステップＳ１０９）、認証結果を情報端末１０上で動作するＯＳやアプリケーションプログラムへ出力し、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係る情報端末１０は、画面の背面に設置された静脈センサ１３で手のひらを撮影する場合に、画面と同じ側の面に設置されたカメラ１２に映る目の位置によって画面に表示させる手のひら画像の位置及び大きさを変更する。例えば、スクリーン越しに手の一部、例えば指先が露出する場合には、手のひら画像の中央に手のひらが位置し、さらに、手のひら画像に映る手のひらや指のスケールが露出する実物の指先のスケールと合うように位置合わせできる。このため、本実施例に係る情報端末１０では、画面の背面に静脈センサ１３が設置される場合でも、位置合わせの精度を高めることができる。したがって、本実施例に係る情報端末１０によれば、認証精度を向上させることができる。

さて、上記の実施例１では、情報端末１０の使用者の視点の位置を検出するために距離センサ１４を用いる場合を例示したが、情報端末の種類によっては必ずしも距離センサ１４を有しない場合もある。そこで、本実施例では、距離センサ１４を用いずに、使用者の視点の位置を推定する情報端末２０について以下で説明する。

図８は、実施例２に係る情報端末２０の機能的構成を示すブロック図である。図８に示す情報端末２０は、図１に示した情報端末１０に比べて、距離記憶部２１および視点位置推定部２２を有する点が相違する。なお、図８には、図１に示した情報端末１０との間で機能に差異がある処理部に異なる符号を付し、同一の機能を有するものには同一の符号を付してその説明を省略することとする。

距離記憶部２１は、情報端末２０までの距離を記憶する記憶部である。一態様としては、距離記憶部２１は、標準的な人物がカメラ１２によって撮像された場合の顔画像上の顔の横幅を形成する画素数と当該標準的な人物の顔及び情報端末２０の間で測定された距離とが対応付けられたデータを記憶する。ここで言う「標準的な人物」とは、一例として、顔の横幅が統計的に平均値や中央値である人物を指す。なお、ここでは、顔の横幅と情報端末２０までの距離を対応付けて記憶する場合を例示したが、特徴点間の距離であればよく、顔の縦幅、あるいは左右の目の距離と情報端末２０までの距離を対応付けて記憶することとしてもかまわない。また、ここでは、標準的な人物がカメラ１２によって撮像された場合の顔画像上の顔の横幅および測定距離を記憶する場合を例示したが、情報端末２０の所有者本人がカメラ１２によって撮像された場合の顔の横幅や測定距離を事前に採取しておくこととしてもかまわない。

視点位置推定部２２は、図１に示した視点検出部１６と比べて、顔画像上の右目、左目または両目の位置を特定するまでは処理が共通する一方で、それ以降の処理が相違する。これを具体的に説明すると、視点位置推定部２２は、距離記憶部２１から標準的な人物が撮像された場合の顔の横幅および情報端末２０までの測定距離を読み出す。そして、視点位置推定部２２は、カメラ１２によって撮像された顔画像から情報端末２０の使用者の顔の横幅を形成する画素数を肌色検出やテンプレートマッチング等の画像処理を実行することによって計数する。続いて、視点位置推定部２２は、顔画像から画素数が計数された情報端末２０の使用者の顔の横幅と、標準的な人物がカメラ１２によって撮像された場合の顔画像上の顔の横幅の画素数との間で比率、例えば前者の横幅を後者の横幅で除算した除算値を算出する。その上で、視点位置推定部２２は、距離記憶部２１から読み出された標準的な人物の顔及び情報端末２０の間の測定距離に、先に算出した比率の逆数、すなわち除算値の逆数を乗算することによって情報端末２０の使用者の顔及び情報端末２０の間の距離を推定する。

これによって、情報端末２０の使用者の顔の横幅が標準的な人物の横幅であるとみなし、今回の顔画像の撮影で得られた顔の横幅の拡縮に合わせて事前に標準的な人物で撮影された場合の測定距離を補正できる。例えば、事前に標準的な人物の顔が撮影されたときよりも情報端末２０の使用者がスクリーンに顔を近づけている場合には、使用者の顔の横幅が大きく検出される。この場合には、上記の比率が１よりも大きく算出されるので、比率の逆数が乗算されることによって事前に標準的な人物で撮影された場合の測定距離を小さく補正できる。一方、事前に標準的な人物の顔が撮影されたときよりも情報端末２０の使用者がスクリーンから顔を離している場合には、使用者の顔の横幅が小さく検出される。この場合には、上記の比率が１よりも小さく算出されるので、比率の逆数が乗算されることによって事前に標準的な人物で撮影された場合の測定距離を大きく補正できる。なお、ここでは、比率を算出する場合を例示したが、両者の差を算出することとしてもかまわない。例えば、情報端末２０の使用者の顔の横幅が事前に標準的な人物で撮影された顔の横幅よりも小さい場合に、測定距離を大きく補正する一方で、情報端末２０の使用者の顔の横幅が事前に標準的な人物で撮影された顔の横幅よりも大きい場合に、測定距離を小さく補正すればよい。

その後、視点位置推定部２２は、先に推定した情報端末２０の使用者の顔までの距離と、先に検出された顔画像上の目の位置、および情報端末２０の座標、例えばスクリーンの重心の座標とから情報端末２０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を推定する。

図９は、実施例２に係る認証処理の手順を示すフローチャートである。この認証処理も、図７に示したフローチャートと同様に、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされた場合に、処理が起動する。

図９に示すように、カメラ１２によって顔画像が撮像されるとともに、静脈センサ１３によって手のひら画像が撮像されると（ステップＳ１０１）、視点位置推定部２２は、ステップＳ１０１で撮像された顔画像上における使用者の目の位置を検出する（ステップＳ１０２）。

続いて、視点位置推定部２２は、ステップＳ１０１で撮像された顔画像から情報端末２０の使用者の顔の横幅を形成する画素数を肌色検出やテンプレートマッチング等の画像処理を実行することによって計数する（ステップＳ２０１）。

そして、視点位置推定部２２は、ステップＳ２０１で計数された顔の横幅の画素数と、距離記憶部２１に記憶された顔画像上の顔の横幅の画素数との比率を用いて、距離記憶部２１に記憶された標準的な人物の顔及び情報端末２０の間の測定距離を補正することによって情報端末２０の使用者の顔及び情報端末２０の間の距離を推定する（ステップＳ２０２）。

その後、視点位置推定部２２は、ステップＳ２０２で推定した情報端末２０の使用者の目までの距離と、ステップＳ１０２で検出された顔画像上の目の位置、および情報端末２０の座標とから情報端末２０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を推定する（ステップＳ２０３）。

そして、表示制御部１７は、適正配置記憶部１５に記憶された適正配置を読み出す（ステップＳ１０５）。その上で、表示制御部１７は、ステップＳ２０３で推定された視点と、ステップＳ１０５で読み出された適正配置に含まれる頂点とを結ぶ直線ごとに、当該直線とスクリーンとの交点の座標を算出することによって手のひら画像の表示領域、すなわち表示位置および表示サイズを決定する（ステップＳ１０６）。

続いて、表示制御部１７は、ステップＳ１０６で決定された表示位置および表示サイズにしたがってステップＳ１０１で撮像された手のひら画像をタッチパネル１１に表示させる（ステップＳ１０７）。

そして、認証部１８によって手のひら画像に含まれる手のひらが適切な位置に配置されたと判定されるまで（ステップＳ１０８Ｎｏ）、上記のステップＳ１０１〜ステップＳ１０７までの処理を繰り返し実行する。

その後、手のひら画像に含まれる手のひらが適切な位置に配置されると（ステップＳ１０８Ｙｅｓ）、認証部１８は、次のような処理を実行する。すなわち、認証部１８は、ステップＳ１０１で撮像された手のひら画像から抽出した静脈データと、予め登録された静脈データを照合することによって手のひら静脈認証を実行し（ステップＳ１０９）、認証結果を情報端末２０上で動作するＯＳやアプリケーションプログラムへ出力し、処理を終了する。

［実施例２の効果］
上述してきたように、本実施例に係る情報端末２０によれば、画面の背面に静脈センサ１３が設置される場合でも、位置合わせの精度を高めることができるので、上記の実施例１と同様に、認証精度を向上させることができる。

さらに、本実施例に係る情報端末２０では、情報端末２０の使用者の顔の横幅が標準的な人物の横幅であるとみなし、今回の顔画像の撮影で得られた顔の横幅の拡縮に合わせて事前に標準的な人物で撮影された場合の測定距離を補正するので、距離センサ１４等のハードウェアがなくとも視点の位置を推定できる。

さて、上記の実施例２では、カメラ１２によって撮像された顔画像に映る顔の横幅から情報端末２０の使用者の視点の位置を推定する場合を例示したが、必ずしも視点の位置の推定に顔の横幅を用いずともよい。そこで、本実施例では、静脈センサ１３によって撮像された手のひら画像を用いて、使用者の視点の位置を推定する情報端末３０について以下で説明する。

図１０は、実施例３に係る情報端末３０の機能的構成を示すブロック図である。図１０に示す情報端末３０は、図８に示した情報端末２０に比べて、距離記憶部３１および視点位置推定部３２を有する点が相違する。なお、図１０には、図８に示した情報端末２０との間で機能に差異がある処理部に異なる符号を付し、同一の機能を有するものには同一の符号を付してその説明を省略することとする。

距離記憶部３１は、情報端末３０までの距離を記憶する記憶部である。一態様としては、距離記憶部３１は、標準的な人物が静脈センサ１３によって撮像された場合の手のひら画像上の手のひらの横幅を形成する画素数と当該標準的な人物の顔及び情報端末３０の間で測定された距離とが対応付けられたデータを記憶する。ここで言う「標準的な人物」とは、一例として、手のひらの横幅が統計的に平均値や中央値である人物を指す。なお、ここでは、手のひらの横幅と情報端末３０までの距離を対応付けて記憶する場合を例示したが、この他にも、手のひらの縦幅、あるいは指の長さと測定距離とを対応付けて記憶することとしてもかまわない。また、ここでは、標準的な人物が静脈センサ１３によって撮像された場合の手のひら画像上の手のひらの横幅および測定距離を記憶する場合を例示したが、情報端末３０の所有者本人が静脈センサ１３によって撮像された場合の手のひらの横幅や測定距離を事前に採取しておくこととしてもかまわない。

視点位置推定部３２は、図８に示した視点位置推定部２２と比べて、顔画像上の右目、左目または両目の位置を特定するまでは処理が共通する一方で、それ以降の処理が相違する。これを具体的に説明すると、視点位置推定部３２は、距離記憶部３１から標準的な人物が撮像された場合の手のひらの横幅および情報端末３０までの測定距離を読み出す。そして、視点位置推定部３２は、静脈センサ１３によって撮像された手のひら画像から情報端末３０の使用者の手のひらの横幅を形成する画素数を肌色検出やテンプレートマッチング等の画像処理を実行することによって計数する。続いて、視点位置推定部３２は、手のひら画像から画素数が計数された情報端末３０の使用者の手のひらの横幅と、標準的な人物が静脈センサ１３によって撮像された場合の手のひら画像上の手のひらの横幅の画素数との間で比率、例えば前者の横幅を後者の横幅で除算した除算値を算出する。その上で、視点位置推定部３２は、距離記憶部３１から読み出された標準的な人物の顔及び情報端末３０の間の測定距離に、先に算出した比率、すなわち除算値を乗算することによって情報端末３０の使用者の顔及び情報端末３０の間の距離を推定する。

これによって、情報端末３０の使用者の手のひらの横幅と情報端末３０及び情報端末３０の使用者の目の間の距離とは、ともに体格に由来するものであるので、比例関係を有するとみなし、今回の手のひら画像の撮影で得られた手のひらの横幅の拡縮に合わせて事前に標準的な人物で撮影された場合の測定距離を補正できる。例えば、事前に撮影された標準的な人物の手のひらよりも情報端末３０の使用者の手のひらが大きい場合には、手のひらの横幅が大きく検出される。この場合には、上記の比率が１よりも大きく算出されるので、比率が乗算されることによって事前に標準的な人物で撮影された場合の測定距離を大きく補正できる。一方、事前に撮影された標準的な人物の手のひらよりも情報端末３０の使用者の手のひらが小さい場合には、手のひらの横幅が小さく検出される。この場合には、上記の比率が１よりも小さく算出されるので、比率が乗算されることによって事前に標準的な人物で撮影された場合の測定距離を小さく補正できる。なお、ここでは、比率を算出する場合を例示したが、両者の差を算出することとしてもかまわない。例えば、情報端末３０の使用者の手のひらの横幅が事前に標準的な人物で撮影された手のひらの横幅よりも小さい場合に、測定距離を小さく補正する一方で、情報端末３０の使用者の手のひらの横幅が事前に標準的な人物で撮影された手のひらの横幅よりも大きい場合に、測定距離を大きく補正すればよい。

その後、視点位置推定部３２は、先に推定した情報端末３０の使用者の顔までの距離と、先に検出された顔画像上の目の位置、および情報端末３０の座標、例えばスクリーンの重心の座標とから情報端末３０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を推定する。

図１１は、実施例３に係る認証処理の手順を示すフローチャートである。この認証処理も、図７に示したフローチャートと同様に、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされた場合に、処理が起動する。

図１１に示すように、カメラ１２によって顔画像が撮像されるとともに、静脈センサ１３によって手のひら画像が撮像されると（ステップＳ１０１）、視点位置推定部３２は、ステップＳ１０１で撮像された顔画像上における使用者の目の位置を検出する（ステップＳ１０２）。

続いて、視点位置推定部３２は、ステップＳ１０１で撮像された手のひら画像から情報端末３０の使用者の手のひらの横幅を形成する画素数を肌色検出やテンプレートマッチング等の画像処理を実行することによって計数する（ステップＳ３０１）。

そして、視点位置推定部３２は、ステップＳ３０１で計数された手のひらの横幅の画素数と、距離記憶部３１に記憶された手のひら画像上の手のひらの横幅の画素数との比率を用いて、距離記憶部３１に記憶された標準的な人物の顔及び情報端末３０の間の測定距離を補正することによって情報端末３０の使用者の顔及び情報端末３０の間の距離を推定する（ステップＳ３０２）。

その後、視点位置推定部３２は、ステップＳ３０２で推定した情報端末３０の使用者の目までの距離と、ステップＳ１０２で検出された顔画像上の目の位置、および情報端末３０の座標とから情報端末３０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を推定する（ステップＳ３０３）。

そして、表示制御部１７は、適正配置記憶部１５に記憶された適正配置を読み出す（ステップＳ１０５）。その上で、表示制御部１７は、ステップＳ３０３で推定された視点と、ステップＳ１０５で読み出された適正配置に含まれる頂点とを結ぶ直線ごとに、当該直線とスクリーンとの交点の座標を算出することによって手のひら画像の表示領域、すなわち表示位置および表示サイズを決定する（ステップＳ１０６）。

続いて、表示制御部１７は、ステップＳ１０６で決定された表示位置および表示サイズにしたがってステップＳ１０１で撮像された手のひら画像をタッチパネル１１に表示させる（ステップＳ１０７）。

そして、認証部１８によって手のひら画像に含まれる手のひらが適切な位置に配置されたと判定されるまで（ステップＳ１０８Ｎｏ）、上記のステップＳ１０１〜ステップＳ１０７までの処理を繰り返し実行する。

その後、手のひら画像に含まれる手のひらが適切な位置に配置されると（ステップＳ１０８Ｙｅｓ）、認証部１８は、次のような処理を実行する。すなわち、認証部１８は、ステップＳ１０１で撮像された手のひら画像から抽出した静脈データと、予め登録された静脈データを照合することによって手のひら静脈認証を実行し（ステップＳ１０９）、認証結果を情報端末２０上で動作するＯＳやアプリケーションプログラムへ出力し、処理を終了する。

［実施例３の効果］
上述してきたように、本実施例に係る情報端末３０によれば、画面の背面に静脈センサ１３が設置される場合でも、位置合わせの精度を高めることができるので、上記の実施例１と同様に、認証精度を向上させることができる。

さらに、本実施例に係る情報端末３０では、情報端末３０の使用者の手のひらの横幅と情報端末３０及び情報端末３０の使用者の目の間の距離とが比例関係を有するとみなし、今回の手のひら画像の撮影で得られた手のひらの横幅の拡縮に合わせて事前に標準的な人物で撮影された場合の測定距離を補正する。これによって、本実施例に係る情報端末３０によれば、距離センサ１４等のハードウェアがなくとも視点の位置を推定できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［カメラ１２の代用］
上記の実施例１〜実施例３では、情報端末１０、２０または３０がカメラ１２を有する場合を例示したが、カメラ１２は必ずしも有していなくともよい。例えば、顔画像上の目の位置を検出する代わりに、情報端末１０、２０または３０の使用者の視点が端末を基準に特定の方向、スクリーンの中心の法線方向に存在するとみなし、当該視点が情報端末１０、２０または３０に対して位置する方向を内部メモリ等に保持しておくこともできる。これによって、画面と同一の面側にカメラ１２が設けられておらずとも、視点の位置を検出または推定できる。

［認証方式］
上記の実施例１〜実施例３では、手のひら静脈認証を実行する場合に上記の画像処理を実行する場合を例示したが、これ以外の認証が実行される場合にも適用することができる。すなわち、ユーザの目の位置と認証部位の間にカメラ、画面および認証用のセンサを有する装置が存在し、認証用のセンサと認証部位が離れている場合に上記の画像処理を同様に適用できる。例えば、情報端末１０、２０または３０の背面に設置された撮像デバイスで掌紋、手の甲または掌形（手形）を撮像して掌紋認証、手の甲認証または掌形認証を実行する場合にも、上記の画像処理、すなわち図７、図９や図１１で示した処理を実行できる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、視点検出部１６または表示制御部１７を情報端末１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、視点検出部１６または表示制御部１７を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の情報端末１０の機能を実現するようにしてもよい。

［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。

図１２は、実施例１〜実施例３に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。図１２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１２に示すように、上記の実施例１で示した視点検出部１６及び表示制御部１７と同様の機能を発揮する画像処理プログラム１７０ａが予め記憶される。また、ＨＤＤ１７０には、上記の実施例２で示した視点位置推定部２２及び表示制御部１７と同様の機能を発揮する画像処理プログラム１７０ａが予め記憶されることとしてもよい。また、ＨＤＤ１７０には、上記の実施例３で示した視点位置推定部３２及び表示制御部１７と同様の機能を発揮する画像処理プログラム１７０ａが予め記憶されることとしてもよい。この画像処理プログラム１７０ａについては、図１、図８または図１０に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、画像処理プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１２に示すように、画像処理プログラム１７０ａは、画像処理プロセス１８０ａとして機能する。この画像処理プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、画像処理プロセス１８０ａは、図１、図８または図１０に示した各機能部にて実行される処理、例えば図７、図９および図１１に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の画像処理プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０ 情報端末
１１ タッチパネル
１２ カメラ
１３ 静脈センサ
１４ 距離センサ
１５ 適正配置記憶部
１６ 視点検出部
１７ 表示制御部
１８ 認証部

Claims (6)

1. 画面と、該画面が配置された面の裏面に設けられた第一のセンサと、前記画面側に設けられた第二のセンサとを備えた情報端末に、
   前記第二のセンサによって撮像された画像から前記情報端末の使用者の視点の位置を検出し、
   前記第一のセンサによって撮像される前記情報端末の使用者の生体の画像を前記画面に表示させる際に、前記第一のセンサに対する生体の適正配置が前記生体をモデル化したモデルの位置情報として設定された適正配置データを参照して、前記視点と前記モデルに含まれる頂点とを結ぶ直線が前記画面と交わる交点により形成される表示領域に、前記第一のセンサによって撮像された画像を前記画面上に形成される表示領域の大きさに応じて拡縮して表示する、
   処理を実行させることを特徴とする画像処理プログラム。
2. 前記検出する処理は、
   距離を測定する距離センサを用いて、前記情報端末および前記第二のセンサによって撮像される第二の被写体の距離を測定し、
   前記情報端末および前記第二の被写体の距離から前記情報端末の使用者の視点の位置を検出することを特徴とする請求項１に記載の画像処理プログラム。
3. 前記検出する処理は、
   前記第二のセンサによって撮像された画像から得られる前記情報端末の使用者の顔の特徴点間の距離を用いて、前記情報端末および前記情報端末の使用者の顔の間の距離を推定し、
   前記情報端末および前記情報端末の使用者の顔の間の距離から前記情報端末の使用者の視点の位置を推定することを特徴とする請求項１に記載の画像処理プログラム。
4. 前記検出する処理は、
   前記第一のセンサによって撮像された画像から得られる前記情報端末の使用者の生体の大きさを用いて、前記情報端末および前記情報端末の使用者の顔の間の距離を推定し、
   前記情報端末および前記情報端末の使用者の顔の間の距離から前記情報端末の使用者の視点の位置を推定することを特徴とする請求項１に記載の画像処理プログラム。
5. 画面と、該画面が配置された面の裏面に設けられた第一のセンサと、前記画面側に設けられた第二のセンサとを備えた情報端末が、
   前記第二のセンサによって撮像された画像から前記情報端末の使用者の視点の位置を検出し、
   前記第一のセンサによって撮像される前記情報端末の使用者の生体の画像を前記画面に表示させる際に、前記第一のセンサに対する生体の適正配置が前記生体をモデル化したモデルの位置情報として設定された適正配置データを参照して、前記視点と前記モデルに含まれる頂点とを結ぶ直線が前記画面と交わる交点により形成される表示領域に、前記第一のセンサによって撮像された画像を前記画面上に形成される表示領域の大きさに応じて拡縮して表示する、
   処理を実行することを特徴とする画像処理方法。
6. 画面と、該画面が配置された面の裏面に設けられた第一のセンサと、前記画面側に設けられた第二のセンサとを備えた情報端末であって、
   前記第二のセンサによって撮像された画像から前記情報端末の使用者の視点の位置を検出する検出部と、
   前記第一のセンサによって撮像される前記情報端末の使用者の生体の画像を前記画面に表示させる際に、前記第一のセンサに対する生体の適正配置が前記生体をモデル化したモデルの位置情報として設定された適正配置データを参照して、前記視点と前記モデルに含まれる頂点とを結ぶ直線が前記画面と交わる交点により形成される表示領域に、前記第一のセンサによって撮像された画像を前記画面上に形成される表示領域の大きさに応じて拡縮して表示する表示制御部と、
   を有することを特徴とする情報端末。

Images