JP6613740B2 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

表示制御装置、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
JP6613740B2
JP6613740B2 JP2015177597A JP2015177597A JP6613740B2 JP 6613740 B2 JP6613740 B2 JP 6613740B2 JP 2015177597 A JP2015177597 A JP 2015177597A JP 2015177597 A JP2015177597 A JP 2015177597A JP 6613740 B2 JP6613740 B2 JP 6613740B2
Authority
JP
Japan
Prior art keywords
image
display
user
iris
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015177597A
Other languages
English (en)
Other versions
JP2017055250A (ja
Inventor
茂之 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Connected Technologies Ltd
Original Assignee
Fujitsu Connected Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Connected Technologies Ltd filed Critical Fujitsu Connected Technologies Ltd
Priority to JP2015177597A priority Critical patent/JP6613740B2/ja
Priority to US15/248,516 priority patent/US10205883B2/en
Publication of JP2017055250A publication Critical patent/JP2017055250A/ja
Application granted granted Critical
Publication of JP6613740B2 publication Critical patent/JP6613740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Description

開示の技術は、表示制御装置、表示制御方法および表示制御プログラムに関する。
近年、個人情報等の情報の管理に対する意識の高まりに伴い、情報へのアクセスを所望する人物が、情報へのアクセスが予め許可されている人物であるか否かを認証するセキュリティ機能を実装した電子機器が普及し始めている。
人物の認証方法として、例えば指紋認証、静脈認証、顔認証等が提案されているが、認証率の高さおよび認証における操作の手軽さから、人物の瞳孔の外周に存在する虹彩領域をカメラで撮影して認証を行う虹彩認証の普及が有望視されている。
特開２００６−１８１０１２号公報 特開２００６−４８２６６号公報 特開２００８−１９７７１３号公報 特開２００５−２５３７７８号公報
しかしながら、例えばスマートフォン等のモバイル端末に虹彩認証機能を搭載した場合、モバイル端末の使用に先立ち、例えばモバイル端末に内蔵されたカメラでモバイル端末の利用者の顔を撮影し、利用者の虹彩領域の画像を取得する必要がある。
周囲に人がいる状況、例えば店舗内または電車内で虹彩認証を実行する場合、自身の虹彩領域を撮影する行為が、場合によっては周囲の人に他者を無断で撮影する盗撮行為と誤認されてしまう状況を発生させることが考えられる。
また、こうした盗撮行為と誤認されてしまう状況は、虹彩認証等の認証を行う場合に限らず、自身でモバイル端末を保持した状態で自分自身を撮影する、いわゆる自撮りを行う場合等にも生じ得る。
一つの側面として、開示の技術は、自画像を撮影する際、盗撮行為と誤認されることを低減することを目的とする。
一つの態様として、表示制御装置は、撮影画像を表示装置に表示する表示部と、前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める顔画像の割合が閾値以上の場合に、前記表示部によって前記撮影画像を表示させる制御部とを含む。
一つの側面として、開示の技術は、自画像を撮影する際、盗撮行為と誤認されることを低減することができる、という効果を有する。
スマートフォンの外観の一例を示す図である。 虹彩認証の様子の一例を示す図である。 第１実施形態および第２実施形態に係るスマートフォンの構成の一例を示す図である。 第１実施形態および第２実施形態に係るスマートフォンをコンピュータで実現する場合の構成の一例を示す図である。 第１実施形態に係る虹彩認証処理の流れの一例を示すフローチャートである。 虹彩認証ガイド画面の一例を示す図である。 視距離が基準距離を越える赤外線画像の例を示す図である。 一方の目の視線が検出される赤外線画像の例を示す図である。 視距離が基準距離以下の赤外線画像の例を示す図である。 虹彩認証失敗の場合に表示装置に表示される画像の一例を示す図である。 虹彩認証成功の場合に表示装置に表示される画像の一例を示す図である。 第２実施形態に係る虹彩認証処理の流れの一例を示すフローチャートである。 顔占有割合が閾値未満の赤外線画像の例を示す図である。 顔占有割合が閾値未満の赤外線画像の例を示す図である。 顔占有割合が閾値以上の赤外線画像の例を示す図である。 第３実施形態に係るスマートフォンの構成の一例を示す図である。 第３実施形態に係るスマートフォンをコンピュータで実現する場合の構成の一例を示す図である。 第３実施形態に係る自撮り処理の流れの一例を示すフローチャートである。 自撮りガイド画面の一例を示す図である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下では、同じ働きを担う構成要素または処理には全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。
また、以下では、開示の技術をスマートフォンに適用した場合の実施形態について説明するが、開示の技術は、例えばノートコンピュータ、タブレット端末、ウェアラブル端末等の携帯可能な他の電子機器にも適用することができる。
（第１実施形態）
図１に示すスマートフォン１は、例えば表示装置３、通話用スピーカ４、ロック解除ボタン５、赤外線ＬＥＤ（Light Emitting Diode）６、赤外線カメラ７およびタッチパネル８を含む。
表示装置３は、例えばスマートフォン１に記憶されているデータまたはインターネット等の通信回線に接続されたサーバからダウンロードしたデータ等を表示する装置である。表示装置３には、例えば液晶ディスプレイまたは有機ＥＬ（Electroluminescence）ディスプレイ等の表示デバイスが用いられる。なお、表示装置３の表示面には、タッチパネル８が貼付されており、タッチパネル８は、スマートフォン１の利用者による操作を受け付ける。
通話用スピーカ４は、電話の場合に通話相手の音声を出力する音声出力デバイスである。なお、図１には図示していないが、スマートフォン１には音声を取り込むマイクも備えられている。
スマートフォン１は、例えばスマートフォン１の利用を許可されている人物（以下、正規の利用者という）以外の人物がスマートフォン１を操作して、スマートフォン１に記憶されている個人情報等を閲覧することを防止するロック機能を備えている。
正規の利用者は、例えば表示装置３に表示される図示しないロック開始ボタンを押下することでスマートフォン１をロック状態にし、スマートフォン１が正規の利用者以外の者からの操作を受け付けないようにする。なお、スマートフォン１をロック状態にする方法はこれに限定されず、例えばスマートフォン１で操作時間間隔を計測し、スマートフォン１の連続未操作時間が所定時間以上になった場合に、スマートフォン１をロック状態にするようにしてもよい。
ロック解除ボタン５は、スマートフォン１のロック状態を解除する場合に押下されるボタンであり、何れかの人物がロック解除ボタン５を押下した場合、スマートフォン１は虹彩認証を実行し、虹彩認証が成功した場合にスマートフォン１のロック状態を解除する。なお、スマートフォン１におけるロック解除ボタン５の位置は一例であり、必ずしも表示装置３の表示面側にある必要はなく、例えばスマートフォン１の筐体の側面または表示装置３の表示面側と反対側の面（以下、裏面という）にあってもよい。
赤外線ＬＥＤ６および赤外線カメラ７は、後述する虹彩認証処理に用いられる。赤外線ＬＥＤ６は、赤外線を射出する光源であり、赤外線カメラ７は、虹彩認証の対象である利用者で反射した赤外線を複数の赤外線検出素子で複数の画素に分割して検出することで、利用者の赤外線画像を撮影する。そして、スマートフォン１は、赤外線画像に含まれる利用者の虹彩領域の虹彩パターンが、例えばスマートフォン１に予め登録されている正規の利用者の虹彩画像の虹彩パターンに一致する場合にスマートフォン１のロック状態を解除する。
なお、赤外線に比べて可視光の方が虹彩領域を覆う角膜で鏡面反射が起こりやすいため、虹彩領域の画像が不鮮明になることがある。したがって、虹彩認証の場合には、虹彩領域を照らす光源として一般に赤外線が用いられる。なお、ここでいう赤外線とは、例えば波長が約８３０ｎｍ以上で、約１０００μｍ以下の電磁波をいう。
また、赤外線カメラ７は、赤外線画像を撮影する場合の撮影倍率（以下、画角という）が変更可能とされている。なお、撮影倍率の変更に伴って画角が変化するため、以下では撮影倍率を画角で説明する。画角の変更は、光学ズーム方式およびデジタルズーム方式の少なくとも一方の方式により実現される。しかし、これは一例であり、画角が固定された赤外線カメラ７を用いてもよい。
図２に示すように利用者が虹彩認証を実施する場合、利用者は表示装置３に表示される赤外線画像を参照して、スマートフォン１と自身の顔とを相対的に移動させ、表示装置３に表示される自身の目の位置および大きさを調整する。
このように、利用者は、表示装置３に表示される利用者自身を見ながら赤外線カメラ７で利用者自身の虹彩領域を撮影するため、赤外線ＬＥＤ６および赤外線カメラ７は、例えば表示装置３の表示面と同一面上に設置することが好ましい。
なお、表示装置３の表示面側に設置されたカメラを「インカメラ」、スマートフォン１の裏面に設置されたカメラを「アウトカメラ」という場合がある。インカメラは、主に自撮り等の利用者を含む画像の撮影に用いられることが多い。また、アウトカメラは、主に利用者を含まない風景等の撮影に用いられることが多い。
図３に示すように、スマートフォン１は、表示装置３、ロック解除ボタン５、赤外線ＬＥＤ６、赤外線カメラ７、タッチパネル８、受付部１０、制御部２０および表示部３０を含む。
受付部１０は、ロック解除ボタン５等のボタン、タッチパネル８および制御部２０に接続され、ロック解除ボタン５等のボタン押下操作およびタッチパネル８の各種操作を受け付ける。そして、受付部１０は、操作内容に応じた通知を制御部２０に通知する。
制御部２０は、受付部１０、表示部３０、赤外線ＬＥＤ６および赤外線カメラ７に接続される。制御部２０は、例えばロック解除ボタン５が押下されたこと受付部１０から受け付けると、赤外線を赤外線ＬＥＤ６から射出すると共に、赤外線カメラ７に被写体を撮影させ、撮影した赤外線画像に含まれる人物の虹彩領域に対して虹彩認証処理を実行する。この場合、制御部２０は、人物の視線方向および視距離を測定し、赤外線画像全体に占める人物の顔画像の割合（以下、顔占有割合という）が閾値以上となった場合に、撮影した赤外線画像を表示装置３に表示するように表示部３０を制御する。
ここで、視距離とは、赤外線カメラ７から被写体である人物の目までの距離をいう。また、顔画像とは、撮影した画像のうち、人物の顔が写っている領域内の画像をいう。また、顔占有割合は、例えば視距離と赤外線カメラ７の画角との関係から算出できる。
表示部３０は、表示装置３および制御部２０に接続され、制御部２０によって指示された赤外線画像を表示装置３に表示する。
図４に示すコンピュータ１００は、ＣＰＵ１０２、メモリ１０４および不揮発性の記憶部１０６を含む。ＣＰＵ１０２、メモリ１０４および不揮発性の記憶部１０６は、バス１０８を介して互いに接続される。また、コンピュータ１００は、表示装置３、赤外線ＬＥＤ６、赤外線カメラ７、入力装置１１２および通信装置１１４とコンピュータ１００とを接続するＩ／Ｏ（Input/Output）１１０を備え、Ｉ／Ｏ１１０はバス１０８に接続される。
ここで、入力装置１１２は、例えばタッチパネル８等といった、コンピュータ１００の利用者が選択した表示装置３の位置をコンピュータ１００に出力する入力デバイスを含む。また、入力装置１１２は、例えばメモリカード等の記録媒体１１６に記録されるデータを読み取る読み取り装置を含む。
通信装置１１４は、例えばインターネット等の通信回線に接続されたサーバと無線方式によってデータを送受信するための通信プロトコルを含み、例えばコンピュータ１００が指定したサーバとデータを送受信する。なお、通信装置１１４における通信回線との接続形態は無線方式に限定されず、例えば有線方式であってもよい。
なお、図４の例では、表示装置３、赤外線ＬＥＤ６、赤外線カメラ７、入力装置１１２および通信装置１１４をコンピュータ１００と独立した装置として示しているが、コンピュータ１００に内蔵してもよい。更に、図４の例ではコンピュータ１００に通信装置１１４が接続されているが、通信回線を用いて他の電子機器とデータを送受信する必要のない場合は、コンピュータ１００に通信装置１１４を接続する必要はない。
また、記憶部１０６は、フラッシュメモリまたはＨＤＤ（Hard Disk Drive）等によって実現できる。
記憶部１０６には、コンピュータ１００を図３に示すスマートフォン１として機能させるための表示制御プログラム１２０が記憶される。記憶部１０６に記憶される表示制御プログラム１２０は、受付プロセス１２２、制御プロセス１２４および表示プロセス１２６を含む。
ＣＰＵ１０２は、表示制御プログラム１２０を記憶部１０６から読み出してメモリ１０４に展開し、表示制御プログラム１２０に含まれる各プロセスを実行することで、コンピュータ１００を図３に示すスマートフォン１として動作させる。
すなわち、ＣＰＵ１０２が受付プロセス１２２を実行することで、コンピュータ１００が図３に示す受付部１０として動作する。また、ＣＰＵ１０２が制御プロセス１２４を実行することで、コンピュータ１００が図３に示す制御部２０として動作する。また、ＣＰＵ１０２が表示プロセス１２６を実行することで、コンピュータ１００が図３に示す表示部３０として動作する。
なお、コンピュータ１００は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
次に、第１実施形態に係るスマートフォン１の作用について説明する。制御部２０は、ロック解除ボタン５の押下を受け付けたことが受付部１０から通知された場合、赤外線カメラ７で撮影された虹彩領域の特徴がスマートフォン１の正規の利用者の虹彩領域の特徴と類似しているか判定する虹彩認証処理を行う。
まず、図５のステップＳ１０において、制御部２０は、赤外線ＬＥＤ６に電源を供給する図示しないスイッチをオンにして赤外線ＬＥＤ６を点灯し、赤外線の射出を開始させる。
ステップＳ２０において、制御部２０は表示部３０を制御して、スマートフォン１を操作している利用者に虹彩認証処理の開始を知らせる画面（以下、虹彩認証ガイド画面という）を表示装置３に表示する。
図６に示すように、ステップＳ２０の処理によって、例えば「ロックを解除するにはインカメラを目の方向に向けてください」といった、赤外線カメラ７を利用者の目の方向に向けるように指示するメッセージが表示装置３に表示される。この場合、制御部２０は、赤外線カメラ７をスマートフォン１の利用者の目の方向に向ける様子を描いた画像をメッセージと共に表示装置３に表示させてもよい。当該画像を表示装置３に表示することにより、メッセージだけで虹彩認証の操作方法を知らせる場合に比べて、虹彩認証の操作方法をよりわかりやすくスマートフォン１の利用者に知らせることができる。また、虹彩認証処理を開始したことを利用者に音声で通知してもよい。
なお、制御部２０は、後述するステップＳ１８０で、赤外線カメラ７に撮影させた赤外線画像の表示を行うまで、図６に示す虹彩認証ガイド画面を表示装置３に表示し続ける。
ステップＳ３０において、制御部２０は、赤外線カメラ７に赤外線画像を撮影させ、赤外線カメラ７から出力された赤外線画像のデータを例えばメモリ１０４の予め定めた領域に記憶する。既にメモリ１０４の予め定めた領域に他の赤外線画像のデータがある場合、制御部２０は、当該他の赤外線画像のデータをステップＳ３０で赤外線カメラ７に撮影させた赤外線画像のデータで上書きする。なお、赤外線画像のデータは、メモリ１０４のうち、例えばデータを記憶した場合に当該データを暗号化するセキュアな領域に記憶することが好ましい。
ステップＳ４０において、制御部２０は、ステップＳ３０でメモリ１０４に記憶した赤外線画像のデータから利用者の両目の視線を検出する。ここでは、スマートフォン１の利用者が自分の顔を撮影して虹彩認証を行う例について説明しているため、多くの場合、赤外線画像の被写体は利用者となる。
赤外線画像のデータから利用者の視線を検出する場合、例えば特許文献４に示される公知の視線検出方法が適用できる。
具体的には、制御部２０は、赤外線カメラ７のレンズ中心から赤外線カメラ７の焦点距離だけ離れた位置に定義した２次元座標系における利用者の瞳孔の中心座標を利用して、実空間を示す３次元座標系における瞳孔の中心Ｔの座標を決定する。一方、制御部２０は、角膜上の赤外線の反射点、すなわち輝点の座標に基づいて、利用者の角膜を部分球面とする球面の中心Ｓの座標を決定する。そして、制御部２０は、瞳孔の中心Ｔと眼球内に定義した球面の中心Ｓとを結ぶ直線（以下、視線直線という）を利用者の視線として検出する。ここで、焦点距離とは、被写体に焦点を合わせた場合の赤外線カメラ７のレンズから赤外線カメラ７に含まれる撮像素子までの距離をいう。なお、特許文献４は公知であるため、これ以上の説明は省略する。
なお、制御部２０は、上記に示した特許文献４に示される視線検出方法と異なる他の方法を用いて、赤外線画像から利用者の視線を検出するようにしてもよい。
ステップＳ５０において、制御部２０は、ステップＳ４０で利用者の両目の視線が検出できたか、すなわち、両目の視線直線を検出できたか判定する。否定判定の場合には、撮影された赤外線画像には虹彩認証に用いる両目の虹彩に対応する虹彩領域が含まれていないと推定されるため、ステップＳ３０に戻る。そして、制御部２０は、ステップＳ３０で再び赤外線カメラ７に赤外線画像を撮影させ、利用者の両目の視線を検出する処理を繰り返す。一方、ステップＳ５０の判定処理が肯定判定の場合には、ステップＳ６０に移行する。
なお、ここでは、虹彩認証を両目の虹彩領域を用いて行う例について説明するが、片方の目の虹彩領域を用いて虹彩認証を行ってもよい。この場合、ステップＳ５０で利用者の少なくとも一方の目の視線が検出できたかを判定すればよい。なお、片方の目の虹彩領域を用いて虹彩認証を行う場合、両目の虹彩領域を用いて虹彩認証を行う場合に比べて認証精度が低下するが、認証に要する時間を短縮できる場合がある。
ステップＳ６０において、制御部２０は、ステップＳ４０で検出した視線直線の方向が、利用者の目と赤外線カメラ７を結ぶ光軸直線の方向と一致しているか否かを判定する。ここで、視線直線の方向が光軸直線の方向と一致するとは、視線直線の方向と光軸直線の方向とのずれが予め定めた範囲内に含まれる場合をいう。
ステップＳ６０の判定処理が否定判定の場合には、赤外線画像に含まれる利用者が赤外線カメラ７を注視していないため、利用者の虹彩領域が虹彩認証に必要とされる程度に鮮明に撮影されていない可能性がある。従って、ステップＳ３０に戻り、制御部２０は、ステップＳ３０で再び赤外線カメラ７に赤外線画像を撮影させ、利用者の視線を検出する処理を繰り返す。一方、ステップＳ６０の判定処理が肯定判定の場合には、ステップＳ７０に移行する。
ステップＳ７０において、制御部２０は、例えば被写体となっている利用者の視距離を、ステップＳ３０でメモリ１０４に記憶した赤外線画像から測定する。赤外線画像から被写体となっている利用者の視距離を検出する場合、例えば特許文献４に示される公知の視距離検出方法が適用できる。
具体的には、制御部２０は、ステップＳ４０で視線を検出する場合に定義した２次元座標系および３次元座標系の他に、前記３次元座標系の各軸のスケールを変換して各データの大きさの一様化を図る基準座標系を定義する。制御部２０は、２次元座標系における右目、左目および鼻の各座標を基準座標系に射影する関係式と、前記各座標を３次元座標系に射影する関係式と、右目、左目および鼻の位置関係を表す関係式と、に基づいて、被写体の目の位置を特定して視距離を算出する。なお、特許文献４は公知であるため、これ以上の説明は省略する。
ステップＳ８０において、制御部２０は、ステップＳ７０で測定した視距離が予め定めた基準距離以下であるか否かを判定する。
ここで、基準距離は、例えば赤外線カメラ７の仕様に規定されている最も低い撮影倍率、すなわち最も広い画角で利用者の顔を撮影した場合に、顔占有割合が閾値以上となるような値に予め設定される。更に、上記の顔占有割合の閾値は、赤外線画像の背景領域に利用者以外の人物等が写り込まないか、または利用者以外の人物等が写り込んだとしても、当該人物等を特定することが困難な大きさにしか写らないような値に予め設定される。ここで人物等とは、人物および物体の少なくとも一方を意味する。なお、赤外線画像の画角が可変できる場合には、制御部２０は基準距離を固定値とせず、赤外線カメラ７から画角を取得し、赤外線カメラ７の画角に応じて顔占有割合が閾値以上となるような値に基準距離を変更してもよい。
したがって、ステップＳ８０の判定処理は、撮影された赤外線画像における顔占有割合が上記の閾値以上か否かを判定することに相当する。
また、例えば利用者がスマートフォン１のロックを解除するために虹彩認証を行う場合、図２に示したように利用者自らがスマートフォン１を持って自分の顔を撮影する場合が多い。したがって、利用者が手を伸ばして自分の顔を撮影することができる最大距離は、例えば成人の平均的な腕の長さから約６０ｃｍと想定されるため、この知見に基づいて、基準距離は例えば約６０ｃｍ以下に設定される場合が多い。
換言すれば、ステップＳ７０で測定した視距離が基準距離より長い場合、スマートフォン１を利用者に向けていない状況が考えられ、赤外線画像に写っている人物は、利用者以外である可能性が高いことを意味している。
したがって、ステップＳ８０の判定処理が否定判定の場合にはステップＳ３０に戻る。そして、制御部２０は、ステップＳ３０で再び赤外線カメラ７に赤外線画像を撮影させ、ステップＳ８０の判定処理が肯定判定となるまで、ステップＳ４０で利用者の視線を検出し、ステップＳ７０で視距離を測定する処理を繰り返す。
一方、ステップＳ８０の判定処理が肯定判定の場合には、ステップＳ９０に移行する。この場合、ステップＳ３０で赤外線カメラ７に撮影させた赤外線画像には前記閾値以上の顔占有割合で利用者自身の顔が写っていると推定される。
なお、説明の便宜上、ステップＳ１０〜Ｓ８０までの処理を「ロック解除準備処理」という。
図７Ａに示す赤外線画像は、利用者の両目の視線が検出され、かつ、利用者の視線が赤外線カメラ７の方向に向いている。しかし、視距離が基準距離を越えるため、図７Ａに示す赤外線画像はステップＳ８０の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。なお、図７Ａに示すように、視距離が基準距離を越える赤外線画像では、利用者の顔周辺に利用者以外の人物等が写り込む領域が生じている。
図７Ｂに示す赤外線画像は利用者の片方の目が写っていないため、利用者の両目の視線が検出できない。したがって、図７Ｂに示す赤外線画像はステップＳ５０の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。なお、例えばステップＳ５０の判定処理が、片方の目の視線が検出されれば肯定判定とみなす判定処理であったとしても、図７Ｂに示す赤外線画像の利用者の視線は赤外線カメラ７の方向を向いていない。したがって、図７Ｂに示す赤外線画像はステップＳ６０の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。
なお、例えばステップＳ５０の判定処理を片方の目の視線が検出されれば肯定判定とみなす判定基準にした場合に、片方の目の視線が検出され、かつ、当該目の視線が赤外線カメラ７の方向を向いていれば、ステップＳ８０の判定処理が実行される。
しかし、この場合、図７Ｂに示すように利用者の顔が半分程度しか赤外線画像に写っていないことがあるため、視距離が基準距離以下であっても赤外線画像に閾値以上の顔占有割合で利用者自身の顔が写っていない状況が発生することがある。したがって、例えばステップＳ５０の判定処理を片方の目の視線が検出されれば肯定判定とみなす判定基準にした場合の基準距離は、両方の目の視線を検出した場合に肯定判定とみなす判定基準に用いる基準距離より小さい値に設定することが好ましい。
図７Ｃに示す赤外線画像は、利用者の両目の視線が検出され、かつ、利用者の視線が赤外線カメラ７の方向に向いている。更に、図７Ｃに示す赤外線画像は、視距離が基準距離以下であることから、撮影された赤外線画像における利用者の顔占有割合が閾値より大きい状況を表している。したがって、図７Ｃに示す赤外線画像はステップＳ８０の判定処理で肯定判定となり、ロック解除準備処理を終了する。
なお、図７Ａ、図７Ｂおよび図７Ｃの赤外線画像は、図５のステップＳ１８０によって表示装置３に表示されるため、ステップＳ１８０の処理が実行されるまでは表示装置３に表示されない。
ステップＳ９０において、制御部２０は、赤外線カメラ７に新たな赤外線画像を撮影させ、赤外線カメラ７から出力された赤外線画像のデータを例えばメモリ１０４の予め定めた領域に記憶する。この場合、制御部２０は、ステップＳ３０でメモリ１０４の予め定めた領域に記憶した赤外線画像のデータを、ステップＳ９０で赤外線カメラ７に撮影させた赤外線画像のデータで上書きする。
ステップＳ１００において、制御部２０は、ステップＳ９０で赤外線カメラ７に撮影させた赤外線画像に対してステップＳ４０と同様の処理を行い、利用者の視線を検出する。
ステップＳ１１０において、制御部２０は、ステップＳ１００で利用者の両目の視線が検出できたか否か、すなわち、両目の視線直線を検出できたか否かを判定する。否定判定の場合にはステップＳ２０に戻り、ロック解除準備処理を再度実行する。一方、肯定判定の場合にはステップＳ１２０に移行する。
ステップＳ１２０において、制御部２０は、ステップＳ１１０で検出した視線直線の方向が、利用者の目と赤外線カメラ７を結ぶ光軸直線の方向と一致しているか否かを判定する。否定判定の場合にはステップＳ２０に戻り、ロック解除準備処理を再度実行する。一方、肯定判定の場合にはステップＳ１３０に移行する。
ステップＳ１３０において、制御部２０は、ステップＳ７０で説明した方法により、ステップＳ９０でメモリ１０４に記憶した赤外線画像を用いて、利用者の視距離を測定する。
ステップＳ１４０において、制御部２０は、ステップＳ１３０で測定した視距離が予め定めた基準距離以下であるか否かを判定する。なお、ステップＳ１４０の判定処理は、撮影された赤外線画像における顔占有割合が閾値以上か否かを判定することに相当する。否定判定の場合にはステップＳ２０に戻り、ロック解除準備処理を再度実行する。一方、肯定判定の場合にはステップＳ１５０に移行する。
ステップＳ１５０において、制御部２０は、利用者の虹彩領域をステップＳ９０で撮影させた赤外線画像から抽出する。
ステップＳ１６０において、制御部２０は、ステップＳ１５０で抽出した利用者の虹彩領域に含まれる虹彩の形状および配置を表す虹彩パターンと、正規の利用者の虹彩画像の虹彩パターンを比較し、互いの虹彩パターンの一致度合いを求める虹彩認証を実行する。なお、正規の利用者の虹彩画像のデータは、例えばメモリ１０４の予め定めた領域に予め記憶しておけばよい。
ステップＳ１７０において、制御部２０は、ステップＳ１６０における虹彩パターンの比較の結果、互いの虹彩パターンが一致するか否かを判定する。ここで、互いの虹彩パターンが一致するとは、例えば互いの虹彩パターンの一致度合いを数値化した値が基準認証値以上である場合をいう。基準認証値は、これ以上の値であれば虹彩パターンが一致するとみなすことができる下限値に設定される。なお、基準認証値は、例えば虹彩認証に関する実証実験またはコンピュータシミュレーション等により設定された値であり、例えばメモリ１０４の予め定めた領域に予め記憶されている。
互いの虹彩パターンが一致しない場合、すなわち認証失敗の場合にはステップＳ１８０に移行する。
認証失敗の原因の１つとして、例えば赤外線画像に含まれる利用者の虹彩領域が不鮮明である場合が考えられる。したがって、制御部２０は、虹彩認証に適した虹彩領域が撮影できるスマートフォン１の位置を利用者に通知して、虹彩認証を再度実行する。
そのため、ステップＳ１８０において、制御部２０は、表示部３０を制御して、ステップＳ９０で撮影された赤外線画像を表示装置３に表示する。すなわち、これまでステップＳ２０で表示装置３に表示していた図６に示す虹彩認証ガイド画面の代わりに、利用者を撮影した赤外線画像が表示装置３に表示される。
ステップＳ１９０において、制御部２０は表示部３０を制御して、ステップＳ１８０で表示装置３に表示した赤外線画像に、虹彩認証に適した大きさの虹彩領域が撮影できるような目の位置および大きさを表した枠を重ね合わせて表示する。そして、制御部２０は、ステップＳ９０〜Ｓ１９０の処理を繰り返し、ステップＳ１７０で虹彩認証が成功するまで虹彩認証を実行する。
なお、説明の便宜上、ステップＳ９０〜Ｓ１９０までの処理を「ロック解除処理」という。
ステップＳ１９０の実行後、例えば図８Ａに示すように、利用者を撮影した赤外線画像に枠１１が重ね合わされた画像が表示装置３に表示される。したがって、利用者は、表示装置３に表示された赤外線画像を見ながら、目の位置および大きさが枠１１に合うようにスマートフォン１と利用者の顔との相対位置を調整することで、虹彩認証に適した大きさの虹彩領域を含む赤外線画像を撮影することができる。
この場合、制御部２０は、表示装置３の表示領域を２つの領域３Ａ、３Ｂに分割し、例えば領域３Ａに赤外線画像を表示すると共に、領域３Ｂに虹彩認証に関するメッセージを表示してもよい。
具体的には、ステップＳ１３０で測定した視距離が例えば基準距離の１／１０以下の場合に、制御部２０は、目と赤外線カメラ７の距離が近すぎることを利用者に知らせるメッセージを領域３Ｂに表示してもよい。この場合、虹彩認証に適した大きさの虹彩領域が取得できるようにメッセージを音声で出力してもよい。
また、上記では、視距離が基準距離の１／１０以下の場合に、目と赤外線カメラ７の距離が近すぎることを利用者に知らせるメッセージを表示する態様を説明した。しかし、基準距離に対して視距離がどの程度短くなった場合にメッセージを表示するかについての判定基準に制約はなく、１／１０以外の値に設定してもよい。
なお、図８Ａ、図８Ｂでは表示装置３の表示領域を、表示領域の短辺と平行な分割線によって領域３Ａ、３Ｂに分割した態様を示した。しかし、上記の分割形態は一例であり、例えば表示領域の長辺と平行な分割線によって表示装置３の表示領域を分割してもよい。
また、ステップＳ９０で赤外線カメラ７に再度撮影させた赤外線画像に対して、ステップＳ１１０、Ｓ１２０およびＳ１４０の何れかの判定処理が否定判定となる場合には、前述したようにステップＳ２０に戻る。ステップＳ２０では、図６に示した虹彩認証ガイド画面を表示装置３に表示するため、ステップＳ１１０、Ｓ１２０およびＳ１４０の何れかの判定処理が否定判定となる場合、利用者が撮影された赤外線画像および枠１１の表示は中止される。すなわち、ロック解除処理からロック解除準備処理に戻った場合には、利用者が撮影された赤外線画像は表示装置３に表示されない。
一方、ステップＳ１７０の判定処理が肯定判定、すなわち、利用者と正規の利用者の虹彩パターンが一致して虹彩認証に成功した場合には、ステップＳ２００に移行する。
ステップＳ２００において、制御部２０は、ステップＳ１０で点灯した赤外線ＬＥＤ６を消灯する。この場合、制御部２０は、ステップＳ９０でメモリ１０４の予め定めた領域に記憶した赤外線画像のデータを消去してもよい。
ステップＳ２１０において、制御部２０は、スマートフォン１のロック状態を解除し、これ以降、受付部１０が受け付けた操作指示に応じた処理を実行する。この操作指示に応じた処理は、開示の技術における所定の処理の一例である。
ステップＳ１７０で虹彩認証に成功した場合、例えば図８Ｂに示すように、目が枠１１に収まった利用者の顔画像が表示装置３の領域３Ａに表示され、虹彩認証が成功したことを利用者に知らせるメッセージが領域３Ｂに表示される。
なお、制御部２０は、１回目のステップＳ１７０の判定処理で認証成功した場合には、表示装置３に利用者が写った赤外線画像を表示することなくスマートフォン１のロック状態を解除することになる。しかし、１回で虹彩認証に成功した場合の処理はこれに限定されない。例えば、制御部２０は、ステップＳ２００の実行前に図８Ｂに示す画面を表示装置３に表示して、認証が成功したことを利用者に知らせるようにしてもよい。この場合、音声またはスマートフォン１に内蔵されたバイブレータの振動で、認証が成功したことを利用者に知らせるようにしてもよい。
このように第１実施形態に係るスマートフォン１によれば、撮影された赤外線画像における顔占有割合が閾値以上となった場合に虹彩認証を実行し、虹彩認証に失敗した場合は、撮影した赤外線画像をスマートフォン１の表示装置３に表示する。
したがって、例えば電車内等の周囲に人がいるような状況でスマートフォン１のロック状態を解除しようとして赤外線カメラ７で撮影を開始した場合、表示装置３に表示される画像は顔占有割合が閾値以上の赤外線画像となる。しかも、表示装置３に表示される赤外線画像は、図７Ｃのように、図７Ａに比べて利用者の背景領域の面積が小さい画像であるため、意図しない人物等が赤外線画像の背景領域に写り込む可能性を低減することができる。このように、表示装置３への画像の表示を制御するスマートフォン１は、開示の技術における表示制御装置の一例である。
更に、赤外線カメラ７と被写体との間の距離を基準距離以内にしない限り、被写体の顔画像が表示装置３に表示されることはない。前述したように、基準距離が例えば６０ｃｍ以下に設定される場合、他者の顔を撮影するには他者の顔から６０ｃｍ以内にスマートフォン１を持ってくる必要があるため、この場合には事実上、他者の断りなしに他者の顔を撮影することはできない。
したがって、スマートフォン１は、虹彩認証の実施に対して、盗撮等の迷惑行為を行っていると他者から誤認されることを低減することができる。
また、赤外線の透過現象を利用してスマートフォン１の赤外線カメラ７で衣服を透過した画像を撮影しようとしても、表示装置３には、顔占有割合が閾値以上である利用者の顔を表示した画像しか表示されない。したがって、スマートフォン１は、迷惑行為を目的とした赤外線カメラ７の使用を防ぐことができる。
また、第１実施形態に係るスマートフォン１は、虹彩認証を実行するまでに少なくとも赤外線画像を２回撮影する。そして、スマートフォン１は、撮影した赤外線画像毎に利用者の視線が赤外線カメラ７を向き、かつ、視距離が基準距離以下であるかの判定（以下、虹彩認証可能判定という）を行う。そして、スマートフォン１は、撮影した赤外線画像毎の虹彩認証可能判定が全て肯定判定の場合に虹彩認証を実行する。すなわち、スマートフォン１は、時系列に沿って撮影された複数の赤外線画像の各々に対して虹彩認証可能判定を実施することで、赤外線カメラ７が利用者の顔に向けられている状態が継続しているか判定することができる。
虹彩認証が可能な程度に鮮明な虹彩領域を撮影するには、例えばスマートフォン１を一定時間以上利用者の顔に向け、スマートフォン１の姿勢を安定させた状態で撮影することが好ましい。
したがって、スマートフォン１は、虹彩認証可能判定を複数回実行することで、虹彩認証可能判定を１度しか行わない場合に比べて手振れ等の少ない鮮明な赤外線画像を撮影することができるため、虹彩認証に失敗する回数を減らすことができる。
更に、第１実施形態に係るスマートフォン１は、ステップＳ１７０で虹彩認証に失敗した場合、利用者の顔を撮影した赤外線画像および枠１１等が表示装置３に表示される。したがって、虹彩認証中は赤外線カメラ７で撮影した赤外線画像を表示装置３に表示しない場合と比べて、スマートフォン１は、虹彩認証に適した位置および大きさで利用者の目を撮影し易くなる。すなわち、利用者の虹彩に対応する虹彩領域を虹彩認証に適した位置および大きさで撮影する場合の利便性が向上する。
なお、図５に示す虹彩認証処理では、ステップＳ６０およびＳ１２０において、被写体の視線が赤外線カメラ７の方向を向いているか否か判定した。しかし、ステップＳ６０およびＳ１２０の処理は、赤外線画像における顔占有割合の判定に関与しないため省略してもよい。
（第２実施形態）
次に、開示の技術の第２実施形態について、第１実施形態と異なる部分のみ説明する。
第１実施形態では、視距離と画角に応じた基準距離の大小関係に基づいて、撮影した赤外線画像における顔占有割合が閾値以上であるかを判定し、視距離が基準距離以下、すなわち、顔占有割合が閾値以上である場合に、虹彩認証を実施する例について説明した。
第２実施形態では、撮影した赤外線画像の画素数と赤外線画像に含まれる利用者の顔画像の画素数を比較することで顔占有割合が閾値以上か判定し、虹彩認証を実施する態様について説明する。
図３に示すように、第２実施形態に係るスマートフォン１Ａは、第１実施形態で説明したスマートフォン１と同じ構成を用いることができる。
第２実施形態に係る制御部２０は、ロック解除準備処理において、撮影された赤外線画像の画素数と赤外線画像に写る利用者の顔画像の画素数を比較し、顔占有割合が閾値以上の場合にロック解除処理に移行する。
次に、第２実施形態に係るスマートフォン１Ａの作用について説明する。制御部２０は、ロック解除ボタン５の押下を受け付けたことが受付部１０から通知された場合、赤外線カメラ７で撮影された虹彩領域の特徴が、スマートフォン１Ａの正規の利用者の虹彩領域の特徴に類似しているか判定する図９の虹彩認証処理を行う。
図９に示す虹彩認証処理は、第１実施形態で説明した虹彩認証処理（図５参照）と比較して、ステップＳ４０〜Ｓ８０に代えてステップＳ３５〜Ｓ５５を行う点で相違している。
ステップＳ３５において、制御部２０は、ステップＳ３０で赤外線カメラ７に撮影させた赤外線画像から利用者の顔を認識し、顔の輪郭線を抽出する。赤外線画像から顔を認識する方法および顔の輪郭線を抽出する方法には、公知の方法を用いることができる。
例えば、顔の認識には、目および鼻等といった顔に含まれる部位の形状および配置から得られる幾何学的特徴を利用する方法、或いは、赤外線画像から得られる特徴ベクトルの次元を主成分分析等によって圧縮してパターン認識を行う方法等を用いることができる。また、顔の輪郭線の抽出には、例えばラプラシアンフィルタ等の微分フィルタを用いる方法、或いは、画像と予め用意した輪郭の標準パターンを比較するPrewitt法に代表されるテンプレートマッチングを用いることができる。
ステップＳ４５において、制御部２０は、ステップＳ３０で赤外線カメラ７に撮影させた赤外線画像全体の画素数（以下、全体画素数という）を計測する。また、制御部２０は、ステップＳ３５で赤外線画像から抽出した顔の輪郭線内の画像、すなわち、顔画像の画素数（以下、顔画素数という）を計測する。そして、制御部２０は、全体画素数に対する顔画素数の割合を算出することで、顔占有割合を求める。
ステップＳ５５において、制御部２０は、ステップＳ４５で算出した顔占有割合が閾値以上であるか否かを判定する。なお、第１実施形態で説明したように、顔占有割合の閾値は、赤外線画像の背景領域に利用者以外の人物等が写り込まないか、または利用者以外の人物等が写り込んだとしても、当該人物等を特定することが困難な大きさにしか写らないような値に予め設定される。
ステップＳ５５の判定処理が否定判定の場合には、ステップＳ３０に戻る。そして、制御部２０は、ステップＳ３０で赤外線カメラ７に赤外線画像を再び撮影させ、顔占有割合が閾値以上になるまで、ステップＳ３０〜Ｓ５５の処理を繰り返す。
すなわち、制御部２０は、ステップＳ３０で赤外線カメラ７に撮影させた赤外線画像に利用者以外の人物が写り込んでいる可能性が高いと考えられる間は、ステップＳ９０以降のロック解除処理を実行しないようにする。
全体画素数に対する顔画素数の割合が閾値未満の赤外線画像の一例を図１０Ａに示す。なお、図１０Ａ〜図１０Ｃに示す輪郭線１２は、顔画像の外縁に相当する。図１０Ａに示す赤外線画像は、顔画像の背景領域に意図しない人物等が写り込む可能性があるため、ステップＳ５５の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。
図１０Ｂに示す赤外線画像は、図１０Ａに示す赤外線画像に比べて視距離が短くなっているが、利用者の顔の一部が赤外線カメラ７の撮影範囲外にはみ出しているため、全体画素数に対する顔画素数の割合が閾値未満となっている。この場合も、顔画像の背景領域に意図しない人物等が写り込む可能性がある。したがって、図１０Ｂに示す赤外線画像は、ステップＳ５５の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。
一方、図１０Ｃに示す赤外線画像は、全体画素数に対する顔画素数の割合が閾値以上である状態を示している。この場合、図１０Ａおよび図１０Ｂに示す赤外線画像に比べて、意図しない人物等が写り込む可能性がある背景領域の面積が小さくなり、利用者以外の人物等が背景領域に写り込んだとしても、当該人物等を特定することが困難となる。したがって、図１０Ｃに示す赤外線画像は、ステップＳ５５の判定処理で肯定判定となり、ロック解除処理が実行される。
なお、図１０Ａ〜図１０Ｃに示す赤外線画像は、顔画像が耳を含まない例を示しているが、耳も顔の一部とみなし、耳を含む顔画像を抽出してもよい。
そして、ステップＳ９０〜Ｓ１９０のロック解除処理では、制御部２０は、第１実施形態で説明した虹彩認証処理と同様に、ステップＳ９０で赤外線カメラ７に赤外線画像を再度撮影させ、利用者の視線検出および視距離測定を行った上で、虹彩認証を実行する。
このように第２実施形態に係るスマートフォン１Ａによれば、赤外線画像から顔画像を抽出し、赤外線画像の全体画素数と顔画素数との比率から顔占有割合を算出する。そして、スマートフォン１Ａは、顔占有割合が閾値以上の場合にロック解除処理を実行すると共に、虹彩認証に成功した場合にスマートフォン１Ａのロック状態を解除する。
すなわち、スマートフォン１Ａは、赤外線画像の画素数を計測して顔占有割合を算出するため、視距離と画角に基づいて顔占有割合が閾値以上かを判定する場合に比べて、精度よく顔占有割合を算出できる。
なお、第２実施形態では、ステップＳ９０より前の処理であるロック解除準備処理内で、撮影した赤外線画像の全体画素数と顔画素数との比率を顔占有割合として閾値と比較する例を説明した。
しかし、第２実施形態に係るロック解除準備処理で、図５に示した第１実施形態に係るロック解除準備処理と同じ処理を行い、第２実施形態に係るロック解除処理のステップＳ１００〜Ｓ１４０を、図９のステップＳ３５〜Ｓ５５の処理に置き換えてもよい。すなわち、ロック解除処理内で、撮影された赤外線画像の全体画素数と顔画素数との比率を顔占有割合として閾値と比較し、顔占有割合が閾値以上の場合に虹彩認証をするようにしてもよい。この場合、顔占有割合が閾値未満であれば、処理をステップＳ２０に戻す。
（第３実施形態）
次に、開示の技術の第３実施形態について、第１実施形態と異なる部分のみ説明する。
第３実施形態では、スマートフォンでスマートフォンの利用者自身の顔を含む画像（以下、自画像という）を撮影する場合に、利用者以外の人物等が自画像に写り込む可能性を低減する態様について説明する。
図１１に示すように、第３実施形態に係るスマートフォン１Ｂは、表示装置３、ロック解除ボタン５、タッチパネル８、受付部１０、可視光ＬＥＤ１３、可視光カメラ１４、制御部２０Ｂおよび表示部３０を含む。ここでいう可視光とは、例えば約３８０ｎｍ以上で、約７８０ｎｍ未満の電磁波をいう。
可視光ＬＥＤ１３は可視光を射出する光源であり、例えばタッチパネル８の操作による指示に応じて可視光の射出開始または射出停止を行う。
可視光カメラ１４は、被写体で反射した可視光を複数の光電変換素子で複数の画素に分割して検出することで、被写体の画像を撮影する。
なお、一例として、可視光ＬＥＤ１３および可視光カメラ１４は、図１に示す赤外線ＬＥＤ６および赤外線カメラ７と同じく、表示装置３の表示面側に設置されているものとする。すなわち、第３実施形態に係る可視光カメラ１４は、インカメラとして用いられる前提で説明する。
制御部２０Ｂは、受付部１０、表示部３０、可視光ＬＥＤ１３および可視光カメラ１４に接続される。制御部２０Ｂは、撮影開始の指示を受け付けたことが受付部１０から通知された場合、例えば可視光ＬＥＤ１３を点灯して可視光カメラ１４に画像を撮影させる。なお、制御部２０Ｂは、可視光ＬＥＤ１３を点灯することなく可視光カメラ１４に画像を撮影させてもよい。
スマートフォン１Ｂは、図１２に示すコンピュータ１００Ｂで実現できる。図１２に示す構成は、図４に示す構成に対し、赤外線ＬＥＤ６に代えて可視光ＬＥＤ１３が設けられ、赤外線カメラ７に代えて可視光カメラ１４が設けられた点で相違している。また、コンピュータ１００Ｂの記憶部１０６には、表示制御プログラム１２０に代えて表示制御プログラム１２０Ｂが記憶される。表示制御プログラム１２０Ｂは、図４の制御プロセス１２４に代えて制御プロセス１２４Ｂを含む。
ＣＰＵ１０２は、表示制御プログラム１２０Ｂを記憶部１０６から読み出してメモリ１０４に展開し、表示制御プログラム１２０Ｂに含まれる各プロセスを実行することで、コンピュータ１００Ｂを図１１に示すスマートフォン１Ｂとして動作する。
具体的には、ＣＰＵ１０２が制御プロセス１２４Ｂを実行することで、コンピュータ１００Ｂを図１１に示す制御部２０Ｂとして動作する。
なお、コンピュータ１００Ｂは、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
次に、第３実施形態に係るスマートフォン１Ｂの作用について説明する。制御部２０Ｂは、スマートフォン１Ｂの利用者がタッチパネル８等を操作することによって、利用者自身を被写体として撮影する撮影モード（以下、自撮りモードという）を開始する通知を受付部１０から受け付けた場合に、自撮り処理を実行する。
図１３に示す自撮り処理のステップＳ１５において、制御部２０Ｂは表示部３０を制御して、スマートフォン１Ｂの利用者に自撮りモードへ移行したことを知らせる画面（以下、自撮りガイド画面という）を表示装置３に表示させる。
一例として、図１４に示すように、自撮りガイド画面には、例えば「自分の顔の方向にインカメラを向けてください」といった、スマートフォン１Ｂの可視光カメラ１４を利用者の方向に向けさせるように指示するメッセージが表示される。この場合、制御部２０Ｂは、可視光カメラ１４をスマートフォン１Ｂの利用者の方向に向ける様子を描いた画像をメッセージと共に表示装置３に表示させてもよい。当該画像を表示装置３に表示することにより、メッセージだけで自撮りの操作方法を利用者に知らせる場合に比べて、自撮りの操作方法をよりわかりやすく利用者に知らせることができる。また、自撮りモードへ移行したことを利用者に音声で通知してもよい。
ステップＳ２５において、制御部２０Ｂは、可視光カメラ１４に画像を撮影させ、撮影された画像のデータを例えばメモリ１０４の予め定めた領域に記憶する。既にメモリ１０４の予め定めた領域に他の画像のデータがある場合、制御部２０Ｂは、当該他の画像のデータをステップＳ２５で可視光カメラ１４に撮影させた画像のデータで上書きする。
ステップＳ３５、Ｓ４５において、制御部２０Ｂは、第２実施形態で説明した処理と同様の処理を行い、ステップＳ２５で可視光カメラ１４によって撮影された画像から顔画像を抽出し、全体画素数に対する顔画素数の比率から顔占有割合を算出する。
ステップＳ５５において、制御部２０Ｂは、ステップＳ４５で算出した顔占有割合が閾値以上であるか否かを判定し、否定判定の場合にはステップＳ２５に戻り、顔占有割合が閾値以上となる画像が撮影されるまでステップＳ２５〜Ｓ５５の処理を繰り返す。
一方、ステップＳ５５の判定処理が肯定判定の場合には、ステップＳ６５に移行する。
ステップＳ６５において、制御部２０Ｂは、可視光カメラ１４に新たな画像を撮影させ、撮影した画像のデータを例えばメモリ１０４の予め定めた領域に記憶する。この場合、制御部２０Ｂは、ステップＳ２５でメモリ１０４の予め定めた領域に記憶した画像のデータを、ステップＳ６５で可視光カメラ１４に撮影させた画像のデータで上書きする。
ステップＳ７５〜Ｓ９５において、制御部２０Ｂは、ステップＳ６５で可視光カメラ１４によって撮影された画像に対して、ステップＳ３５〜Ｓ５５と同様の処理を再度実行する。ステップＳ７５〜Ｓ９５の処理によって、利用者が画像中の顔占有割合が閾値以上となる状態を維持したまま、スマートフォン１Ｂの可視光カメラ１４を利用者に向け続けているか否かを判定することができる。ここで、ステップＳ９５の判定処理が肯定判定の場合、すなわち、利用者がスマートフォン１Ｂを自分自身に向け続け、画像中の顔占有割合が閾値以上となっている場合は、ステップＳ１０５に移行する。
ステップＳ１０５において、制御部２０Ｂは表示部３０を制御して、可視光カメラ１４に撮影させた画像を表示装置３に表示させる。すなわち、これまでステップＳ１５で表示装置３に表示していた図１４に示す自撮りガイド画面の代わりに、顔占有割合が閾値以上の自画像が表示装置３に表示される。
利用者は、自画像が表示装置３に表示されたことを確認すると、自画像のデータを保存する指示をスマートフォン１Ｂに通知する。データの保存を指示する方法としては、例えばタッチパネル８を押下する方法、或いはデータの保存の指示に予め対応付けられた手または目等の動きを行うことでデータの保存をスマートフォン１Ｂに通知するジェスチャ操作等が用いられる。
ステップＳ１１５において、制御部２０Ｂは、データの保存の指示を受付部１０から受け付けたか否かを判定する。肯定判定の場合にはステップＳ１２５に移行し、ステップＳ１２５において、制御部２０Ｂは、保存の指示があった自画像のデータを、例えばメモリ１０４の予め定めた領域に記憶し、図１３に示す自撮り処理を終了する。なお、自画像のデータの保存先はメモリ１０４に限定されない。例えば、通信装置１１４を用いてインターネット上のデータサーバに保存してもよい。
一方、ステップＳ１１５の判定処理が否定判定の場合にはステップＳ６５に戻り、可視光カメラ１４に新たに撮影させた画像中の顔占有割合を算出する。そして、顔占有割合が閾値以上である場合に画像を表示装置３に表示させるステップＳ６５〜Ｓ１１５の処理を繰り返す。
ここで、ステップＳ９５の判定処理が否定判定となる場合、すなわち、スマートフォン１Ｂまたは利用者の顔が動いて画像中の顔占有割合が閾値未満となってしまった場合には、ステップＳ１３５に移行する。
ステップＳ１３５において、制御部２０Ｂは、表示装置３に自画像を表示している場合には自画像の表示を中止し、ステップＳ１５に戻る。そして、制御部２０Ｂは、ステップＳ１５以降の処理を繰り返す。
このように第３実施形態に係るスマートフォン１Ｂによれば、画像をＮ回（Ｎ＝２）撮影し、時系列に撮影した各画像における顔占有割合がそれぞれ閾値以上となる場合に、画像を表示装置３に表示する。また、スマートフォン１Ｂは、画像を表示装置３に表示中であっても、撮影した画像中の顔占有割合が閾値未満となった場合には、画像の表示を中止する。
したがって、自撮りを行っている利用者の画像、すなわち自画像の背景領域に、利用者以外の人物等が意図せずに写り込む可能性を低減することができる。なお、画像の撮影回数、すなわち、画像中の顔占有割合が閾値以上か否かの判定回数ＮはＮ＝２に限られるものではなく、Ｎ≧３であってもよい。
なお、第１実施形態で説明した虹彩認証処理（図５）および第２実施形態で説明した虹彩認証処理（図９）のステップＳ１６０では、正規の利用者における虹彩画像のデータを予めメモリ１０４に記憶しておく態様について説明した。しかし、正規の利用者における虹彩画像のデータの記憶先はこれに限定されない。例えば、正規の利用者における虹彩画像のデータをインターネット上のデータサーバに記憶しておき、虹彩認証を行う場合に、正規の利用者における虹彩画像のデータをデータサーバからダウンロードして、利用者の虹彩パターンと比較してもよい。
また、第１実施形態および第２実施形態において、距離センサを用いて、赤外線カメラ７から利用者の目までの距離を直接計測して視距離を測定してもよい。この場合、距離センサは、スマートフォン１、１Ａに内蔵されていることが好ましい。
また、上記では、撮影画像に占める顔画像の割合が閾値以上か否かを判定する態様について説明した。しかし、開示の技術はこれに限定されるものではない。例えば、トリミングやデジタルズーム等により、撮影画像のうちの一部の領域が表示装置３に表示される場合、撮影画像のうち表示装置３へ表示する表示領域に占める顔画像の割合が閾値以上か否かを判定する。そして、当該割合が閾値以上である場合に、撮影画像を表示するようにしてもよい。
以上、各実施形態を用いて開示の技術を説明したが、開示の技術は各実施形態に記載の範囲には限定されない。開示の技術の要旨を逸脱しない範囲で各実施形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も開示の技術の技術的範囲に含まれる。例えば、開示の技術の要旨を逸脱しない範囲で処理の順序を変更してもよい。
また、各実施形態では、表示制御プログラム１２０および１２０Ｂが記憶部１０６に予め記憶（インストール）されている形態を説明したが、これに限定されるものではない。開示の技術に係る表示制御プログラムは、コンピュータ読取可能な記録媒体１１６に記録された形態で提供することも可能である。例えば、開示の技術に係る表示制御プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたはＵＳＢメモリ等の可搬型記録媒体に記録された形態で提供することも可能である。また、開示の技術に係る表示制御プログラムは、フラッシュメモリ等の半導体メモリ等に記録された形態で提供することも可能である。
以上の第１実施形態〜第３実施形態を含む各実施形態に関し、更に以下の付記を開示する。
（付記１）
撮影画像を表示装置に表示する表示部と、
前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める顔画像の割合が閾値以上の場合に、前記表示部によって前記表示装置に前記撮影画像を表示させる制御部と、
を含む表示制御装置。
（付記２）
撮影画像を表示装置に表示する表示部と、
前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める顔画像の割合が閾値未満の場合に、前記表示部による前記表示装置への前記撮影画像の表示を禁止する制御部と、
を含む表示制御装置。
（付記３）
前記制御部は、前記顔画像に対応する人物から前記撮影画像を撮影する撮影装置までの距離および前記撮影画像を撮影した際の前記撮影装置の画角に基づいて、前記顔画像の割合を判定する
付記１または付記２記載の表示制御装置。
（付記４）
前記制御部は、前記顔画像の割合として、前記撮影画像または前記表示領域の画素数に対する前記顔画像の画素数の比率を算出する
付記１または付記２記載の表示制御装置。
（付記５）
前記制御部は、前記撮影画像を複数回取得し、取得した複数の前記撮影画像について前記顔画像の割合が何れも前記閾値以上の場合に、前記表示装置に前記撮影画像を表示させ、複数の前記撮影画像の少なくとも１つについて前記顔画像の割合が前記閾値未満の間は、前記表示装置への前記撮影画像の表示を禁止する
付記１〜付記４の何れか１項に記載の表示制御装置。
（付記６）
前記制御部は、前記顔画像の割合が前記閾値以上の場合に、前記顔画像に含まれる虹彩領域を予め登録された虹彩画像と比較する虹彩認証を実行する
付記１〜付記５の何れか１項に記載の表示制御装置。
（付記７）
前記制御部は、前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと一致する場合に、所定の処理を行う
付記６記載の表示制御装置。
（付記８）
前記制御部は、前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが、予め登録された虹彩画像の虹彩パターンと異なる場合、新たに撮影された撮影画像に基づいて前記虹彩認証を再度実行する
付記６記載の表示制御装置。
（付記９）
前記撮影画像が、前記表示装置の表示面と同じ面に設けられた撮影装置によって撮影される
付記１〜付記８の何れか１項に記載の表示制御装置。
（付記１０）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値以上の場合に、前記撮影画像を前記表示装置に表示する
処理を実行させる表示制御方法。
（付記１１）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
処理を実行させる表示制御方法。
（付記１２）
前記顔画像に対応する人物から前記撮影画像を撮影する撮影装置までの距離および前記撮影画像を撮影した際の前記撮影装置の画角に基づいて、前記顔画像の割合を判定する
付記１０または付記１１記載の表示制御方法。
（付記１３）
前記顔画像の割合として、前記撮影画像または前記表示領域の画素数に対する前記顔画像の画素数の比率を算出する
付記１０または付記１１記載の表示制御方法。
（付記１４）
前記撮影画像を複数回取得し、取得した複数の前記撮影画像について前記顔画像の割合が何れも前記閾値以上の場合に、前記表示装置に前記撮影画像を表示させ、複数の前記撮影画像の少なくとも１つについて前記顔画像の割合が前記閾値未満の間は、前記表示装置への前記撮影画像の表示を禁止する
付記１０〜付記１３の何れか１項に記載の表示制御方法。
（付記１５）
前記顔画像の割合が前記閾値以上の場合に、前記顔画像に含まれる虹彩領域を予め登録された虹彩画像と比較する虹彩認証を実行する
付記１０〜付記１４の何れか１項に記載の表示制御方法。
（付記１６）
前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと一致する場合に、所定の処理を行う
付記１５記載の表示制御方法。
（付記１７）
前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが、予め登録された虹彩画像の虹彩パターンと異なる場合、新たに撮影された撮影画像に基づいて前記虹彩認証を再度実行する
付記１５記載の表示制御方法。
（付記１８）
前記撮影画像が、前記表示装置の表示面と同じ面に設けられた撮影装置によって撮影される
付記１０〜付記１７の何れか１項に記載の表示制御方法。
（付記１９）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値以上の場合に、前記撮影画像を前記表示装置に表示する
処理を実行させる表示制御プログラム。
（付記２０）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
処理を実行させる表示制御プログラム。
（付記２１）
前記顔画像に対応する人物から前記撮影画像を撮影する撮影装置までの距離および前記撮影画像を撮影した際の前記撮影装置の画角に基づいて、前記顔画像の割合を判定する
付記１９または付記２０記載の表示制御プログラム。
（付記２２）
前記顔画像の割合として、前記撮影画像または前記表示領域の画素数に対する前記顔画像の画素数の比率を算出する
付記１９または付記２０記載の表示制御プログラム。
（付記２３）
前記撮影画像を複数回取得し、取得した複数の前記撮影画像について前記顔画像の割合が何れも前記閾値以上の場合に、前記表示装置に前記撮影画像を表示させ、複数の前記撮影画像の少なくとも１つについて前記顔画像の割合が前記閾値未満の間は、前記表示装置への前記撮影画像の表示を禁止する
付記１９〜付記２２の何れか１項に記載の表示制御プログラム。
（付記２４）
前記顔画像の割合が前記閾値以上の場合に、前記顔画像に含まれる虹彩領域を予め登録された虹彩画像と比較する虹彩認証を実行する
付記１９〜付記２３の何れか１項に記載の表示制御プログラム。
（付記２５）
前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと一致する場合に、所定の処理を行う
付記２４記載の表示制御プログラム。
（付記２６）
前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが、予め登録された虹彩画像の虹彩パターンと異なる場合、新たに撮影された撮影画像に基づいて前記虹彩認証を再度実行する
付記２４記載の表示制御プログラム。
（付記２７）
前記撮影画像が、前記表示装置の表示面と同じ面に設けられた撮影装置によって撮影される
付記１９〜付記２６の何れか１項に記載の表示制御プログラム。
（付記２８）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値以上の場合に、前記撮影画像を前記表示装置に表示する
処理を実行させる表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記２９）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
処理を実行させる表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
１（１Ａ、１Ｂ）・・・スマートフォン、３・・・表示装置、４・・・通話用スピーカ、５・・・ロック解除ボタン、６・・・赤外線ＬＥＤ、７・・・赤外線カメラ、８・・・タッチパネル、１０・・・受付部、１２・・・輪郭線、１３・・・可視光ＬＥＤ、１４・・・可視光カメラ、２０（２０Ｂ）・・・制御部、３０・・・表示部、１００（１００Ａ、１００Ｂ）・・・コンピュータ、１０２・・・ＣＰＵ、１０４・・・メモリ、１０６・・・記憶部、１０８・・・バス、１１２・・・入力装置、１１４・・・通信装置、１１６・・・記録媒体、１２０（１２０Ｂ）・・・表示制御プログラム、１２２・・・受付プロセス、１２４（１２４Ｂ）・・・制御プロセス、１２６・・・表示プロセス

Claims (12)

  1. 撮影画像を表示装置に表示する表示部と、
    前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値以上の場合に、前記表示部によって前記表示装置に前記撮影画像を表示させる制御部と、
    を含む表示制御装置。
  2. 撮影画像を表示装置に表示する表示部と、
    前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値未満の場合に、前記表示部による前記表示装置への前記撮影画像の表示を禁止する制御部と、
    を含む表示制御装置。
  3. 前記制御部は、前記顔画像に対応する人物から前記撮影画像を撮影する撮影装置までの距離および前記撮影画像を撮影した際の前記撮影装置の画角に基づいて、前記顔画像の割合を判定する
    請求項１または請求項２記載の表示制御装置。
  4. 前記制御部は、前記顔画像の割合として、前記撮影画像または前記表示領域の画素数に対する前記顔画像の画素数の比率を算出する
    請求項１または請求項２記載の表示制御装置。
  5. 前記制御部は、前記撮影画像を複数回取得し、取得した複数の前記撮影画像について前記顔画像の割合が何れも前記閾値以上の場合に、前記表示装置に前記撮影画像を表示させ、複数の前記撮影画像の少なくとも１つについて前記顔画像の割合が前記閾値未満の間は、前記表示装置への前記撮影画像の表示を禁止する
    請求項１〜請求項４の何れか１項に記載の表示制御装置。
  6. 前記制御部は、前記顔画像の割合が前記閾値以上の場合に、前記顔画像に含まれる虹彩領域を予め登録された虹彩画像と比較する虹彩認証を実行する
    請求項１〜請求項５の何れか１項に記載の表示制御装置。
  7. 前記制御部は、前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと一致する場合に、所定の処理を行う
    請求項６記載の表示制御装置。
  8. 前記制御部は、前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと異なる場合、新たに撮影された撮影画像に基づいて前記虹彩認証を再度実行する
    請求項６記載の表示制御装置。
  9. コンピュータに、
    撮影画像または前記撮影画像のうち表示装置への表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値以上の場合に、前記撮影画像を前記表示装置に表示する
    処理を実行させる表示制御方法。
  10. コンピュータに、
    撮影画像または前記撮影画像のうち表示装置への表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
    処理を実行させる表示制御方法。
  11. コンピュータに、
    撮影画像または前記撮影画像のうち表示装置への表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値以上の場合に、前記撮影画像を前記表示装置に表示する
    処理を実行させる表示制御プログラム。
  12. コンピュータに、
    撮影画像または前記撮影画像のうち表示装置への表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
    処理を実行させる表示制御プログラム。
JP2015177597A 2015-09-09 2015-09-09 表示制御装置、表示制御方法および表示制御プログラム Active JP6613740B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015177597A JP6613740B2 (ja) 2015-09-09 2015-09-09 表示制御装置、表示制御方法および表示制御プログラム
US15/248,516 US10205883B2 (en) 2015-09-09 2016-08-26 Display control method, terminal device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015177597A JP6613740B2 (ja) 2015-09-09 2015-09-09 表示制御装置、表示制御方法および表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2017055250A JP2017055250A (ja) 2017-03-16
JP6613740B2 true JP6613740B2 (ja) 2019-12-04

Family

ID=58189777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015177597A Active JP6613740B2 (ja) 2015-09-09 2015-09-09 表示制御装置、表示制御方法および表示制御プログラム

Country Status (2)

Country Link
US (1) US10205883B2 (ja)
JP (1) JP6613740B2 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110114732A (ko) 2007-09-24 2011-10-19 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
KR102255351B1 (ko) * 2014-09-11 2021-05-24 삼성전자주식회사 홍채 인식 방법 및 장치
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
KR102547054B1 (ko) * 2016-07-29 2023-06-23 삼성전자주식회사 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
KR20180071589A (ko) * 2016-12-20 2018-06-28 삼성전자주식회사 홍채 인식 기능 운용 방법 및 이를 지원하는 전자 장치
US10493624B1 (en) * 2016-12-23 2019-12-03 X Development Llc Mobile robot
US11436348B2 (en) * 2017-03-07 2022-09-06 Sony Corporation Method and system of passing and applying delegations of authority
JP6952499B2 (ja) * 2017-05-31 2021-10-20 キヤノン株式会社 情報処理装置及びプログラム
CN107451454B (zh) * 2017-07-29 2020-03-24 Oppo广东移动通信有限公司 解锁控制方法及相关产品
EP3662406B1 (en) * 2017-08-01 2023-11-22 Apple Inc. Determining sparse versus dense pattern illumination
CN107545163B (zh) 2017-08-14 2022-04-26 Oppo广东移动通信有限公司 解锁控制方法及相关产品
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
EP4156129A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric enrollment
CN111488816A (zh) * 2017-09-12 2020-08-04 Oppo广东移动通信有限公司 面部信息预览方法及相关产品
CN109670368B (zh) * 2017-10-13 2021-09-28 深圳芯启航科技有限公司 生物特征图像采集系统
CN108460288B (zh) * 2018-04-02 2022-02-08 惠州学院 大数据安全加密方法、装置、存储介质及移动终端
CN108366220A (zh) * 2018-04-23 2018-08-03 维沃移动通信有限公司 一种视频通话处理方法及移动终端
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
WO2019233199A1 (zh) 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 验证方法、验证装置及计算机可读存储介质
JP7068966B2 (ja) * 2018-08-20 2022-05-17 ヤフー株式会社 表示制御プログラム、表示制御方法および端末装置
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11367305B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Obstruction detection during facial recognition processes
US20220130173A1 (en) * 2019-03-14 2022-04-28 Nec Corporation Information processing device, information processing system, information processing method, and storage medium
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
JP6906023B2 (ja) * 2019-08-13 2021-07-21 本田技研工業株式会社 車両用認証装置
WO2021060670A1 (ko) * 2019-09-26 2021-04-01 주식회사 앤오픈 보안 카드를 이용한 사용자 인증 장치 및 사용자 인증 방법
CN110992419B (zh) * 2019-10-13 2020-12-15 湛江市金蝶管理软件有限公司 目标大数据占据面积检测平台及方法
WO2021084643A1 (ja) * 2019-10-30 2021-05-06 日本電気株式会社 認証装置、認証方法及び記録媒体
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
WO2022185596A1 (ja) * 2021-03-04 2022-09-09 パナソニックＩｐマネジメント株式会社 推定システム、推定方法およびプログラム
CN115165115B (zh) * 2022-09-07 2023-07-04 中亿(深圳)信息科技有限公司 智能手表的体温测量方法、装置、介质及穿戴设备
CN117170528B (zh) * 2023-10-19 2024-02-06 惠州市炬能量电子科技有限公司 一种基于边缘计算的光学触摸投屏方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005253778A (ja) 2004-03-12 2005-09-22 Gen Tec:Kk 視線検出方法及び同装置
JP2006048266A (ja) 2004-08-03 2006-02-16 Matsushita Electric Ind Co Ltd 眼画像撮影装置およびそれを用いた認証装置
JP2006181012A (ja) 2004-12-27 2006-07-13 Matsushita Electric Ind Co Ltd 眼画像撮影装置および認証装置ならびに誘導方法
JP4976156B2 (ja) 2007-02-08 2012-07-18 富山県 画像識別方法
JP2010277504A (ja) * 2009-06-01 2010-12-09 Seiko Epson Corp 顔認証装置、携帯端末、および顔画像表示方法
JP5609555B2 (ja) * 2010-11-05 2014-10-22 セイコーエプソン株式会社 画像処理装置、プログラムおよび画像処理方法
JP2013034167A (ja) * 2011-06-28 2013-02-14 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2015012304A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9564177B1 (en) * 2015-03-24 2017-02-07 Amazon Technologies, Inc. Intelligent video navigation techniques

Also Published As

Publication number Publication date
US20170070680A1 (en) 2017-03-09
JP2017055250A (ja) 2017-03-16
US10205883B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
JP6613740B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
EP3143545B1 (en) Electronic device with method for controlling access to the same
KR101688168B1 (ko) 이동 단말기 및 그 제어방법
JP4924603B2 (ja) 顔認証装置、顔認証方法およびプログラム
JP6052399B2 (ja) 画像処理プログラム、画像処理方法及び情報端末
JP7452571B2 (ja) 生体認証装置、生体認証方法および生体認証プログラム
EP3012767A1 (en) Controlled access to functionality of a wireless device
CN108550210B (zh) 控制车辆解除锁定状态的方法和装置
WO2017206308A1 (zh) 拍照方法和装置
JP4910627B2 (ja) なりすまし検知装置
US20190357048A1 (en) Authentication management method, information processing apparatus, wearable device, and computer program
KR102495796B1 (ko) 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
KR20200116925A (ko) 인증 장치
US20150347732A1 (en) Electronic Device and Method for Controlling Access to Same
JP6667628B2 (ja) 生体認証装置、携帯端末装置、制御プログラム
KR102532746B1 (ko) 전자 장치 및 그 제어 방법
JP2020505705A (ja) 特徴画像を習得するための方法およびデバイスならびにユーザー認証方法
JP2009015518A (ja) 眼画像撮影装置及び認証装置
JP4957016B2 (ja) 情報処理装置及びキーロック解除方法並びにプログラム
JP2007249589A (ja) 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
WO2018135466A1 (ja) 端末装置及び表示制御プログラム
CN106559650B (zh) 看守装置和看守方法
JP6964174B1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20110012820A (ko) 얼굴 구성 성분의 모션 조합에 의한 개인 인증 장치 및 그 방법
JP2022088423A (ja) 頭部装着ディスプレイ装置、認証方法、及び認証プログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180405

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180608

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191021

R150 Certificate of patent or registration of utility model

Ref document number: 6613740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250