JP2024005833A - 制御装置およびその制御方法 - Google Patents
制御装置およびその制御方法 Download PDFInfo
- Publication number
- JP2024005833A JP2024005833A JP2022106238A JP2022106238A JP2024005833A JP 2024005833 A JP2024005833 A JP 2024005833A JP 2022106238 A JP2022106238 A JP 2022106238A JP 2022106238 A JP2022106238 A JP 2022106238A JP 2024005833 A JP2024005833 A JP 2024005833A
- Authority
- JP
- Japan
- Prior art keywords
- user
- eyeball
- display
- feature
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 111
- 210000001508 eye Anatomy 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 3
- 210000000720 eyelash Anatomy 0.000 claims description 2
- 210000000744 eyelid Anatomy 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 20
- 210000004027 cell Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 210000002569 neuron Anatomy 0.000 description 13
- 230000010354 integration Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
【課題】ユーザーに誘導されていると意識させることがなく、個人識別しやすい方向を見させることが出来、それにより個人識別の精度を維持することで、利便性を向上させることが可能な個人識別装置及び制御方法を提供する。【解決手段】方法は、表示素子10に指標502を表示し、ファインダーを覗いたユーザーの視線を誘導する。所定方向に誘導された眼球に対し、眼球画像を撮像する。眼球画像情報を特徴算出器302へ入力して個人の特徴を示す特徴量を算出する。【選択図】図12
Description
本発明は、個人識別機能を有する制御装置に関する。
近年、カメラで撮影された人物の顔画像に基づいて個人を認証・識別する方法が適用されている。その方法の一つとして虹彩認証を用いた技術がある。
特許文献1では、人物の眼球画像より虹彩部分を抽出し、虹彩のコードと基準コードと比較することで同一性を判断して個人の認証・識別を行っている。
特許文献1によれば、個人の識別を行うことが可能であるが、眼球が真正面を向いている状態で識別する例しか考慮していない。眼球の特徴にはユーザーによる個人差があるため、例えば真正面を向いた状態で識別をしても精度よく識別できない場合があった。
本発明は上記課題に鑑みてなされたものであり、利便性を向上した個人識別装置を提供することを目的とする。
そこで、本発明は、ユーザーに注視させる指標を表示させるように表示手段による表示を制御する表示制御手段と、当該指標の表示に対応するタイミングでユーザーの眼球情報からユーザーを識別する識別手段と、を有し、前記表示制御手段は、ユーザーの特徴に基づく位置に前記指標が表示されるように前記表示手段による表示を制御することを特徴とする。
本発明は上記課題に鑑みてなされたものであり、ユーザーに誘導されていると意識させることがなく、直感的に、個人識別しやすい方向を見させることが出来、それにより個人識別の精度を維持することで、利便性を向上させることが可能な個人識別装置を提供することを目的とする。
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
<カメラの構成>
図2は本発明における眼球情報取得機能及び個人識別機能を有するカメラ1の外観を示している。本実施例の個人識別とは、カメラ1を使用しようとしているユーザーが、事前に登録されたユーザー本人であるかどうかを識別することであり、個人認証とも称する。
図2は本発明における眼球情報取得機能及び個人識別機能を有するカメラ1の外観を示している。本実施例の個人識別とは、カメラ1を使用しようとしているユーザーが、事前に登録されたユーザー本人であるかどうかを識別することであり、個人認証とも称する。
図2(a)はカメラ1の正面斜視図、図2(b)は背面斜視図である。カメラ1は本実施例においては、図2(a)の正面斜視図に示すように、撮影レンズ1A及びカメラ本体の筐体部1Bで構成されている。また、ユーザーからの撮像操作を受ける操作部材であるレリーズボタン5が配置されている。また、図2(b)の背面斜視図で示すように、カメラ1の背面には、カメラ内部に含まれる後述する表示素子10を、ユーザーが覗きこむための接眼窓枠121及び接眼レンズ12が配置されている。また、眼球を照らす複数個の照明光源13a、13b、13c、13dが接眼レンズ12の周囲に存在している。
図1は図2(a)で図示したY軸とZ軸が成すYZ平面でカメラ筐体を切った断面図であり、本発明におけるカメラ1の構成の概略を示した説明図である。図1及び図2において、対応する部位は同じ番号で表記されている。
図1において、1Aはレンズ交換式カメラにおける撮影レンズを示す。本実施形態では便宜上撮影レンズ1Aの内部を101、102の二枚のレンズで表したが、実際はさらに多数のレンズで構成されていることは周知の通りである。1Bはカメラ本体の筐体部を示し、その内部に含まれるユニットの構成は以下のようになる。2は撮像素子で、カメラ1の撮影レンズ1Aの予定結像面に配置されている。カメラ1には、カメラ全体を制御するCPU3、撮像素子2にて撮像された画像を記録するメモリ部4が内包される。また、撮像された画像を表示するための液晶等で構成される表示素子10と、それを駆動する表示素子駆動回路11、表示素子10に表示された被写体像を観察するための接眼レンズ12が配置されている。
13a~13dは、光源の角膜反射による反射象と瞳孔の関係から視線方向を検出するための撮影者の眼球14を照明するための光源で、赤外発光ダイオードからなり、接眼レンズ12の周りに配置されている。視線方向の一例は視線に相当するベクトルである。照明された眼球像と光源13a~13dの角膜反射による像は接眼レンズ12を透過し、受光レンズ15によって眼球用撮像素子16上に結像される。受光レンズ15は撮影者の眼球14の瞳孔と眼球用撮像素子16を共役な結像関係に位置付けている。本実施例ではユーザーの視線方向を検出することでユーザーが注視している表示素子10上の位置を特定することを想定しているが、ユーザーが注視している表示素子10上の位置を特定することができればこの方法に限られない。
図3はカメラ1に内蔵された電気的構成を示すブロック図であり、図1と同一の構成には同一の番号を付している。カメラ1に内蔵されたマイクロコンピュータの中央処理装置3(以下、CPU3と呼ぶ)には眼球画像撮像回路201、表示素子駆動回路11、照明光源駆動回路205、眼球識別回路206が接続されている。CPU3に付随したメモリ部4は、撮像素子2および眼球用撮像素子16からの撮像信号の記憶機能及び、後述する視線の個人差を補正する視線補正データの記憶機能を有している。
眼球画像撮像回路201は、眼球用撮像素子16からの眼球像が結像することによる出力を検出し、この像情報をCPU3に送信する。CPU3は視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の視線を算出する。
表示素子駆動回路11は、表示素子10を駆動させるための回路である。表示素子駆動回路11は、図4に示すように、ガイダンス表示501、指標502、指標503等の表示を、表示素子10に表示させる。中央処理装置3は表示素子駆動回路11の表示制御を行う。
信号入力回路204には不図示のレリーズボタン5の第一ストロークでONし、カメラの測光、測距、視線検出動作等を開始するためのスイッチであるSW1と、レリーズボタンの第二ストロークでONし、レリーズ動作を開始するためのスイッチであるSW2が接続される。前記の信号が信号入力回路204に入力され、CPU3に送信される。
眼球識別回路206には、上記眼球画像撮像回路201で生成された眼球画像に対し、類似度算出を行い、ユーザーが誰であるかの識別結果をCPU3に送信する。
<ファインダー視野内の表示>
図4はファインダー視野内を示した図で、表示素子10における表示動作を示す図である。
図4はファインダー視野内を示した図で、表示素子10における表示動作を示す図である。
本実施例では、ユーザーの眼球の特徴量が大きい眼球の向きを特定するために、事前に眼球情報を取得する。そして、個人識別を行う場合に、ユーザーの眼球の向きが、眼球の特徴量が大きくなる方向に向く位置に指標を表示することで、眼球の特徴的な箇所を使って個人識別をすることができるので、識別精度を向上させることができる。
ユーザーの眼球の特徴量が大きい箇所、すなわちユーザーの眼球の特徴がある箇所は、一例として、図10(a)に示すようなユーザー特有の模様701である。図1の眼球用撮像素子16に対して模様701を欠けることなく撮像することで、個人識別精度を向上させることができる。そこで、図10(b)に示すユーザーの視線702を、図9の指標600を用いて上記ユーザー特有の模様が見える方向に誘導することにより、ユーザー特有701を用いて個人識別を行うことが可能となる。
このようにユーザーの視線702を、図9の指標600を用いて上記ユーザー特有の模様が見える方向に誘導するための表示について、以下に詳しく説明する。本実施例では、ユーザーはファインダーを覗き、図4に示すEVF視野内画像500を視認した状態で、本発明における個人識別を行うものとする。
まず、図4(a)を用いて、眼球情報の取得画面の表示について説明する。眼球情報取得用の指標503を用いて、各指標503の位置とユーザーの視線方向のずれを検出することで、視線方向の補正情報を取得する。また、各指標503をユーザーが注視するごとにユーザーの眼球画像を取得し、ユーザーの眼球の特徴量を取得する。このとき、指標503の表示箇所の一例として、中心と上下左右に表示されるが、これに限られず、例えば1つの指標503が画面内を連続的に移動するような構成にしても良い。また、図4(a)のような表示箇所の例において、各指標503をユーザーに順番に注視させるために、順番に色などによる強調表示を行うようにしても良い。指標503はユーザーがメニューから個人識別情報の設定を指定した場合に表示するようにしても良い。
このような表示によって、上記複数の眼球方向の特徴量を取得することで、を用いて個人識別精度度の高い眼球の方向を決定することができる。次に、図4(b)を用いて、個人識別画面の表示について説明する。ファインダーを覗いた直後などにおいては、カメラの使用を制限するロック画面になっている。ロック画面にはロックを解除するためにユーザーに注視させる指標502が表示される。この指標502をユーザーが注視している間に個人識別を行い、予め登録された眼球情報と一致した場合には、カメラのロックが解除され、カメラの使用が可能になるものとする。
本実施例では、事前に特徴量が大きくなる眼球方向を特定しているため、指標502を注視した場合にその方向に眼球が向く位置に、指標502を表示する。例えばユーザーが画面の下方向を向いている場合に眼球の特徴量が大きくなる場合には、図4(b)の示すように指標502を画面下部に表示することで、識別の精度を向上させる。このとき、指標502を最初から図4(b)に示す位置に表示する構成としても良いし、最初は画面中央などの別の位置に表示をし、図4(b)に示す位置に連続的に移動させることで、ユーの注意を惹くようにしても良い。
また、同じカメラを複数人で用いる場合には、複数人が識別情報を登録することになる。そこで、一例として、登録した各人の眼球の特徴量が大きくなる方向から表示されるべき指標502の位置を平均化した位置に指標502を表示することで、事前に登録された複数人に対して識別精度を向上させることができる。
本実施例では、眼球用撮像素子16が表示素子10の光軸とはずれた位置に配置されていることで、表示素子10を注視するユーザーの眼球を正面から撮影せず斜め方向から撮影することになる。ため、このような構成により個人識別の精度が低下するような場合あっても、図4(b)に示すようにユーザーの特性を考慮した位置に指標502を表示することで、識別精度を向上させることができる。
<ユーザーの特徴量保存動作のフロー>
図5は本実施例における、個人識別処理の概要を示すフローチャートである。なお、このフローチャートの処理はCPU3がメモリ部4に格納されたプログラムを実行し、各部を制御することにより実現される。
図5は本実施例における、個人識別処理の概要を示すフローチャートである。なお、このフローチャートの処理はCPU3がメモリ部4に格納されたプログラムを実行し、各部を制御することにより実現される。
前述のようにファインダーを覗き、EVF視野内画像500を視認した状態で個人識別動作のフローが開始される。
ステップS001において、表示素子10に例えば図4(a)に示す表示をすることで、対象人物の眼球の特性を元に視線方向を補正するための情報を取得すると同時に、複数の眼球方向の特徴量を取得する。図4(a)の指標503を注視する方向に視線方向を誘導された眼球に対し、光源13a、13b及び13c、13dから赤外光を放射した状態で眼球画像を撮像する。この時、赤外光によって照明された観察者の眼球像は、眼球用撮像素子16上に受光レンズ15を通して結像し、眼球用撮像素子16により光電変換がなされ、眼球像は電気信号として処理が可能となる。上記のように眼球用撮像素子16から得られた眼球画像信号をCPU3に送る。CPU3は、眼球画像信号から、ユーザーの眼球の特徴量を取得する。ステップS001では眼球画像信号の取得および特徴量の取得処理を、各指標503に対して実行する。
次にステップS002において、ステップS001で各指標503に対応して取得した複数の眼球画像を、図6で示す特徴量照合部304に入力する。ここで図6における特徴量記憶部303には、予め登録されたユーザーごとに、各指標503の位置(すなわち視線方向)と対応づけられた特徴量が記憶される。前記特徴量照合部304に対して、記憶された複数のユーザーごとに、の指標503ごとの眼球の特徴量を入力する。指標503ごとの眼球の特徴量から、ユーザーごとに眼球方向ごとの個人識別度の計測を行い、ユーザーごとに個人識別精度が高くなる眼球方向を計算する。
ステップS003において、S002で計算した、ユーザーごとに個人識別精度が高くなる眼球方向から、事前に登録された複数人に対して識別精度を向上させることができる指標502の位置に対応する眼球方向を決定する。
一例として、登録した各人の眼球の特徴量が大きくなる方向から表示されるべき指標502の位置を平均化した位置に指標502を表示することで、また、図9を用いて後述する実施例2の方法を適用して決定することもできる。最終的にステップS004において、上記ステップS003で決定した眼球方向に図4(b)に示すような指標502を表示させて個人識別を実施する。
以上のように、ユーザーの眼球の特徴の異方性を活用し、登録された複数のユーザーに対して識別精度を向上させることができる。なお、本実施例ではS001乃至S003とS004が連続的に実行される例を説明したが、別のタイミングで実行しても良い。図4の説明で前述したように、S001乃至S003ユーザーがメニューから個人識別情報の設定を指定した場合に実行するようにし、S004はユーザーがファインダーを覗いたら適宜実行するようにしても良い。
<ユーザーの視線を誘導して個人識別する動作の説明>
以下に、S004の処理について図12のフローチャートを用いてより詳しく説明する。
以下に、S004の処理について図12のフローチャートを用いてより詳しく説明する。
まず、S201において、表示素子10に図4で示す指標502を表示し、ファインダーを覗いたユーザーの視線を誘導する。
その際に、図4における画面表示においては、画面に指標502が表示されており、説明書あるいは、ガイダンスなどで、指標502を見ながら操作部材(一例として、図2におけるレリーズボタン5等)を操作することで、ユーザーの特徴量保存動作が行われることが通知されているものとする。
次にS202において、前ステップで所定方向に誘導された眼球に対し、光源13a、13b及び13c、13dから赤外光を放射した状態で眼球画像を撮像する。この時、赤外光によって照明された観察者の眼球像は、眼球用撮像素子16上に受光レンズ15を通して結像し、眼球用撮像素子16により光電変換がなされ、眼球像は電気信号として処理が可能となる。
ステップS204において、眼球画像情報を図6で示すように、特徴算出器302へ入力して個人の特徴を示す特徴量を算出する。特徴算出器302についての詳細は後述する。
本実施例においては、上記特徴算出器302を用いて特徴量を算出する方法として、後述する特徴算出器による特徴量算出を例に挙げているが、それに限定されるものではなく、公知の技術であるアイリスコードを算出して使用してもよい。
図5の処理により、ユーザーに誘導されていると意識させることがなく、直感的に、個人識別しやすい方向を見させることができる。また、これにより個人識別の精度を維持することで、利便性を向上させることが可能な個人識別装置を提供することができる。
<特徴算出器を用いた眼球画像及び眼球情報からの特徴量抽出>
前述のフローで用いた特徴算出器302の基本的な構成について、図7および図8を用いて説明する。
前述のフローで用いた特徴算出器302の基本的な構成について、図7および図8を用いて説明する。
まず、図7に入力された2次元画像データから個人識別を行う特徴算出器302の基本的な構成を示す。
処理の流れは、左端を入力とし、右方向に処理が進んでいく。特徴算出器302は、特徴検出層(S層)と特徴統合層(C層)と呼ばれる2つの層をひとつのセットとし、それが階層的に構成されている。
特徴算出器302では、まずS層において前段階層で検出された特徴をもとに次の特徴を検出する。またS層において検出した特徴をC層で統合し、その階層における検出結果として次の階層に送る構成になっている。
S層は特徴検出細胞面からなり、特徴検出細胞面ごとに異なる特徴を検出する。また、C層は、特徴統合細胞面からなり、前段の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合、特徴検出細胞面および特徴統合細胞面を総称して特徴面と呼ぶ。本実施形態では、最終段階層である出力層ではC層は用いずS層のみで構成している。
次に、特徴検出細胞面での特徴検出処理、および特徴統合細胞面での特徴統合処理の詳細について、図8を用いて説明する。特徴検出細胞面は、複数の特徴検出ニューロンにより構成され、特徴検出ニューロンは前段階層のC層に所定の構造で結合している。また特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同階層のS層に所定の構造で結合している。図8中に示した、L階層目S層のM番目細胞面内において、位置(ξ,ζ)の特徴検出ニューロンの出力値を
L階層目C層のM番目細胞面内において、位置(ξ,ζ)の特徴統合ニューロンの出力値を
と表記する。その時、それぞれのニューロンの結合係数を
とすると、各出力値は以下のように表すことができる。
数式1のfは活性化関数であり、ロジスティック関数や双曲正接関数などのシグモイド関数であれば何でも良く、例えばtanh関数で実現して良い。
は、L階層目S層のM番目細胞面における、位置(ξ,ζ)の特徴検出ニューロンの内部状態である。数式2は活性化関数を用いず単純な線形和をとっている。数式2のように活性化関数を用いない場合は、ニューロンの内部状態
と出力値
は等しい。また、数式1の
数式3の
をそれぞれ特徴検出ニューロン、特徴統合ニューロンの結合先出力値と呼ぶ。
数式1及び数式2中のξ,ζ,u,v,nについて説明する。位置(ξ,ζ)は入力画像における位置座標に対応しており、例えば
が高い出力値である場合は、入力画像の画素位置(ξ,ζ)に、L階層目S層M番目細胞面において検出する特徴が存在する可能性が高いことを意味する。またnは数式2において、L-1階層目C層n番目細胞面を意味しており、統合先特徴番号と呼ぶ。基本的にL-1階層目C層に存在する全ての細胞面についての積和演算を行う。(u,v)は、結合係数の相対位置座標であり、検出する特徴のサイズに応じて有限の範囲(u,v)において積和演算を行う。このような有限な(u,v)の範囲を受容野と呼ぶ。また受容野の大きさを、以下では受容野サイズと呼び、結合している範囲の横画素数×縦画素数で表す。
また数式1において、L=1つまり一番初めのS層では、
は、入力画像yin_image(ξ+u,ζ+v)または、入力位置マップyin_posi_map(ξ+u,ζ+v)となる。ちなみにニューロンや画素の分布は離散的であり、結合先特徴番号も離散的なので、ξ,ζ,u,v,nは連続な変数ではなく、離散的な値をとる。ここでは、ξ,ζは非負整数、nは自然数、u,vは整数とし、何れも有限な範囲となる。
数式1中の
は、所定の特徴を検出するための結合係数分布であり、これを適切な値に調整することによって、所定の特徴を検出することが可能になる。この結合係数分布の調整が学習であり、特徴算出器の構築においては、さまざまなテストパターンを提示して、
が適切な出力値になるように、結合係数を繰り返し徐々に修正していくことで結合係数の調整を行う。
次に、数式2中の
は、2次元のガウシアン関数を用いており、以下の数式3のように表すことができる。
ここでも、(u,v)は有限の範囲としてあるので、特徴検出ニューロンの説明と同様に、有限の範囲を受容野といい、範囲の大きさを受容野サイズと呼ぶ。この受容野サイズは、ここではL階層目S層のM番目特徴のサイズに応じて適当な値に設定すれば良い。数式3中の、σは特徴サイズ因子であり、受容野サイズに応じて適当な定数に設定しておけば良い。具体的には、受容野の一番外側の値がほぼ0とみなせるような値になるように設定するのが良い。
上述のような演算を各階層で行うことで、最終階層のS層において特徴量を算出し、どのユーザーがカメラを利用しているのかを識別することができる。
<本実施例の効果>
以上説明したように、個人識別するためにユーザーに注視させる指標が、ユーザーの特徴(特に眼球の特徴)に基づく位置に表示させる、これにより、ユーザーに対して直感的に、個人識別しやすい方向を注視させながら、個人識別の精度を向上させることができる。また、個人識別するためにユーザーに注視させる指標が、複数のユーザーの特徴(特に眼球の特徴)に基づく位置に表示させることで、複数のユーザーに対して個人識別しやすい方向を注視させながら、個人識別の精度を向上させることができるという効果を有する。なお、ユーザーの特徴の他の例として、まつげやまぶた、目の模様、眼鏡の表面の反射によって生じるゴーストのいずれか、もしくは、これらの組合せであっても良い。
以上説明したように、個人識別するためにユーザーに注視させる指標が、ユーザーの特徴(特に眼球の特徴)に基づく位置に表示させる、これにより、ユーザーに対して直感的に、個人識別しやすい方向を注視させながら、個人識別の精度を向上させることができる。また、個人識別するためにユーザーに注視させる指標が、複数のユーザーの特徴(特に眼球の特徴)に基づく位置に表示させることで、複数のユーザーに対して個人識別しやすい方向を注視させながら、個人識別の精度を向上させることができるという効果を有する。なお、ユーザーの特徴の他の例として、まつげやまぶた、目の模様、眼鏡の表面の反射によって生じるゴーストのいずれか、もしくは、これらの組合せであっても良い。
本実施例では、実施例1のS003における、事前に登録された複数人に対して識別精度を向上させることができる指標502の位置に対応する眼球方向を決定する方法の一例として、許容眼球識別範囲を用いる場合について詳しく説明する。
<許容眼球識別範囲>
前述の図4(b)や図5のステップS003において説明したように、ユーザーごとに個人識別度が高い眼球方向が存在する。例えば眼球の特徴が複数あることで個人識別度が高い眼球方向は複数ある場合もあり、また最も個人識別度が高い方向から多少眼球方向が変わったとしてもある程度あの範囲は同じ眼球の特徴から高い個人識別度を有する。このように、個人識別度が高い眼球方向はある範囲にわたって存在しており、この範囲を本実施例では許容眼球識別範囲と称する。許容眼球識別範囲内に指標502を表示することで、事前に登録されているユーザーの識別成功率を向上させることができる。
前述の図4(b)や図5のステップS003において説明したように、ユーザーごとに個人識別度が高い眼球方向が存在する。例えば眼球の特徴が複数あることで個人識別度が高い眼球方向は複数ある場合もあり、また最も個人識別度が高い方向から多少眼球方向が変わったとしてもある程度あの範囲は同じ眼球の特徴から高い個人識別度を有する。このように、個人識別度が高い眼球方向はある範囲にわたって存在しており、この範囲を本実施例では許容眼球識別範囲と称する。許容眼球識別範囲内に指標502を表示することで、事前に登録されているユーザーの識別成功率を向上させることができる。
下記に、許容眼球識別範囲の決定方法について具体的に説明する。
図9(a)は図4の指標502と同じ機能を持つ指標600をEVF内で表示させる位置を示している。上記指標600は、個人識別装置が識別をしやすい範囲を示す許容眼球識別範囲601の範囲内に配置される。前述した登録者は、それぞれ図9に示す表示指標600と許容眼球識別範囲601を保有している。
図9(b)は複数のユーザーが登録されている場合の、識別しやすい組み合わせの計算を示す。例えば2人の登録者が存在するとき、それぞれ指標600a、600bと許容眼球識別範囲601a、601bを保有している。この時、重複する許容範囲602が存在するとき、図9(c)のように重複する許容範囲に登録者1と2双方にとって識別しやすい視標点603を表示する。これにより、それぞれの登録者にとって識別しやすい箇所に視標点が存在するため、眼球識別を実行したとき、登録者を判別することが容易となる。
<許容眼球識別範囲の決定フロー>
以下に、図11のフローチャートを用いて説明する。
以下に、図11のフローチャートを用いて説明する。
ステップS101において、登録者数又は特徴量が変化したか判別を行う。
次に、ステップS102において、図9に示す各々の登録者の許容眼球識別範囲601が重複するか判別を行う。
ステップS103において、許容眼球識別範囲が重複しないよう後述する方法により計算を行う。
<実施例2の効果>
本実施例によれば、許容眼球識別範囲を用いることで、事前に登録された複数人に対して識別精度を向上させることができる。
本実施例によれば、許容眼球識別範囲を用いることで、事前に登録された複数人に対して識別精度を向上させることができる。
<登録者の増減に応じて登録者に警告をする動作の説明>
まず、図13に示すフローのステップS301において、個人識別装置の登録者又は特徴量に変化が生じ、ステップS302においてその個人の特徴量を記憶しているか判断し、記憶していない場合にステップS303において登録者に対して警告を発する。上記警告は一例として、図4におけるガイダンス表示501や音声案内504で表されている挙動であり、既存登録者と同等の特徴を持った新規登録者が現れた場合、既存登録者と新規登録者を誤認識する可能性があるため、既存登録者に対して再度登録作業を行うことを促す。例えば、眼球に特徴的な模様があるAさんに対して、新規登録されたBさんにも同様な模様が存在するとき、AさんとBさんを見分けることが難しい、Aさんにはもう一つ別の特徴的な模様があった場合、Aさんに対して、識別登録をもう一度行うように要請し、AさんとBさんの誤認識を防ぐことができる。また、EVFに表示する誘導指標の場所が変化したことをユーザーに示すようにしても良い。
まず、図13に示すフローのステップS301において、個人識別装置の登録者又は特徴量に変化が生じ、ステップS302においてその個人の特徴量を記憶しているか判断し、記憶していない場合にステップS303において登録者に対して警告を発する。上記警告は一例として、図4におけるガイダンス表示501や音声案内504で表されている挙動であり、既存登録者と同等の特徴を持った新規登録者が現れた場合、既存登録者と新規登録者を誤認識する可能性があるため、既存登録者に対して再度登録作業を行うことを促す。例えば、眼球に特徴的な模様があるAさんに対して、新規登録されたBさんにも同様な模様が存在するとき、AさんとBさんを見分けることが難しい、Aさんにはもう一つ別の特徴的な模様があった場合、Aさんに対して、識別登録をもう一度行うように要請し、AさんとBさんの誤認識を防ぐことができる。また、EVFに表示する誘導指標の場所が変化したことをユーザーに示すようにしても良い。
<実施例3の効果>
本実施例によれば、事前に登録された複数人のユーザーにおいて類似する眼球の特徴を有している場合であっても、識別精度を向上させることができる。
本実施例によれば、事前に登録された複数人のユーザーにおいて類似する眼球の特徴を有している場合であっても、識別精度を向上させることができる。
<その他の実施例>
上述の実施例では本発明をカメラに適用する例を説明したが、ヘッドマウントディスプレイ(HMD)、ARグラス等のxRデバイスのように、カメラとは異なるデバイスに適用することも可能である。この場合、眼球情報取得のための指標や識別のため指標は、カメラのファインダーに代えて各デバイスの表示部において表示される。
上述の実施例では本発明をカメラに適用する例を説明したが、ヘッドマウントディスプレイ(HMD)、ARグラス等のxRデバイスのように、カメラとは異なるデバイスに適用することも可能である。この場合、眼球情報取得のための指標や識別のため指標は、カメラのファインダーに代えて各デバイスの表示部において表示される。
本発明は、次の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
3 CPU
10 表示素子
11 表示素子駆動回路
12 接眼レンズ
13a~b 照明光源
14 眼球
15 受光レンズ
16 眼球用撮像素子
10 表示素子
11 表示素子駆動回路
12 接眼レンズ
13a~b 照明光源
14 眼球
15 受光レンズ
16 眼球用撮像素子
Claims (6)
- ユーザーに注視させる指標を表示させるように表示手段による表示を制御する表示制御手段と、
当該指標の表示に対応するタイミングでユーザーの眼球情報からユーザーを識別する識別手段と、を有し、
前記表示制御手段は、ユーザーの特徴に基づく位置に前記指標が表示されるように前記表示手段による表示を制御することを特徴とする制御装置。 - 前記表示手段は、事前に登録された複数のユーザーの特徴に基づく位置に前記指標が表示されるように前記表示手段による表示を制御することを特徴とする請求項1に記載の制御装置。
- 前記ユーザーの特徴に基づく位置は、ユーザーの特徴に基づく位置が事前に登録されていない場合に前記指標が表示される位置と比較して、前記識別手段による識別の精度が高くなる位置であることを特徴とする請求項2に記載の制御装置。
- 前記特徴は、ユーザーの眼球の特徴である請求項1乃至3のいずれかに記載の制御装置。
- 前記特徴は、まつげやまぶた、目の模様、眼鏡の表面の反射によって生じるゴーストのいずれか1つ以上を含むことを特徴とする請求項1乃至3のいずれかに記載の制御装置。
- 制御装置の制御方法であって、
ユーザーに注視させる指標を表示させるように表示手段による表示を制御する表示制御ステップと、
当該指標の表示に対応するタイミングでユーザーの眼球情報からユーザーを識別する識別ステップと、を有し、
前記表示制御ステップでは、ユーザーの特徴に基づく位置に前記指標が表示されるように前記表示手段による表示を制御することを特徴とする制御装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022106238A JP2024005833A (ja) | 2022-06-30 | 2022-06-30 | 制御装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022106238A JP2024005833A (ja) | 2022-06-30 | 2022-06-30 | 制御装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024005833A true JP2024005833A (ja) | 2024-01-17 |
Family
ID=89540955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022106238A Pending JP2024005833A (ja) | 2022-06-30 | 2022-06-30 | 制御装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024005833A (ja) |
-
2022
- 2022-06-30 JP JP2022106238A patent/JP2024005833A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3750028B1 (en) | Devices, systems and methods for predicting gaze-related parameters | |
US20210049410A1 (en) | Devices, systems and methods for predicting gaze-related parameters using a neural network | |
JP4811259B2 (ja) | 視線方向推定装置及び視線方向推定方法 | |
US10002293B2 (en) | Image collection with increased accuracy | |
US9961257B2 (en) | Imaging to facilitate object gaze | |
CN107533362A (zh) | 眼睛跟踪设备和用于操作眼睛跟踪设备的方法 | |
EP3749172B1 (en) | Devices, systems and methods for predicting gaze-related parameters | |
CN105874473A (zh) | 利用了脸部构成要素距离的虹膜识别用图像的取得装置和方法 | |
WO2015027598A1 (zh) | 提醒方法及提醒装置 | |
JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
US20220198789A1 (en) | Systems and methods for determining one or more parameters of a user's eye | |
CN113260299A (zh) | 用于眼睛追踪的系统和方法 | |
JP2006099614A (ja) | 生体判別装置および生体判別方法 | |
Kanade et al. | Convolutional neural networks (CNN) based eye-gaze tracking system using machine learning algorithm | |
CN112099622B (zh) | 一种视线追踪方法及装置 | |
CN114600031A (zh) | 智能眼镜的视线追踪系统及其方法 | |
CN113495613B (zh) | 眼球追踪校准方法及装置 | |
CN115103094A (zh) | 一种基于注视点的摄像头模组远视角调节方法及系统 | |
US11281893B2 (en) | Method and device for modifying the affective visual information in the field of vision of an user | |
CN116883436A (zh) | 一种基于视线估计的辅助理解方法及系统 | |
US20230266820A1 (en) | Electronic device | |
JP2024005833A (ja) | 制御装置およびその制御方法 | |
JP2018010465A (ja) | 情報処理装置及びプログラム | |
JP7423005B2 (ja) | 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置 | |
CN114740966A (zh) | 多模态图像显示控制方法、系统及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |