WO2021210235A1

WO2021210235A1 - 電子機器

Info

Publication number: WO2021210235A1
Application number: PCT/JP2021/002814
Authority: WO
Inventors: 山本　英明
Original assignee: キヤノン株式会社
Priority date: 2020-04-14
Filing date: 2021-01-27
Publication date: 2021-10-21
Also published as: US20230013134A1; JP2021170699A; CN115427883A

Abstract

本発明の電子機器は、接眼部に対する接眼を検知する接眼検知と、ユーザーの視線を検出する視線検出とを実行可能な電子機器であって、前記接眼検知のために受光する接眼検知センサーと、前記接眼検知センサーとは別の、前記視線検出のために受光する視線検出センサーと、前記接眼検知と前記視線検出で兼用される光源を含む１つ以上の光源とを有することを特徴とする。

Description

電子機器

　本発明は、視線検出機能を有する電子機器に関する。

　視線検出機能でユーザーの視線（視線方向）を検出し、視線の検出結果に基づいて測距点選択などを行うことが可能なカメラ（ビデオカメラを含む）が実用化されている。さらに、ユーザーがファインダー（接眼部）に接眼したときのみ視線検出機能が有効となるように、接眼検知機能を有するカメラも実用化されている。

　特許文献１には、視線検出のための発光ダイオード、視線検出センサーとは別に、接眼検知のための発光ダイオード、接眼検知センサーを設けることで、視線検出機能と接眼検知機能を実現する技術が開示されている。特許文献２には、視線検出と接眼検知を同一のセンサーで実施する技術が開示されている。

特開平７－１９９０４７号公報特開平９－２６２２０９号公報

　しかしながら、特許文献１に開示された従来技術では、視線検出のための部材と接眼検知のための部材とが別々に設られるため、構成が複雑化し、コストが増してしまう。特許文献２に開示された従来技術では、視線検出と接眼検知が同一のセンサーで行われるため、接眼検知の消費電力が増してしまう。

　本発明は、接眼検知機能と視線検出機能を少ない消費電力で実現する電子機器を低コストで提供することを目的とする。

　本発明によれば、接眼検知機能と視線検出機能を少ない消費電力で実現する電子機器を低コストで提供できる。

本実施形態に係るカメラの外観図である。本実施形態に係るカメラのブロック図である。本実施形態に係るカメラの断面図である。本実施形態に係るカメラのＥＶＦ部分を示す図である。本実施形態に係る赤外ＬＥＤから発せられた光の光路を示す図である。本実施形態に係る視線検出方法の原理を説明するための図である。本実施形態に係る眼画像を示す図である。本実施形態に係る視線検出動作のフローチャートである。本実施形態に係る接眼検知を含む動作のフローチャートである。

　以下、添付の図面を参照して本発明の好適な実施形態を説明する。

　＜構成の説明＞
　図１（ａ），１（ｂ）は、本実施形態に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観を示す。なお、本発明は、画像、文字等の情報を表示するデバイスや、接眼光学系を通して光学像を視認するユーザーの視線を検出することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ヘッドマウントディスプレイ、双眼鏡などが含まれてよい。

　図１（ａ）は正面斜視図であり、図１（ｂ）は背面斜視図である。図１（ａ）に示すように、カメラ１は、撮影レンズユニット１Ａ及びカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮像操作を受け付ける操作部材であるレリーズボタン３４が配置されている。図１（ｂ）に示すように、カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている後述の表示パネル６をユーザーが覗き込むための接眼窓枠１２１が配置されている。接眼窓枠１２１は覗き口１２を形成し、カメラ筐体１Ｂに対しては外側（背面側）に突出している。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付ける操作部材４１～４３も配置されている。例えば、操作部材４１はタッチ操作を受け付けるタッチパネルであり、操作部材４２は各方向に押し倒し可能な操作レバーであり、操作部材４３は４方向のそれぞれに押し込み可能な４方向キーである。操作部材４１（タッチパネル）は、液晶パネル等の表示パネルを備えており、表示パネルで画像を表示する機能を有する。

　図２は、カメラ１内の構成を示すブロック図である。

　撮像素子２は例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、撮影レンズユニット１Ａの光学系により撮像素子２の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部（不図示）に出力する。Ａ／Ｄ変換部は、撮像素子２により得られたアナログ画像信号をＡ／Ｄ変換し、画像データとして出力する。

　撮影レンズユニット１Ａは、ズームレンズ、フォーカスレンズ、絞り等を含む光学系で構成され、カメラ筐体１Ｂに装着された状態で、被写体からの光を撮像素子２に導き、被写体像を撮像素子２の撮像面上に結像する。絞り制御部１１８、焦点調節部１１９、ズーム制御部１２０は、それぞれマウント接点１１７を介してＣＰＵ３からの指示信号を受信し、該指示信号に従い、絞り、フォーカスレンズ、ズームレンズを駆動制御する。

　カメラ筐体１Ｂが備えるＣＰＵ３は、カメラ筐体１Ｂが備える各ブロックに対する制御プログラムをメモリ部４の有するＲＯＭより読み出し、メモリ部４の有するＲＡＭに展開して実行する。これによりＣＰＵ３は、カメラ筐体１Ｂが備える各ブロックの動作を制御する。ＣＰＵ３には、視線検出部２０１、測光部２０２、自動焦点検出部２０３、信号入力部２０４、接眼検知部２０８、表示デバイス駆動部２１０、光源駆動部２０５等が接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された絞り制御部１１８、焦点調節部１１９、ズーム制御部１２０に、マウント接点１１７を介して信号を伝達する。本実施形態では、メモリ部４は、撮像素子２および視線検出センサー３０からの撮像信号の記憶機能を備える。

　視線検出部２０１は、視線検出センサー３０上に眼球像が結像した状態での視線検出センサー３０の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線（視認用画像における視点）を算出する。

　接眼検知部２０８は、接眼検知センサー５０の出力をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従ってユーザーが接眼部（ファインダー；覗き口１２の部分）に対して接眼したか否かを算出する。

　測光部２０２は、測光センサーの役割を兼ねた撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換等を行い、その結果を被写界輝度情報としてＣＰＵ３に送る。

　自動焦点検出部２０３は、撮像素子２（例えばＣＣＤ）の中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施形態では、一例として、ファインダー内の視野像（視認用画像）を分割し、撮像面上の分割された１８０か所のそれぞれに、焦点検出ポイントがあるとする。

　光源駆動部２０５は、ＣＰＵ３からの信号（指示）に基づいて、後述する赤外ＬＥＤ１８，１９，２２～２７を駆動する。具体的には、光源駆動部２０５は、ＣＰＵ３からの信号に基づいて、赤外ＬＥＤ１８，１９，２２～２７の発光強度（発光量；発光輝度）を個別または一律に制御する。発光強度の制御は、点灯／消灯の切り替えを含むものとする。

　画像処理部２０６は、ＲＡＭに格納されている画像データに対して、各種画像処理を行う。例えば、光学系や撮像素子に起因する画素欠陥の補正処理、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理など、デジタル画像データを現像し表示・記録するための様々な画像処理が行われる。

　信号入力部２０４には、スイッチＳＷ１とスイッチＳＷ２が接続されている。スイッチＳＷ１は、カメラ１の測光、測距、視線検出動作等を開始するためのスイッチであり、レリーズボタン３４の第１ストロークでＯＮする。スイッチＳＷ２は、撮影動作を開始するためのスイッチであり、レリーズボタン３４の第２ストロークでＯＮする。スイッチＳＷ１，ＳＷ２からのＯＮ信号は信号入力部２０４に入力され、ＣＰＵ３に送信される。また信号入力部２０４は、図１（ｂ）の操作部材４１（タッチパネル）、操作部材４２（操作レバー）、操作部材４３（４方向キー）からの操作入力も受け付ける。

　記録／出力部２０７は、着脱可能なメモリカード等の記録媒体に画像データを含むデータを記録、またはこれらのデータを外部インターフェースを介して外部装置に出力する。

　表示デバイス駆動部２１０は、ＣＰＵ３からの信号に基づいて、表示デバイス２０９を駆動する。表示デバイス２０９は、後述する表示パネル５，６である。

　図３は、図１（ａ）に示したＹ軸とＺ軸が成すＹＺ平面でカメラ１を切断した断面図であり、カメラ１の構成を概念的に示した図である。

　シャッター３２と撮像素子２は撮影レンズユニット１Ａの光軸方向に順に並ぶ。

　カメラ筐体１Ｂの背面には表示パネル５が設けられ、表示パネル５は、カメラ１の操作やカメラ１で得られた画像の鑑賞・編集のために、メニュー表示や画像表示を行う。表示パネル５は、バックライト付きの液晶パネルや、有機ＥＬパネル等で構成される。

　カメラ筐体１Ｂに設けられたＥＶＦは、通常のＥＶＦとして表示パネル５のようにメニューや画像の表示が行えることに加えて、ＥＶＦを覗くユーザーの視線を検出し、検出結果をカメラ１の制御に反映することが可能な構成となっている。

　表示パネル６は、ユーザーがファインダーを覗いているときに、表示パネル５と同様の表示（カメラ１の操作やカメラ１で得られた画像の鑑賞・編集のためのメニュー表示や画像表示）を行う。表示パネル６は、バックライト付きの液晶パネルや、有機ＥＬパネル等で構成される。表示パネル６は一般的なカメラにおける撮影画像と同様に、３：２や４：３、１６：９といったＸ軸方向（水平方向）のサイズがＹ軸方向（垂直方向）のサイズよりも長い長方形で構成される。

　パネルホルダー７は表示パネル６を保持するパネルホルダーで、表示パネル６とパネルホルダー７は接着固定され、表示パネルユニット８を構成している。

　第一光路分割プリズム９、第二光路分割プリズム１０は貼り付け接着されて光路分割プリズムユニット１１（光路分割部材）を構成している。光路分割プリズムユニット１１は、表示パネル６からの光を覗き口１２に設けられたアイピース窓１７に導き、逆にアイピース窓１７から導かれる目（瞳）からの反射光などを視線検出センサー３０に導く。

　表示パネルユニット８と光路分割プリズムユニット１１は、マスク３３を挟んで固定され、一体形成されている。

　接眼光学系１６は、Ｇ１レンズ１３、Ｇ２レンズ１４、Ｇ３レンズ１５により構成される。

　アイピース窓１７は、可視光を透過する透明な部材である。表示パネルユニット８に表示された画像は、光路分割プリズムユニット１１と接眼光学系１６とアイピース窓１７を通して観察される。

　照明窓２０，２１は、赤外ＬＥＤ１８，１９，２２～２７が外から視認できないように隠すための窓で、可視光を吸収し赤外光を透過する樹脂で構成されている。

　図４（ａ）は、カメラ１のＥＶＦ部分の構成を示す斜視図、図４（ｂ）はＥＶＦ部分の光軸の横断面図である。

　赤外ＬＥＤ１８，１９，２２，２３，２４，２５，２６，２７は、各々が覗き口１２に向けて赤外光を照射するように、互いに異なる位置・姿勢で配置されている。赤外ＬＥＤ１８，１９，２３，２５は近距離照明用の赤外ＬＥＤ（光源）である。赤外ＬＥＤ２２，２４，２６，２７は遠距離照明用の赤外ＬＥＤ（光源）である。なお、赤外ＬＥＤ以外の光源が使用されてもよい。

　絞り２８、視線結像レンズ２９を含む視線検出光学系は、光路分割プリズムユニット１１によってアイピース窓１７から導かれた赤外反射光を、視線検出センサー３０に導く。

　視線検出センサー３０は、ＣＣＤやＣＭＯＳなどの固体撮像素子で構成される。赤外ＬＥＤ１８，１９，２２～２７はユーザーの眼球に光を照射し、視線検出センサー３０は、ユーザーの眼球からの反射光（赤外ＬＥＤ１８，１９，２２～２７から発せられ眼球で反射した反射光）を受光する。

　接眼検知センサー５０は、視線検出センサー３０よりも低電力で駆動可能なフォトダイオードなどで構成される。視線検出用の赤外ＬＥＤ１８，１９，２２～２７のうち、赤外ＬＥＤ２２は、接眼検知用の赤外ＬＥＤも兼ねている。つまり、赤外ＬＥＤ２２は、視線検出と接眼検知とで兼用される。赤外ＬＥＤ２２はユーザーに光を照射し、接眼検知センサー５０は、ユーザーからの拡散反射光（赤外ＬＥＤ２２から発せられユーザーで拡散反射した拡散反射光）を受光する。

　ここで、赤外ＬＥＤ１８，１９，２２～２７の少なくともいずれかから、ファインダーを覗いているユーザーの眼球に光が照射された場合を考える。この場合は、図４（ｂ）の光路３１ａで示すように、光が照射された眼球の光学像（眼球像）が、アイピース窓１７、Ｇ３レンズ１５、Ｇ２レンズ１４、Ｇ１レンズ１３を通り、第二光路分割プリズム１０の第２面１０ａから第二光路分割プリズム１０内に入る。第二光路分割プリズムの第１面１０ｂには、赤外光を反射するダイクロイック膜が形成されており、反射光路３１ｂで示すように、第二光路分割プリズム１０内に入った眼球像は、第１面１０ｂで、第２面１０ａの側に反射される。そして、結像光路３１ｃで示すように、反射された眼球像は、第２面１０ａで全反射され、第二光路分割プリズム１０の第３面１０ｃから第二光路分割プリズム１０外へ出て、絞り２８を通り、視線結像レンズ２９により視線検出センサー３０に結像される。視線検出には、このような眼球像と共に、赤外ＬＥＤから発せられた光が角膜で正反射して形成された角膜反射像が用いられる。

　図５は、近距離照明用の赤外ＬＥＤ１８，１９，２３，２５から発せられた光が眼球の角膜３７で正反射し、視線検出センサー３０で受光されるまでの光路の例を示す。

　＜視線検出動作の説明＞
　図６，７（ａ），７（ｂ），８を用いて、視線検出方法について説明する。ここでは、赤外ＬＥＤ１８，１９，２２～２７のうちの２つ（図６の赤外ＬＥＤ５１ａ，５１ｂ）を用いた例について説明する。図６は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図６に示すように、赤外ＬＥＤ５１ａ，５１ｂはユーザーの眼球１４０に赤外光を照射する。赤外ＬＥＤ５１ａ，５１ｂから発せられて眼球１４０で反射した赤外光の一部は、視線結像レンズ２９によって、視線検出センサー３０近傍に結像される。図６では、視線検出方法の原理が理解しやすいよう、赤外ＬＥＤ５１ａ，５１ｂ、視線結像レンズ２９、視線検出センサー３０の位置が調整されている。

　図７（ａ）は、視線検出センサー３０で撮像された眼画像（視線検出センサー３０に投影された眼球像）の概略図であり、図７（ｂ）は視線検出センサー３０（例えばＣＣＤ）の出力強度を示す図である。図８は、視線検出動作の概略フローチャートを表す。

　視線検出動作が開始すると、図８のステップＳ８０１で、赤外ＬＥＤ５１ａ，５１ｂは、光源駆動部２０５からの指示に従って、ユーザーの眼球１４０に向けて視線検出用の発光強度Ｅ２で赤外光を発する。赤外光によって照明されたユーザーの眼球像は、視線結像レンズ２９（受光レンズ）を通して視線検出センサー３０上に結像され、視線検出センサー３０により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

　ステップＳ８０２では、視線検出部２０１（視線検出回路）は、視線検出センサー３０から得られた眼画像（眼画像信号；眼画像の電気信号）をＣＰＵ３に送る。

　ステップＳ８０３では、ＣＰＵ３は、ステップＳ８０２で得られた眼画像から、赤外ＬＥＤ５１ａ，５１ｂの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を求める。

　赤外ＬＥＤ５１ａ，５１ｂより発せられた赤外光は、ユーザーの眼球１４０の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、視線結像レンズ２９により集光され、視線検出センサー３０上に結像して、眼画像における角膜反射像Ｐｄ'，Ｐｅ'となる。同様に瞳孔１４１の端部ａ，ｂからの光も視線検出センサー３０上に結像して、眼画像における瞳孔端像ａ'，ｂ'となる。

　図７（ｂ）は、図７（ａ）の眼画像における領域α'の輝度情報（輝度分布）を示す。図７（ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。本実施形態では、角膜反射像Ｐｄ'，Ｐｅ'のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ'，ｂ'のＸ軸方向の座標をＸａ，Ｘｂとする。図７（ｂ）に示すように、角膜反射像Ｐｄ'，Ｐｅ'の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光が視線検出センサー３０上に結像して得られる瞳孔像の領域）に相当する、座標Ｘａから座標Ｘｂまでの領域では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔１４１の外側の虹彩１４３の領域（虹彩１４３からの光が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｘ座標（Ｘ軸方向の座標）が座標Ｘａより小さい領域と、Ｘ座標が座標Ｘｂより大きい領域とで、上記２種の輝度の中間の輝度が得られる。

　図７（ｂ）に示すような輝度分布から、角膜反射像Ｐｄ'，Ｐｅ'のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ'，ｂ'のＸ座標Ｘａ，Ｘｂを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Ｐｄ'，Ｐｅ'の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ'，ｂ'の座標として得ることができる。また、視線結像レンズ２９の光軸に対する眼球１４０の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光が視線検出センサー３０上に結像して得られる瞳孔中心像ｃ'（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ'，ｂ'のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ'の座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ'，Ｐｅ'の座標と、瞳孔中心像ｃ'の座標とを見積もることができる。

　ステップＳ８０４では、ＣＰＵ３は、眼球像の結像倍率βを算出する。結像倍率βは、視線結像レンズ２９に対する眼球１４０の位置により決まる倍率で、角膜反射像Ｐｄ'，Ｐｅ'の間隔（Ｘｄ－Ｘｅ）の関数を用いて求めることができる。

　ステップＳ８０５では、ＣＰＵ３は、視線結像レンズ２９の光軸に対する眼球１４０の光軸の回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１４２の曲率中心Ｏから瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４０の回転角θｘは、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４０の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。
　　β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ　・・・（式１）

　ステップＳ８０６では、ＣＰＵ３は、ステップＳ８０５で算出した回転角θｘ，θｙを用いて、表示パネル６に表示された視認用画像におけるユーザーの視点（視線が注がれた位置；ユーザーが見ている位置）を求める（推定する）。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。
　　Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・（式２）
　　Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・（式３）

　式２，３のパラメータｍは、カメラ１のファインダー光学系（視線結像レンズ２９等）の構成で定まる定数であり、回転角θｘ，θｙを視認用画像において瞳孔中心ｃに対応する座標に変換する変換係数であり、予め決定されてメモリ部４に格納されるとする。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータであり、公知のキャリブレーション作業を行うことで取得され、視線検出動作が開始する前にメモリ部４に格納されるとする。

　ステップＳ８０７では、ＣＰＵ３は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部４に格納し、視線検出動作を終える。

　なお、視線検出の方法は上記方法に限られない。視線検出に用いられる赤外ＬＥＤの数は２つより多くても少なくてもよく、視線検出と接眼検知とで兼用される赤外ＬＥＤ２２を含む１つ以上の赤外ＬＥＤを用いて、視線検出が行われる。視線検出と接眼検知とで兼用される赤外ＬＥＤの数も、２つより多くても少なくてもよい。視線検出に用いられる全ての赤外ＬＥＤが接眼検知でも用いられるようにしてもよい。

　＜接眼検知を含んだカメラ１の動作の説明＞
　図９は、接眼検知を含んだカメラ１の動作の概略フローチャートを表す。

　図９のステップＳ９０１で、赤外ＬＥＤ２２は、光源駆動部２０５からの指示に従って、接眼検知用の発光強度Ｅ１で点灯する。このとき、赤外ＬＥＤ１８，１９，２３～２７は、消費電力低減の観点から消灯することが好ましいが、点灯してもよい。接眼検知用の発光強度Ｅ１と視線検出用の発光強度Ｅ２とを同じとしてもよいが、異ならせてもよい。本実施形態では、発光強度Ｅ１は発光強度Ｅ２よりも強く設定されているとする。赤外ＬＥＤ２２からの赤外光はユーザーに照射され、ユーザーからの拡散反射光は接眼検知センサー５０で受光される。

　ステップＳ９０２では、ＣＰＵ３は、接眼検知センサー５０が受光する反射光量、つまり接眼検知センサー５０の受光量（受光強度；受光輝度）が接眼判定閾値Ｔｈ１を超えているか否かを判定する。接眼判定閾値Ｔｈ１はメモリ部４に予め格納されている。受光量が接眼判定閾値Ｔｈ１を超えている場合は、ユーザーが接眼部（ファインダー；覗き口１２の部分）に対して接眼したと判断し、ステップＳ９０３に進む。一方、受光量が接眼判定閾値Ｔｈ１を超えていない場合は、ユーザーが接眼部に対して接眼していないと判断し、ステップＳ９０２に戻り、受光量が接眼判定閾値Ｔｈ１を超えるまでステップＳ９０２の処理を繰り返す。

　ステップＳ９０３では、図８で説明したような視線検出動作が行われる。このとき、光源駆動部２０５からの指示に従って、赤外ＬＥＤ２２の発光強度は、接眼検知用の発光強度Ｅ１から視線検出用の発光強度Ｅ２に制御される。赤外ＬＥＤ１８，１９，２３～２７の少なくともいずれかも点灯してよい。上述したように、本実施形態では、発光強度Ｅ１は発光強度Ｅ２よりも強い。つまり、赤外ＬＥＤ２２の発光強度は、接眼が検知された後に弱められる。

　ステップＳ９０４では、ＣＰＵ３は、接眼検知センサー５０の受光量（受光強度；受光輝度）が接眼判定閾値Ｔｈ２を超えているか否かを判定する。接眼判定閾値Ｔｈ２はメモリ部４に予め格納されている。接眼判定閾値Ｔｈ１，Ｔｈ２は、赤外ＬＥＤ２２の発光強度に基づいて決められ、本実施形態では発光強度Ｅ２は発光強度Ｅ１のよりも弱いため、接眼判定閾値Ｔｈ２は接眼判定閾値Ｔｈ１よりも小さく設定される。つまり、接眼判定閾値は、接眼が検知された後に低減される。受光量が接眼判定閾値Ｔｈ２を超えている場合は、ユーザーが接眼部（ファインダー；覗き口１２の部分）に対して接眼したと判断し、ステップＳ９０３に進む。一方、受光量が接眼判定閾値Ｔｈ２を超えていない場合は、ユーザーが接眼部から眼を離した（離眼した）と判断し、図９の動作を終了する。若しくは、ステップＳ９０１に戻る。

　以上説明したように、本実施形態によれば、１つ以上の光源の少なくとも一部が接眼検知と視線検出で兼用される。具体的には、視線検出用の赤外ＬＥＤ１８，１９，２２～２７のうち、赤外ＬＥＤ２２は、接眼検知用の赤外ＬＥＤも兼ねている。これにより、視線検出用の光源と接眼検知用の光源とを別々に設ける構成と比較して、より少ない光源で接眼検知機能と視線検出機能を実現できる。その結果、構成の複雑化や装置の大型化を抑制でき、接眼検知機能と視線検出機能を少ない消費電力で実現する電子機器を低コストで提供できる。

　視線検出では２次元の眼球像が使用されるため、視線検出センサー３０としてＣＣＤやＣＭＯＳなどの固体撮像素子を用いる必要がある。一方、接眼検知では、ユーザーからの反射光の光量が所定量に達したか否かを判定できればよいため、接眼検知センサー５０として、フォトダイオードなどの低電力で駆動可能なセンサーを用いることができる。本実施形態では、接眼検知センサー５０として、視線検出センサー３０よりも低電力で駆動可能なセンサーを用いることで、電子機器の消費電力がより低減されている。

　赤外ＬＥＤ（光源）の数や配置、種類は特に限定されないが、本実施形態では、近距離を照明する赤外ＬＥＤと、遠距離を照明する赤外ＬＥＤとを設けることで、眼球が接眼部に近い状態でも遠い状態でも高精度な視線検出が可能にされている。さらに、複数の赤外ＬＥＤを設けることで、視線がより確実に検出できるようにされている。具体的には、いずれかの赤外ＬＥＤから光が瞼などで遮られて角膜に照射されなくても、他の赤外ＬＥＤが角膜を照明することで、視線を検出することができる。

　上述のとおり、接眼検知にはユーザーからの拡散光が用いられるのに対して、視線検出には角膜からの正反射光が用いられる。そのため、接眼検知用の光源は高い自由度で配置できるが、視線検出用の光源の配置には制約が多い。一例として、接眼光学系１６の右側（接眼光学系１６の光軸に垂直なＸ軸の正方向側）や、左側（Ｘ軸の負方向側）に視線検出用の光源を配置する場合を考える。この場合は、接眼光学系１６がＹ軸方向よりもＸ軸方向に長い形状を有するため、接眼光学系１６の光軸から大きく離れた位置に光源が配置されることになる。そうすると、眼球のより外側での正反射光が視線検出センサー３０に集光することになるが、光源からの光が瞼でケラレやすく（遮られやすく）なってしまう。特に、ユーザーがカメラ１をＺ軸周りに９０°回転させて接眼光学系１６を覗く、縦位置撮影の際に、上記ケラレは発生しやすい。接眼光学系１６をＸ軸方向に狭めて光源を接眼光学系１６の光軸に近づければ、上記ケラレを抑制することができるが、ユーザーの快適性が損なわれる。本実施形態では、接眼検知と視線検出で兼用される赤外ＬＥＤ２２を、接眼光学系１６の上側（接眼光学系１６の光軸に垂直なＹ軸の正方向側）に配置することで、ユーザーの快適性を損なわず、上記ケラレの発生が抑制されている。なお、赤外ＬＥＤ２２を接眼光学系１６の下側（Ｙ軸の負方向側）に配置しても同様の効果が得られる。赤外ＬＥＤ１８，１９，２３～２７についても同様である。

　視線検出センサー３０が受光を行う期間は特に限定されないが、視線検出センサー３０は、接眼検知後に受光（動作）を開始することが好ましい。そうすることで、接眼が検知されるまではが視線検出センサー３０が駆動されないため、電子機器の消費電力をより低減することができる。

　赤外ＬＥＤ１８，１９，２２～２７の発光強度は特に限定されないが、本実施形態では、赤外ＬＥＤ１８，１９，２２～２７の発光強度が制御可能である。このため、視線検出と接眼検知のそれぞれに好適な発光強度で、赤外ＬＥＤ１８，１９，２２～２７を点灯させることが可能である。具体的には、視線検出と接眼検知で兼用される赤外ＬＥＤ２２の発光強度は、接眼検知後に弱くなるよう制御される。これにより、接眼検知時は、より遠くに眼がある状態でも接眼を検知でき、視線検出時はより少ない消費電力で視線検出が実行可能となる。なお、赤外ＬＥＤ２２の発光強度は、接眼検知後に強くなるよう制御してもよい。そうすることで、接眼検知時はより少ない消費電力で接眼検知が実行可能となり、視線検出時は角膜反射像の強度が強められることで、より外乱に強い視線検出が可能となる。電子機器に求められる性能に応じて、接眼検知用の発光強度と視線検出用の発光強度を設定することが好ましい。赤外ＬＥＤ１８，１９，２３～２７の発光強度も適宜制御してよい。例えば、接眼検知時（視線検出前）に赤外ＬＥＤ１８，１９，２３～２７を消灯したり、視線検出時（接眼検知後）に赤外ＬＥＤ１８，１９，２３～２７の発光強度を赤外ＬＥＤ２２と同じ発光強度に制御したりしてもよい。

　接眼判定閾値は特に限定されないが、本実施形態では、光源（赤外ＬＥＤ）の発光強度の制御に応じて、接眼判定閾値が制御される。具体的には、赤外ＬＥＤ２２の発光強度が接眼検知後に弱められるため、それに合わせて、接眼判定閾値も接眼検知後に低減される。これにより、接眼検知前でも後でも、好適に（高精度に）接眼検知を行うことができる。なお、赤外ＬＥＤ２２の発光強度は接眼検知後に強められてもよく、その場合には、接眼判定閾値も接眼検知後に高められることが好ましい。

　なお、上述した実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。

　＜その他の実施形態＞
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０２０年４月１４日提出の日本国特許出願特願２０２０－０７２１８６を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

　１：カメラ　３０：視線検出センサー　５０：接眼検知センサー
　１８，１９，２２～２７：赤外ＬＥＤ

Claims

　接眼部に対する接眼を検知する接眼検知と、ユーザーの視線を検出する視線検出とを実行可能な電子機器であって、
　前記接眼検知のために受光する接眼検知センサーと、
　前記接眼検知センサーとは別の、前記視線検出のために受光する視線検出センサーと、
　前記接眼検知と前記視線検出で兼用される光源を含む１つ以上の光源と
を有することを特徴とする電子機器。
　前記接眼検知センサーは、前記視線検出センサーよりも低電力で駆動可能である
ことを特徴とする請求項１に記載の電子機器。
　前記１つ以上の光源は複数の光源である
ことを特徴とする請求項１または２に記載の電子機器。
　前記接眼部に設けられた接眼光学系は、前記接眼光学系の光軸に垂直な第１方向に比べ、前記光軸に垂直な第２方向に長い形状を有し、
　少なくとも前記兼用される光源は、前記接眼光学系から前記第１方向の側に配置される
ことを特徴とする請求項１～３のいずれか１項に記載の電子機器。
　前記視線検出センサーは、前記接眼検知により前記接眼が検知された後に、受光を開始する
ことを特徴とする請求項１～４のいずれか１項に記載の電子機器。
　少なくとも前記兼用される光源の発光強度を制御する制御手段をさらに有し、
　前記制御手段は、前記接眼検知により前記接眼が検知された後に、前記発光強度を制御する
ことを特徴とする請求項１～５のいずれか１項に記載の電子機器。
　前記接眼検知では、前記接眼検知センサーの受光量が閾値を超えた状態が、前記接眼として検知され、
　前記制御手段は、前記発光強度の制御に応じて、前記閾値を制御する
ことを特徴とする請求項６に記載の電子機器。