JP7346375B2 - 電子機器及びその制御方法及びプログラム及び記録媒体 - Google Patents

Description

本発明は、ユーザーの視線を検出して視線入力による操作が可能な電子機器及び電子機器の制御方法及びプログラム及び記録媒体に関するものである。

近年、ユーザーが自身の視線によって操作を行う（以下、視線入力）電子機器が知られている。特にデジタルカメラやゲーム機など、ユーザーが電子機器に対してすばやく所望位置の指定・移動指示を行いたい場合に、視線入力は有効である。特許文献１には、ユーザーの視線から算出した視線位置に表示されている画像に類似した他の画像について、表示順序の優先度を上げることが開示されている。非特許文献１には、専用のソフトウェアをインストールすることで、ユーザーの視線から算出した視線位置にポインター表示を行うことが可能であり、ユーザーの視線位置や視線位置の移動を視認できることが開示されている。

特開平９－１１４８４６号公報

Ｔｏｂｉｉ Ｔｅｃｈｎｏｌｏｇｙ ＡＢ社，"Ｓｔｒｅａｍｉｎｇ"，Ｔｏｂｉｉ Ｇｈｏｓｔ Ｓｏｆｔｗａｒｅ，［２０２０年１０月７日検索］。インターネット＜ｈｔｔｐｓ：／／ｇａｍｉｎｇ．ｔｏｂｉｉ．ｃｏｍ／ｓｏｆｔｗａｒｅ／ｇｈｏｓｔ／＞

しかし特許文献１では、ユーザーの視線から算出した視線位置が表示されないため、本当にユーザーが見ている位置と視線位置とが一致しているかどうかがわからない。仮に算出した視線位置とユーザーが見ている位置とがズレていた場合、ユーザーの意図ではない類似画像の優先度が上がってしまう可能性が生じる。非特許文献１では、視線位置を示すポインターは表示されるが、常に、全ての表示物よりも上にユーザーの視線位置を示すポインターを表示するため、目的の表示物が視認しにくく、ポインターを煩わしく感じる場合がある。

そこで本発明は、視線入力により操作を行う場合に、検出された視線位置を視線ポインター表示によって視認可能とするとともに、ユーザーによる操作に応じて表示されるアイテムをより視認しやすく表示することを目的とする。

上記目的を達成するために、本発明は、
表示手段を見るユーザーの視線を検出する検出手段と、前記検出手段により検出されたユーザーの視線に基づく表示手段上での視線位置を示す視線ポインターを前記表示手段上での視線位置に表示し、前記検出手段により検出された視線に基づく視線位置の移動に追従して、前記視線ポインターを移動して表示するように制御し、ユーザーによる操作手段への操作が行われたことに応じて、アイテムをユーザーの視線に基づく視線位置に基づいて表示するとともに、前記視線ポインターは前記アイテムよりも下に重畳して表示し、前記アイテムの表示位置に基づいて、自動焦点調整処理を実行するように制御する制御手段とを有する。

本発明によれば、視線入力により操作を行う場合に、検出された視線位置を視線ポインター表示によって視認可能とするとともに、ユーザーによる操作に応じて表示されるアイテムをより視認しやすく表示することができる。

本実施形態におけるデジタルカメラ外観図である。 本実施形態におけるデジタルカメラの構成を示すブロック図である。 本実施形態におけるデジタルカメラの制御処理フローチャートである。 本実施形態の撮影モード処理における、ユーザーの視線位置を示す視線ポインターと枠表示の表示制御処理フローチャートである。 本実施形態における設定メニュー画面である。 本実施形態におけるユーザーの視線位置を示す視線ポインターと枠表示の表示例を示す図である。 本実施形態における表示部に表示する表示オブジェクトの表示順を示す図である。 本実施形態におけるパーソナルコンピューター（ＰＣ）の外観図である。 本実施形態をパーソナルコンピューター（ＰＣ）に適用した際の表示例を示す図である。

＜デジタルカメラ１００の外観図＞
以下、図面を参照して本発明の好適な実施形態を説明する。

図１（ａ）、（ｂ）に本発明を適用可能な装置の一例としてのデジタルカメラ１００の外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。図１において、表示部２８は画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル７０ａはタッチ操作可能な操作部材であり、表示部２８の表示面（操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、カメラのファインダー外に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は外部機器との接続ケーブルとデジタルカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー７４は操作部７０に含まれ、４方向に押し込み可能な押しボタンを有する操作部材で、十字キー７４の押下した方向に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。ＡＦ－ＯＮボタン７７は、操作部７０に含まれ、押下することによりＡＦ動作（自動焦点調節）を開始する。ＡＦ動作は主にシャッターボタン６１の押下によりＡＦ動作が開始されるが、ＡＦ－ＯＮボタン７７を押下してもＡＦ動作開始の指示を出すことができる。シャッターボタン６１の押下によってＡＦ動作を行わないように設定することができるデジタルカメラ１００では、ＡＦ開始指示と撮影指示とを切り離すことができる。ＡＦ－ＯＮボタン７７を押下したあとにシャッターボタン６１を押下すれば、ＡＦ位置を固定した撮影、または、ＡＦができない状況下でも撮影を行うことができる。ＡＥロックボタン７８は操作部７０に含まれ、撮影待機状態（撮影モードにおいて撮像部２２を用いて撮像を開始し、撮影準備等が行われていない、撮影モードで待機している状態）で押下することにより、露出状態を固定することができる。つまり、ユーザー所望の露出値で固定して撮影を行うことができる。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。絞り込みボタン８４は、操作部７０に含まれ、押下することにより、押下した時点で設定されている絞り数値でレンズの絞り込みが行われ、実際にピントの合う範囲（被写界深度）を確認することができる。メニューボタン８１は、操作部７０に含まれ、押下することにより各種の設定可能なメニュー画面が表示部２８に表示される。拡大ボタン８２は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ／ＯＦＦを行うための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。マルチコントローラー８３は、８方向に操作可能な方向キーと押し込み可能な押しボタンを有する操作部材であり、マルチコントローラー８３を倒した方向に応じた操作が可能である。ユーザーは、表示部２８に表示されたメニュー画面において、十字キー７４やＳＥＴボタン７５、マルチコントローラー８３を用いて直感的に各種設定を行うことができる。フレーミングアシストボタン（不図示）は後述するレンズユニット１５０やデジタルカメラ１００とレンズユニット１５０を繋ぐレンズアダプタに配置された操作ボタンである。これは、ユーザーが右手でグリップ部９０、左手でレンズユニット１５０を把持して撮影を行う際に、左手で押下可能な位置に配置された操作部材である。

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、押しボタン、回転ダイヤル、タッチセンサーなどが含まれ、少なくとも以下の操作部が含まれる。シャッターボタン６１、タッチパネル７０ａ、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＦ－ＯＮボタン７７、ＡＥロックボタン７８、再生ボタン７９。メニューボタン８１、拡大ボタン８２、マルチコントローラー８３、絞り込みボタン８４、フレーミングアシストボタン。後述する、ＡＦ枠を視線位置に基づく位置へ更新する視線確定機能について、当該機能を有した専用ボタンをデジタルカメラ１００に搭載してもよいし、他の機能を有した操作部材に視線確定機能を割り当てられるようにしてもよい。視線確定機能を割り当て可能な操作部材として、ＡＦ－ＯＮボタン７７、ＡＥロックボタン７８、マルチコントローラー８３の押し込み、絞り込みボタン８４、フレーミングアシストボタンがある。ＡＦ－ＯＮボタン７７、ＡＥロックボタン７８、マルチコントローラー８３はユーザーが右手人差し指でシャッターボタン６１を操作しながら撮影に支障が生じないように操作できる位置に配置されている。具体的には、ユーザーがグリップ部９０を右手で把持している際に、被写体と反対側にあたるデジタルカメラ１００の背面部の中央位置より上側（シャッターボタン側）、かつ、ＥＶＦ２９の右側（グリップ部９０側）に配置されているものとする。また、ユーザーがシャッターボタン６１を操作しながら操作できるものであれば、デジタルカメラ１００の背面部に限らない。例えば、絞り込みボタン８４やフレーミングアシストボタンのような、前面部（被写体側）やレンズユニット１５０に配置される操作部材でもよい。この場合、操作部材の配置位置は上述したデジタルカメラ１００の背面に限らず、ユーザーがシャッターボタン６１を操作している右手の人差し指以外の指で操作できる位置に配置されていればよい。ユーザーが視線確定機能を割り当て可能な、他の機能を有した操作部材は、シャッターボタン６１への操作中に操作しても撮影モードから遷移しない機能を持ったボタンや、シャッターボタン６１への操作による撮影機能実行を妨げない機能を持ったボタンである。また、様々な機能を割り当てられる押下可能なボタンでもよい。押しボタンに限らず左右に操作可能な操作バーや回転操作可能なリング、後述する押圧力を検知可能なタッチパネル７０ａを強い押圧で押し込んだ場合に機能が発動するようにしてもよい。

通信端子１０はデジタルカメラ１００が後述するレンズユニット１５０（着脱可能）と通信を行う為の通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザーは、接眼部１６を介してファインダー内表示部のＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２９に表示された映像を視認することができる。接眼検知部５７は接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋２０２は記録媒体２００を格納したスロットの蓋である。グリップ部９０は、ユーザーがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６と前述の通信端子１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。その後ＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、後述するメモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８、ＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８、ＥＶＦ２９により表示される。表示部２８、ＥＶＦ２９は、ＬＣＤや有機ＥＬ等の表示器上に、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビューで表示される画像をライブビュー画像（ＬＶ画像）と称する。

赤外発光ダイオード１６６は、ファインダー内の画面におけるユーザーの視線を検出するための発光素子であり、ユーザーの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから成る。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は少なくとも１つのプロセッサーを含み、視線検知センサー１６４の出力信号に基づき、ユーザーの眼球（目）１６１の画像または動きからユーザーの視線を検出し、検出情報をシステム制御部５０に出力する。このようにダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、赤外発光ダイオード１６６、視線検出回路１６５により視線検出ブロック１６０が構成される。視線検出ブロック１６０は、視線入力を受け付ける受付手段のうちの１つである。

本発明では視線検出ブロック１６０を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の、特に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、ユーザーの目の動きを検出し、ユーザーの目の向き（視線）を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線を検出する方式がある。なお、視線を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ－ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０は、操作部７０に含まれる操作部材であり、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。第２シャッタースイッチのＯＮが継続されると、デジタルカメラ１００は、予め決められた連写可能速度に依存する速度で連写（連続撮影）を行う。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７はファインダーの接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくともデジタルカメラ１００が撮影待機状態、かつ、撮像部２２で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（不図示）から投光した赤外線が反射して赤外線近接センサーの受光部（不図示）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。なお、本実施形態では接眼検知部５７の投光部および受光部は前述の赤外発光ダイオード１６６および視線検知センサー１６４とは別体のデバイスであるものとする。ただし、接眼検知部５７の投光部を赤外発光ダイオード１６６で兼ねてもよい。また、受光部を視線検知センサー１６４で兼ねてもよい。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

システム制御部５０は視線検出ブロック１６０からの出力に基づいて以下の操作、あるいは状態を検知できる。
・視線検出ブロック１６０によって、接眼部１６に接眼したユーザーの視線が検出されている状態、すなわち視線入力がある状態であること。
・視線検出ブロック１６０によって、接眼部１６に接眼したユーザーの視線が検出され、ユーザーが注視している状態（後述）であること。
・視線検出ブロック１６０によって、接眼部１６に接眼したユーザーの視線が検出された後に視線が検出されなくなった状態、すなわち、視線入力が終了した状態であること。
・視線検出ブロック１６０によって、接眼部１６に接眼したユーザーの視線が検出されていない状態、すなわち視線入力がない状態であること。

ここで述べたユーザーが注視している状態とは、視線検出ブロック１６０において、検出された視線に基づいてＥＶＦ２９上の位置（視線位置）を特定し、特定される視線位置が所定時間内に所定の移動量を超えなかったと判定された場合のことを指す。すなわち、視線位置とは、ユーザーが見ていると推定されるＥＶＦ２９上（表示手段上）の位置である。

視線入力が終了した状態には、ユーザーが接眼部１６から離眼した場合や、接眼部１６への接眼を継続しているが瞼を閉じたことによるユーザーの目１６１を検出できない場合がある。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部２８上に表示された画面を直接的に操作可能であるかのような表示オブジェクト（グラフィカルユーザーインターフェース）を提供できる。システム制御部５０はタッチパネル７０ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

ＡＦの設定として、図５（ａ）の項目５０１、項目５０２に示す内容を設定することができる。ＡＦエリア（ＡＦ枠の設定方式）の設定として、項目５０１に示すように、１点ＡＦと全域ＡＦのいずれかを設定可能である。１点ＡＦ設定とは、ＬＶ画像のうちＡＦを実行する位置が１点（１か所）であることを示す。ユーザーはＡＦを実行する位置を任意の１点に設定でき、ユーザーのＡＦ実行指示に応じて表示される１点ＡＦ枠の表示位置でのみＡＦを実行する。例えばユーザーに対して向かってくるように走行する電車を撮影しようとした際に、電車の運転席にＡＦを実行させたい、かつ、電車全体が写るような構図で撮影したいと考える場合がある。このような場合、任意の１点（１か所）にＡＦ枠を固定し、電車の運転席がその位置に到達した瞬間に撮影を行えば、ユーザー所望の位置に合焦した、かつ、ユーザー所望の構図で撮影を行うことができる。一方で項目５０２に示す全域ＡＦ設定は、デジタルカメラ１００のＥＶＦ２９の表示領域のうち、ＡＦ可能領域の全域においてＡＦを実行することが可能（焦点検出可能）な設定である。動きが予測できない被写体を撮影するような場合には、ＡＦエリアの設定を全域にすることでＡＦ可能領域内のどこに被写体が存在したとしても、被写体にＡＦを実行することができる。

ＡＦ動作の設定として、図５（ａ）の項目５０２に示すように、トラッキングをする／しないのいずれかを設定可能である。トラッキング機能“する”設定は、競技中のスポーツ選手や動いている子供、動物など、撮影距離が絶えず変化する（動いている）被写体に対して追尾を行うような状況での撮影に適している。後述する、要素条件を用いて決定されたＡＦ対象被写体に対して、トラッキング（追尾）とコンティニュアスＡＦが行われる。コンティニュアスＡＦとは、追尾対象である被写体にＡＦを合わせ続けるものを言う。

トラッキング機能“しない”設定は、止まっている被写体の撮影に適したものであり、第１シャッタースイッチ６２のオン時点で後述する要素条件（優先度）に基づいてＡＦ枠位置を決定し、決定したＡＦ枠位置で１度だけＡＦを実行する。このとき被写体を追尾することはない。

トラッキング機能が“する”設定である場合、ＬＶ画像から人物の顔が検出されていれば顔を優先してＡＦ対象被写体とする。人物の顔が複数検出されている場合には、以下に示すような予め決められた優先度（条件）に従って１つの顔を選択してＡＦ対象被写体に設定する。
・検出された人物の顔である。
・顔のサイズが大きい。
・顔の位置がデジタルカメラ１００に近い（至近側である）。
・顔の位置が画像内における中央に近い。
・予め登録された個人の顔である。
人物の顔が検出されていなければ、以下に示すような予め決められた優先度（条件）に従って顔以外の被写体を選択してＡＦ対象被写体に設定する。
・デジタルカメラ１００に近い（至近側である）。
・コントラストが高い。
・動物や乗り物などの優先度の高い被写体である。
・動体である。

ユーザーによって追尾対象の被写体が指定された場合には、追尾対象の被写体をＡＦ対象被写体とする。すなわち、上述した２つのグループの優先度の例のような要素条件のうち少なくとも１つの要素条件を用いて重みづけを行い、得られるスコアが所定の閾値以上であることや得られるスコアが最も高いものなどから、ＡＦ対象被写体と判定する。

ＡＦに関する設定としては項目５０１と項目５０２の設定内容をそれぞれ組み合わせた４つのパターンの設定を行うことができる。ユーザーがそれぞれ撮影したい被写体や撮影状況に応じてこれらの設定を使い分けることで、ユーザーにとって最適な撮影設定とでき、所望の構図で、所望のタイミングに撮影を行うことができる。

図５（ａ）では、ＡＦエリアが１点ＡＦに設定されており、トラッキングが“しない”設定となっている。これにより、ユーザーはＡＦ枠を任意の１点に固定したいことが考えられる。例えば、花などの静止被写体を撮影する際にこのような設定にすることで、ユーザーにとって操作性が良くなる可能性が高い。

図５（ａ）は設定メニュー画面の一例である。項目５０３の視線入力機能のＯＮ／ＯＦＦを切り替えることで、ユーザーの視線を検出するかしないか、すなわち視線検出ブロック１６０を駆動するかしないかを切り替えることができる。つまり、項目５０３の視線入力機能のＯＮ／ＯＦＦを切り替えることで、視線入力による操作を受け付けるか否かが設定される。

ユーザーが項目５０４を選択すると、図５（ｂ）に示すような画面（図５（ａ）の設定メニュー画面の下階層の画面）に遷移する。図５（ｂ）は、視線ＡＦ機能に関する詳細設定を行うことができる画面である。項目５０５に示す視線ＡＦ機能とは、視線位置に表示されている被写体に合焦するようにＡＦを実行する機能である。項目５０５をＯＮに設定すると、ユーザーの視線の動きに伴って被写体を特定し、ＡＦを実行するので、所望の被写体に対して直感的にＡＦを行うことができる。項目５０６は視線位置に視線ポインター表示を行うか否かの設定項目である。ＯＮに設定すれば、ユーザーは目で見ている方向にしたがって、視線検出ブロック１６０により検出された視線位置を視線ポインター表示によって視認することができる。本実施形態では、視線ポインターは図６（ｄ）のポインター６０６に示すようなインジケーター表示とする。視線位置を中心とする小さい円が表示され、さらにその周囲に一回り大きい円を表示する。図６（ｄ）では、ポインター６０６のうち小さい円は内部が塗りつぶして表示され、大きい円は枠が塗りつぶして表示されている。ここで、塗りつぶし部分は半透過とし、塗りつぶし部分がＬＶ画像の被写体やＡＦ枠に重畳して表示されたとしても、被写体が完全に視認できなくならないようにする。また同様に、小さい円と大きい円の枠の間の塗りつぶしはされず、ＬＶ画像の視認性は損なわれないようにする。

項目５０７は第１シャッタースイッチ（ＳＷ１）６２のオン、すなわちシャッターボタン６１の半押しを、視線位置を確定するための操作（視線確定操作）とするか否かの設定項目である。有効に設定すると、ユーザーがシャッターボタン６１を半押しした時点で視線検出ブロック１６０により検出された視線位置に確定される。無効に設定すると、シャッターボタン６１の半押しでは視線位置は確定されない。

例えば、視線確定機能は、初期設定時（工場出荷時）には、ＡＦ－ＯＮボタン７７へ割り当てられている。項目５０７で“有効”に設定されると、ＡＦ－ＯＮボタン７７ではなく、シャッターボタン６１の押下により第１シャッタースイッチ６２がオンになった場合に視線確定操作が行われるようになる。また、同様にして視線確定操作を、操作部７０にある他の機能を有したボタンに割り当て可能としても良い。よって、例えばユーザーが他の機能のボタンで視線位置を確定したあとにシャッターボタン６１を半押しした場合に、他のボタンで確定した視線位置とシャッターボタン６１を半押しした時点での視線位置とが異なっている場合を考える。このとき、シャッターボタン６１を半押しした時点での視線位置で確定されてしまい、ユーザー所望の他の機能のボタンで確定した視線位置とは異なる視線位置の被写体に対してＡＦが実行されてしまう可能性があり、操作性が悪い。そのため、設定メニュー画面の項目５０７で、第１シャッタースイッチ（ＳＷ１）６２のオンで視線位置を確定するか否かをユーザーが任意に設定できるようにする。

（実施例１）
実施例１の制御については、図３と図４（ａ）の制御フローチャートを用いて説明する。実施例１は、図３のＳ３０２（撮影モード処理）において、ユーザーによる視線確定操作が行われる前に表示される１点ＡＦ枠や被写体枠などの枠表示（アイテム）が、視線確定操作が行われたことにより、視線位置に表示される。

図３は、本実施形態におけるデジタルカメラ１００における制御処理のフローチャートである。この制御処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。図３のフローチャートは、デジタルカメラ１００の電源をオンに（起動）した場合に開始され、図４（ａ）のフローチャートは、図３のフローチャートにおいて撮影モード処理を実行する場合（Ｓ３０１においてＹｅｓと判定された場合）に開始される。また、図６（ａ）～（ｊ）は図３のフローチャートに示す制御処理を行った場合の、ＥＶＦ２９に表示される表示例の図である。図６（ａ）～（ｉ）は図５（ａ）の項目５０１のＡＦエリアの設定が“１点”、項目５０２のトラッキング機能の設定が“する”の場合の表示例の図である。図６（ｊ）は、ＡＦエリアの設定が全域、トラッキング機能を“しない”設定の場合の表示例の図である。

Ｓ３０１では、システム制御部５０は、撮影モードであるか否かを判定する。撮影モードである場合は、Ｓ３０２へ進み、そうでない場合は、Ｓ３０３へ進む。

Ｓ３０２では、システム制御部５０は、撮影モード処理を行う。撮影モード処理については、図４（ａ）を用いて後述する。

Ｓ３０３では、システム制御部５０は、再生モードであるか否かを判定する。再生モードである場合は、Ｓ３０４へ進み、そうでない場合は、Ｓ３０５へ進む。

Ｓ３０４では、システム制御部５０は、再生モード処理を行う。再生モード処理では、撮影した画像を再生するための制御処理であり、操作部７０を操作することで、表示部２８に再生した画像について画像送りや拡大操作を行うことができる。

Ｓ３０５では、システム制御部５０は、Ｓ３０２、Ｓ３０３の判定より、その他の処理を行う。その他の処理とは、例えば、設定メニュー画面においてデジタルカメラ１００や撮影に関する設定を行う処理を指す。

Ｓ３０６では、システム制御部５０は、処理が終了したか否かを判定する。処理が終了した場合は、図３のフローチャートに示す制御処理を終了し、そうでない場合は、Ｓ３０１へ戻る。処理の終了とは、例えば、デジタルカメラ１００の電源をオフすることを指す。

図４（ａ）は、図３のＳ３０２で説明した、撮影モード処理についてのフローチャートである。図３のＳ３０１においてＹｅｓと判定された場合、すなわち、撮影モード処理であると判定された場合に開始される。

Ｓ４０１では、システム制御部５０は、フラグや制御変数等を初期化する。

Ｓ４０２では、システム制御部５０は、撮像部２２を通して得られた信号から、図６（ａ）に示すようにＥＶＦ２９にＬＶ画像６０１を表示する。ＬＶ画像の表示レイヤーは、図７に示すようにレイヤー７０５とする。すなわち、本実施形態でＥＶＦ２９に表示するものの中で、最も下位の（優先順位の低い）レイヤーに表示する。

Ｓ４０３では、システム制御部５０は、撮影モード処理に関わる各種の設定値やバッテリー残量、記録画素数など、様々な撮影情報（撮影パラメーター）を表示する。図６（ａ）に示すように、情報６０２はＬＶ画像６０１と共にＥＶＦ２９に表示する。情報６０２のような撮影情報の表示レイヤーは図７（ａ）のレイヤー７０３に示すように、ＬＶ画像よりも上のレイヤーに表示する。

Ｓ４０４では、システム制御部５０は、ＡＦ可能な領域（以下、ＡＦ可能領域）がデジタルカメラ１００の機器本体に依存する領域よりも狭いか否かを判定する。狭い場合はＳ４０５へ進み、そうでない場合はＳ４０６へ進む。ＡＦ可能領域はデジタルカメラ１００の機器本体の性能によって一意的に決まるが、デジタルカメラ１００に装着されるレンズユニット１５０の種類によってはデジタルカメラ１００の機器本体の性能によるＡＦ可能領域よりも狭くなる場合がある。例えば超望遠単焦点レンズなどの特定のレンズが装着されると、デジタルカメラ１００の機器本体の性能におけるＡＦ可能領域よりも狭くなるように設定されている場合がある。超望遠単焦点レンズはレンズの周辺部において、ＡＦを実行するために必要となる十分な光量が得られないものがあるためである。よって、レンズユニット１５０として、このようなレンズをデジタルカメラ１００に装着した場合にはＡＦ可能領域は、デジタルカメラ１００の機器本体に依存する領域よりも狭く設定する。ユーザーはデジタルカメラ１００の機器本体に依存するＡＦ可能領域を把握していたとしても、様々な種類のレンズをデジタルカメラ１００に付け替えて撮影を行うことがあり、それぞれのレンズ依存のＡＦ可能領域がどの程度の範囲かを認識していない場合がある。デジタルカメラ１００の機器の性能としてはＥＶＦ２９全体がＡＦ可能領域であったにもかかわらず、特定のレンズを装着した際にはＡＦ可能領域が狭くなることが生じ、ユーザーの混乱を招く可能性が生じる。ＡＦ領域が狭いことを視認できなければ、ユーザーは特定のエリアでＡＦを実行することができないことに気づかず、撮影機会を損失してしまう。このような機会損失を低減するために、Ｓ４０４においてＡＦ可能領域について判定を行い、後述のＳ４０５においてＡＦ可能領域を表示する。なお、本実施形態では、デジタルカメラ１００の機器本体に依存するＡＦ可能領域はＥＶＦ２９全体（縦１００％×横１００％の割合）とする。

Ｓ４０５では、システム制御部５０は、ＡＦ可能領域を示すインジケーターを表示する。Ｓ４０４においてＹｅｓと判定されたことから、ＡＦ可能領域がカメラ本体依存のものよりも狭くなるような特定のレンズを装着していることがわかる。これにより、ＥＶＦ２９全域よりも狭い範囲でしかＡＦを実行することができない。このことをユーザーに報知するために、ＡＦ可能領域をＬＶ画像に重畳して表示する。ＡＦ可能領域は、図６（ｂ）の枠６０３に示すように、ユーザーが領域を視認できるように表示を行う。枠６０３のように枠表示に限らず、ＡＦ可能な領域外をグレーで塗りつぶすような表示形態でもよい。

Ｓ４０６では、システム制御部５０は、ＡＦエリアの設定が全域以外であるか否かを判定する。ＡＦエリアの設定は、図５を用いて前述したように、ＡＦを実行するエリアを全域にするか１点にするかを設定できるものである。ＡＦエリアの設定が全域以外すなわち１点である場合はＳ４０７へ進み、設定が全域である場合はＳ４０８へ進む。

Ｓ４０７では、システム制御部５０は、１点ＡＦ枠を表示する。このときの表示例を図６（ｂ）の枠６０４に示す。１点ＡＦ枠は十字キー７４の方向キー操作により、ユーザー所望の任意の位置に配置することができる。

Ｓ４０８では、システム制御部５０は、ＡＦのトラッキング設定が“する”に設定されているか否かを判定する。トラッキング設定が“する”に設定されている場合はＳ４０９へ進み、“しない”に設定されている場合はＳ４１１へ進む。

Ｓ４０９では、システム制御部５０は、撮像部２２を通して取得したＬＶ画像から、被写体を検出したか否かを判定する。被写体を検出した場合はＳ４５３へ進み、検出しなかった場合はＳ４１１へ進む。被写体の検出とは例えば、人間の顔や、胴体、目などの器官などの検出を指す。被写体は人間に限らず、動物や鳥、乗り物についても検出可能である。

Ｓ４１０では、システム制御部５０は、Ｓ４０９において検出した被写体に対して被写体枠を表示する。このときの表示例を図６（ｃ）の枠６０５に示す。Ｓ４０８においてＹｅｓと判定されたことから、ユーザーは動きのある被写体を撮影しようとしている可能性がある。そのため、ＬＶ画像からシステム制御部５０が検出できた被写体に対しては、検出できていることを示すことや、ユーザーが被写体を視認しやすいように、被写体枠を表示する。なお、本実施形態では被写体枠は、検出された被写体の位置の４隅に括弧を配置し、被写体が検出された領域を囲ったような表示形態とする。

Ｓ４１１では、システム制御部５０は、視線入力機能がＯＮであるか否かを判定する。視線入力機能がＯＮである場合はＳ４１２へ進み、ＯＦＦである場合はＳ４３０へ進む。視線入力機能は、前述したように設定メニュー画面においてユーザーが任意に設定することができる。また、設定メニュー画面に遷移せずとも、視線入力機能のＯＮ／ＯＦＦを切り替えられる専用ボタンもしくは割り当て可能なボタンの押下によって切り替えられるようにしてもよい。

Ｓ４１２では、システム制御部５０は、視線検出ブロック１６０を用いてユーザーの視線を検出できたか否かを判定する。検出できた場合はＳ４１３へ進み、検出できなかった場合はＳ４３０へ進む。本実施形態では、ユーザーが接眼部１６に接眼していない場合はユーザーの視線は検出できない。

Ｓ４１３では、システム制御部５０は、視線位置を示す視線ポインターの表示設定がＯＮであるか否かを判定する。視線ポインターの表示設定がＯＮである場合はＳ４１４へ進み、ＯＦＦである場合はＳ４１５へ進む。

Ｓ４１４では、システム制御部５０は、検出した視線位置に視線ポインターを表示する。このときの表示例を図６（ｄ）のポインター６０６に示す。図６（ｄ）では、検出された被写体に対して枠６０５、１点ＡＦ枠を示す枠６０４が表示され、ユーザーはＬＶ画像６０１の右下付近のポインター６０６の表示位置を見ている。ユーザーが見ている場所を変更することにより、視線位置が枠６０５の表示位置付近に移動した際の表示例を図６（ｅ）に示す。ここで、視線ポインター６０６は、枠６０４よりも下の表示レイヤーに表示されている。

Ｓ４１５では、システム制御部５０は、ユーザーによる視線確定操作があったか否かを判定する。視線確定操作があった場合はＳ４１６ヘ進み、ない場合はＳ４２７へ進む。視線確定操作とは、視線確定機能を持つ専用ボタンまたは視線確定機能を割り当てたボタンへの操作を指す。視線確定機能とは、視線確定操作が行われた時点で検出されている視線位置に確定し、それ以降に検出されたユーザーの視線を無効としたり、その視線に基づき算出される視線位置を無効としたりする機能である。ＡＦ枠などの枠表示（アイテム）を検出された視線位置に追従してＥＶＦ２９に表示してしまうと、ユーザーが煩わしく感じる可能性がある。また、ユーザーが意図せず視線を動かしてしまった場合にもＡＦ枠などの枠表示（アイテム）が追従してしまうため、所望しない位置でＡＦなどの処理が行われてしまう場合がある。そのため視線確定操作が行われるまでは、枠表示はＡＦエリアやトラッキングの設定、上述した優先度に基づいて決定した位置・被写体に表示したまま、視線位置に移動せず、視線確定操作が行われたことに応じて、枠表示を視線位置へ移動させて表示する。視線確定操作に応じて、任意の位置から視線位置にＡＦ枠を移動させて表示することから、現在ＥＶＦ２９に表示されているＡＦ枠位置とユーザー所望の位置（視線位置）とが遠い場合でも、素早く直感的に移動させることができる。また、ユーザーに依る視線確定操作により、明確にユーザーの意思を読み取り、反映できるため、ユーザーの意図せぬ視線位置でＡＦ実行等の制御が行われない。

なお、視線確定操作が行われる前に枠表示の表示がされない（例えば、ＡＦエリア“全域”、トラッキング“しない”設定）場合は、視線確定操作が行われたことに応じて、枠表示を確定された視線位置に表示するように制御する。

Ｓ４１６ではＳ４１３と同様に、システム制御部５０は、視線ポインター表示の設定がＯＮであるか否かを判定する。ＯＮである場合はＳ４２０へ進み、ＯＦＦである場合はＳ４２７へ進む。

Ｓ４１７ではＳ４０８と同様に、システム制御部５０は、ＡＦのトラッキング設定が“する”であるか否かを判定する。“する”である場合はＳ４１８へ進み、“しない”である場合はＳ４２３へ進む。

Ｓ４１８ではＳ４１２と同様に、システム制御部５０は、視線検出ブロック１６０を用いてユーザーの視線が検出できたか否かを判定する。検出できた場合はＳ４１９へ進み、できなかった場合はＳ４２７へ進む。

Ｓ４１９では、システム制御部５０は、ＬＶ画像内のＳ４１８において検出した視線位置に、特定の被写体が存在するか否かを判定する。存在する場合はＳ４２０へ進み、存在しない場合はＳ４５７へ進む。

Ｓ４２０では、システム制御部５０は、Ｓ４１９において視線位置にある被写体を追尾対象に決定し、追尾対象である被写体にＡＦを合わせ続ける。このとき視線位置が厳密に被写体の位置に一致していなくても、被写体から所定の範囲内に視線位置を検出することができた場合には、視線位置は当該被写体上にあると判定し、追尾対象である被写体にＡＦを合わせ続けるようにしてよい。

Ｓ４２１では、Ｓ４２０で決定した追尾対象である被写体に対して、追尾ＡＦ枠を視線ポインター６０６の上に重畳して表示する。このときの表示例を図６（ｆ）の枠６０７に示す。追尾ＡＦ枠とは、前述した要素条件により判定した被写体に対してコンティニュアスＡＦを実行する位置を示すＡＦ枠である。追尾ＡＦ枠の表示形態は、コンティニュアスＡＦを実行する位置の４隅に二重の括弧を配置し、追尾対象の被写体の領域を囲ったような表示形態とする。Ｓ４１５においてＹｅｓと判定されたこと、すなわちユーザーによる視線確定操作があったことに応じて、視線確定操作が行われる前に表示していた被写体枠６０５やＡＦ枠６０４などの枠表示とは異なる表示形態で追尾ＡＦ枠を表示する。これにより、ユーザーによって行われた視線確定操作により追尾対象の被写体が決定されたことや、対象となった被写体を明確に視認できるようになる。また、被写体枠はＥＶＦ２９に表示されるＬＶ画像に特定の被写体（例えば、人物の顔）がいるかどうか（被写体を検出できたかどうか）を単にユーザーに知らせるための表示であり、複数の被写体が検出できた場合には複数の被写体枠が表示される。一方で、追尾ＡＦ枠はＬＶ画像内において複数表示されることはなく（１つしか表示されず）、シャッターボタン６１を押下した場合には追尾ＡＦ枠の表示位置の被写体で合焦することを示す表示である。つまりＳ４１０において表示した被写体枠と本ステップで表示する追尾ＡＦ枠は性質が異なる。被写体枠はシステム制御部５０がＬＶ画像内から特定の被写体であると認識できるものに対して表示されるものであって、ＡＦ実行対象の候補であることを示しているものではない。このとき被写体枠の表示位置ではＡＦは実行しない。一方で追尾ＡＦ枠は、システム制御部５０が特定の被写体として認識している、かつ、ＡＦ実行対象であることを示すものである。また、追尾ＡＦ枠の表示位置ではコンティニュアスＡＦを行う。すなわち、ＡＦ実行対象をユーザーが認識するための重要度で考えると、追尾ＡＦ枠のほうがユーザーにとっては重要度が高い。これらのことから、視線確定操作によりユーザーの視線位置（視線が検出された位置）に追尾ＡＦ枠を表示するため、ユーザー所望のタイミングで所望の位置に素早く移動させることができる。

Ｓ４２２では、システム制御部５０は、視線ポインターの表示位置、すなわちユーザーの視線に基づき検出された視線位置に多点ＡＦ枠を表示する。多点ＡＦ枠とは、ＥＶＦ２９に表示のＬＶ画像において被写体が検出できなかった場合に、前述の要素条件に基づいた判定のうち、得られるスコアが最も高い位置に表示するＡＦ枠である。図６（ｊ）の枠６１０に示すように、得られたスコアが高い位置に小さな四角を表示するような表示形態とする。本ステップのように多点ＡＦ枠を表示する場合には、Ｓ４１５において視線確定操作が行われる前はＬＶ画像中にＡＦ枠や被写体枠のような枠表示はない。すなわち、視線確定操作が行われたことにより、はじめて枠表示として多点ＡＦ枠が表示される。また、多点ＡＦ枠は、視線ポインターの表示レイヤーよりも上の表示レイヤーに表示される。このように多点ＡＦ枠を表示することで、ＡＦ実行指示を行った場合に多点ＡＦ枠が表示される被写体に対してＡＦを実行することが視認できる。そのため、ユーザーは、直ちにＡＦ実行指示を行うか、ＡＦ枠の位置の変更もしくは構図や撮影設定の変更を行うか、などの次の操作を考えることができる。

Ｓ４２３ではＳ４０６と同様に、システム制御部５０は、ＡＦエリアの設定が全域であるか否かを判定する。ＡＦエリアの設定が全域である場合はＳ４１８へ戻り、全域でない場合、すなわち１点である場合はＳ４２４へ進む。

Ｓ４２４ではＳ４１２とＳ４１８と同様に、システム制御部５０は、視線検出ブロック１６０を用いてユーザーの視線を検出できたか否かを判定する。検出できた場合はＳ４２５へ進み、検出できなかった場合はＳ４２７へ進む。

Ｓ４２５では、システム制御部５０は、視線ポインターの表示位置、すなわち視線位置に１点ＡＦ枠を移動する。１点ＡＦ枠とは、ＡＦ実行指示が行われた場合に合焦する予定であることを示す、任意の１点の位置を示す枠である。図６（ｂ）の枠６０４のような表示形態で表示する。ユーザーによる視線確定操作が行われたことに応じて、視線確定操作が行われる前の表示位置から視線位置へと、１点ＡＦ枠を移動する。これにより、視線確定操作以前の表示位置と視線位置とが大きく離れていたとしても、素早く１点ＡＦ枠を移動でき、撮影機会の損失を低減し、ユーザーの所望の被写体に合焦した画像を撮像して記録することができる。また、１点ＡＦ枠は、視線ポインター６０６の表示レイヤーよりも上の表示レイヤーに表示される。

Ｓ４２６では、システム制御部５０は、視線位置に追尾ＡＦ枠／多点ＡＦ枠／１点ＡＦ枠などの枠表示を項目５０１や項目５０２の設定内容に応じて表示する。Ｓ４１６においてＮｏと判定したことからＥＶＦ２９に視線ポインターは表示されないが、Ｓ４１１においてＹｅｓ、Ｓ４１２においてＹｅｓと判定されていることから、視線検出ブロック１６０を用いて、ユーザーの視線が検出されている。Ｓ４２１，Ｓ４２２、Ｓ４２５と同様に、視線確定操作が行われる前の枠の表示位置と視線位置とが大きく離れていたとしても、素早くＡＦ枠を移動することができる。また、視線確定操作が行われる前に枠表示が行われていなかったとしても、視線位置に素早くＡＦ枠を表示することができるため直感的にＡＦ枠の位置を決定することができる。

Ｓ４２７では、システム制御部５０は、ＡＦ実行指示があったか否かを判定する。ＡＦ実行指示があった場合はＳ４２８へ進み、ない場合はＳ４３０へ進む。ＡＦ実行指示とは、例えばＡＦ－ＯＮボタン７７の押下や第１シャッタースイッチ６２のオンにより行われる。ＡＦ実行指示はこれに限らず、ＡＦ実行を指示する機能が割り当てられた操作による指示であればよい。

Ｓ４２８では、システム制御部５０は、ＥＶＦ２９のＬＶ画像に表示されるＡＦ枠の表示位置の被写体に対してＡＦを実行する。このときの表示例を図６（ｈ）に示す。図６（ｈ）は、図６（ｆ）に示す状態でＡＦ実行指示が行われた場合（Ｓ４２７でＹｅｓ）の表示例である。ＡＦ実行指示によって、ＡＦ枠の被写体に対してＡＦが実行されると、ＡＦ枠は、合焦結果に応じて、図６（ｆ）の枠６０７の表示形態から、図６（ｈ）の枠６０８の表示形態へと変化させる。このとき視線ポインターの表示設定が有効である場合は、視線ポインターの上の表示レイヤーに枠６０８を表示する。また、Ｓ４２５において図６（ｇ）に示すように表示した１点ＡＦ枠である枠６０４の表示位置で、Ｓ４２７においてＡＦ実行指示を行うと、枠６０４の被写体に対してＡＦが実行される。そして、１点ＡＦ枠は、合焦結果に応じて、図６（ｇ）の枠６０４の表示形態から、図６（ｉ）の枠６０９の表示形態へと変化させて表示する。ＡＦ枠の表示形態は、ＡＦ実行前や、合焦結果（合焦成功および合焦失敗）によって表示形態を変化させることで、合焦位置と合焦結果をユーザーに報知する。具体的には、ＡＦ枠の表示位置の被写体に対してＡＦを実行し、合焦が成功した場合には、図６（ｈ）の枠６０８を緑色で表示し、失敗した場合には枠６０８を灰色で表示する。また、合焦が成功した場合はピピッという音を鳴らし、失敗した場合には音を鳴らさないようにする。ＡＦエリアの設定が全域で、トラッキング機能を“しない”設定である場合にＡＦ実行指示が行われると、図６（ｊ）の枠６１０に示すような表示形態の多点ＡＦ枠を表示する。枠６１０のような表示形態は、ユーザーによるＡＦ実行指示が行われたことに応じて初めて表示し、ＡＦ実行指示が行われるまでは枠表示は行わない。すなわち、ＡＦエリアの設定が全域で、トラッキング機能を“しない”設定にしている場合は、ユーザーによるＡＦ実行指示が行われるまでは、ＡＦ枠の表示は行わない。

Ｓ４２９では、システム制御部５０は、Ｓ４２７において判定したＡＦ実行指示が第１シャッタースイッチ６２により行われたか否かを判定する。第１シャッタースイッチ６２である場合はＳ４３３へ進み、そうでない場合はＳ４３０へ進む。

Ｓ４３０では、システム制御部５０は、第１シャッタースイッチ６２がオンになったか否かを判定する。オンになった場合はＳ４３１に進み、そうでない場合はＳ４３７へ進む。第１シャッタースイッチ６２がオンとは、前述したようにシャッターボタン６１が半押しされている状態を示す。すなわち、ユーザーは撮影を行おうとしていることが想定できる。

Ｓ４３１では、システム制御部５０は、フォーカスモードがＡＦモードに設定されているか否かを判定する。ＡＦモードに設定されている場合は、Ｓ４３２へ進み、そうでない場合（ＭＦモードに設定されている場合）は、Ｓ４３３へ進む。ＡＦモード／ＭＦモードの切り替えは、設定メニュー画面やレンズユニット１５０の外部に備えられているスイッチなどで切り替えられる。

Ｓ４３２ではＳ４２８と同様に、システム制御部５０は、ＡＦ枠の表示位置に基づいてＡＦ処理を行う。

Ｓ４３３では、システム制御部５０は、ＡＥやＡＷＢ等のその他の撮影準備処理を行う。

Ｓ４３４では、システム制御部５０は、第２シャッタースイッチ６４がオンになったか否かを判定する。第２シャッタースイッチ６４がオン、すなわち、シャッターボタン６１が全押しされた場合は、Ｓ４３５へ進み、そうでない場合は、Ｓ４３６へ進む。

Ｓ４３５では、システム制御部５０は、撮像された画像を画像ファイルとして記録媒体２００に記録するまでの一連の撮影処理を行う。

Ｓ４３６では、システム制御部５０は、第１シャッタースイッチ６２のオンが継続しているか否かを判定する。継続している場合はＳ４３１に戻り、終了している場合はＳ４３７へ進む。

Ｓ４３７では、システム制御部５０は、撮影モードが終了したか否かを判定する。撮影モードが終了した場合は図４（ａ）の制御フローチャートを終了して、図３のＳ３０６へ戻る。撮影モードが終了していない場合はＳ４０３へ戻る。撮影モードの終了とは、例えば、デジタルカメラ１００の電源ＯＦＦやメニューボタン８１の押下による設定メニュー画面への遷移によるものを指す。

このように本実施例１では、視線入力による操作が可能な場合に、ユーザーによる視線確定操作が行われたことに応じて、視線位置にＡＦ枠を移動して表示する。視線確定操作前にはユーザーの視線の移動に合わせてＡＦ枠が追従することがないので、ユーザーの意図しない視線位置の移動に伴ってＡＦ枠の位置が移動することがないため、ＬＶ画像を確認しているときに煩わしく感じることを低減できる。また、視線確定操作前のＡＦ枠の表示位置とユーザーの所望の位置とが大きく離れている場合にも、ユーザーは所望の位置へ視線を向けて視線確定操作を行うことによって、ＡＦ枠を視線位置へと素早く移動することができる。また視線位置に視線ポインターを表示する際に、ＡＦ枠などの枠表示は視線ポインターの表示レイヤーよりも上の表示レイヤーに表示されるので、ユーザーはＡＦ枠の位置を明確に認識できるだけでなく、視線を向けた位置にＡＦ枠が移動したことを認識しやすい。

（実施例２）
実施例２では、図３のＳ３０２（撮影モード処理）において、追尾ＡＦ枠や多点ＡＦ枠、１点ＡＦ枠などの表示オブジェクトである枠表示と視線位置を示す視線ポインターの表示順が、視線確定操作の前後で変化する場合について説明する。実施例２の制御については、図３と図４（ｂ）の制御フローチャートを用いて説明する。図３は、実施例１と同様である。図４（ｂ）のフローチャートは、図３のフローチャートにおいて撮影モード処理の場合（Ｓ３０１においてＹｅｓと判定された場合）に開始される。図４（ｂ）のフローチャートについて、実施例１の図４（ａ）と共通のステップについては、実施例２での説明を省略する。

Ｓ４０４においてＡＦ可能領域がデジタルカメラ１００の機器本体に依存する領域よりも狭いと判定された場合、本実施例のＳ４５１では、システム制御部５０は、ＡＦ可能領域をＬＶ画像よりも上、かつ、撮影情報よりも下に表示する（図６（ｂ）の枠６０３）。すなわち、図７（ａ）に示すように、ＡＦ可能領域は、ＬＶ画像のレイヤー７０５よりも上、かつ、撮影情報のレイヤー７０３よりも下のレイヤー７０４に表示を行う。

Ｓ４５２では、システム制御部５０は、撮影情報（撮影パラメーター）よりも上に１点ＡＦ枠を表示する（図６（ｂ）の枠６０４）。すなわち、図７（ａ）に示すように、１点ＡＦ枠は、撮影情報のレイヤー７０３よりも上のレイヤー７０２に表示する。

Ｓ４５３では、システム制御部５０は、Ｓ４０９において検出した被写体に対して被写体枠を表示する（図６（ｃ）の枠６０５）。このとき、被写体枠は撮影情報よりも上に表示する。すなわち、図７（ａ）に示すように、被写体枠は、１点ＡＦ枠と同様に、撮影情報のレイヤー７０３よりも上のレイヤー７０２に表示する。

Ｓ４５４では、システム制御部５０は、視線位置を示す視線ポインターを、１点ＡＦ枠や被写体枠などの枠表示よりも上に表示をする。すなわち、図７（ａ）に示すように、視線ポインターは、レイヤー７０２よりも上のレイヤー７００に表示を行う。仮にユーザーが見る方向を変更したことにより、視線位置が移動した場合にも同様に、視線ポインターは枠表示よりも上のレイヤーに表示する。

つまり、Ｓ４１５においてユーザーによる視線確定操作が行われる前までは、１点ＡＦ枠や被写体枠などの枠表示よりも視線ポインターが上に表示されるようにする。

本実施形態において、ユーザーは、視線入力機能のＯＮ／ＯＦＦだけでなく、視線ポインター表示のＯＮ／ＯＦＦも設定可能である。よって、図５（ｂ）の項目５０６に示す視線ポインターの表示に関する設定が有効である場合、ユーザーは、自身の見ている方向が検出され、それに基づき特定された視線位置を視線ポインターによって視認したいと考えていると想定できる。そのため、視線確定操作を行って枠表示を移動する前までは、視線ポインターの表示を優先し、枠表示よりも上に表示する。また、本実施形態の視線ポインターは、上述したように、ＬＶ画像に重畳して表示されている状態でもユーザーがＬＶ画像を視認できるような表示形態である。これにより、たとえ枠表示よりも視線ポインターが上に表示されたとしても視線ポインターによって完全に枠表示の表示位置が視認できなくなる可能性は低く、撮影準備の妨げになる可能性は低い。

Ｓ４５６では、Ｓ４２０で決定した追尾対象である被写体に対して、追尾ＡＦ枠を表示する。このとき、視線確定操作が行われた後であるため（Ｓ４１５でＹｅｓ）、追尾ＡＦ枠は、図７（ｂ）に示すように、視線ポインターのレイヤー７００よりも上のレイヤー７１２に表示する。すなわち、本実施例では、Ｓ４１５においてユーザーによる視線確定操作が行われる前までは、枠表示は視線ポインターよりも下のレイヤーに（図７（ａ）のレイヤー７０２に）表示する。これに対してＳ４１５におけるユーザーの視線確定操作が行われた後の枠表示は視線ポインターよりも上のレイヤーに（図７（ｂ）のレイヤー７１２に）表示を行う。

ユーザーが視線確定操作を行うときは、ユーザーは自身の見ている方向と対応する視線位置は十分に認識しており、さらに、その視線位置に枠表示を移動（ワープ）・表示させたいと考えていると想定できる。また、１点ＡＦ枠や被写体枠などの枠表示の表示位置は、ユーザーにとっては撮影指示を実行する前に確認すべき、重要度の高い位置である。そのため、視線確定操作が行われたことに応じて表示・移動される枠表示は視線ポインターよりも上に表示を行う。これにより、ユーザーが視線確定操作によって移動された枠表示を視認しやすくし、たとえば、ＡＦ実行指示が行われた場合のＡＦの対象となる被写体を認識しやすくする。

Ｓ４５７では、システム制御部５０は、Ｓ４１９においてＮｏと判定されたことに応じて、検出した視線位置に多点ＡＦ枠を移動する。このとき多点ＡＦ枠は、視線ポインターよりも上に表示を行う。Ｓ４５６の追尾ＡＦ枠と同様に、多点ＡＦ枠も、視線ポインターよりも上に表示を行う。すなわち、図７（ｂ）に示すように、多点ＡＦ枠は、視線ポインターのレイヤー７００よりも上のレイヤー７１２に表示する。

Ｓ４５８では、システム制御部５０は、視線確定操作が行われる前に視線ポインターよりも下に表示されていた１点ＡＦ枠を、視線ポインターで示される視線位置に移動するとともに、視線ポインターよりも上に重畳して表示する。すなわち、１点ＡＦ枠は、図７（ｂ）に示すように、視線ポインターのレイヤー７００よりも上のレイヤー７１２に表示する。Ｓ４５６の追尾ＡＦ枠、Ｓ４５７の多点ＡＦ枠と同様に、視線確定操作が行われたことに応じて、１点ＡＦ枠も、検出された視線位置へ枠表示を移動するとともに、視線ポインターよりも上に表示させる。これによりユーザーは、視線確定操作によって視線位置に１点ＡＦ枠が移動したことを視認しやすく、ＡＦ実行指示が行われた際のＡＦが実行される被写体の位置を認識しやすい。

Ｓ４１６において視線ポインター表示がＯＦＦに設定されていると判定された場合、Ｓ４５９では、システム制御部５０は、視線ポインターは表示せず、撮影情報よりも上にＡＦ枠を表示する。

このように本実施形態では、ユーザーによる視線確定操作が行われる前はＡＦ枠よりも視線位置を示す視線ポインターを上に重畳して表示し、視線確定操作が行われた後は、視線ポインターよりもＡＦ枠を上に重畳して表示するように制御する。これにより、ユーザーは、視線確定操作を行う前は、ユーザー自身の見ている方向と対応する視線位置を示す視線ポインターを容易に視認でき、視線確定操作を行った場合に、どの位置に枠表示が移動（ワープ）するかを予測しやすい。一方で視線確定操作を行った後は、ユーザーは視線確定操作したことによって移動した枠表示の位置を認識しやすくなり、ＡＦなど撮影に関わる処理の対象を確認し易くなる。

なお、本実施形態をデジタルカメラのみならず、他の電子機器、例えば、パーソナルコンピューター（ＰＣ）やタブレット端末、スマートフォンなどにおけるテキストファイル、フォルダなどのオブジェクトの選択を視線入力操作で行う場合に適用しても良い。

図８、図９に、本実施形態をＰＣに適用した場合の表示例、構成図を示す。図８は本実施形態をＰＣに適用した際の構成図を示し、図９（ａ）～（ｄ）は本実施形態をＰＣに適用した際の表示画面の例を示す。図８において、本実施形態で述べたタッチパネル７０ａに対応するものとして、タッチパッド８０５を示す。ＰＣでの視線検出ブロック１６０として、独立した視線検出機器８１０をＰＣに接続する。視線検出機器８１０に搭載されているカメラ８１１や、ＰＣに内蔵されている内蔵カメラ８１２を用いてユーザーの目の動きを検出し、ユーザーの目の向き（視線）を検出し、検出された視線に基づいて、表示画面上の視線位置を特定する。

図９（ａ）は、テキストファイルを示すアイコン９０１とフォルダを示すアイコン９０２、アイコン９１０、フォルダ名９０３、マウスカーソル９０４、視線ポインター９０５が表示されている。視線ポインター９０５は視線位置を示し、視線ポインターの表示によってユーザーは自身の見ている方向に基づき視線検出機器により特定されている視線位置を認識することができる。このときマウスカーソル９０４はアイコン９１０の上に重畳して表示されており、そのためアイコン９１０が示すフォルダの詳細情報９０６を表示する。このとき視線ポインター９０５はマウスカーソル９０４、詳細情報９０６の上に重畳して表示される。すなわち、図９（ａ）におけるオブジェクトの表示順は、図７（ａ）に示すように、上から視線ポインター９０５のレイヤー７００、マウスカーソル９０４のレイヤー７０１、詳細情報９０６のレイヤー７０２とする。

ユーザーの視線が図９（ａ）の視線ポインター９０５の位置から、図９（ｂ）の視線ポインター９０７の位置（アイコン９０２の上）へと移動した場合を考える。そして、図９（ｂ）に示す状態で視線確定操作が行われると、図９（ｃ）に示すように視線ポインター９０７の表示位置へマウスカーソルが移動（ワープ）する。このように、視線ポインター９０７の表示位置にマウスカーソル９０４が移動すると、マウスカーソル９０４がフォルダを示すアイコン９０２の上に移動し、マウスカーソルが重畳表示されるフォルダやファイル等の表示オブジェクトの詳細情報９０６が表示される。すなわち、ユーザーによる視線確定操作に応じてマウスカーソルが移動することによって実行された特定の機能の結果として、マウスカーソルにより選択されたオブジェクトの詳細情報を表示する。このとき、視線ポインター９０７よりも詳細情報９０６を上に重畳して表示する。すなわち、図９（ｃ）におけるオブジェクトの表示順は、図７（ｂ）に示すように、上からマウスカーソル９０４のレイヤー７１１、詳細情報９０６のレイヤー７１２、視線ポインター９０７のレイヤー７００となる。

マウスカーソル９０４がワープした先に表示オブジェクトがない場合は、オブジェクトの詳細情報はなにも表示されない。また、詳細情報９０６はマウスカーソル９０４が表示オブジェクトであるアイコン９０２の位置にワープしたあと、１秒程度の所定時間が経過したことに応じて表示される。そのため、視線確定操作によるワープ直後の図９（ｃ）には詳細情報９０６は表示されず、ワープ直後に所定時間経過した図９（ｄ）には、詳細情報９０６が表示される。なお、ＰＣでの視線確定操作はデジタルカメラ１００を用いて説明したようなボタン操作ではなく、例えば注視している状態が所定時間継続した場合やタッチパッド８０５へのタッチオン、マウスへのクリック操作、キーボードへの所定の操作などに割り当てる。このようにすることで、ユーザーはより自然に直感的に視線確定操作ができる。

なお、本実施形態では視線確定操作の実行結果である詳細情報は、マウスカーソルと視線ポインターの間の表示レイヤー（例えば図７（ｂ）のレイヤー７１２）に表示されるとしたが、マウスカーソルと詳細情報の表示順を逆にしてもよい。また、同じレイヤーでもよい。すなわち、視線確定操作後、詳細情報は、視線ポインターよりも上位のレイヤーに表示されればよい。

このように、ユーザーによる視線確定操作が行われる前は詳細情報よりも視線位置を示す視線ポインターを上に重畳して表示することで、ユーザーは自身の見ている方向に対応する視線位置を視認しやすい。一方で、視線確定操作が行われた後は、視線ポインターよりも詳細情報を上に重畳して表示することで、視線ポインターを煩わしく感じることなく詳細情報を確認しやすい。また、視線確定操作が行われた後は、マウスカーソルを視線ポインターや詳細情報よりも上に重畳して表示することで、視線確定操作に応答して、視線位置へ大きく素早く移動したマウスカーソルを視認しやすい。

図８において、他の実施形態としてＰＣをあげたが、ＰＣのタッチパッド８０５のみならず、マウスやポインティングデバイス、ジョイスティック等を使用して視線確定操作を行っても、本実施形態は実施可能である。具体的には、クリック操作や押下操作、またデバイスを左右に振る操作や円を描く操作などの予め決められた操作を行うことで、視線確定操作があったと判定する。なお、これらタッチパッドやマウス、ポインティングデバイス、ジョイスティック等はＰＣ内蔵のものである必要はなく、外付けのものでもよい。

なお、視線ポインターの表示形態は上述したものに限らない。内側の円（塗りつぶし）と外側の円枠という組み合わせの形態ではなく、内側の円だけでもよいし、外側の円枠だけでもよいし、円の大きさをユーザーが任意に変更できるようにしてもよい。たとえば、視線位置が滞在する時間が所定時間よりも長ければ赤く、所定時間よりも短ければ青くするような、視線位置の滞在時間に応じて視線ポインターの色を変化させてもよい。

また、ユーザーが任意に表示形態を設定可能な手段を設けてもよい。表示形態の変化に応じて、表示レイヤーの順序を可変するようにしてもよい。

また、ユーザーによる視線確定操作が行われたことによって、１点ＡＦ枠を示す枠６０４を視線ポインター６０６の位置に移動させたあと、視線ポインター６０６を非表示にするようにしてもよい。例えば、視線確定操作が継続して行われている（第１シャッタースイッチ６２は押下されている）間、すなわち、ＡＦが実行されている間は視線ポインター６０６を非表示にし、ＡＦの実行終了に応じて視線ポインター６０６を再表示する。このような制御にすることで、視線確定操作の直後の、ユーザーがＬＶ画像上のＡＦ実行位置である被写体などを確認したいと考える可能性が高い状態において、１点ＡＦ枠を示す枠６０４などの表示がより視認しやすい。なお、ＡＦが実行されている間に限らず、ユーザーによって設定された所定時間が経過するまでは視線ポインター６０６を非表示にするような制御にしてもよい。ユーザーの確定操作によって視線ポインターよりも上に表示されたＡＦ枠などの枠表示は、図３のＳ３０２の撮影モード処理とは異なるモード処理に遷移した場合に、確定操作前の表示順に戻るようにする。すなわち、ユーザーによるメニューボタン８１の押下により設定メニューモード処理に遷移した場合や、デジタルカメラ１００の電源がオフになったことに応じてリセットする。なお、確定操作により変化した表示順が確定操作前の表示順に戻るトリガーはこれに限らず、確定操作から所定時間が経過したことに応じてリセットされ、確定操作前の表示順に戻るように制御してもよい。

また、図４（ａ）の制御フローチャートの処理中であっても、操作部７０に対する操作によって、ＡＦ枠移動操作や撮影に関する各種パラメーターの変更が行われた場合は、操作に応じて対応する機能を実行する。例えば、マルチコントローラー８３を８方向のうちいずれかの方向に倒す操作が行われた場合は、ＡＦ枠の移動を操作方向に応じて実行する。メイン電子ダイヤル７１への操作が行われた場合は、メイン電子ダイヤル７１に割り当てられている機能（具体的には、シャッタースピードの変更など）を実行する。

本発明は、以下の処理を実行することによっても実現される。即ち、上述の実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

なお、システム制御部５０が行うものとして説明した上述の各種制御は、１つのハードウエアが行ってもよいし、複数のハードウエア（例えば複数のプロセッサーや回路）が処理を分担することで装置全体の制御を行ってもよい。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、視線入力および操作部材に対する操作によって位置を指定可能な電子機器であれば適用可能である。すなわち、本発明はＰＣやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ヘッドマウントディスプレイなどに適用可能である。また、本発明は、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。視線入力と組み合わせて使う位置移動の指示部材としてタッチパネル７０ａの例を説明したが、ボタンやダイヤルなどこれ以外の操作手段としてもよい。表示位置をＡＦ枠としたが、アイコン枠やパラメーター設定枠などとしてもよいし、マウスカーソルなどのＡＦ枠とは異なるインジケーター表示としてもよい。視線ポインターの表示／非表示について、ユーザー設定によって判定するとしたが、視線入力機能のＯＮ／ＯＦＦ（図５の項目５０３）や、接眼部１６への接眼の有無で判断してもよい。

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピューター（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

Claims (25)

1. 表示手段を見るユーザーの視線を検出する検出手段と、
   前記検出手段により検出されたユーザーの視線に基づく表示手段上での視線位置を示す視線ポインターを前記表示手段上での視線位置に表示し、前記検出手段により検出された視線に基づく視線位置の移動に追従して、前記視線ポインターを移動して表示するように制御し、
   ユーザーによる操作手段への操作が行われたことに応じて、アイテムを前記検出手段により検出された視線に基づく視線位置に基づいて表示するとともに、前記視線ポインターを前記アイテムよりも下に重畳して表示し、前記アイテムの表示位置に基づいて、自動焦点調整処理を実行するように制御する制御手段
   と
   を有することを特徴とする電子機器。
2. 表示手段を見るユーザーの視線を検出する検出手段と、
   前記検出手段により検出されたユーザーの視線に基づく表示手段上での視線位置を示す視線ポインターを前記表示手段上での視線位置に表示し、前記検出手段により検出された視線に基づく視線位置の移動に追従して、前記視線ポインターを移動して表示するように制御し、
   ユーザーによる操作手段への操作が行われたことに応じて、アイテムを前記検出手段により検出された視線に基づく視線位置に基づいて表示するとともに、前記視線ポインターを前記アイテムよりも下に重畳して表示し、前記操作が行われる前に、前記アイテムを所定の条件に基づく位置に表示するとき、前記視線ポインターを前記アイテムより上に重畳して表示するように制御する制御手段
   と
   を有することを特徴とする電子機器。
3. 表示手段を見るユーザーの視線を検出する検出手段と、
   前記検出手段により検出されたユーザーの視線に基づく表示手段上での視線位置を示す視線ポインターを前記表示手段上での視線位置に表示し、前記検出手段により検出された視線に基づく視線位置の移動に追従して、前記視線ポインターを移動して表示するように制御し、
   ユーザーによる操作手段への操作が行われたことに応じて、アイテムを前記検出手段により検出された視線に基づく視線位置に基づいて表示するとともに、前記視線ポインター及び前記アイテムの表示順の設定により、前記視線ポインターを前記アイテムよりも下に重畳して表示するように制御する制御手段
   と
   を有することを特徴とする電子機器。
4. 前記制御手段は、
   前記操作が行われたことに応じて、前記アイテムを前記検出手段により検出された視線に基づく視線位置、又は視線位置から所定の範囲内の位置に表示するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 前記電子機器は撮像装置であり、前記自動焦点調節処理を実行するＡＦ手段をさらに有し、
   前記制御手段は、撮像して得られた画像の上に前記アイテムを重畳して前記表示手段に表示するように制御し、
   前記ＡＦ手段は、前記アイテムが表示される位置に基づいて、前記自動焦点調節処理を実行し、
   前記制御手段は、被写体を追尾し、前記追尾した被写体に基づいて前記自動焦点調節処理を実行する場合、前記アイテムを視線位置から所定の範囲内の被写体の位置に表示するように制御し、被写体を追尾せずに前記自動焦点調節処理を実行する場合、前記アイテムを前記検出手段により検出された視線に基づく視線位置に表示するように制御する、ことを特徴とする請求項１に記載の電子機器。
6. 前記自動焦点調節処理を実行する被写体を追尾するか否かを設定する設定手段を有することを特徴とする請求項５に記載の電子機器。
7. 前記アイテムはＡＦ枠であり、
   前記制御手段は、被写体を追尾して前記自動焦点調節処理を実行する場合と、被写体を追尾せずに前記自動焦点調節処理を実行する場合とで、異なる表示形態で前記ＡＦ枠を表示させる、ことを特徴とする請求項５又は６に記載の電子機器。
8. 前記制御手段は、
   前記操作が行われたことに応じて、前記アイテムを前記検出手段により検出された視線に基づく視線位置に表示するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
9. 前記制御手段は、
   前記操作が行われる前は、前記アイテムを所定の条件に基づく位置に表示し、
   前記操作が行われたことに応じて、前記アイテムを前記検出手段により検出された視線に基づく視線位置に移動して表示するように制御することを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
10. 前記制御手段は、
    前記操作が行われる前に、前記アイテムを所定の条件に基づく位置に表示するとき、前記視線ポインターを前記アイテムより下に重畳して表示するように制御することを特徴とする請求項１、３乃至９のいずれか１項に記載の電子機器。
11. 前記制御手段は、
    前記操作が行われる前に、前記アイテムを所定の条件に基づく位置に表示するとき、前記視線ポインターを前記アイテムより上に重畳して表示するように制御することを特徴とする請求項１、３乃至９のいずれか１項に記載の電子機器。
12. 前記制御手段は、前記操作が行われる前と、前記操作が行われた後とで、前記アイテムを異なる表示形態で表示するように制御することを特徴とする請求項２、９乃至１１のいずれか１項に記載の電子機器。
13. 前記制御手段は、
    前記操作が行われる前は、前記アイテムを非表示にし、
    前記操作が行われたことに応じて、前記アイテムを前記検出手段により検出されたユーザーの視線に基づく視線位置に基づいて表示するように制御することを特徴とする請求項１又は３に記載の電子機器。
14. 前記電子機器は撮影パラメーターを用いて撮影処理を行う撮像装置であり、
    前記制御手段は、前記撮影パラメーターに関する情報を前記表示手段に更に表示し、
    前記視線ポインター及び前記アイテムは前記撮影パラメーターに関する情報よりも上に重畳して表示するように制御することを特徴とする請求項１乃至１３のいずれか１項に記載の電子機器。
15. 前記制御手段は、前記操作が行われたことに応じて、前記視線ポインター及び前記アイテムの表示順の設定により、前記視線ポインターを前記アイテムよりも下に重畳して表示するように制御することを特徴とする請求項１、２、４乃至１４のいずれか１項に記載の電子機器。
16. 前記制御手段は、前記自動焦点調節処理を実行したことに応じて、前記アイテムの表示位置又は前記アイテムの表示位置の近傍に、前記自動焦点調節処理の実行結果に関する情報を表示し、前記情報を、前記視線ポインターよりも上に重畳して表示するように制御することを特徴とする請求項１に記載の電子機器。
17. 前記制御手段は、前記自動焦点調節処理の実行結果に関する情報として、前記自動焦点調節処理の実行結果を前記アイテムの表示形態を変化させることにより表示するように制御することを特徴とする請求項１６に記載の電子機器。
18. 前記操作手段は、
    ユーザーが前記電子機器のグリップ部を右手で把持している状態において、被写体側とは反対側であって、前記反対側の面の中央位置より撮影指示を行うシャッターボタンの側、かつ、前記グリップ部の側に配置されていることを特徴とする請求項１乃至１７のいずれか１項に記載の電子機器。
19. 前記操作は、前記検出手段により検出された視線に基づく視線位置に基づいて前記自動焦点調節処理を実行する対象を決定するための操作であることを特徴とする請求項１に記載の電子機器。
20. 前記操作手段への前記操作は、シャッターボタンへの半押し操作、または、前記自動焦点調節処理の実行を指示するためのボタンへの操作であることを特徴とする請求項１９に記載の電子機器。
21. ファインダーと、被写体を撮像する撮像手段を更に有し、
    前記表示手段は前記ファインダーの内部の表示手段であることを特徴とする請求項１乃至２０のいずれか１項に記載の電子機器。
22. 前記アイテムはマウスカーソルであることを特徴とする請求項２又は３に記載の電子機器。
23. 表示手段を見るユーザーの視線を検出する検出ステップと、
    前記検出手段により検出されたユーザーの視線に基づく表示手段上での視線位置を示す視線ポインターを前記表示手段上での視線位置に表示し、前記検出手段により検出された視線に基づく視線位置の移動に追従して、前記視線ポインターを移動して表示するように制御し、
    ユーザーによる操作手段への操作が行われたことに応じて、アイテムを前記検出手段により検出されたユーザーの視線に基づく視線位置に基づいて表示するとともに、
    前記視線ポインターは前記アイテムよりも下に重畳して表示し、前記アイテムの表示位置に基づいて、自動焦点調整処理を実行するように制御する制御ステップと
    を有することを特徴とする電子機器の制御方法。
24. コンピュータを請求項１乃至２２のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
25. コンピュータを請求項１乃至２２のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images