JP7321786B2 - 電子機器およびその制御方法 - Google Patents

Description

本発明は、電子機器、及び電子機器の制御方法に関し、特にユーザーの視線による視線入力が可能な電子機器、及び電子機器の制御方法に関するものである。

従来、ユーザーである撮影者の視線方向を検出し、撮影者がファインダー視野内のどの領域（位置）を観察しているかを検出して、自動焦点調節等の撮影機能を制御するカメラが提案されている。特許文献１には、ファインダーを覗きながらユーザーの視線位置を検出し、その視線位置にＡＦ枠を表示することが開示されている。視線位置がユーザー所望の位置でなかった場合に、カメラ本体の８方向に操作可能な操作部材を操作することで、表示された視線位置を移動することが可能であることが開示されている。

一方、ファインダー外にある表示部をタッチパッドとして使用することで、ファインダーを覗きながらタッチ操作により前述の機能を含む様々な設定をできるようにする方法が提案されている。特許文献２には、ファインダーを覗きながらタッチパッドを操作するタッチ操作に関する設定をユーザーが任意に、絶対位置指定／相対位置指定のいずれかに設定可能であることが開示されている。絶対位置指定の設定は、タッチダウン位置に対応した位置にＡＦ枠を表示させることができるものである。相対位置指定の設定は、タッチダウン位置に対応した位置にＡＦ枠を表示させることなく、タッチムーブ操作があったことに応じてＡＦ枠を移動することができるものである。

特開２０１５－２２２０８ 特開２０１８－０３７８９３

しかし特許文献１では、視線入力がないときに表示されているＡＦ枠位置とユーザー所望の位置が離れている場合には、ユーザーが所望する位置にＡＦ枠を移動するまでに多くの操作回数が必要になってしまう。特許文献２では、タッチムーブ操作が絶対位置指定のときはタッチ位置にＡＦ枠が表示されるため、細かなＡＦ枠の移動操作が難しい。タッチムーブ操作が相対位置指定のときは、タッチムーブ量に対するＡＦ枠の移動量が大きい場合は微調整が難しく、ＡＦ枠の移動量が小さい場合は操作回数が多くなってしまう。ＡＦ枠に限らず、何らかの目的で位置を選択する場合に、同様のことが言える。

そこで本発明は、選択位置をユーザーの所望する位置により素早くかつより正確に移動させることができるようにすることを目的とする。

上記目的を達成するために、本発明の電子機器は、
操作部とは別に設けられ、画像が表示される表示部と、前記表示部に表示される前記画像上のユーザーの視線を検出する検出手段と、前記表示部に表示される前記画像上の選択位置を移動させるための操作モードとして、前記操作部に対するタッチ操作に応じて、前記タッチ操作によるタッチ位置にかかわらず、前記タッチ操作の移動方向と移動量に基づき、前記選択位置を移動する第１のモードと、前記操作部に対するタッチ操作に応じて、前記タッチ操作によるタッチ位置に対応する前記画像上の位置に前記選択位置を移動することにより、前記タッチ操作の移動量に応じて前記選択位置を移動する第２のモードから、ユーザーの操作に応じて、いずれかの操作モードに設定する設定手段と、前記検出手段により検出された視線に基づき前記選択位置が指定されない第１の状態と前記検出手段により検出された視線に基づき前記選択位置が指定される第２の状態とで、前記操作部に対する所定の移動量のタッチ操作に応じて、前記選択位置の移動の制御を異ならせるように制御する制御手段とを有し、前記制御手段は、前記操作部に対する前記所定の移動量のタッチ操作に応じて、前記第１の状態であり、かつ、前記設定手段により前記第１のモードに設定されている場合は、前記タッチ操作前の位置から前記所定の移動量に対応する第１の量だけ移動するように制御し、前記第１の状態であり、かつ、前記設定手段により前記第２のモードに設定されている場合は、前記タッチ操作によるタッチ位置に対応する前記画像上の位置に前記選択位置を移動させることにより、前記選択位置を前記所定の移動量に対応する前記第１の量だけ移動するように制御し、前記第２の状態である場合は、前記設定手段により設定された前記操作モードによらず、前記検出手段により検出された視線に基づく前記画像上の位置から、前記選択位置を前記第１の量より小さい第２の量だけ移動するように制御することを特徴とする。

本発明によれば、選択位置をユーザーの所望する位置により素早くかつより正確に移動させることができる。特に、視線に基づき選択位置の指定がされる第２の状態では、視線に基づく選択位置の移動後に、タッチ操作による、ユーザーの意図しない選択位置の大きな移動を避け、選択位置の微調整をすることが可能となる。

本発明の実施形態である、デジタルカメラの外観図である。 本発明の実施形態である、デジタルカメラの構成を示すブロック図である。 本発明の実施形態における、ＡＦ枠の表示位置に関する視線入力とタッチ操作による制御処理フローチャートである。 本発明の実施形態における、ＡＦに関する設定画面の表示例である。 本発明の実施形態における、ＡＦ枠の表示位置を視線入力とタッチ操作とで移動する表示例である。 本発明の実施形態における、他の操作部材やファインダーを用いない場合の実施形態を示す図である。

以下、図面を参照して本発明の好適な実施形態を説明する。

図１（ａ）、（ｂ）に本発明を適用可能な装置の一例としてのデジタルカメラ１００の外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。図１において、表示部２８は画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル７０ａは、表示部２８の表示面（操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は外部機器との接続ケーブルとデジタルカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。

十字キー７４は操作部７０に含まれ、４方向に押し込み可能な押しボタンを有する操作部材である。十字キー７４の押下した方向に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。ＡＥロックボタン７７は操作部７０に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大ボタン７８は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦを行うための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。メニューボタン８１は、操作部７０に含まれ、押下することにより各種の設定可能なメニュー画面が表示部２８に表示される。ユーザーは、表示部２８に表示されたメニュー画面と、十字キー７４やＳＥＴボタン７５を用いて直感的に各種設定を行うことができる。通信端子１０はデジタルカメラ１００が後述するレンズユニット１５０（着脱可能）と通信を行う為の通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザーは、接眼部１６を介して内部のＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２９に表示された映像を視認することができる。接眼検知部５７は接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋２０２は記録媒体２００を格納したスロットの蓋である。グリップ部９０は、ユーザーがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６と前述の通信端子１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。その後ＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、後述するメモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８、ＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８、ＥＶＦ２９により表示される。表示部２８、ＥＶＦ２９は、ＬＣＤや有機ＥＬ等の表示器上に、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビューで表示される画像をライブビュー画像（ＬＶ画像）と称する。

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、接眼部１６に接眼したユーザーの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから成る。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は少なくとも１つのプロセッサーを含み、視線検知センサー１６４の出力信号に基づき、ユーザーの眼球（目）１６１の画像または動きからユーザーの視線位置を検出し、検出情報をシステム制御部５０に出力する。このようにダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、赤外発光ダイオード１６６、視線検出回路１６５により視線検出ブロック１６０が構成される。

本発明では視線検出ブロック１６０を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の特に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。

ファインダー外液晶表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ－ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、少なくとも以下の操作部が含まれる。シャッターボタン６１、タッチパネル７０ａ、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７はファインダーの接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくともデジタルカメラ１００が撮影待機状態、かつ、撮像部２２で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（不図示）から投光した赤外線が反射して赤外線近接センサーの受光部（不図示）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。なお、本実施形態では接眼検知部５７の投光部および受光部は前述の赤外発光ダイオード１６６および視線検知センサー１６４とは別体のデバイスであるものとする。ただし、接眼検知部５７の投光部を赤外発光ダイオード１６６で兼ねてもよい。また、受光部を視線検知センサー１６４で兼ねてもよい。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

システム制御部５０は視線検出ブロック１６０からの出力に基づいて以下の操作、あるいは状態を検知できる。
・接眼部１６に接眼したユーザーの視線が新たに入力（検出）されたこと。すなわち、視線入力の開始。
・接眼部１６に接眼したユーザーの視線入力がある状態であること。
・接眼部１６に接眼したユーザーが注視している状態であること。
・接眼部１６に接眼したユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６に接眼したユーザーが何も視線入力していない状態。

ここで述べた注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を提供できる。システム制御部５０はタッチパネル７０ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

接眼状態でタッチムーブ操作が行われると、ユーザーはタッチムーブ操作に応じた位置指標の位置の指定方法を、絶対位置指定と相対位置指定のいずれかに設定することができる。例えば位置指標がＡＦ枠とすると、絶対位置指定の場合、タッチパネル７０ａがタッチされると、タッチされた位置（座標入力された位置）に対応付けられたＡＦ位置が設定される。つまり、タッチ操作が行われた位置座標と、表示部２８の位置座標とが対応づけられる。一方相対位置指定の場合は、タッチ操作が行われた位置座標と表示部２８の位置座標とは対応付けられない。相対位置指定では、タッチパネル７０ａに対するタッチダウン位置に関わらず、現在設定されているＡＦ位置からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、タッチ位置を移動させる。

本実施形態では、デジタルカメラ１００における視線入力操作とタッチ入力操作による、ＡＦ枠の制御処理について説明する。

図３は、ＡＦ枠の位置選択を視線入力とタッチ操作により制御するフローチャートである。この制御処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。図３のフローチャートは、デジタルカメラ１００を撮影モードで起動し、撮影待機状態においてユーザーがファインダーを覗いている場合、つまり接眼部１６へ接眼状態であるときに開始される。

Ｓ３０１では、システム制御部５０はデジタルカメラ１００において、ユーザーがタッチパネル７０ａへのタッチ操作に関する設定変更操作を行ったか否かを判定する。設定変更操作があった場合はＳ３０２へ進み、そうでない場合はＳ３０３へ進む。具体的には図４のようにデジタルカメラ１００のメニュー画面を表示させる操作があり、かつ、タッチ＆ドラッグＡＦに関する設定項目４０２の設定変更があったか否かを判定する。図４はＥＶＦ２９または表示部２８に表示される撮影に関する設定メニュー画面である。メニュー画面には設定項目４０１～４０４が表示される。このうち、設定項目４０２がタッチ＆ドラッグＡＦに関する設定項目である。タッチ＆ドラッグＡＦとは、ユーザーがファインダーを覗いている状態でタッチパネル７０ａをタッチ操作行った場合に、ＡＦ枠の移動の仕方についての機能を指す。設定項目４０２について、ユーザーは任意に設定可能である。設定項目４０２ａを選択すれば、タッチ＆ドラッグＡＦ設定を絶対位置指定にすることができ、設定項目４０２ｂを選択すれば、タッチ＆ドラッグＡＦ設定を相対位置指定にすることができる。図４は、タッチ＆ドラッグＡＦに関する設定が相対位置指定であることを表している。

Ｓ３０２では、システム制御部５０は、Ｓ３０１で変更があった設定内容を、不揮発性メモリ５６に保存する。

Ｓ３０３では、システム制御部５０は、デジタルカメラ１００において、ユーザーが視線入力に関する設定を切り替えたか否かを判定する。切り替えた場合はＳ３０４へ進み、そうでない場合はＳ３０５へ進む。具体的には図４のようにデジタルカメラ１００のメニュー画面を表示させる操作があり、かつ、視線ＡＦに関する設定項目４０３の切替操作があったか否かを判定する。視線ＡＦとは、ユーザーの視線によるＡＦ枠の移動についての機能を指す。視線ＡＦは有効と無効のいずれかに設定することができる。視線ＡＦを有効に設定すると、視線によるＡＦ枠位置の選択・移動操作が可能になる。視線ＡＦを無効に設定すると、視線によるＡＦ枠位置の選択・移動操作が行えない。設定項目４０３ａを選択すれば視線ＡＦ設定を有効にすることができ、設定項目４０３ｂを選択すれば視線ＡＦ設定を無効にすることができる。図４は、視線ＡＦの設定が有効であることを表している。

Ｓ３０４では、システム制御部５０は、Ｓ３０３で変更があった設定内容を、不揮発性メモリ５６に保存する。

Ｓ３０５では、システム制御部５０は、不揮発性メモリ５６を参照し、Ｓ３０４で保存した視線入力設定が有効であるか否かを判定する。視線入力設定が有効である場合はＳ３０６へ進み、無効である場合はＳ３１７へ進む。

Ｓ３０６では、システム制御部５０は、視線入力の有無を判定する。視線入力がある、すなわち視線検出ブロック１６０においてユーザーによる視線が検出された場合にはＳ３０７へ進む。視線入力がない、すなわち視線検出ブロック１６０においてユーザーによる視線が検出されない場合にはＳ３２３へ進む。視線入力があった場合、システム制御部５０は、視線入力が始まった時点からの時間を計時する。視線検出ブロック１６０において検出された視線位置について、例えば３０ミリ秒毎に視線位置を検出し、システム制御部５０へ送る。システム制御部５０は、視線位置と計時した時間から、ユーザーが視線を大きく動かしているか（視線をきょろきょろ動かしているか）、ある位置を見つめているか（注視）を判定する。注視についてはＳ３０７で後述する。

Ｓ３０７では、システム制御部５０は、ユーザーによる注視があるか否かを判定する。システム制御部５０は、視線位置と計時した時間から、所定時間内における視線位置の移動量が既定の閾値以下であるときに、注視があったと判定する。例えば、１２０ミリ秒のうちに視線位置の移動量が既定閾値以下であった場合に、注視があったと判定する。注視があった場合はＳ３０８へ進む。視線位置と計時した時間から、視線位置の移動量が既定の閾値以上、すなわちユーザーが視線を大きく動かしている場合は、注視がないと判定する。注視がない場合はＳ３２３へ進む。ここでは、視線入力による焦点検出領域（以下ＡＦ枠）の表示位置の移動についてユーザーの意図する視線位置と判定する条件として注視を取り上げたが、ユーザーのまばたきや音声による指示等を条件としてもよい。また、注視がなくとも視線の検出位置に応じてＡＦ枠を移動するようにしてもよい（すなわち、Ｓ３０７をなくして、Ｓ３０６ＹｅｓからＳ３０８へ進むようにしてもよい）。また、具体例として注視と判定する計時した時間を１２０ミリ秒としたが、この計時時間はあらかじめ設定しておいてもいいし、ユーザーが自由に設定できるようにしてもよいし、表示されている視線位置と注視位置との位置関係に応じて変化するようにしてもよい。

Ｓ３０８では、システム制御部５０は、ＥＶＦ２９において検出されている視線（注視）位置へＡＦ枠の表示位置を移動する。本実施形態では、Ｓ３０９で判定するタッチダウン操作がない場合、あるいは、タッチダウン操作開始時点での視線位置へＡＦ枠の表示位置を移動する。これによりタッチパネル７０ａに対する操作前のＡＦ枠位置とユーザー所望のＡＦ枠位置とが大きく離れている場合でも、視線によって素早くＡＦ枠を移動することができる。

Ｓ３０９では、システム制御部５０は、タッチパネル７０ａへのタッチダウンの有無を判定する。タッチダウンがあった場合はＳ３１０へ進み、そうでない場合はＳ３１５へ進む。なお本実施形態では、Ｓ３０８で視線による位置にＡＦ枠位置を移動して表示した後に、タッチダウンの有無を確認するという制御フローだが、これに限るものではない。視線の動きに応じてＡＦ枠が常に移動して表示されることでユーザーが感じる煩わしさを低減するために、タッチダウン前には視線に応じたＡＦ枠の移動は行わず、タッチダウン後に視線位置へＡＦ枠を移動してもよい。すなわち、Ｓ３０８とＳ３０９の順序を逆にする制御フローにしてもよい。

Ｓ３１０では、システム制御部５０は、視線入力によるＡＦ枠位置の移動を一時的に禁止（制限）する。これは、ユーザーによるタッチ操作開始後の操作中は、ユーザーが視線入力によって移動したＡＦ枠位置の微調整をするためにタッチ操作をしていると想定されるためである。視線入力によるＡＦ枠移動の禁止（制限）中は、注視があったとしても視線位置に基づくＡＦ枠の移動は行わない。これにより、ユーザーがタッチ操作によって微調整を行ったＡＦ枠が、視線によって別の位置へ移動してしまうということを避けることができる。

Ｓ３１１では、システム制御部５０は、タッチパネル７０ａにおけるタッチムーブの有無を判定する。タッチムーブがあった場合はＳ３１２へ進み、そうでない場合はＳ３１３へ進む。

Ｓ３１２では、システム制御部５０は、ＥＶＦ２９において、タッチパネル７０ａへのタッチムーブ操作量に第２の係数をかけた第２の量だけ被写体像上に表示されたＡＦ枠を相対位置移動させる。第２の係数、第２の量については図５を用いて後述する。

Ｓ３１３では、システム制御部５０は、タッチパネル７０ａからのタッチアップの有無を判定する。タッチアップがあった場合はＳ３１４へ進み、そうでない場合はＳ３１１へ戻る。

Ｓ３１４では、システム制御部５０は、視線入力によるＡＦ枠の移動を許可（一時的な禁止・制限を解除）する。Ｓ３１０において一時的に禁止（制限）した視線入力によるＡＦ枠の移動を許可（制限を解除）し、再び視線入力を受け付ける（注視位置に基づいてＡＦ枠を移動させる）ことを意味する。これは、Ｓ３１３でのタッチアップによりタッチ操作が終了したため、Ｓ３１０で述べたような視線入力とタッチ操作との競合が生じないと考えられるためである。

Ｓ３１５では、システム制御部５０は、タッチダウンしていない場合の視線入力の位置が、Ｓ３０７で注視と判定した際の視線位置から、前述の既定の閾値以上移動したか否かを判定する。具体的には、Ｓ３０７で判定した注視位置から既定閾値以上の移動量があった場合に視線（注視）位置が移動した、と判定し、注視ではなくなったとみなす。

Ｓ３１６では、システム制御部５０は、視線入力が終了したか否かの判定を行う。視線検出ブロック１６０においてユーザーによる視線が検出されなかった場合には、システム制御部５０はユーザーが視線入力を終了したと判定し、Ｓ３３２へ進む。視線検出ブロック１６０においてユーザーによる視線が検出されている場合は、システム制御部５０は視線入力が継続していると判定し、Ｓ３０９へ戻る。

Ｓ３１７では、システム制御部５０は、視線入力設定が無効の場合の、タッチパネル７０ａへのタッチダウンの有無を判定する。タッチダウンがあった場合はＳ３１８へ進み、そうでない場合はＳ３０５へ戻る。

Ｓ３１８では、システム制御部５０は、不揮発性メモリ５６を参照し、Ｓ３０２で保存したタッチでの位置指定に関する設定が相対位置指定であるか否かを判定する。具体的には、図４のメニュー設定画面において設定項目４０２のタッチ＆ドラッグＡＦにおける設定が、相対位置指定であるか否かを判定する。設定が相対位置指定である場合はＳ３１９へ進む。そうでない場合（絶対位置指定に設定されている場合）は、Ｓ３２１へ進む。

Ｓ３１９では、システム制御部５０は、タッチパネル７０ａへのタッチムーブ操作の有無を判定する。タッチムーブがある場合はＳ３２０へ進み、ない場合はＳ３２２へ進む。

Ｓ３２０では、システム制御部５０は、タッチパネル７０ａに対するタッチムーブ操作量に第１の係数をかけた第１の量だけ、ＥＶＦ２９においてＡＦ枠を相対位置移動させる。第１の係数、第１の量については図５を用いて後述する。

Ｓ３２１では、システム制御部５０は、タッチパネル７０ａへのタッチ操作位置に対応するＥＶＦ２９上の位置にＡＦ枠を移動させる（絶対位置指定）。これにより、タッチダウンに応じてタッチダウン位置に対応する位置にＡＦ枠が移動し、その後タッチムーブによる移動後のタッチ位置に対応する位置にＡＦ枠が移動する。

Ｓ３２２では、システム制御部５０は、タッチパネル７０ａからのタッチアップの有無を判定する。タッチアップがあった場合はＳ３０５へ進み、そうでない場合はＳ３１８へ戻る。

Ｓ３２３では、システム制御部５０は、タッチパネル７０ａへのタッチダウンの有無を判定する。タッチダウンがあった場合はＳ３２５へ進み、そうでない場合はＳ３２４へ進む。

Ｓ３２４では、システム制御部５０は、Ｓ３２３においてタッチダウンがなかったと判定された場合に、Ｓ３１５と同様に、ユーザーによる視線入力位置が移動したか否かを判定する。視線入力位置が移動した場合はＳ３３２へ進み、移動していない場合はＳ３０６へ進む。

Ｓ３２５では、システム制御部５０は、Ｓ３１０と同様に、視線入力によるＡＦ枠の移動を一時的に禁止（制限）する。

Ｓ３２６では、システム制御部５０は、Ｓ３２０と同様に、タッチパネル７０ａに対するタッチでの位置指定に関する設定（図４の設定項目４０２におけるタッチ＆ドラッグＡＦの設定）が相対位置指定であるか否かを判定する。設定が相対位置指定である場合はＳ３２７へ進む。相対位置指定でない場合（絶対位置指定である場合）は、Ｓ３２９へ進む。

Ｓ３２７では、システム制御部５０は、タッチパネル７０ａへのタッチムーブ操作の有無を判定する。タッチムーブがあった場合はＳ３２８へ進み、そうでない場合はＳ３３０へ進む。

Ｓ３２８では、システム制御部５０は、Ｓ３２０と同様に、タッチパネル７０ａへのタッチムーブ操作量に第１の係数をかけた第１の量だけ、ＥＶＦ２９においてＡＦ枠を相対位置移動させる。

Ｓ３２９では、システム制御部５０は、Ｓ３２１と同様に、タッチパネル７０ａへのタッチ操作位置に対応するＥＶＦ２９上の位置にＡＦ枠を移動させる（絶対位置指定）。

Ｓ３３０では、システム制御部５０は、タッチパネル７０ａからのタッチアップの有無を判定する。タッチアップがあった場合はＳ３３１へ進み、そうでない場合はＳ３２５へ戻る。

Ｓ３３１では、システム制御部５０は、Ｓ３１４と同様に、視線入力によるＡＦ枠の移動を許可（一時的な禁止・制限の解除）する。

Ｓ３３２では、システム制御部５０は、Ｓ３０６で開始した注視と判定するまでのタイマーの計時をリセットし、Ｓ３０５へ戻る。

なお、図３の制御フロー中に第１シャッタースイッチ６２がオンとなった場合は、その時点でのＡＦ枠位置でＡＦをする。具体的には、視線によりＡＦ枠位置が表示されている場合は、視線によるＡＦ枠位置でＡＦをする。視線によりＡＦ枠位置が表示されていない場合は、タッチ操作前に表示されているＡＦ枠位置でＡＦする。タッチムーブ操作中に第１シャッタースイッチ６２がオンとなった場合は、表示されているＡＦ枠位置でＡＦする。制御フロー中に第２シャッタースイッチ６４がオンとなった場合は、第２シャッタースイッチ６４がオンとなった時点で表示されているＡＦ枠でＡＦし、撮影を行う。

また、図３のフローチャートは接眼検知部５７で接眼を検知している場合に行われる処理であるものとする。接眼検知部５７が接眼を検知していない場合は、ライブビュー画像を表示部２８に表示する。このときシステム制御部５０は、タッチ操作での位置指定に関わる設定（図４におけるタッチ＆ドラッグＡＦ設定）に従うことなく、タッチダウンによってタッチ位置にＡＦ枠を移動させる。すなわち、接眼を検知していない場合は、視線によるＡＦ枠の移動は行わず、タッチ操作での絶対位置指定でＡＦ枠の移動が行われる。

図５（ａ）～（ｆ）を用いて、図３で説明した処理によるＡＦ枠の位置移動を説明する。

図５（ａ）はユーザーによる視線入力がない（視線入力設定が無効、もしくは有効で視線検出ブロック１６０への視線入力がない／注視がない）場合、かつ、タッチでの位置指定に関する設定が相対位置指定である場合の、タッチパネル７０ａ上の操作例である。図５（ｂ）は図５（ａ）の操作例に応じた、ＥＶＦ２９上のＡＦ枠の表示例である。図５（ａ）のタッチ位置５１１ａはユーザーによるタッチダウン位置であり、タッチ位置５１２ａはタッチ位置５１１ａにタッチダウンした後のタッチムーブ操作後のタッチ位置である。図５（ｂ）のＡＦ枠５１４ｂはタッチダウン前のＡＦ枠の表示位置（選択位置）であり、ＡＦ枠５１５ｂはタッチダウン後のタッチムーブ操作後のＡＦ枠の表示位置である。これらについて、それぞれ位置座標を以下のように定義する。
Ｐｔ１（Ｘ１，Ｙ１）：タッチダウン位置（５１１ａ）
Ｐｔ２（Ｘ２，Ｙ２）：タッチムーブ後のタッチ位置（５１２ａ）
Ｐｓ１（ｘ１、ｙ１）：タッチダウン前のＡＦ枠の位置（５１４ｂ）
Ｐｓ２（ｘ２、ｙ２）：タッチムーブ後のＡＦ枠の位置（５１５ｂ）

このケースでは、システム制御部５０は、Ｐｓ２のｘ座標、ｙ座標を以下のように算出し、算出された位置Ｐｓ２にＡＦ枠を表示する（図３のＳ３１８、Ｓ３２５の処理）。
ｘ２＝ｘ１＋Ａ１（Ｘ２－Ｘ１）
ｙ２＝ｙ１＋Ａ１（Ｙ２－Ｙ１）
Ａ１：第１の係数

このように、タッチムーブ操作量に第１の係数（Ａ１）をかけた第１の量だけＡＦ枠を移動させる。Ａ１がある程度大きな係数であれば、小さなタッチムーブ操作量でも、指の反復操作回数を減らして、より素早くＡＦ枠を所望位置に移動することができる。ただし少しのタッチムーブ量でＡＦ枠が移動するため、精密にユーザー所望の位置に調整するのは難しい。

次に図５（ｃ）は、はユーザーによる視線入力がある（視線入力設定が有効、かつ、注視がある）場合でのタッチパネル７０ａ上の操作例である。図５（ｄ）は、図５（ｃ）の操作例に応じたＥＶＦ２９上のＡＦ枠の表示例である。図５（ｃ）でのタッチ位置５１１ａ、タッチ位置５１２ａは図５（ａ）でのタッチ位置と同じ位置座標である。図５（ｄ）のＡＦ枠５１４ｂは視線入力によるＡＦ枠の移動前のＡＦ枠の表示位置である。ＡＦ枠５１４ｄは視線入力によるＡＦ枠の表示位置であり、ＡＦ枠５１５ｄは視線によるＡＦ枠の移動後にタッチムーブ操作によってさらに移動されたＡＦ枠の表示位置である。これら５１１ａ、５１２ａ、５１４ｄ、５１５ｄについて、それぞれ位置座標を以下のように定義する。
Ｐｔ１（Ｘ１，Ｙ１）：タッチダウン位置（５１１ａ）
Ｐｔ２（Ｘ２，Ｙ２）：タッチムーブ後のタッチ位置（５１２ａ）
Ｐｓ３（ｘ３，ｙ３）：視線入力によるＡＦ枠の位置（５１４ｄ）
Ｐｓ４（ｘ４，ｙ４）：視線入力後のタッチムーブ後のＡＦ枠の位置（５１５ｄ）

このケースでは、システム制御部５０は、Ｐｓ４のｘ座標、ｙ座標を以下のように算出し、算出された位置Ｐｓ４にＡＦ枠を表示する（図３のＳ３１２の処理）。
ｘ４＝ｘ３＋Ａ２（Ｘ２－Ｘ１）
ｙ４＝ｙ３＋Ａ２（Ｙ２－Ｙ１）
Ａ２：第２の係数。第１の係数より小さい（Ａ２＜Ａ１）。

このように、まず視線入力によって元のＡＦ枠５１４ｂの位置から、ユーザー所望の位置近辺のＡＦ枠５１４ｄの位置までは、視線入力で素早く移動させることができる（図３のＳ３０８の処理）。そしてその視線位置からタッチムーブ操作量に第１の係数（Ａ１）よりも小さな第２の係数（Ａ２）をかけた第２の量だけ、被写体像上に表示されたＡＦ枠を移動させる。第２の係数であるＡ２が第１の係数であるＡ１よりも小さい（Ａ２＜Ａ１）ため、大きなタッチムーブ操作量でもＡＦ枠は大きく動かず、同じタッチムーブ操作量であれば前述の第１の量よりも小さい第２の量だけＡＦ枠を細かく移動させることができる。すなわち、視線による大まかなＡＦ枠位置の移動を行った後、タッチムーブ操作によってＡＦ枠位置の微調整をすることができる。したがって、ＡＦ枠の位置をユーザー所望の位置に素早くかつ精密に移動することができる。なお、Ｓ３１２の処理では、Ｓ３０２で保存したタッチでの位置指定に関する設定が相対位置指定であるか絶対位置指定であるかにかかわらず、相対位置指定でＡＦ枠を移動させる。すなわち、ユーザーがあらかじめ絶対位置指定に設定していた場合であっても、視線によるＡＦ枠の移動に続くタッチ操作によるＡＦ枠の移動は相対位置指定で行われる。これにより、視線による大まかなＡＦ枠の決定後に絶対位置指定によるＡＦ枠の大きな移動が生じないため、ユーザーの意図しないＡＦ枠の大きな移動を避けることができる。

図５（ｅ）はユーザーによる視線入力がない（視線入力設定が無効、もしくは有効で視線検出ブロック１６０への視線入力がない／注視がない）場合、かつ、タッチでの位置指定に関する設定が絶対位置指定である場合の、タッチパネル７０ａ上の操作例である。図５（ｆ）は、図５（ｅ）の操作例に応じたＥＶＦ２９上のＡＦ枠の表示例である。図５（ｅ）でのタッチ位置５１１ａ、タッチ位置５１２ａは図５（ａ）でのタッチ位置と同じ位置である。図５（ｆ）のＡＦ枠５１４ｂはタッチダウン前のＡＦ枠の表示位置であり、図５（ｂ）のＡＦ枠５１４ｂと同じ位置である。ＡＦ枠５１４ｆはタッチダウン位置に対応する位置に表示されたＡＦ枠の表示位置である。ＡＦ枠５１５ｆはタッチムーブ操作後のＡＦ枠表示位置である。図５（ｅ）（ｆ）ではタッチでの位置指定に関する設定が絶対位置指定であるため、タッチ位置とＥＶＦ２９に表示されるＡＦ枠は対応づいて表示される。したがって、
Ｐｔ１（Ｘ１，Ｙ１）：タッチダウン位置（５１１ａ）
Ｐｔ２（Ｘ２，Ｙ２）：タッチムーブ後のタッチ位置（５１２ａ）
Ｐｓ５（ｘ５，ｙ５）：タッチダウン位置に基づいたＡＦ枠位置（５１４ｆ）
Ｐｓ６（ｘ６，ｙ６）：タッチムーブ後のタッチ位置に基づいたＡＦ枠位置（５１５ｆ）
と表すことができる。Ｐｓ５、Ｐｓ６へのＡＦ枠の表示は、図３のＳ３２９の処理によって行われる。

ここでＰｔ１とＰｓ５、Ｐｔ２とＰｓ６の位置座標は対応づいているため、図５（ｅ）において矢印で示している移動量５１３のタッチパネル７０ａ上での移動割合は、図５（ｆ）での矢印で示している移動量５１８のＥＶＦ２９上での移動割合と同じになる。Ｐｓ５とＰｓ６は、タッチダウン前のＡＦ枠５１４ｂの位置に影響は受けない。

このように本実施形態では、視線入力の有無によりタッチパネル７０ａによるＡＦ枠の表示位置の移動方法を制御する。これにより、視線入力がない場合にもＡＦ枠をユーザー所望の位置へ素早く移動させることができ、視線入力がある場合には視線によってＡＦ枠をユーザー所望の位置へ素早く移動させ、タッチムーブ操作によってＡＦ枠の細かな調整を行うことができる。

上述の実施形態では、ファインダーをのぞくユーザーの視線を検出し、タッチパネルによる位置指定操作と組み合わせて位置指定を行う例を説明したが、これに限るものではない。図６に、本実施形態でのタッチ操作部材以外の他の操作部材を用いた場合や、ＥＶＦ２９を用いない場合の実施形態を示す。

図６（ａ）は視線入力が可能なＥＶＦ２９とタッチ操作部材以外の他の操作部材を用いたＡＦ枠の移動を行う例を示している。具体的には、光学トラッキングポインター（ＯＴＰ）６０２、８方向に操作可能な方向キー（マルチコントローラー）６０３、ダイヤル６０４を示す。光学トラッキングポインターとはポインティングデバイスの一種で、主にノートパソコンに採用されている（本実施形態ではデジタルカメラ１００に搭載している例を示す）。物理的外観は短い棒状のボタンであり、部材表面であるヘッドの部分を指でなぞることで操作指示となる。このヘッド部分に内部から赤外光やＬＥＤが照射され、指で反射した光を信号として受け付けることで指の動きを捉え、操作指示とするものである。

図６（ａ）において、ユーザーが手６０１によってデジタルカメラ１００を把持し、ＯＴＰ６０２を親指で操作しているものとする。ファインダーを覗きながらＯＴＰ６０２上を指でなぞることで、本実施形態でタッチムーブ操作にあたるものとして使用が可能である。具体的には、視線入力がない場合には、ＯＴＰ６０２を指でなぞるタッチムーブの操作量に第１の係数をかけた第１の量だけ、ＡＦ枠を相対移動する。また、視線入力がある場合に視線によるＡＦ枠の移動後、ＯＴＰ６０２へのタッチムーブの操作量に第２の係数（＜第１の係数）をかけた第２の量（同じタッチムーブ量であれば第１の量より小さい）だけ、ＡＦ枠を相対移動する。なお、第２の量はタッチパネル７０ａへの一回のタッチ操作では、タッチパネル７０ａの画面の端から他端までの移動はできない程度の移動量とする。

視線入力の有無とＯＴＰ操作によるファインダー内でのＡＦ枠の表示位置移動については、本実施形態の図３、図５で説明した処理と同様に動くものとする。なお、タッチ操作部材に対応する他の操作部材として、ＯＴＰ６０２の例を説明したが、方向キー６０３やダイヤル６０４、図１における十字キー７４の方向別の押しボタンを使用しても同様に機能するものとする。これらの部材において前述のタッチムーブ操作に対応するものとしては、方向キー６０３や十字キーをある方向への１回の押し倒し（押し込み）操作や、所定の時間以上の押し倒し（押し込み）続けることが該当する。例えば、押し込み回数に前述の第１の係数または第２の係数をかけた移動量でＡＦ枠を移動させる。また、例えば、押し込みの継続時間に前述の第１の係数または第２の係数をかけた移動量でＡＦ枠を移動させる。またダイヤル６０４については、ダイヤルの回転部分を回転させることが該当する。すなわち、回転量に前述の第１の係数または第２の係数をかけた移動量でＡＦ枠を移動させる。

図６（ｂ）はノートパソコンのトラックパッドを用いたマウスポインタの移動を行う例である。図６（ｂ）において、本実施形態で述べたタッチパネル７０ａに対応するものとして、トラックパッド６０５を示す。ノートパソコンでの視線検出ブロック１６０として、独立した視線検出機器６１０をノートパソコンに接続し、視線検出機器６１０に搭載されているカメラ６１１や、ノートパソコンに内蔵されている内蔵カメラ６１２を用いて視線位置を判定する。ノートパソコンにおいても本実施形態と同様に、視線がない場合はトラックパッド６０５をタッチムーブ操作することでモニター上に表示されるマウスポインタを第１の量だけ相対移動することができる。視線がある場合は、視線入力に応じてマウスポインタが視線位置に移動する。トラックパッド６０５へのタッチムーブ操作に応じて視線位置に表示されたマウスポインタがタッチムーブの操作量に第２の係数（＜第１の係数）をかけた第２の量（同じタッチムーブ量であれば第１の量より小さい）だけ相対移動する。これによりトラックパッド６０５においても、マウスポインタを微調整することが可能である。

図６（ｂ）において、他の実施形態としてノートパソコンをあげたが、ノートパソコンのトラックパッド６０５のみならず、マウスやポインティングデバイス、ジョイスティック等を使用しても本実施形態は実施可能である。なお、これらトラックパッドやマウス、ポインティングデバイス、ジョイスティック等はノートパソコン内蔵のものである必要はなく、外付けのものでもよい。

また、ポインター等のリモートコントローラーに搭載されているタッチパッドやジョイスティック等でも本実施形態と同様にタッチムーブ操作、あるいはタッチムーブに相当する位置の移動指示操作が可能である。この場合、視線検出ブロック１６０は、外部モニターやプロジェクターに搭載もしくは接続されていることとする。また、視線検出センサーは、外部モニターやプロジェクター、ポインター等とは独立して存在するものでもよい。

以上のように、視線入力による表示位置が移動されない、かつ、タッチでの位置指定に関する設定が相対位置指定である場合、操作手段への操作量に応じて表示位置を操作前の位置から第１の係数をかけた第１の量だけ相対移動させる。タッチでの位置指定に関する設定が絶対位置指定である場合、操作手段への操作が開始された操作位置に対応した位置に表示位置を移動させる。視線入力による表示位置の移動がされる場合、操作手段への操作量に応じて表示位置を視線位置から第１の係数よりも小さい第２の係数をかけた第２の量だけ相対移動させる。これにより、タッチでの位置指定に関する設定が相対位置指定である場合、視線入力がない場合にも操作手段への操作に応じて第２の量よりも大きい第１の量だけＡＦ枠を移動させるため、表示位置をユーザー所望の位置へ素早く移動させることができる。視線入力がある場合には視線によって表示位置をユーザー所望の位置へ素早く移動させることができ、操作手段への操作によって表示位置の細かな調整を行うことができる。視線入力がない場合の、タッチでの位置指定に関する設定が絶対位置指定である場合、操作手段への操作位置に対応する位置にＡＦ枠が移動するため、表示位置をユーザー所望の位置へ素早く移動させることができる。視線入力がある場合には、タッチでの位置指定に関する設定が絶対位置指定／相対位置指定のいずれかにかかわらず相対位置指定とし、操作手段への操作に応じて第２の量だけ表示位置を移動する。これにより、視線によって表示位置をユーザー所望の位置へ素早く移動させることができ、絶対位置指定による表示位置の大きな移動が生じることなく、操作手段への操作によって表示位置の細かな調整を行うことができる。

なお、システム制御部５０が行うものとして説明した上述の各種制御は、１つのハードウエアが行ってもよいし、複数のハードウエア（例えば複数のプロセッサーや回路）が処理を分担することで装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。視線入力と組み合わせて使う位置移動の指示部材としてタッチパネル７０ａの例を説明したが、ボタンやダイヤルなどこれ以外の操作手段としてもよい。表示位置をＡＦ枠としたが、アイコン枠やパラメーター設定枠などとしてもよいし、マウスポインタなどのＡＦ枠とは異なるインジケーター表示としてもよい。注視の判定基準について、視線検出ブロック１６０への視線入力が開始したあとの蓄積時間としたが、この蓄積時間についてあらかじめ設定した時間でもよい。表示されているＡＦ枠と視線位置との位置関係に応じて変化するようにしてもよいし、ユーザーが任意に設定できるようにしてもよい。また、ユーザーの意図した視線位置の判断基準として本実施例では注視を取り上げたが、注視による判断基準ではなく視線入力設定（図４の設定項目４０３の視線ＡＦ）の有効／無効のみで判断してもよい。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず視線入力を受け付け可能な受付手段を有する電子機器であれば適用可能である。また、各実施形態を適宜組み合わせることも可能である。本実施形態ではＥＶＦ２９と視線検出を使用する構成としたが、表示装置と視線検出を使用する構成でも本実施形態は実施可能である。すなわち、本発明はパーソナルコンピューターやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー。ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイ等のウェアラブル機器などに適用可能である。

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピューター（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (16)

1. 操作部とは別に設けられ、画像が表示される表示部と、
   前記表示部に表示される前記画像上のユーザーの視線を検出する検出手段と、
   前記表示部に表示される前記画像上の選択位置を移動させるための操作モードとして、前記操作部に対するタッチ操作に応じて、前記タッチ操作によるタッチ位置にかかわらず、前記タッチ操作の移動方向と移動量に基づき、前記選択位置を移動する第１のモードと、前記操作部に対するタッチ操作に応じて、前記タッチ操作によるタッチ位置に対応する前記画像上の位置に前記選択位置を移動することにより、前記タッチ操作の移動量に応じて前記選択位置を移動する第２のモードから、ユーザーの操作に応じて、いずれかの操作モードに設定する設定手段と、
   前記検出手段により検出された視線に基づき前記選択位置が指定されない第１の状態と前記検出手段により検出された視線に基づき前記選択位置が指定される第２の状態とで、前記操作部に対する所定の移動量のタッチ操作に応じて、前記選択位置の移動の制御を異ならせるように制御する制御手段とを有し、
   前記制御手段は、前記操作部に対する前記所定の移動量のタッチ操作に応じて、
   前記第１の状態であり、かつ、前記設定手段により前記第１のモードに設定されている場合は、前記タッチ操作前の位置から前記所定の移動量に対応する第１の量だけ移動するように制御し、
   前記第１の状態であり、かつ、前記設定手段により前記第２のモードに設定されている場合は、前記タッチ操作によるタッチ位置に対応する前記画像上の位置に前記選択位置を移動させることにより、前記選択位置を前記所定の移動量に対応する前記第１の量だけ移動するように制御し、
   前記第２の状態である場合は、前記設定手段により設定された前記操作モードによらず、前記検出手段により検出された視線に基づく前記画像上の位置から、前記選択位置を前記第１の量より小さい第２の量だけ移動するように制御する
   ことを特徴とする電子機器。
2. 前記選択位置を示すインジケーターを前記画像上の前記選択位置に表示する表示制御手段をさらに有することを特徴とする請求項１に記載の電子機器。
3. 前記表示制御手段は、前記操作部に対するタッチ操作が行われたことに応じて、前記インジケーターを前記選択位置に表示することを特徴とする請求項２に記載の電子機器。
4. 前記制御手段は、前記操作部に対するタッチ操作中でない場合、あるいは、前記操作部に対するタッチ操作の開始時点に、前記検出手段により検出された視線に基づき前記選択位置を移動し、前記操作部に対するタッチ操作の開始後の前記タッチ操作中は、前記検出手段により検出された視線に基づく前記選択位置の移動を行わないように制御することを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 前記第１の状態は、前記検出手段により検出される視線に基づく前記選択位置の移動を行わない設定に設定されている状態であり、前記第２の状態は、前記検出手段により検出される視線に基づく前記選択位置の移動を行う設定に設定されている状態であることを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
6. 前記第１の状態は、前記検出手段により視線を検出していない状態であり、前記第２の状態は、前記検出手段により視線を検出している状態であることを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
7. 前記第１の量は、前記所定の移動量に第１の係数をかけた量であり、前記第２の量は、前記所定の移動量に第１の係数より小さな第２の係数をかけた量であることを特徴とする請求項１に記載の電子機器。
8. 前記第２の量は、前記操作部への一回のタッチ操作では前記選択位置を画面の端から他端までの移動はできない程度の移動量であることを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。
9. 前記操作部は、タッチ操作を検知するタッチ操作部材であることを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
10. 前記操作部は、部材の表面を指でなぞることで前記指の移動方向と移動量を算出し前記選択位置を移動する操作部材、８方向に操作可能な方向キー、ジョイスティック、４方向に押し込み可能な押しボタンを有する方向キーのいずれかであることを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
11. 前記第２の状態は、前記検出手段により検出される視線に基づく位置の所定時間内における移動量が既定の閾値以下であるという条件を満たした状態であることを特徴とする請求項１乃至１０のいずれか１項に記載の電子機器。
12. 前記選択位置は、焦点検出領域の選択位置であることを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
13. 前記電子機器は、撮像部と、ファインダーを更に有し、
    前記表示部は、前記ファインダー内にあり、前記ファインダーの外にある前記操作部を操作することで、前記表示部に表示されている前記画像上の前記選択位置を移動することができることを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。
14. 操作部とは別に設けられた表示部に画像を表示する表示ステップと、
    前記表示部に表示される前記画像上のユーザーの視線を検出する検出ステップと、
    前記表示部に表示される前記画像上の選択位置を移動させるための操作モードとして、前記操作部に対するタッチ操作に応じて、前記タッチ操作によるタッチ位置にかかわらず、前記タッチ操作の移動方向と移動量に基づき、前記選択位置を移動する第１のモードと、前記操作部に対するタッチ操作に応じて、前記タッチ操作によるタッチ位置に対応する前記画像上の位置に前記選択位置を移動することにより、前記タッチ操作の移動量に応じて前記選択位置を移動する第２のモードから、ユーザーの操作に応じて、いずれかの操作モードに設定する設定ステップと、
    前記検出ステップで検出した視線に基づき前記選択位置が指定されない第１の状態と前記検出ステップで検出した視線に基づき前記選択位置が指定される第２の状態とで、前記操作部に対する所定の移動量のタッチ操作に応じて、前記選択位置の移動の制御を異ならせるように制御する制御ステップとを有し、
    前記制御ステップは、前記操作部に対する前記所定の移動量のタッチ操作に応じて、
    前記第１の状態であり、かつ、前記設定ステップにより前記第１のモードに設定されている場合は、前記タッチ操作前の位置から前記所定の移動量に対応する第１の量だけ移動するように制御し、
    前記第１の状態であり、かつ、前記設定ステップにより前記第２のモードに設定されている場合は、前記タッチ操作によるタッチ位置に対応する前記画像上の位置に前記選択位置を移動させることにより、前記選択位置を前記所定の移動量に対応する前記第１の量だけ移動するように制御し、
    前記第２の状態である場合は、前記設定ステップにより設定された前記操作モードによらず、前記検出ステップで検出した視線に基づく前記画像上の位置から、前記選択位置を前記第１の量より小さい第２の量だけ移動するように制御する
    ことを特徴とする電子機器の制御方法。
15. コンピューターを、請求項１乃至１３のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
16. コンピューターを、請求項１乃至１３のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピューターが読み取り可能な記録媒体。

Images