JP7467071B2 - 電子機器、電子機器の制御方法、プログラム、記憶媒体 - Google Patents

電子機器、電子機器の制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP7467071B2
JP7467071B2 JP2019193317A JP2019193317A JP7467071B2 JP 7467071 B2 JP7467071 B2 JP 7467071B2 JP 2019193317 A JP2019193317 A JP 2019193317A JP 2019193317 A JP2019193317 A JP 2019193317A JP 7467071 B2 JP7467071 B2 JP 7467071B2
Authority
JP
Japan
Prior art keywords
unit
display unit
electronic device
subject
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019193317A
Other languages
English (en)
Other versions
JP2021068208A5 (ja
JP2021068208A (ja
Inventor
誠司 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019193317A priority Critical patent/JP7467071B2/ja
Priority to US17/078,590 priority patent/US11233941B2/en
Publication of JP2021068208A publication Critical patent/JP2021068208A/ja
Publication of JP2021068208A5 publication Critical patent/JP2021068208A5/ja
Application granted granted Critical
Publication of JP7467071B2 publication Critical patent/JP7467071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Position Input By Displaying (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Viewfinders (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は電子機器、電子機器の制御方法、プログラム、記憶媒体に関するものである。
ユーザーが自身の視線によって操作を行う(以下、視線入力)電子機器が知られている。特に、デジタルカメラやゲーム機などの電子機器に対して、ユーザーが即時的に操作指示を行いたい場合に、視線入力は有効である。
ところで、人間の特性上、視線入力はブレが大きいため、視線によって電子機器を操作する場合は、視線の検知位置を電子機器の操作指示に直接用いない場合もある。このような場合には、ユーザーの所望のタイミングで視線入力位置を確定させる手段や、視線の位置からユーザー操作により最終的な位置を微調整できる手段を提供することによって、よりユーザーの意図に合った視線入力による操作が実現できる。
特許文献1では、ユーザーによる所定の操作があると、視線の先にポインタを移動させ、移動先の位置から方向指示操作によって継続してポインタの位置を移動可能な技術が述べられている。この特許文献1では、所定の操作があることに応じて視線先にポインタの位置が移動した後の一定時間は、方向指示操作があったとしても当該操作を無効とし、当該位置にポインタを留まらせる。これは、所定の操作および方向指定操作がともに、検出部の姿勢や加速度に応じた操作であるので、所定の操作検出後の検出部への操作が方向指定操作として検出される可能性があり、ユーザーの意思に反するポインタの移動を防ぐ必要があるためである。
国際公開第2015/104884号
しかしながら、特許文献1に係る技術では、視線入力が無効な場合と有効な場合との双方を考慮した好適な操作性について検討の余地があった。
そこで、本発明は、視線入力による操作を受付可能な電子機器において操作性をより向上させることを目的とする。
発明の1つの態様は、
表示部を見るユーザーの視線を検出する検出手段と、
ユーザーによる第1の操作を受け付ける操作部と、
前記第1の操作が行われたことに応じて実行される処理を無効にする設定が可能である設定手段と、
前記検出手段により検出されたユーザーの視線に基づき前記表示部上での位置の指定が可能でない第1の状態である場合に、前記設定手段の設定により、ユーザーによる前記操作部への前記第1の操作が行われたことに応じて、前記表示部における所定の位置に位置指標を表示し、
前記検出手段により検出されたユーザーの視線に基づき前記表示部上での位置の指定が可能である第2の状態である場合に、前記設定手段の設定に関わらず、ユーザーによる前記操作部への前記第1の操作が行われたことに応じて、前記表示部における視線に基づく位置に前記位置指標を表示するように制御する制御手段と、
を有することを特徴とする電子機器である。
視線入力による操作を受付可能な電子機器において操作性をより向上させることができる。
実施形態1に係るデジタルカメラの外観図である。 実施形態1に係るデジタルカメラの構成図である。 実施形態1に係る撮影設定の画面を示す図である。 実施形態1に係る撮影処理を示すフローチャートである。 実施形態1に係るデジタルカメラの画面を示す図である。 実施形態1に係る中央ボタン処理を示すフローチャートである。
視線入力による操作を受け付ける電子機器の操作性を高めるためには、上述した方向指示操作の手段とは別に、視線位置への位置指標の移動操作(ジャンプ操作)の手段を設けることが考えられる。この場合、特に電子機器の一例であるデジタルカメラにおいては下記の2つの課題が発生し得る。
(課題1)
デジタルカメラにおいて、AF(オートフォーカス)を行う位置を示す枠(以下、AF枠)を、初期位置である画面中央に戻す操作は重要であるが、視線入力が有効である場合は、ユーザーは視線の先にAF枠を移動させることを望む可能性が高い。従って、視線入力が有効である場合には中央に戻す操作の重要度は下がるため、中央に戻す操作をそのまま残しておくことは、デジタルカメラにおいて限られた操作部材の中で多様な機能を実現する上で障壁となる。
(課題2)
AF枠の視線位置へのジャンプ手段と、AF枠の微調整の手段とが、物理的に離れた位置にあると、ユーザーが操作する場合に指の移動が発生して素早く操作を行うことが困難である。
[実施形態1]
<デジタルカメラの外観>
以下、上述の課題を解決すべく図面を参照して本発明の好適な実施形態を説明する。図1(a)、(b)に本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。
表示部28は、画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル70aは、表示部28の表示面(操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン61は、撮影指示を行うための操作部である。モード切替スイッチ60は、各種モードを切り替えるための操作部である。端子カバー40は、外部機器との接続ケーブルとデジタルカメラ100とを接続するコネクタ(不図示)を保護するカバーである。
メイン電子ダイヤル71は、回転操作部材であり、ユーザーはメイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72は、デジタルカメラ100の電源のONおよびOFFを切り替える操作部材である。サブ電子ダイヤル73は、回転操作部材であり、選択枠の移動や画像送りなどを行える。
4方向キー74は、上、下、左、右部分(4方向)にそれぞれ押し込み可能な押しボタンを有する4方向キー操作部材(十字キー)である。ユーザーは、4方向キー74において押下した方向に応じた操作が可能である。SETボタン75は、押しボタンであり、主に設定項目の決定などに用いられる。動画ボタン76は、動画撮影(記録)の開始、停止の指示に用いられる。
AEロックボタン77は、撮影待機状態で押下されることにより、露出状態を固定することができる。拡大ボタン78は、撮影モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像の拡大、縮小を行える。拡大ボタン78は、再生モードにおいて、再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。
再生ボタン79は、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79が押下されることで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81は、押下されることにより各種の設定可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、4方向キー74やSETボタン75、またはマルチコントローラー(以下、MC)65を用いて直感的に各種設定を行うことができる。
MC65は、上、下、左、右、右上、左上、右下、左下の八方向への方向指示の操作(方向指示操作)と、中央ボタンの押し込み操作を、ユーザーの親指(1つの指)をMC65に常に接触させた状態で受け付けることが可能である。つまり、MC65は、中央ボタンと方向指示操作のための操作部とを有する1つの操作部材である。通信端子10は、デジタルカメラ100が後述するレンズユニット150(着脱可能)と通信を行うための通信端子である。
接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部である。ユーザーは、接眼部16を介して内部のEVF(Electric View Finder)29に表示された映像を視認することができる。接眼検知部57は、接眼部16に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋202は、記録媒体200を格納したスロットの蓋である。グリップ部90は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61、メイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。サムレスト部91(親指待機位置)は、デジタルカメラ100の背面側の、どの操作部材も操作しない状態でグリップ部90を握った右手の親指を置きやすい箇所に設けられたグリップ部材である。サムレスト部91は、保持力(グリップ感)を高めるためのラバー部材などで構成される。
<デジタルカメラの構成>
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は、通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100と通信を行うための通信端子である。レンズユニット150は、この通信端子6と前述の通信端子10を介してシステム制御部50と通信し、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。その後、レンズシステム制御回路4は、AF駆
動回路3を介して、レンズ103を変位させることで焦点を合わせる。シャッター101は、システム制御部50の制御によって撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子(撮像センサー)である。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換器23からのデータ、または、後述するメモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24は、さらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータ送受を制御する。A/D変換器23からの出力データは、画像処理部24およびメモリ制御部15を介して、あるいは、メモリ制御部15を介してメモリ32に直接書き込まれる。
メモリ32は、撮像部22によって得られた後にA/D変換器23によりデジタルデータに変換された画像データや、表示部28、EVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ32は、画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データは、メモリ制御部15を介して表示部28、EVF29により表示される。
表示部28、EVF29は、LCDや有機EL等の表示器上に、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換された後にメモリ32に蓄積されたデータを、表示部28またはEVF29に逐次転送して表示することによって、ライブビュー表示(LV表示)を行える。以下、ライブビューで表示される画像をライブビュー画像(LV画像)と称する。
赤外発光ダイオード166は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、接眼部16に接眼したユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は、眼球(目)161において反射し、その反射した赤外光はダイクロイックミラー162に到達する。ダイクロイックミラー162は、赤外光だけを反射して可視光を透過させる。光路が変更された赤外光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は、視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから構成される。
視線検知センサー164は、入射された赤外反射光を電気信号にする光電変換をして視線検出回路165へ出力する。視線検出回路165は、少なくとも1つのプロセッサを含み、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の画像または動きからユーザーの視線位置を検出し、システム制御部50に検出情報を出力する。このようにダイクロイックミラー162、結像レンズ163、視線検知センサー164、赤外発光ダイオード166、視線検出回路165により、ユーザーの視線による視線入力を受け付ける視線検出部160(受付部)が構成される。
本実施形態では、デジタルカメラ100は、視線検出部160を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード166から発した赤外光が眼球(目)161(特に角膜)において反射した反射光と、眼球(目)161の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出の方式を用いてもよい。
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばFlash-ROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。
システム制御部50は、少なくとも1つのプロセッサまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、例えばRAMが用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50はメモリ32、表示部28等を制御することにより表示制御も行う。システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64、操作部70は、システム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから撮像された画像を画像ファイルとして記録媒体200に書き込むまでの一連の撮影処理の動作を開始する。
操作部70は、ユーザーからの操作を受け付ける入力部としての各種の操作部材である。操作部70には、少なくとも以下の操作部(操作部材)が含まれる。つまり、操作部70は、シャッターボタン61、マルチコントローラー65、タッチパネル70a、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73を含む。操作部70は、4方向キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81を含む。
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な期間、記録媒体200を含む各部へ必要な電圧を供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって外部機器等と接続し、映像信号や音声信号の送受信を行う。通信部54は、無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は、撮像部22で撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55が検知した姿勢に基づいて、撮像部22が撮影した画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかが判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55には、加速度センサーやジャイロセンサーなどを用いることができる。また、システム制御部50は、姿勢検知部55における加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
接眼検知部57は、ファインダーの接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する接眼検知(接近検知)センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。例えば、デジタルカメラ100が撮影待機状態であり、かつ、ライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中には、システム制御部50は、ライブビュー画像の表示先を表示部28として、EVF29を非表示とする。また、システム制御部50は、接眼中には、ライブビュー画像の表示先をEVF29として、表示部28を非表示とする。接眼検知部57には、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(不図示せず)から投光した赤外線が反射して赤外線近接センサーの受光部(不図示せず)に受光される。接眼検知部57は、受光された赤外線の量によって、接眼部16からどのくらいの距離まで物体が近づいているか(接眼距離)も判別す
ることができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。
また、接眼検知部57は、非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出する。接眼検知部57は、接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出する。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼が検出された後は、離眼が検出されるまでは接眼状態であるものとする。離眼が検出された後は、接眼が検出されるまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。なお、本実施形態では接眼検知部57の投光部および受光部は前述の赤外発光ダイオード166および視線検知センサー164とは別体のデバイスであるものとする。ただし、接眼検知部57の投光部を赤外発光ダイオード166で兼ねてもよい。また、受光部を視線検知センサー164で兼ねてもよい。
システム制御部50は、視線検出部160からの出力に基づいて以下の操作、あるいは状態を検知できる。
・接眼部16に接眼したユーザーの視線が新たに入力(検出)されたこと。すなわち、視線入力の開始。
・接眼部16に接眼したユーザーの視線入力がある状態であること。
・接眼部16に接眼したユーザーが注視している状態であること。
・接眼部16に接眼したユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部16に接眼したユーザーが何も視線入力していない状態。
なお、注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。つまり、システム制御部50は、視線検出回路165から受け取った検出情報に基づいて、ユーザーの視線がある領域に固定されている期間が所定の閾値を越えた場合に、その領域を注視していると判定する。従って、当該領域は、注視が行われた位置である注視位置(注視領域)であるといえる。なお、「視線がある領域に固定されている」とは、例えば、所定の期間経過するまでの間、視線の動きの平均位置が当該領域内にあり、かつ、ばらつき(分散)が所定値よりも少ないことである。
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるGUI(グラフィカルユーザーインターフェース)を提供できる。
システム制御部50はタッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch-On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)。
なお、システム制御部50によってタッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されている状態であれば、タッチオンが検出されている状態でもある。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じて、タッチパネル70aからシステム制御部50に通知される。システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合は、システム制御部50は、スライド操作が行われたと判定する。
タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。
さらに、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。
タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
接眼状態でタッチムーブ操作が行われると、ユーザーはタッチムーブ操作に応じた位置指標の位置の指定方法を、絶対位置指定と相対位置指定のいずれかに設定することができる。例えば、位置指標がAF枠であれば、絶対位置指定の場合、タッチパネル70aがタッチされると、タッチされる前に設定されていたAF位置(現在のAF位置)にかかわらず、タッチされた位置(座標入力された位置)に対応付けられたAF位置が設定される。つまり、タッチ操作が行われた位置座標と、表示部28の位置座標とが対応づけられる。一方、相対位置指定の場合は、タッチ操作が行われた位置座標と表示部28の位置座標とは対応付けられない。相対位置指定では、タッチパネル70aに対するタッチダウン位置にかかわらず、タッチされる前に設定されていたAF位置(現在のAF位置)からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、AF位置を移動させる。
<撮影に関する設定について>
まず、以下では、本実施形態に係る撮影に関する設定について図3(a)~図3(c)に示す画面を用いて説明する。
図3(a)は、EVF29または表示部28に表示される撮影に関する設定メニュー画面を示す。メニュー画面には、設定項目301~設定項目304が表示されている。本実施形態では、図3(a)の画面を用いることによって、後述する、AF方式の設定、タッチ&ドラッグAFの設定、視線機能関連の設定、MC65の中央ボタンに関する設定が可能である。
設定項目301は、AF方式の設定を示す。AF方式の設定には、ユーザーが指定した位置をAFの位置にする「1点AF」と、ライブビュー画像における撮影の対象である被写体(対象物)を検出するモードであり、被写体を追尾してAFの位置とすることが可能な「顔+追尾優先AF」がある。
設定項目302は、タッチ&ドラッグAFの設定を示す。本実施形態では、タッチ&ドラッグAFの設定は、タッチ&ドラッグによって位置指標を移動させる際に、上述した絶対位置指定と相対位置指定とのいずれを用いるかの設定である。
設定項目303は、視線機能関連の設定を示す。設定項目303が選択されると図3(b)に示す画面に遷移する。設定項目304は、MC65の中央ボタンに関する設定を示す。つまり、設定項目304は、当該中央ボタンに何の機能を割り当てるかの設定を示す。設定項目304が選択されると図3(c)に示す画面に遷移する。
図3(b)に示す画面では、EVF29または表示部28に設定項目305~設定項目307が表示されている。設定項目305は、視線入力を受け付ける視線機能の有効/無効についての設定(視線AFの設定)を示す。設定項目306は、視線位置に基づいてポインタを表示するか否かの設定(ポインタ表示の設定)を示す。設定項目307は、SW1押下時に視線検出位置に基づいて、AF枠を移動(ジャンプ)させる機能(視線位置確定機能)の有効/無効を示す。例えば、設定項目305における選択肢305aが選択されれば、視線機能が有効にされるため、視線入力による位置指標(AF枠)の位置の指定が可能な状態にされる。一方、選択肢305bが選択されれば、視線機能が無効にされるため、視線入力による位置指標(AF枠)の位置の指定が可能でない状態にされる。
図3(c)に示す画面では、EVF29または表示部28に設定候補308a~設定候補308cが表示されている。設定候補308aは、MC65の中央ボタンを押下しても、特別な機能は何も実行しない設定(無効の設定)にする選択肢である。設定候補308bは、AF枠の位置を画面上の中央に戻す(移動させる)機能を中央ボタンに設定にする選択肢である。設定候補308cは、AFを実行する機能を中央ボタンに設定する選択肢である。図3(c)に示す例では、太枠にて示したカーソルが設定候補308aを示しているため、中央ボタンの機能に対して無効の設定がされている。
<撮影処理について>
以下では、本実施形態によるデジタルカメラ100の撮影モード処理について、図4に示すフローチャートを用いて説明する。本フローチャートでは、デジタルカメラ100は、視線入力によって位置指標であるAF枠の位置を指定できる状態と、視線入力によってAF枠の位置を指定できない状態とで、所定の操作をされた場合における当該AF枠の移動(表示)する位置を異ならせる。これによって、ユーザーの操作性を向上させることができる。
本フローチャートの処理の開始前に、まず、電源スイッチ72が操作されて電源がオンに切り替わると、システム制御部50は、フラグや制御変数等を初期化した後、撮像部22でのライブビュー画像の撮影を開始し、ライブビュー画像を表示部28に表示する。ま
た、カメラ設定値に基づいて、システム制御部50は、カメラ設定値を示す情報アイコンをライブビュー画像に重畳して表示する。その後、図4の処理が開始する。なお、本フローチャートの処理は、不揮発性メモリ56に記憶したプログラムをシステムメモリ52に展開して、システム制御部50が実行することで実現する。
S401において、システム制御部50は、操作部70に対して、視線機能の有効/無効を切り替える操作(設定項目305の設定を変更する操作)がされたか否かを判定する。当該操作がされた場合はS402へ進み、そうでなければS403へ進む。S402において、システム制御部50は、視線機能の有効/無効を切り替える。システム制御部50は、切り替えた結果の設定内容を不揮発性メモリ56に記録する。
S403において、システム制御部50は、操作部70に対して、ユーザーの視線先を示す視線ポインタ表示の有効/無効を切り替える操作(設定項目306の設定を変更する操作)がされたか否かを判定する。当該操作がされた場合はS404へ進み、そうでなければS405へ進む。S404において、システム制御部50は、視線ポインタ表示の有効/無効を切り替える。システム制御部50は、切り替えた結果の設定内容を不揮発性メモリ56に記録する。
S405において、システム制御部50は、視線位置確定機能の有効/無効を切り替える操作(設定項目307の設定を変更する操作)がされたか否かを判定する。視線位置確定機能とは、第1シャッタースイッチ62の押下に応じて、視線位置を確定する機能である。当該操作がされた場合はS406へ進み、そうでなければS407へ進む。S406において、システム制御部50は、視線位置確定機能の有効/無効を切り替える。システム制御部50は、切り替えた結果の設定内容を不揮発性メモリ56に記録する。
S407において、システム制御部50は、タッチ&ドラッグAFの設定を切り替える操作(設定項目302の設定を変更する操作)がされたか否かを判定する。当該操作がされた場合はS408へ進み、そうでなければS409へ進む。S408において、システム制御部50は、タッチ&ドラッグAFの設定を切り替える。システム制御部50は、切り替えた結果の設定内容を不揮発性メモリ56に記録する。
S409において、システム制御部50は、AF方式の設定を切り替える操作(設定項目301の設定を変更する操作)がされたか否かを判定する。当該操作がされた場合はS410へ進み、そうでなければS411へ進む。S410において、システム制御部50は、AF方式の設定を切り替える。システム制御部50は、切り替えた結果の設定内容を不揮発性メモリ56に記録する。
S411において、システム制御部50は、MC65の中央ボタンの機能を切り替える操作(設定項目304の設定を変更する操作)がされたか否かを判定する。当該操作がされた場合はS412へ進み、そうでなければS413へ進む。S412において、システム制御部50は、MC65の中央ボタンの機能を切り替える。システム制御部50は、切り替えた結果の設定内容(設定候補308a~308cのいずれかに対応する情報)を不揮発性メモリ56に記録する。
S413において、システム制御部50は、不揮発性メモリ56を参照し、視線機能が有効であるか否かを判定する。視線機能が有効である場合はS414へ進み、そうでなければS416へ進む。
S414において、システム制御部50は、不揮発性メモリ56を参照し、視線ポインタ表示が有効であるか否かを判定する。視線ポインタ表示が有効である場合はS415へ
進み、そうでなければS416へ進む。
S415において、システム制御部50は、視線ポインタ表示をEVF29に行う。なお、視線ポインタは、視線検出部160で視線入力を検知している場合に表示する。従って、ユーザーが接眼部16に接眼しておらず、表示先が表示部28となっている場合は視線ポインタは表示されない。図5(c)は、視線のポインタ表示がEVF29に行われた画面例である。一点AF枠502と、視線入力に基づいた位置である視線ポインタ503が、ライブビュー画像501に重畳して表示されている。視線ポインタ503の表示位置は視線検出部160で検出している視線入力の入力位置に追従して移動する。ユーザーがライブビュー画像を見る理由はAF位置の指定を行いたい場合に限らない。そのため、視線ポインタ503は視線入力位置に追従して移動するが、視線位置確定の操作が行われるまでは視線ポインタ503の位置でのAFの実行、あるいは追尾対象の更新は行わない。
S416において、システム制御部50は、MC65に対する方向指示操作がされたか否かを判定する。方向指示操作がされた場合はS417へ進み、そうでなければS422へ進む。
S417において、システム制御部50は、不揮発性メモリ56を参照し、AF方式が「顔+追尾優先AF」であるか否かを判定する。AF方式が「顔+追尾優先AF」である場合はS419へ、そうでなければS418へ進む。
S418において、システム制御部50は、MC65に対する方向指示操作に従って、一点AF枠502を移動する。このMC65に対する方向指示操作に応じたAF枠502の移動は、視線入力が有効であっても、MC65に対する方向指示操作がなされている間の視線入力位置(視線ポインタ503が表示されている場合はその表示位置)にはかかわらない移動である。図5(a)、図5(b)は、システム制御部50が一点AF枠502を移動させる際のEVF29または表示部28の画面例である。図5(a)に示すように画面の中央に一点AF枠502が表示されている状態から、例えば、MC65に対して右下方向への指示操作を数回すると、図5(b)のような画面の右下の方向に一点AF枠502が移動する。
S419において、システム制御部50は、撮像部22で撮像されたライブビュー画像から特定の種別の被写体(人物の顔、人物の目、動物、乗り物、建物など)が検出された
か否かを判定する。特定の種別の被写体が検出された場合はS420へ進み、そうでなければS422へ進む。なお、特定の種別の被写体の検出は、システム制御部50が、撮像部22にて撮像したライブビュー画像を解析(分析)することによって実現可能である(被写体認識処理)。
S420において、システム制御部50は、検出された被写体が1つか否かを判定する。検出された被写体が1つであった場合はS422へ進み、そうでなければS421へ進む。
S421において、システム制御部50は、追尾する被写体を決定(変更)する。図5(f)、図5(g)は追尾する被写体を決定する(切り替える)際のEVF29または表示部28の画面例である。図5(f)では、被写体504a、被写体504bが含まれるライブビュー画像501に対して、顔検出枠505と左右アイコン508を重畳して表示している。このとき、顔検出枠505と左右アイコン508が被写体504bに重畳されており、被写体504bを追尾するように設定されている。左右アイコン508は、MC65や4方向キー74によって、追尾(選択)する被写体が切り替え可能であることを示している。図5(f)の状態から、MC65に対して左方向への指示操作が行われると、
追尾の対象が被写体504aに切り替わり、図5(g)に示すように、被写体504aに対して追尾枠506と左右アイコン508が表示(重畳)される。
S422において、システム制御部50は、MC65の中央ボタンが押下されたか否かを判定する。中央ボタンが押下された場合はS423へ進み、そうでなければS424へ進む。
S423において、システム制御部50は、MC65の中央ボタンが押下されたことに応じた処理(中央ボタン処理)を実行する。なお、当該処理については、図6に示すフローチャートを用いて詳細に後述する。
S424において、システム制御部50は、操作部70に対して撮影操作(シャッターボタン61の半押し及び全押し)が行われたか否かを判定する。当該操作が行われた場合はS425へ進み、そうでなければS426へ進む。
S425において、システム制御部50は、現在の一点AF枠の位置または追尾枠の位置においてAFを実行して、撮影(ライブビュー画像の撮影ではなく、本露光を行い記録媒体200に画像ファイルとして記録するまでの一連の処理)を行う。従って、本実施形態では、追尾枠はAF枠であるともいえる。
S426において、システム制御部50は、操作部70に対して、その他の操作がされたか否かを判定する。当該操作が行われた場合はS427へ進み、そうでなければS428へ進む。
S427において、システム制御部50は、S426において行われた操作に応じた処理を行う。この処理には、例えば、動画記録の開始操作による動画撮影であったり、AEの位置の移動操作などが含まれる。
S428において、システム制御部50は、操作部70に対して終了操作がされたか否かを判定する。終了操作がされた場合は、本フローチャートの処理が終了し、そうでなければS401へ進む。
<中央ボタン処理について;S423>
以下では、S423の処理であるMC65の中央ボタンが押下された場合の処理について、図6に示すフローチャートを用いて説明する。なお、本フローチャートの処理は、不揮発性メモリ56に記憶したプログラムをシステムメモリ52に展開して、システム制御部50が実行することで実現する。
S601において、システム制御部50は、MC65の中央ボタンへの割り当て機能が、「AF枠を画面中央に戻す機能」(設定候補308b)であるか否かを判定する。中央ボタンへの割り当て機能が「AF枠を画面中央に戻す機能」である場合はS603へ進み、そうでなければS602へ進む。
S602において、システム制御部50は、MC65の中央ボタンへの割り当て機能を実行する。例えば、割り当てられた機能が「AFの実行」(設定候補308c)であれば、システム制御部50は、現在のAF方式、AF枠(一点AF枠または追尾枠)の位置に基づいてAFを実行する。
S603において、システム制御部50は、視線機能が有効か否かを判定する。視線機能が有効である場合はS604へ進み、そうでなければS610へ進む。
S604において、システム制御部50は、視線入力を検出したか否かを判定する。視線入力が検出された場合はS605へ進み、そうでなければS610へ進む。
S605において、システム制御部50は、AF方式が「顔+追尾優先AF」であるか否かを判定する。AF方式が「顔+追尾優先AF」である場合はS607へ、そうでなければS606へ進む。
S606において、システム制御部50は、視線ポインタ503の位置(視線が検出された位置)に、一点AF枠502を表示(移動)する。図5(c)、図5(d)は、視線位置に一点AF枠502を移動させる場合のEVF29における画面例である。図5(c)、図5(d)では、一点AF枠502と視線ポインタ503がライブビュー画像501に重畳して表示されている。ここで、図5(c)では、一点AF枠502と視線ポインタ503が互いに離れた位置に表示されている。このときに、視線機能が有効であり、かつ視線入力を検出している状態でMC65の中央ボタンが押下されることによって、図5(d)に示すように視線ポインタ503の位置へ、一点AF枠502が移動する。なお、その後に、MC65に対する方向指示操作がされた場合は、図5(e)に示すように、視線検出した位置から一点AF枠502の微調整が可能である(S416~S418)。このMC65に対する方向指示操作に応じたAF枠502の移動は、視線入力が有効であっても、MC65に対する方向指示操作がなされている間の視線入力位置(視線ポインタ503が表示されている場合はその表示位置)にはかかわらない移動である。
S607において、システム制御部50は、検出した被写体を追尾中である否かを判定する。被写体を追尾中であればS609へ進み、そうでなければS608へ進む。S608において、システム制御部50は、視線の位置にある被写体を選択して、当該被写体に対して追尾を開始する。S609において、システム制御部50は、被写体の追尾(追尾状態)を解除する。ここで、システム制御部50は、被写体の追尾を解除すると、追尾枠を非表示にする。
図5(j)~図5(o)は、AF方式が「顔+追尾優先AF」である場合の、視線による被写体の追尾のEVF29における画面例である。図5(j)では、被写体504を含むライブビュー画像501に重畳して、視線ポインタ503と顔検出枠505が表示されている。ここで、視線ポインタ503は、視線検出位置に応じて移動する。しかし、視線ポインタ503が顔検出枠505に近づいた場合は、2種類の表示物が被って視認性が悪い。このため、この場合には、システム制御部50は、図5(k)に示すように視線ポインタ503を非表示とし、顔検出枠505を、吸着表現の顔検出枠507へ変化させてもよい。また、この場合に、システム制御部50は、単に、視線ポインタ503を非表示とし、顔検出枠505を表示させておいてもよい。
図5(k)に示す状態で、MC65の中央ボタンが押下されると、システム制御部50は、図5(l)に示すように視線ポインタ503の位置にある被写体に追尾枠506を表示して、当該被写体の追尾を開始する。また、このとき、視線ポインタ503の位置に被写体が存在しなかった場合には、システム制御部50は、追尾枠506の表示および被写体の追尾は行わないが、視線ポインタ503の位置に1点AF枠502を表示してもよい。なお、視線ポインタ503の位置に追尾枠506を表示する場合についても2種類の表示物が被って視認性が悪いため、図5(m)に示すように視線ポインタ503を非表示とし、追尾枠506を、吸着表現の追尾枠508に変化させてもよい。また、この場合に、システム制御部50は、単に、視線ポインタ503を非表示とし、追尾枠506を表示させておいてもよい。
また、図5(n)に示すように、視線ポインタ503が家の被写体を示している状態において、MC65の中央ボタンが押下されると、システム制御部50は、図5(o)に示すように家の被写体に対して追尾枠506を表示して、家の被写体の追尾を開始する。
なお、S609で被写体の追尾(追尾状態)を解除した場合には、例えば図5(o)の表示状態から図5(j)または図5(k)または図5(n)のような表示状態に変更される(視線ポインタを表示する設定の場合)。また、例えば図5(i)の表示状態から図5(h)のような表示状態に変更される(視線ポインタを表示しない設定の場合)。
S610において、システム制御部50は、AF方式が「顔+追尾優先AF」であるか否かを判定する。AF方式が「顔+追尾優先AF」である場合はS612へ進み、そうでなければS611へ進む。
S611において、システム制御部50は、MC65の中央ボタンへの割り当て機能が、「AF枠を画面中央に戻す機能」であるため、EVF29または表示部28の画面中央(画面の中心)に一点AF枠502を表示(移動)する。これにより、例えば図5(b)のような表示状態でMC65の中央ボタンが押下されたことに応じて、図5(a)のような表示に更新され、1点AF枠502が画面中央に移動する。これにより、MC65に対する方向指示操作を行うよりも素早く、AF位置を中央にリセットすることができる。なおこの画面中央へのリセットは、視線入力位置にはかかわらない位置(中央)への移動である。
S612において、システム制御部50は、検出した被写体を追尾中か否かを判定する。追尾中であればS614へ進み、そうでなければS613へ進む。S613において、システム制御部50は、EVF29または表示部28の画面中央にある被写体を選択して、当該被写体に対して追尾を開始する。S614において、システム制御部50は、被写体の追尾(追尾状態)を解除する。
図5(h)、図5(i)は、視線を用いない場合における被写体の追尾の画面例である。図5(h)では、ライブビュー画像501が表示されており、被写体を追尾していない状態である。S613では、この状態からMC65の中央ボタンが押下されると、システム制御部50は、図5(i)に示すように画面中央の被写体に追尾枠506を表示して、当該被写体の追尾を開始する。なお、MC65の中央ボタンが押下されたときに、画面中央に追尾可能な被写体が存在しない場合には、追尾枠506の表示および被写体の追尾は行われない。
以上により、視線機能が有効な状態であれば、MC65の中央ボタンが押下されると、AF枠を中央に戻す処理の代わりに、視線検出位置での確定処理が行われることで、操作性向上が実現される。また、MC65が視線位置へのジャンプ手段と微調整の手段を有するため、2つの手段が物理的に近い位置に配置されており、素早い操作が実現できる。
なお、MC65には中央ボタンと方向指示操作のための操作部材が存在する例に説明したが、これに限らない。一つの形態としては、方向指示操作と、方向に関係のない操作を切り替え可能な操作部材であればよい。例えば、タッチパネルにおける、タッチムーブ操作(方向指示)と、タップ操作(方向無関係)の組み合わせでもよいし、感圧タッチパネルにおける、タッチムーブ操作(方向指示)と、強いプレス(方向無関係)の組み合わせでもよい。また、4方向キー74とSETボタン75のような、一対の方向指示操作と、それらに囲まれた位置にあるボタンの組み合わせでもよい。この場合には、4方向キー74とSETボタン75とは、1つの操作部材であるとみなすことができる。一対の方向指示操作は、4方向キー74だけでなく、回転操作部材でもよい。
なお、MC65は、カメラをホールドしているときに触りやすい位置に配置しているため、撮影時は操作がしやすいが、反面、カメラを持ち歩いている場合には、意図せず触ってしまい、AF枠の位置が変わってしまうなどの誤操作の懸念がある。そのため、デフォルト設定では、MC65に対する操作に応じた処理を撮影モード処理中は無効とする設定を設けてもよい。ただし、無効に設定している状態でも、視線機能が有効であれば、MC65の八方向や中央ボタンの操作に応じた処理を有効としてもよい。つまり、システム制御部50は、視線機能が無効であれば中央ボタンの押下に応じたAF枠の移動が無効であっても、視線機能が有効であれば中央ボタンの押下に応じたAF枠の移動が可能であるように設定してもよい。
なお、システム制御部50が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、視線入力による操作が可能な電子機器であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
また、デジタルカメラといった撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:デジタルカメラ、50:システム制御部、160:視線検出部、
65:MC(マルチコントローラー)

Claims (12)

  1. 表示部を見るユーザーの視線を検出する検出手段と、
    ユーザーによる第1の操作を受け付ける操作部と、
    前記第1の操作が行われたことに応じて実行される処理を無効にする設定が可能である設定手段と、
    前記検出手段により検出されたユーザーの視線に基づき前記表示部上での位置の指定が可能でない第1の状態である場合に、前記設定手段の設定により、ユーザーによる前記操作部への前記第1の操作が行われたことに応じて、前記表示部における所定の位置に位置指標を表示し、
    前記検出手段により検出されたユーザーの視線に基づき前記表示部上での位置の指定が可能である第2の状態である場合に、前記設定手段の設定に関わらず、ユーザーによる前記操作部への前記第1の操作が行われたことに応じて、前記表示部における視線に基づく位置に前記位置指標を表示するように制御する制御手段と、
    を有することを特徴とする電子機器。
  2. 前記所定の位置は、前記表示部の画面の中央の位置である、
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記所定の位置は、前記視線に基づく位置には関わらない位置である、
    ことを特徴とする請求項1又は2に記載の電子機器。
  4. 前記制御手段は、ユーザーによる前記操作部への前記第1の操作に続いて、前記第1の操作を受け付けた前記操作部への第2の操作が行われたことに応じて、表示されている前記位置指標を移動させるように制御する、
    ことを特徴とする請求項乃至のいずれか1項に記載の電子機器。
  5. 前記第2の状態は、前記検出手段により検出されたユーザーの視線に基づき前記表示部上での位置の指定が可能であり、かつ、前記検出手段により前記表示部を見るユーザーの視線を検出している状態である、
    ことを特徴とする請求項1乃至のいずれか1項に記載の電子機器。
  6. 前記操作部は、方向とは関係のない指示をする前記第1の操作と方向を指示する前記第2の操作とを受け付けることが可能である、
    ことを特徴とする請求項に記載の電子機器。
  7. 前記電子機器は撮像装置であり、自動焦点調節処理を実行するAF手段をさらに有し、
    前記制御手段は、
    前記第2の状態であり、かつ、被写体を追尾せずに前記自動焦点調節処理を実行する場合、前記表示部における前記視線に基づく位置に前記位置指標を表示し、
    前記第2の状態であり、かつ、被写体を追尾し、前記追尾した被写体に基づいて前記自動焦点調節処理を実行する場合、前記操作部への操作が行われたことに応じて、前記表示部における前記視線に基づく位置から所定の範囲内にある前記被写体に前記位置指標を表示し、前記被写体の追尾を開始するように制御する、
    ことを特徴とする請求項1乃至のいずれか1項に記載の電子機器。
  8. 前記制御手段は、前記第2の状態であり、かつ、被写体を追尾し、前記追尾した被写体に基づいて前記自動焦点調節処理を実行する場合、前記被写体の追尾が開始され、前記被写体を追尾している状態であれば、前記操作部への前記操作が行われても、前記被写体に前記位置指標を表示せずに、前記被写体の追尾を解除するように制御する、
    ことを特徴とする請求項に記載の電子機器。
  9. 前記位置指標は、AF枠又は追尾枠である、
    ことを特徴とする請求項1乃至のいずれか1項に記載の電子機器。
  10. 表示部を見るユーザーの視線を検出する検出ステップと、
    第1の操作が行われたことに応じて実行される処理を無効にする設定が可能である設定ステップと、
    前記検出ステップにより検出されたユーザーの視線に基づき前記表示部上での位置の指定が可能でない第1の状態である場合に、前記設定ステップの設定により、ユーザーによる操作部への前記第1の操作が行われたことに応じて、前記表示部における所定の位置に位置指標を表示し、
    前記検出ステップにより検出されたユーザーの視線に基づき前記表示部上での位置の指定が可能である第2の状態である場合に、前記設定ステップの設定に関わらず、ユーザーによる前記操作部への前記第1の操作が行われたことに応じて、前記表示部における視線に基づく位置に前記位置指標を表示するように制御する制御ステップと、
    を有することを特徴とする電子機器の制御方法。
  11. コンピュータを、請求項1乃至のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
  12. コンピュータを、請求項1乃至のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2019193317A 2019-10-24 2019-10-24 電子機器、電子機器の制御方法、プログラム、記憶媒体 Active JP7467071B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019193317A JP7467071B2 (ja) 2019-10-24 2019-10-24 電子機器、電子機器の制御方法、プログラム、記憶媒体
US17/078,590 US11233941B2 (en) 2019-10-24 2020-10-23 Electronic device that receives line of sight input, method of controlling electronic device, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019193317A JP7467071B2 (ja) 2019-10-24 2019-10-24 電子機器、電子機器の制御方法、プログラム、記憶媒体

Publications (3)

Publication Number Publication Date
JP2021068208A JP2021068208A (ja) 2021-04-30
JP2021068208A5 JP2021068208A5 (ja) 2022-10-26
JP7467071B2 true JP7467071B2 (ja) 2024-04-15

Family

ID=75586487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019193317A Active JP7467071B2 (ja) 2019-10-24 2019-10-24 電子機器、電子機器の制御方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US11233941B2 (ja)
JP (1) JP7467071B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7451162B2 (ja) * 2019-12-13 2024-03-18 キヤノン株式会社 撮像装置
JP2022171084A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133027A (ja) 2005-11-08 2007-05-31 Canon Inc 撮像装置
JP2015028733A (ja) 2013-07-30 2015-02-12 コニカミノルタ株式会社 操作装置および画像処理装置
JP2015118531A (ja) 2013-12-18 2015-06-25 株式会社デンソー 表示制御装置およびプログラム
JP2019075719A (ja) 2017-10-17 2019-05-16 キヤノン株式会社 電子機器及びその制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288982A (ja) * 1992-04-09 1993-11-05 Olympus Optical Co Ltd 注視点選択装置
JPH05333259A (ja) * 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置
JPH07283994A (ja) * 1994-04-12 1995-10-27 Canon Inc 撮像装置
JP4929630B2 (ja) * 2005-07-06 2012-05-09 ソニー株式会社 撮像装置、制御方法、およびプログラム
US9148557B2 (en) * 2010-07-16 2015-09-29 Canon Kabushiki Kaisha Focus adjustment apparatus and method, and image capturing apparatus and control method thereof
KR101892567B1 (ko) * 2012-02-24 2018-08-28 삼성전자 주식회사 단말기에서 콘텐츠 이동 방법 및 장치
US9445005B2 (en) * 2013-07-22 2016-09-13 Canon Kabushiki Kaisha Optical device capable of selecting focus detection point, method of controlling the same, and storage medium
US20160291692A1 (en) 2014-01-08 2016-10-06 Sony Corporation Information processing system, information processing method, and program
US10855911B2 (en) * 2014-01-15 2020-12-01 Samsung Electronics Co., Ltd Method for setting image capture conditions and electronic device performing the same
WO2017085983A1 (ja) * 2015-11-17 2017-05-26 ソニー株式会社 制御装置、制御方法、およびプログラム
JP6757268B2 (ja) * 2017-01-30 2020-09-16 キヤノン株式会社 撮像装置及びその制御方法
JP6860368B2 (ja) * 2017-02-06 2021-04-14 キヤノン株式会社 電子機器、その制御方法、プログラム及び記憶媒体
JP6914669B2 (ja) * 2017-02-14 2021-08-04 キヤノン株式会社 撮像装置及びその制御方法
JP2018207309A (ja) * 2017-06-05 2018-12-27 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US10863079B2 (en) * 2017-07-13 2020-12-08 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, and non-transitory computer-readable storage medium
JP2019091253A (ja) * 2017-11-15 2019-06-13 株式会社ソニー・インタラクティブエンタテインメント 視線検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133027A (ja) 2005-11-08 2007-05-31 Canon Inc 撮像装置
JP2015028733A (ja) 2013-07-30 2015-02-12 コニカミノルタ株式会社 操作装置および画像処理装置
JP2015118531A (ja) 2013-12-18 2015-06-25 株式会社デンソー 表示制御装置およびプログラム
JP2019075719A (ja) 2017-10-17 2019-05-16 キヤノン株式会社 電子機器及びその制御方法

Also Published As

Publication number Publication date
US11233941B2 (en) 2022-01-25
US20210127063A1 (en) 2021-04-29
JP2021068208A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
JP7321786B2 (ja) 電子機器およびその制御方法
JP7208128B2 (ja) 撮像装置およびその制御方法
JP7467071B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
JP7492349B2 (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP7442331B2 (ja) 音声入力装置およびその制御方法ならびにプログラム
JP7301615B2 (ja) 電子機器およびその制御方法
JP7346375B2 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
JP7465129B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP2021141573A (ja) 電子機器
JP7490372B2 (ja) 撮像制御装置及びその制御方法
JP7346135B2 (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP7431567B2 (ja) 電子機器およびその制御方法、プログラム、並びに記憶媒体
JP2021140590A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2021156919A (ja) 撮像装置
JP2021097356A (ja) 撮像制御装置
JP2020197976A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7451255B2 (ja) 電子機器及びその制御方法
WO2023007904A1 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
WO2022131252A1 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
US20230291995A1 (en) Electronic apparatus, method for controlling electronic apparatus, and storage medium
WO2024095888A1 (ja) 撮像装置、制御方法およびプログラム
JP2022095306A (ja) 表示制御装置及びその制御方法
JP2022067578A (ja) 撮像装置及びその制御方法及びプログラム及び記録媒体
JP2022095264A (ja) 表示制御装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150