JP7301615B2 - Electronic equipment and its control method - Google Patents
Electronic equipment and its control method Download PDFInfo
- Publication number
- JP7301615B2 JP7301615B2 JP2019112316A JP2019112316A JP7301615B2 JP 7301615 B2 JP7301615 B2 JP 7301615B2 JP 2019112316 A JP2019112316 A JP 2019112316A JP 2019112316 A JP2019112316 A JP 2019112316A JP 7301615 B2 JP7301615 B2 JP 7301615B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- touch
- frame
- move
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/02—Viewfinders
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Viewfinders (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Description
本発明は、ユーザーの視線による視線入力が可能な電子機器、及び電子機器の制御方法に関するものである。 TECHNICAL FIELD The present invention relates to an electronic device capable of performing line-of-sight input by a user's line of sight, and a control method for the electronic device.
従来、ユーザーである撮影者の視線方向を検出し、撮影者がファインダー視野内のどの領域(位置)を観察しているかを検出して、自動焦点調節等の撮影機能を制御するカメラが提案されている。ユーザーが、視線による機能を実行したくないと考えた場合には、視線による機能が実行可能な状態から実行しない状態へと切り替えることができる。特許文献1には、ユーザーの視線を検出し、検出された視線位置にカーソル移動が可能であることが開示されている。また特許文献1では、ユーザーの視線位置にカーソルが追従するカーソル追従モードについて、ユーザーのジェスチャ、音声、視線、操作のいずれか1つによってカーソル追従モードのON/OFFが切り替え可能である。
Conventionally, cameras have been proposed that detect the line of sight direction of the user, the photographer, and detect which area (position) the photographer is observing within the viewfinder's field of view, thereby controlling shooting functions such as automatic focus adjustment. ing. When the user does not want to execute the line-of-sight function, the state in which the line-of-sight function can be executed can be switched to the state in which the line-of-sight function is not executed.
しかし特許文献1では、ユーザーが視線入力によるカーソル追従のモードのON/OFFを切り替えるためには、その都度ジェスチャ、音声、視線、操作の指示を出さなければならない。そのため、切り替えるたびに操作の一手間が必要になり、ユーザーがわずらわしく感じる可能性が生じる。また、ユーザーがカーソル追従モードをONからOFFへ切り替えた後、OFFからONへとカーソル追従モードを戻し忘れてしまう可能性が生じる。
However, in
そこで本発明は、ユーザーの意図に応じて、視線入力による選択位置の移動を行うか否かの切替を、ユーザーがわずらわしく感じることなく行うことができるようにすることを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to enable a user to switch whether or not to move a selected position by line-of-sight input according to the user's intention without feeling troublesome.
上記目的を達成するために、本発明の電子機器は、
撮像部により撮像して得られたライブ画像が表示された表示部に対するユーザーの視線位置を検出する視線検出手段と、撮像部により撮像して得られたライブ画像において、被写体を追尾する追尾手段と、ユーザー操作を受け付ける特定の操作手段と、視線検出手段により検出した視線位置または特定の操作手段への操作に応じて、ライブ画像における選択位置を移動するように制御する制御手段と、を有し、制御手段は、特定の操作手段への操作が行われていない場合は、視線検出手段により検出した視線位置に基づいて選択位置を移動するように制御し、特定の操作手段への操作が継続されている間は、操作が移動操作のときは、当該移動操作の移動に応じて選択位置を移動するように制御し、操作が移動操作を含まない非移動操作のときは、当該非移動操作に応じて決定した追尾対象の被写体を追尾手段により追尾し、追尾手段により追尾した追尾対象の被写体の位置に選択位置を移動するように制御する、ことを特徴とする。
In order to achieve the above object, the electronic device of the present invention includes:
line-of-sight detection means for detecting the line-of-sight position of the user with respect to the display section on which the live image obtained by imaging by the imaging section is displayed; and tracking means for tracking the subject in the live image obtained by imaging by the imaging section. , a specific operation means for receiving a user operation, and a control means for controlling to move a selected position in a live image according to the line-of-sight position detected by the line-of-sight detection means or an operation to the specific operation means. , the control means controls to move the selected position based on the line-of-sight position detected by the line-of-sight detection means when the specific operation means is not operated, and the operation of the specific operation means continues. During this period, if the operation is a move operation, the selected position is controlled to move according to the movement of the move operation, and if the operation is a non-move operation that does not include a move operation, the non-move operation The tracking means tracks the object to be tracked determined in accordance with the above, and the selected position is controlled to move to the position of the object to be tracked tracked by the tracking means.
本発明によれば、ユーザーの意図に応じて、視線入力による選択位置の移動を行うか否かの切替を、ユーザーがわずらわしく感じることなく行うことができるようにすることができる。 According to the present invention, it is possible to switch whether or not to move the selected position by line-of-sight input according to the user's intention without feeling troublesome to the user.
以下、図面を参照して本発明の好適な実施形態を説明する。 Preferred embodiments of the present invention will be described below with reference to the drawings.
図1(a)、(b)に本発明を適用可能な装置(電子機器)の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。図1において、表示部28は画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル70aはタッチ操作部材であり、表示部28の表示面(操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
1A and 1B are external views of a
シャッターボタン61は撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための操作部である。端子カバー40は外部機器との接続ケーブルとデジタルカメラ100とを接続するコネクタ(不図示)を保護するカバーである。メイン電子ダイヤル71は操作部70に含まれる回転操作部材であり、このメイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。サブ電子ダイヤル73は操作部70に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー74は操作部70に含まれ、4方向に押し込み可能な押しボタンを有する操作部材である。十字キー74の押下した方向に応じた操作が可能である。SETボタン75は操作部70に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン76は、動画撮影(記録)の開始、停止の指示に用いられる。AEロックボタン77は操作部70に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大ボタン78は操作部70に含まれ、撮影モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン79は操作部70に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81は、操作部70に含まれ、押下することにより各種の設定可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、十字キー74やSETボタン75を用いて直感的に各種設定を行うことができる。
A
通信端子10はデジタルカメラ100が後述するレンズユニット150(着脱可能)と通信を行う為の通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部16を介して内部のEVF(Electric View Finder)29に表示された映像を視認することができる。接眼検知部57は接眼部16に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋202は記録媒体200を格納したスロットの蓋である。グリップ部90は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61、メイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。
A
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。図2において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100と通信を行う為の通信端子である。レンズユニット150は、この通信端子6と前述の通信端子10を介してシステム制御部50と通信し、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。その後AF駆動回路3を介して、レンズ103を変位させることで焦点を合わせる。
FIG. 2 is a block diagram showing a configuration example of the
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
The
撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
The
画像処理部24は、A/D変換器23からのデータ、または、後述するメモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
The
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータ送受を制御する。A/D変換器23からの出力データは、画像処理部24およびメモリ制御部15を介して、あるいは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28、EVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
The
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28、EVF29により表示される。表示部28、EVF29は、LCDや有機EL等の表示器上に、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを、表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV表示)を行える。以下、ライブビューで表示される画像をライブビュー画像(LV画像)と称する。
The
赤外発光ダイオード166は、ファインダー内の画面におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから成る。
The infrared
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は少なくとも1つのプロセッサーを含み、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の画像または動きからユーザーの視線位置を検出し、検出情報をシステム制御部50に出力する。このようにダイクロイックミラー162、結像レンズ163、視線検知センサー164、赤外発光ダイオード166、視線検出回路165により視線検出ブロック160が構成される。
The line-of-sight detection sensor 164 photoelectrically converts the incident infrared reflected light into an electric signal and outputs the electric signal to the line-of-sight detection circuit 165 . The line-of-sight detection circuit 165 includes at least one processor, detects the user's line-of-sight position from the image or movement of the user's eyeball (eye) 161 based on the output signal of the line-of-sight detection sensor 164, and sends the detection information to the
本発明では視線検出ブロック160を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード166から発した赤外光が眼球(目)161の、特に角膜で反射した反射光と、眼球(目)161の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。
In the present invention, the line of
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
Various setting values of the camera, such as shutter speed and aperture, are displayed on the
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばFlash-ROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
The
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、例えばRAMが用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50はメモリ32、表示部28等を制御することにより表示制御も行う。
A
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。 A system timer 53 is a timer that measures the time used for various controls and the time of a built-in clock.
モード切替スイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
A
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。
The
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから撮像された画像を画像ファイルとして記録媒体200に書き込むまでの一連の撮影処理の動作を開始する。
The
操作部70は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部70には、少なくとも以下の操作部が含まれる。シャッターボタン61、タッチパネル70a、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81。
The
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
The
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
A recording medium I/
通信部54は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)や Bluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
The
姿勢検知部55は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
The orientation detection unit 55 detects the orientation of the
接眼検知部57はファインダーの接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくともデジタルカメラ100が撮影待機状態、かつ、撮像部22で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57は、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(不図示)から投光した赤外線が反射して赤外線近接センサーの受光部(不図示)に受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。なお、本実施形態では接眼検知部57の投光部および受光部は前述の赤外発光ダイオード166および視線検知センサー164とは別体のデバイスであるものとする。ただし、接眼検知部57の投光部を赤外発光ダイオード166で兼ねてもよい。また、受光部を視線検知センサー164で兼ねてもよい。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
The eye
システム制御部50は視線検出ブロック160からの出力に基づいて以下の操作、あるいは状態を検知できる。
・接眼部16に接眼したユーザーの視線入力がある状態であること。
・接眼部16に接眼したユーザーが注視している状態であること。
・接眼部16に接眼したユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部16に接眼したユーザーが何も視線入力していない状態。
The
- There is a line-of-sight input from the user who has eyepieces on the
- A state in which the user who has eyepieces on the
- The line of sight input by the user who has eyepieces on the
A state in which the user who has eyed the
ここで述べた注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。 Gaze mentioned here refers to the case where the user's gaze position does not exceed a predetermined amount of movement within a predetermined period of time.
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を提供できる。システム制御部50はタッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch-On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)。
The
- A finger or pen that has not touched the
- The
- Moving while touching the
- The finger or pen that has touched the
A state in which nothing is touched on the
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。 When touchdown is detected, touchon is also detected at the same time. After touchdown, touchon continues to be detected unless touchup is detected. A touch-move is also detected when a touch-on is detected. Even if touch-on is detected, touch-move is not detected if the touch position does not move. After it is detected that all the fingers and pens that have touched have touched up, the touch is turned off.
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
The
本実施形態では、デジタルカメラ100における視線入力操作によるAF枠の表示をタッチ入力操作によって制御する制御処理について説明する。
In the present embodiment, control processing for controlling display of an AF frame by a line-of-sight input operation in the
(第1の実施形態)
第1の実施形態では、操作部材(本実施形態ではタッチパネル70a)に対する操作を継続して行っている間は、視線入力によるAF枠の移動を行わないように制御する例を説明する。図3は、視線入力によるAF枠の表示を、タッチ操作により制御するフローチャートである。この制御処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。図3のフローチャートは、デジタルカメラ100を撮影モードで起動し、撮影待機状態においてユーザーがファインダーを覗いている場合、つまり接眼部16へ接眼状態で、視線入力に関する設定が有効であるときに開始される。図7はEVF29または表示部28に表示される撮影に関する設定メニュー画面である。メニュー画面には設定項目701~704が表示される。このうち設定項目703が視線入力に関する設定項目である。視線入力とは、ユーザーの視線による操作についての機能を指す。視線入力は有効と無効のいずれかに設定することができる。設定項目703aを選択すれば、視線入力に関する設定が有効になり、設定項目703bを選択すれば、視線入力に関する設定が無効になる。視線入力を有効に設定すると、例えば視線によるAF枠位置の選択・移動操作が可能になる。視線入力を無効に設定すると、例えば視線によるAF枠位置の選択・移動操作が行えない。図7は、視線入力の設定が有効であることを表している。視線入力の設定は、不揮発性メモリ56に保存される。
(First embodiment)
In the first embodiment, an example will be described in which control is performed so that the AF frame is not moved by line-of-sight input while the operation member (in this embodiment, the
S301では、システム制御部50は、視線入力の有無を判定する。視線入力がある、すなわち視線検出ブロック160においてユーザーによる視線が検出された場合には、S302へ進む。検出されない場合はS301へ戻る。視線入力があった場合、システム制御部50は、視線入力が始まった時点からの時間を計時する。視線検出ブロック160において検出された視線位置について、例えば30ミリ秒毎に視線位置を検出し、システム制御部50へ送る。システム制御部50は、視線位置と計時した時間から、ユーザーが視線を大きく動かしているか(視線をきょろきょろと動かしているか)、ある位置を見つめているか(注視)を判定する。注視についてはS302で後述する。
In S301, the
S302では、システム制御部50は、ユーザーによる注視があるか否かを判定する。システム制御部50は、視線位置と計時した時間から、所定時間内における視線位置の移動量が既定の閾値以下であるときに、注視があったと判定する。例えば、120ミリ秒のうちに視線位置の移動量が既定の閾値以下であった場合に、注視があったと判定する。注視があった場合はS303に進み、注視がなかった場合はS301へ戻る。ここでは、視線入力による焦点検出領域(以下、AF枠)の表示位置の移動について、ユーザーの意図する視線位置と判定する条件として注視を取り上げたが、ユーザーのまばたきや音声による指示等を条件としてもよい。また、注視がなくとも視線の検出位置に応じてAF枠を移動するようにしてもよい(すなわちS302をなくして、S301からS303へ進むようにしてもよい)。また、具体例として注視と判定する計時時間を120ミリ秒としたが、この計時時間はあらかじめ設定しておいてもいいし、ユーザーが自由に設定できるようにしてもよいし、表示されている視線位置と注視位置との位置関係に応じて可変するようにしてもよい。
In S302, the
S303では、システム制御部50は、EVF29において検出されている視線(注視)位置へAF枠の表示位置を移動し、自動焦点調整(以下AF)処理を実行する。S304においてタッチダウンが行われるまでの間、注視位置(視線位置)が移動した場合は、S302で述べたように経時的に注視位置を検出し、注視位置にAF枠を移動する。例えば、注視と判定するたび(所定時間毎)に、注視位置にAF枠を移動する。ここでは、注視の判定時間に倣って視線によるAF枠移動の更新を行う時間の周期としてとして120ミリ秒毎としたが、この周期はあらかじめ設定しておいてもいいし、ユーザーが自由に設定できるようにしてもよい。更新時間の周期を短くすれば、より正確に視線位置へAF枠を移動することができ、視線移動に素早くAF枠を追従させることができる。更新時間の周期を長くすれば、視線位置の移動に応じて細かくAF枠が追従することなく、ある程度大まかにAF枠が追従するので、ユーザーが煩わしく感じることを低減できる。視線によって移動するAF枠(選択位置)は、上述した更新時間にかかわらず、視線移動の軌跡に追従してなめらかに移動するようにする。つまり、ユーザーが視線を速く大きく移動したとしても、AF枠(選択位置)が表示されていた位置から視線の検出位置へと飛ぶように移動することなく、視線移動の軌跡に追従してなめらかに移動するようにする。すなわち、更新時間の周期が短い場合は、視線移動に対して遅れることなく素早くAF枠が追従して移動する。周期が長い場合は、視線移動の軌跡をたどってなめらかにAF枠が移動する。なお、視線検出ブロック160によって検出される視線位置(注視位置)がEVF29上に表示されているAF枠位置から移動したことを検出すると、視線位置とAF枠位置との距離の長さ、短さに関わらず、視線位置にAF枠を追従する。
In S303, the
S304では、システム制御部50は、タッチパネル70aへのタッチダウンの有無を判定する。タッチダウンがあった場合は、S305へ進み、なかった場合はS301へ戻る。
In S304, the
S305では、システム制御部50は、視線入力によるAF枠の表示位置の移動を一時的に禁止(制限)する。例えば、EVF29上に表示されているアイコンや数値を確認する際には、ユーザーはアイコンや数値などの領域を注視することが考えられる。しかしこの注視は視線によるAF枠の表示位置の移動を意図する注視ではない。アイコンや数値などの確認のための注視に応じてAF枠が移動してしまうと、ユーザー所望の位置ではない位置にAF枠が移動し、AF処理が行われてしまう可能性が生じる。ユーザー所望の位置にAF処理が実行できていた場合には、意図せぬAF枠の移動が生じてしまうと、ユーザーは再び所望の位置を注視しなければならず、煩わしい。また、S302の注視判定ステップがない場合でも、ユーザーがEVF29上に表示された画像全体のチェックを行う等の理由で視線を大きく動かしている場合に、視線移動に応じてAF枠が追従してしまうと、ユーザーが煩わしく感じる可能性がある。そのため、注視があった(もしくは視線入力があった)と判定された後にタッチパネル70aへのタッチダウン操作が行われると、タッチ操作が継続している間は視線によるAF枠の表示位置の移動を一時的に禁止・制限する。これにより、タッチダウンがあってからタッチアップがあるまでのタッチオン継続中は、視線の検出位置が変わってもそれに応じたAF枠の移動は行わない。また、前述のタッチオン継続中は視線検出ブロック160での視線の検出処理の少なくとも一部を停止して省電力してもよい。タッチアップがあると、停止した視線検出処理を再開する。
In S305, the
S306では、システム制御部50は、タッチダウン時、具体的には、タッチダウン操作が行われる前、もしくは、タッチダウン操作開始時点の視線位置に基づいてAF枠が追尾する追尾対象の決定を行う。
In S306, the
S307では、システム制御部50は、S306で決定した追尾対象への追尾を開始する。第1の実施形態では、例えばS303において、ユーザーが視線によるAF枠で選択した対象が動くものの場合、対象の動きに合わせてAF枠が移動してほしいとユーザーが考える可能性があるため、S306、S307において対象を追尾する。しかし、ユーザーが、複数あるAF枠のうちから任意の1点のAF枠を選択し、その任意の1点にAF処理を行うように設定していた場合、上述の限りではない。S306やS307のように、対象の動きに応じてAF枠を追尾させてしまうと、ユーザーにとって所望でない位置にAF枠が移動することが生じてしまう。そのため、ユーザーが上述したような任意の1点にAF処理を行う設定にしていた場合は、S303でAF処理をした対象が動いたとしても追尾対象とは決定することなく(追尾することなく)、ユーザー所望の1点にAF枠を固定してもよい。すなわち、S306とS307をなくして、S305からS308へと進む制御フローにしてもよい。
In S307, the
S308では、システム制御部50は、タッチパネル70aに対するタッチムーブ操作があったか否かを判定する。タッチムーブ操作があった場合は、S309へ進み、なかった場合はS310へ進む。
In S308, the
S309では、システム制御部50は、S308において判定したタッチムーブ量に対応した量だけ、S303でEVF29上に表示したAF枠を移動する。ユーザーがタッチパネル70aに対してタッチムーブを行ったということは、EVF29上の視線によるAF枠をタッチムーブ方向へ移動させたいと考えていることが想定できる。そのため、タッチムーブ量に対応した量だけ、EVF29上に表示したAF枠を移動する。詳細は図4(e)(f)を用いて後述する。なお、タッチムーブ量に対応して移動するEVF29上の移動量は、タッチムーブ量に係数をかけて算出するものである。この係数を小さくすればタッチムーブ量に対してEVF29上でのAF枠の移動量が小さくなるため、視線によって移動したAF枠をより細かく調整できる。
In S309, the
なお、S308、S309の処理を省略し、S307からS310に進むようにしてもよい。すなわち、タッチムーブがあってもAF枠を移動しないようにしてもよい。 It should be noted that the processes of S308 and S309 may be omitted and the process may proceed from S307 to S310. That is, even if there is a touch move, the AF frame may not be moved.
S310では、システム制御部50は、タッチパネル70aからのタッチアップの有無を判定する。タッチアップがあった場合は、S311へ進み、タッチ操作が継続している場合はS305へ戻る。
In S310, the
S311では、システム制御部50は、不揮発性メモリ56を参照し、タッチシャッターに関する設定が入であるか否かを判定する。タッチシャッターの設定が入である場合は、S312に進み、切である場合はS313へ進む。タッチシャッターとは、タッチパネル70aへのタップ操作によって、撮影を行う(シャッターを切る)機能を指す。ユーザーはシャッターボタン61の押下にのみならず、上述したタッチシャッターに関する設定が入であれば、タッチパネル70aへのタップ操作により撮影を行うことができる。これにより、ユーザーは直感的に所望の合焦位置を指定でき、シャッターチャンスを逃すことなく撮影を行うことができる。S310においてタッチアップがあったということは、アイコンや数値、画像全体の確認が終了し、撮影を行う準備ができたと想定できる。このときにタッチシャッターに関する設定が入である場合は、タッチシャッター機能に従って、タッチアップに応じて撮影を行ったとしても、ユーザーの意図に反する可能性は低い。タッチシャッターに関する設定が切である場合は、タッチアップに応じた撮影は行わない(S310からS313へと進む)。
In S311, the
なお変形例として、S311において、S310でのタッチアップ時のユーザーの視線位置に応じて、タッチシャッターによる撮影を行うか否かを判定してもよい。具体的には、図4(b)のAF枠212aにおいてAF処理が行われている場合に、タッチパネル70aからのタッチアップ時のユーザーの視線位置がAF枠212a近傍であれば、タッチシャッターによる撮影を実行する。AF枠212a近傍とは、AF枠212aの内部またはAF枠212から所定の範囲内とする。タッチアップ時のユーザーの視線位置がAF枠212a近傍ではなく、図4(d)のように鳥214の位置にあった場合は、タッチシャッターによる撮影を実行しない。そして、図4(h)のAF枠212aに示すように、鳥214の位置へと視線入力によるAF枠を移動する。
As a modified example, in S311, it may be determined whether or not to perform photographing by the touch shutter according to the user's line-of-sight position at the time of touch-up in S310. Specifically, when AF processing is being performed in the
S312では、システム制御部50は、撮影を行う。S311においてタッチシャッターに関する設定が入であったときに、S310のタッチパネル70aからのタッチアップに応じて撮影処理を行う。
In S312, the
S313では、システム制御部50は、S305において一時的に禁止・制限を行った、視線によるAF枠の表示位置の移動を許可(一時的な禁止・制限を解除)する。S310においてタッチパネル70aからのタッチアップがあった場合は、ユーザーが画像全体のチェックなどが終了したため、視線によるAF枠の表示位置の移動の制限を解除し、視線によるAF枠の表示位置の移動を再開しようと考えていると想定できる。そのため、一時的に制限を行った視線によるAF枠位置の移動を許可し、S314へ進む。
In S313, the
S314では、システム制御部50は、撮影待機状態が終了したか否かを判定する。撮影待機状態が終了した場合は、本制御フローを終了し、撮影待機状態が終了していない場合はS301へ戻る。
In S314, the
なお、図3の制御フロー中に第1シャッタースイッチ62がオンとなった場合は、その時点でのAF枠位置でAF処理を行う。具体的には、視線によりAF枠位置が表示されている場合は、視線によるAF枠位置でAF処理を行う。視線によりAF枠位置が表示されていない場合は、システム制御部50が判断した位置でAF処理を行う。その後、第2シャッタースイッチ64がオンとなった場合は、撮影を行う。
Note that when the
図4(a)~(h)を用いて、図3で説明した処理によるAF枠の表示位置の移動を説明する。図4(a)(c)(e)(g)はタッチパネル70a上の操作例、図4(b)(d)(f)(h)はEVF29上のAF枠の表示例、ユーザーの目161による視線位置の表示例である。情報表示213はEVF29上にLV画像とともに表示される情報である。例えばシャッター速度や絞り値、ISO感度などの撮影設定に関する情報や電池残量情報などが表示される。
Movement of the display position of the AF frame by the processing described with reference to FIG. 3 will be described with reference to FIGS. FIGS. 4A, 4C, 4E, and 4G are examples of operations on the
図4(a)(b)は、図3のS302、S303における表示例である。図4(a)からわかるように、S302、S303の時点ではタッチパネル70aへのタッチ操作はされていない。図4(b)のAF枠212aは、視線入力に関する設定が有効で、かつ、注視があると判定された場合に、目161の視線位置に表示されたAF枠位置である。図4(b)では、AF枠212aは花215にAF処理を行っているが、タッチパネル70aへのタッチダウンが行われていない状態では、目161の動きに応じてAF枠212aに追従する。具体的には、目161が鳥214へと視線位置を素早く移動すれば、AF枠は素早く移動し、視線位置を花215から鳥214へとゆっくり移動すれば、視線位置の移動の軌跡に沿ってAF枠も移動する。なお、視線位置に対するAF枠の追従のレスポンスについては、S302の注視と判定する判定時間(上述では120ミリ秒)と同じにしてもよいし、別の時間をあらかじめ設定しておいてもよいし、ユーザーが任意に設定できるようにしてもよい。また、時間に応じて移動するのではなく、システム制御部50が認識している被写体にAF処理ができるように、認識している被写体に飛ぶように移動してもよい。具体的には、図4(b)の状態でシャッターボタン61を押下して撮影を行えば、花215に合焦した画像が撮影される。AF枠の移動操作をしなくてもユーザーが見ているところに合焦した画像を撮影することができるので、素早く直感的に撮影を行うことができる。
4A and 4B are display examples in S302 and S303 of FIG. As can be seen from FIG. 4A, no touch operation is performed on the
図4(c)(d)は、図3のS304からS305におけるタッチパネル70a上の操作例とEVF29上のAF枠の表示例、ならびにユーザーの視線位置の表示例である。図4(c)に示すように、S304においてタッチパネル70aへのタッチ操作(タッチダウン)を行っている。図4(c)では、ユーザーはタッチパネル70aの中央付近をタッチしている(タッチ入力211a)が、第1の実施形態ではタッチパネル70aへのタッチ操作の有無で視線によるAF枠移動を制御するため、タッチパネル70aのタッチ位置には依らない。S305において視線によるAF枠移動を一時的に禁止・制限するため、タッチパネル70aへのタッチ操作継続中は、AF枠212aは目161による視線位置がAF枠212aの位置から移動したとしても、AF枠は視線位置に追従しない。図4(d)において目161による視線位置が鳥214を注視していたとしても、図4(c)のようにタッチパネル70aへのタッチ操作継続中はAF枠212aはタッチダウン時点もしくはタッチダウン前に表示されたAF枠位置にとどまる。すなわち、視線位置へは移動しない。具体的には、図4(d)の状態でシャッターボタン61を押下して撮影を行えば、鳥214ではなく花215に合焦した画像が撮影される。花215に合焦させたいが、撮影のタイミングは鳥214が飛び立った瞬間に撮影を行いたい、といったような要望を持つユーザーにとっては、視線位置が鳥214にあったとしても花215に合焦した画像が撮影されることが望ましい。つまり、視線位置に合焦しない(AF枠が移動しない)ことが望ましい。これにより、ユーザーは視線によって素早く直感的に指定したAF枠位置を維持したまま、ユーザーの好適なタイミングで撮影を行うことができる。
4(c) and 4(d) show an operation example on the
図4(e)(f)は、図3のS308、S309における表示例である。図4(c)(d)を用いて説明したように、タッチパネル70aに対してタッチダウンを行ったことで、視線によるAF枠の移動を一時的に制限する(S304、S305の処理)。そのため、図4(d)に示すように、目161による視線位置が鳥214にあったとしても、AF枠212aは視線位置への移動は行わない。ここで、図4(e)に示すように、タッチ入力211aをタッチパネル70aからタッチアップすることなくタッチムーブし、タッチ入力211aからタッチ入力211bの位置に移動する。これにより、図4(f)に示すようにEVF29上では、タッチ入力211aがタッチダウンした時点で表示されていたAF枠212aが、タッチムーブによりAF枠212bへと移動する。このとき、タッチパネル70aに対するタッチムーブ量に対応する量、もしくはタッチムーブ量に対応する量よりも小さな移動量だけEVF29上でAF枠を移動させる。これは、ユーザーが視線によってAF枠を移動した場合に、例えば図4(f)の花215と犬216のように被写体同士が近くに存在していると、ユーザー所望の位置にAF枠が移動しない可能性が生じる。そのため、視線によって大まかなAF枠の指定を行ったあとに、タッチムーブ操作を行うことで、より正確にユーザー所望の位置へとAF枠を移動させることができる。この際に視線によるAF枠の移動を一時的に制限するのは、タッチムーブによって微調整を行ったAF枠が、意図しない視線によって、AF枠が大きく移動してしまうことを避けるためである。このケースでは例えば、ユーザーが犬216の目にピントを合わせたかった場合に、視線で素早く犬216の顔近傍(AF枠212aの位置)にAF枠を設定し、タッチムーブ操作を行う。タッチムーブ操作でAF枠を少し移動させるだけで、視線入力によるAF枠位置である犬216の顔近傍(AF枠212aの位置)から犬216の目の位置(AF枠212bの位置)にAF枠を設定することができる。
4(e) and 4(f) are display examples in S308 and S309 of FIG. As described with reference to FIGS. 4C and 4D, by touching down the
図4(g)(h)は、図3のS310、S313における表示例である。図4(g)からわかるように、S310においてタッチパネル70aからのタッチアップが行われ、タッチパネル70aへの操作はなにもしていない状態である。タッチパネル70aからのタッチアップにより、一時的に禁止・制限されていた視線によるAF枠移動を許可することで、図4(h)に示すように、目161による視線位置に、AF枠212aが移動する(視線位置にAF枠が追従する)。
FIGS. 4(g) and 4(h) are display examples in S310 and S313 of FIG. As can be seen from FIG. 4G, in S310, the
図3の制御フローと図4から、ユーザーによる視線入力が有効、かつ注視がある場合は、ユーザーの視線入力に応じて視線位置にAF枠を表示・移動する。タッチパネル70aへのタッチ操作(タッチダウン)が継続して行われている間は、ユーザーによる視線入力があったとしても視線位置にAF枠は追従しないように制限を行う。制限を行うことで、ユーザーがタッチパネル70aへタッチ操作を継続している間は、ユーザーは画像全体のチェックや、撮影に関する設定値などの確認を、所望位置にAF枠を表示したまま、行うことができる。ユーザーが再び視線によるAF枠の移動を行いたいと考えた場合には、タッチ操作を終了(タッチパネル70aからのタッチアップ)すればよい。これにより、ユーザーはAF枠である選択位置を視線入力によって移動を行うか否かの切替を、タッチ操作の有無によって煩わしく感じることなく行うことができる。また、タッチダウン、タッチアップという一連のタッチ操作によって切り替えることができるため、ユーザーが視線によりAF枠の移動を制限した状態に切り替えた後に、元の非制限状態に戻すことを忘れてしまうことによる不都合も防止することができる。
From the control flow of FIG. 3 and FIG. 4, when the user's line-of-sight input is effective and there is gaze, the AF frame is displayed and moved to the line-of-sight position according to the user's line-of-sight input. While the touch operation (touchdown) on the
なお、上述した第1の実施形態では、ファインダーをのぞくユーザーの視線を検出し、タッチパネルへのタッチ操作によって視線入力による選択位置の切替を行う例を説明したが、これに限るものではない。例えば、第1の実施形態でのタッチ操作に代えて、SETボタン75の押下でも第1の実施形態を適用することができる。具体的には、視線(注視)によるAF枠がEVF29上に表示(S303の処理)された後に、SETボタン75の押下(S304の処理)があると、視線によるAF枠の移動を一時的に禁止・制限(S305の処理)する。そのあと、SETボタン75の押下(S310の処理)が終了すると、視線によるAF枠の移動を許可(S313の処理)し、視線位置にAF枠を表示する。
In the above-described first embodiment, the line of sight of the user looking through the viewfinder is detected, and the selection position is switched by inputting the line of sight through a touch operation on the touch panel. However, the present invention is not limited to this. For example, instead of the touch operation in the first embodiment, pressing the
(第2の実施形態)
第2の実施形態では、操作部材(本実施形態ではタッチパネル70a)を継続して行っている間に限り、視線入力によるAF枠の表示位置の移動を行うことができるように制御する例を説明する。図5は、視線入力によるAF枠の表示を、タッチ操作により制御するフローチャートである。この制御処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。図5のフローチャートは、第1の実施形態同様に、デジタルカメラ100を撮影モードで起動し、撮影待機状態においてユーザーがファインダーを覗いている場合、つまり接眼部16へ接眼状態で、視線入力に関する設定が有効あるときに開始される。
(Second embodiment)
In the second embodiment, an example will be described in which control is performed so that the display position of the AF frame can be moved by line-of-sight input only while the operation member (in this embodiment, the
S501では、システム制御部50は、タッチパネル70aへのタッチダウンの有無を判定する。タッチダウンがあった場合はS502へ進み、なかった場合はS501へ戻る。
In S501, the
S502では、図3のS301と同様に、システム制御部50は、視線入力の有無を判定する。
In S502, similarly to S301 in FIG. 3, the
S503では、図3のS302と同様に、システム制御部50は、ユーザーによる注視があるか否かを判定する。
In S503, as in S302 of FIG. 3, the
S504では、図3のS303と同様に、システム制御部50は、EVF29において検出されている視線(注視)位置へAF枠の表示位置を移動し、自動焦点調整(以下AF)処理を実行する。S501において行われたタッチ操作が継続して行われている間、注視位置(視線位置)が移動した場合は、S503で述べたように経時的に注視位置を検出し、注視位置にAF枠を移動する。S501においてタッチパネル70aへのタッチダウンが開始し、タッチパネル70aへのタッチ操作が継続されて行われている限り、視線入力によるAF枠の移動を行う。すなわち、タッチムーブや後述するタッチプッシュなどの、タッチダウンに加えて別の操作がなくとも、視線入力によるAF枠の移動を行う。これによって、ユーザーは視線によって直感的、かつ、素早くAF枠を視線位置へ移動することができ、ユーザー所望のタイミングで撮影へと移行することができ、シャッターチャンスを逃す可能性を低減できる。
In S504, as in S303 of FIG. 3, the
S505では、図3のS310と同様に、システム制御部50は、タッチパネル70aからのタッチアップの有無を判定する。タッチアップがあった場合は、S506へ進み、タッチアップがなかった場合はS502へ戻る。
In S505, similarly to S310 in FIG. 3, the
S506では、図3のS305と同様に、システム制御部50は、視線入力によるAF枠の表示位置の移動を一時的に禁止(制限)する。タッチパネル70aへのタッチオン中に注視があった(もしくは視線入力があった)と判定された場合は、視線位置へAF枠を表示する(S504)。その後にタッチパネル70aからのタッチアップがあると、タッチパネル70aへのタッチ操作がない間は、視線によるAF枠位置の移動を一時的に禁止・制限する。例えば、ユーザーは視線入力によるAF枠の移動がされてほしいと考えて、タッチパネル70aにタッチダウンをしていることが考えられる。そのためタッチオン中は視線に追従してAF枠が移動したとしても、ユーザーが煩わしく感じる可能性は低い。つまり、ユーザーは視線に追従してAF枠が移動してほしくない、と考えた場合には、タッチパネル70aからのタッチアップを行うことが想定できる。そのため、タッチパネル70aからのタッチアップがあると、視線によるAF枠の移動を一時的に禁止・制限する。これにより、ユーザーは視線によるAF枠の移動を行うか否かの切替をタッチ操作により直感的に行うことができる。また、この視線によるAF枠の移動を一時的に制限している期間は視線検出ブロック160での視線の検出処理の少なくとも一部を停止して省電力してもよい。タッチダウンがあると、停止した視線検出処理を再開する。
In S506, similarly to S305 in FIG. 3, the
S507では、図3のS311と同様に、システム制御部50は、不揮発性メモリ56を参照し、タッチシャッターに関する設定が入であるか否かを判定する。タッチシャッターの設定が入である場合は、S508に進み、切である場合はS509へ進む。S505においてタッチアップ操作を行ったということは、画像全体の確認が終了し、撮影を行う準備ができたと想定できる。このときにタッチシャッターに関する設定が入である場合は、タッチシャッター機能に従って、タッチアップに応じて撮影を行ったとしても、ユーザーの意図に反する可能性は低い。また、S507においてタッチシャッターに関する設定内容に関わらず、S505でのタッチアップ時のユーザーの視線位置に応じて、タッチシャッターによる撮影を行うか否かを判定してもよい。具体的には、図6(d)のAF枠212aにおいてAF処理が行われている場合に、タッチパネル70aからのタッチアップ時のユーザーの視線位置がAF枠212a近傍であれば、タッチシャッターによる撮影を実行してもよい。タッチアップ時のユーザーの視線位置がAF枠212a近傍ではなく図6(d)の鳥214の位置にあった場合は、タッチシャッターによる撮影を実行せず、図6(h)のAF枠212a位置へと視線入力によるAF枠を移動するようにしてもよい。
In S507, as in S311 of FIG. 3, the
S508では、図3のS312と同様に、システム制御部50は、撮影を行う。S507においてタッチシャッターに関する設定が入であったときにS505のタッチパネル70aからのタッチアップに応じて撮影処理を行う。
In S508, the
S509では、システム制御部50は、タッチアップ時の視線位置(すなわち、S505でYesと判定された時点で検出されていた視線位置)に基づいて追尾対象決定を行う。
In S509, the
S510では、図3のS307と同様に、システム制御部50は、S509で決定した追尾対象への追尾を開始する。ユーザーが、複数あるAF枠のうちから任意の1点にAF処理を行うように設定していた場合は、S509とS510をなくして、S508からS511へと進む制御フローにしてもよい。
In S510, as in S307 of FIG. 3, the
S511では、システム制御部50は、撮影待機状態が終了したか否かを判定する。撮影待機状態が終了した場合は、本制御フローを終了し、撮影待機状態が終了していない場合はS501へ戻る。
In S511, the
なお、図5の制御フロー中に第1シャッタースイッチ62がオンとなった場合は、その時点でのAF枠位置でAF処理を行う。具体的には、視線によるAF枠が表示されている場合は、視線によるAF枠位置でAF処理を行う。視線によりAF枠位置が表示されていない場合は、システム制御部50が判断した位置でAF処理を行う。その後、第2シャッタースイッチ64がオンとなった場合は、撮影を行う。
Note that when the
図6(a)~(h)を用いて、図5で説明した処理によるAF枠位置の移動を説明する。図6(a)(c)(e)(g)はタッチパネル70a上の操作例、図6(b)(d)(f)(h)はEVF29上のAF枠の表示例、ユーザーの目161による視線位置の表示例である。
Movement of the AF frame position by the processing described with reference to FIG. 5 will be described with reference to FIGS. 6A, 6B, 6C, 6E, and 6G are examples of operations on the
図6(a)(b)は、図5のS501~S504における表示例(特に、タッチダウン直後の表示例)である。図6(a)に示すように、タッチパネル70aへのタッチ操作(タッチオン)がされている。このタッチ操作については、タッチの有無で視線によるAF枠移動を制御するための操作であるため、タッチ位置には依らない。図6(b)のAF枠212aは、タッチパネル70aへのタッチがあり、かつ、視線入力に関する設定が有効、かつ、注視があると判定された場合に、目161の視線位置に表示されたAF枠位置である。図6(b)では、ユーザーはEVF29上に表示されている犬216の尾付近を見ていることがわかる。そのため、AF枠212aは視線位置である犬216の尾付近へ表示される。
6A and 6B are display examples in S501 to S504 of FIG. 5 (in particular, display examples immediately after touchdown). As shown in FIG. 6A, a touch operation (touch-on) is performed on the
図6(c)(d)は、図6(a)(b)同様に、図5のS501~S504での表示例である。このとき図6(c)に示すように、ユーザーは引き続きタッチパネル70aへのタッチ操作を継続しているため、ユーザーの視線入力によるAF枠は視線位置に応じて移動する。ここでは、目161は花215を見ていることから、AF枠212aは犬216の尾(図6(b)での視線位置に応じた位置)から花215(図6(d)での視線位置に応じた位置)へと移動する。図5のS504で述べたように、視線入力によるAF枠の表示位置の移動が可能である間は、AF枠は注視位置(視線位置)の移動に応じて経時的に移動する。例えば、図3のS302、図5のS503で述べたように、注視判定の時間である120ミリ秒毎にAF枠の表示位置を移動する。この時間は、ユーザーの視線移動の軌跡をたどることができる程度の時間であれば、あらかじめ設定しておいてもいいし、ユーザーが任意に設定できるようにしてもよい。時間を短く設定すれば、ユーザーの視線移動に応じて、より俊敏にAF枠が追尾することができるし、時間を長く設定すれば、視線移動に応じてAF枠が細かく移動することがないため、ユーザーが煩わしく感じることを低減できる。図6(b)(d)では犬216の尾から花215はある程度の距離が離れているが、図5のS504で説明したように、視線位置とAF枠位置との距離に関わらず、視線位置にAF枠が追従するようにする。なお、図6(a)(c)ではタッチ入力211aはタッチダウンを行った位置から移動することなく、また、後述するタッチプッシュのような、タッチパネル70aへの押圧を変化させることなく、タッチ操作を継続している状態である。図6(b)(d)の状態でシャッターボタン61を押下して撮影を行えば、視線位置に応じた位置であるそれぞれ、犬216の尾、花215に合焦した画像が撮影される。タッチオン中はAF枠の移動操作を行わなくても、ユーザーが見ているところに合焦した画像を撮影できるので、素早く直感的に撮影を行うことができる。
6(c) and 6(d) are display examples in S501 to S504 of FIG. 5, similar to FIGS. 6(a) and 6(b). At this time, as shown in FIG. 6C, the user continues the touch operation on the
図6(e)(f)は、S505、S506における表示例である。図6(e)に示すように、ユーザーはS505においてタッチパネル70aからのタッチアップを行い、タッチパネル70aへの操作はなにもされていない。タッチパネル70aへの操作を何も行っていない間は視線によるAF枠移動を一時的に禁止・制限する(S506)。そのため、目161による視線位置がAF枠212aの位置から移動したとしても、AF枠212aは視線位置に追従しない。図6(f)において目161による視線位置が鳥214を注視していたとしても、図6(e)のようにタッチパネル70aへの操作がない間は、AF枠212aはタッチアップ時点もしくはタッチアップ前に表示されたAF枠位置に留まり、視線位置には追従しない。また、図6(e)(f)の時点で、すなわちタッチパネル70aへのタッチ操作がない間に、シャッターボタン61が押下された場合は、図6(f)の視線位置である鳥214ではなく、AF枠212aの位置でAF処理を実行し撮影を行う。具体的には、図6(f)の状態でシャッターボタン61を押下して撮影を行えば、鳥214ではなく花215に合焦した画像が撮影される。花215に合焦させたいが、撮影のタイミングは鳥214が飛び立った瞬間に撮影を行いたい、といったような要望を持つユーザーにとっては、鳥214に視線位置があったとしても花215に合焦した画像が撮影されることが望ましい。これにより、ユーザーは視線によって素早く直感的にAF枠位置を指定でき、ユーザーの好適なタイミングで撮影を行うことができる。
6E and 6F are display examples in S505 and S506. As shown in FIG. 6E, the user touches up the
図6(g)(h)は、図5のS511NoからS501へと戻るフローにおける表示例である。図6では、タッチシャッターに関する設定の内容に係わらない場合の表示例を示している(図5のS507、S508はないものとしている)。図6(e)(f)の状態から、図6(g)に示すように、タッチパネル70aへのタッチダウンが行われた状態(S501)である。タッチパネル70aへのタッチダウンにより、一時的に禁止・制限されていた視線によるAF枠移動を許可することで、図6(h)に示すように、目161の視線入力(鳥214の位置)位置に、AF枠212aが移動する。例えば、ユーザーは図6(f)の時点では、花215に合焦させたまま、鳥214が飛び立った瞬間に撮影をしたいと考えていた。しかし、花215ではなく鳥214に合焦をした画像を撮影したいと考えを変更した場合には、再度タッチダウンを行うことで視線入力ができるようになるため、視線位置である鳥214へ合焦させることができる。ユーザーが図6(h)の状態でシャッターボタン61を押下して撮影を行えば、図6(b)(d)と同様に、視線位置に応じた位置である鳥214に合焦した画像が撮影される。これにより、ユーザーは直感的に視線によるAF枠の移動を行うか否かの切替を行い、撮影を行うことができる。
6G and 6H are display examples in the flow from S511No in FIG. 5 to S501. FIG. 6 shows a display example in a case where the content of the settings related to the touch shutter is not relevant (it is assumed that S507 and S508 in FIG. 5 are omitted). From the states of FIGS. 6E and 6F, as shown in FIG. 6G, it is a state in which a touchdown to the
図5の制御フローと図6(a)~(h)から、タッチパネル70aへのタッチ操作が継続して行われているときに、ユーザーによる視線入力(注視)がある場合は、タッチ操作継続中はユーザーの視線入力に応じて視線位置にAF枠を移動する。タッチパネル70aからのタッチアップにより、タッチパネル70aへの操作を何もしていない状態では、ユーザーによる視線入力があったとしても視線位置にAF枠は追従しないように制限を行う。制限を行うことで、ユーザーは画像全体のチェックや、撮影に関する設定値などの確認を、所望位置にAF枠を表示したまま、行うことができる。ユーザーが再び視線によるAF枠の移動を行いたいと考えた場合には、タッチパネル70aへのタッチ操作を開始し、視線によるAF枠の移動を行いたい間はタッチ操作を継続すればよい。これにより、ユーザーはタッチ操作の有無によって、AF枠である選択位置を視線入力によって移動を行うか否かの切替を、煩わしく感じることなく行うことができる。また、タッチダウン、タッチアップという一連のタッチ操作によって切り替えることができるため、ユーザーが視線によるAF枠の移動を制限した状態に切り替えた後に、元の一時的な制限状態に戻すことを忘れてしまうことによる不都合も防止することができる。
From the control flow of FIG. 5 and FIGS. 6(a) to (h), if there is gaze input (gazing) by the user while the touch operation on the
なお、上述した第2の実施形態では、ファインダーをのぞくユーザーの視線を検出し、タッチパネルへのタッチ操作によって視線入力による選択位置の切替を行う例を説明したが、これに限るものではない。例えば、第2の実施形態でのタッチ操作に代えて、SETボタン75の押下でも本実施形態を適用することができる。具体的には、SETボタン75の押下(S501の処理)継続中に視線入力があると、視線(注視)によるAF枠がEVF29上に表示(S504の処理)される。SETボタン75の押下が終了(S505の処理)すると、視線によるAF枠の移動を一時的に禁止・制限(S506の処理)する。第2の実施形態では、タッチパネル70aやSETボタン75などの、シャッターボタン61とは異なる操作部材を用いて、視線によるAF枠の移動を行うか否かの制御を行う。これにより、例えば、ユーザーが第1シャッタースイッチ62や第2シャッタースイッチ64のオン状態を保持したままでも、上記タッチパネル70aなどの操作部材を操作することで視線によるAF枠の移動を行うか否かの切替を行うことができる。つまり、ユーザーは直感的に視線入力の切替を行うことができ、より素早く撮影を行うことができる。
In the above-described second embodiment, the line of sight of the user looking through the viewfinder is detected, and the selection position is switched by inputting the line of sight through a touch operation on the touch panel. However, the present invention is not limited to this. For example, the present embodiment can be applied by pressing the
上述した第1の実施形態、第2の実施形態いずれに対しても、タッチパネル70aへの押圧を検知可能なように構成し、タッチパネル70aへの押圧に応じて決定処理を行うようにしてもよい。すなわち、表示部28の操作面(タッチパネル70aの操作面)に対する押圧力を検知する、タッチ操作の強度を検出するための圧力センサー(不図示)を備える構成としてもよい。圧力センサーは、表示部28に対するタッチ操作によって押圧された場合の押圧力の強度を連続的に検知することができる。圧力センサーとしては、表示部28の操作面に対する押圧力によって歪む部分に、1つまたは複数の歪みゲージセンサーを設置し、この歪みゲージセンサーからの出力値によってタッチパネル70aの操作面に対する押圧力を検知する構成とすることができる。あるいは、タッチパネル70aと平行に備えられた静電容量センサーにより、表示部28の操作面に対する押圧力によって操作面が歪んだことによる、操作面上の指と静電容量センサーとの距離を静電容量値から算出する。そして、この距離に基づいて圧力を算出、あるいは距離を圧力と同等に扱うものとしてもよい。また、圧力センサーは、タッチパネル70aの操作面に対する押圧力を検知可能なものであれば、他の方式のものでも良い。例えば、スタイラスを用いて操作面に対する操作を行うのであれば、スタイラス側に設けられたスタイラスの先端部にかかる圧力を検知するセンサーでもよく、そのセンサーからの出力に基づいてタッチ操作の強度(押圧力)を検知してもよい。また、操作面へのタッチの力またはタッチの圧力の代替物(例えば上述の操作面上の指と静電容量センサとの距離)を検知するものでもよい。また、様々な方法、及び様々なセンサー、または複数のセンサーの組合せ(例えば加重平均によって)を使用してタッチ操作の強度(圧力)を検知しても良い。圧力センサーは、タッチパネル70aと一体に構成されるものであっても良い。以下、表示部28の操作面に対する押圧操作をタッチプッシュと称する。
Both the first embodiment and the second embodiment described above may be configured so as to be able to detect pressing on the
具体的には、この圧力センサーを備えたタッチパネル70aを搭載したデジタルカメラ100であれば、第1の実施形態における図3のS304のタッチダウン後にタッチプッシュを行うことで、図3のS305の視線によるAF枠の移動を禁止してもよい。すなわち、タッチオンのみでは視線によるAF枠の移動を禁止することなく、タッチプッシュが行われた時点でのAF枠位置を適用することで、ユーザーがより正確に視線によるAF枠位置を決定することができる。第2の実施形態における図5のS501のタッチダウン後にタッチプッシュを行うことで、図5のS504の視線位置へAF枠を表示するようにしてもよい。すなわち、タッチオン中に視線入力を検知していたとしてもAF枠を表示せず、タッチプッシュに応じて視線位置へAF枠を表示するため、視線に応じてAF枠が表示され続けることがなく、ユーザーが煩わしく感じることを低減することができる。
Specifically, in the case of the
このように第1の実施形態、第2の実施形態いずれでも、視線入力によるAF枠の表示を、タッチ操作により制御する。これにより、ユーザーはタッチ操作の有無によって、AF枠である選択位置を視線入力によって移動するか否かの切替を、煩わしく感じることなく行うことができる。また、タッチダウン、タッチアップという一連のタッチ操作によって切り替えることができるため、ユーザーが切り替えたあとに元に戻すことを忘れてしまうことによる不都合を低減することができる。つまり、現在どちらの状態(視線可か、視線不可か)であるか、ユーザーがわからなくなってしまうということを防止することができる。 As described above, in both the first embodiment and the second embodiment, the display of the AF frame based on line-of-sight input is controlled by the touch operation. Accordingly, the user can switch whether or not to move the selected position, which is the AF frame, by inputting the line of sight, depending on whether or not there is a touch operation, without feeling troublesome. In addition, since switching can be performed by a series of touch operations such as touch-down and touch-up, it is possible to reduce the inconvenience caused by the user forgetting to switch back after switching. In other words, it is possible to prevent the user from not knowing which state (line-of-sight enabled or line-of-sight disabled) the user is currently in.
なお、上述した第1の実施形態、第2の実施形態では、EVF29を有したデジタルカメラ100の例を説明したが、これに限るものではない。EVF29を用いない場合にも適用可能である。図8はタッチパッドを備えたノートパソコンのモニターに表示されたマウスポインタを視線入力によって移動する例である。図8において、本実施形態で述べたタッチパネル70aに対応するものとして、タッチパッド805を示す。ノートパソコンでの視線検出ブロック160として、独立した視線検出機器810をノートパソコンに接続し、視線検出機器810に搭載されているカメラ811や、ノートパソコンに内蔵されている内蔵カメラ812を用いて視線位置を判定する。ノートパソコンにおいても本実施形態と同様に、タッチパッド805へのタッチ操作の有無によって、視線によるAF枠の移動を行うか否かの切替を行う。第1の実施形態をノートパソコンに適用する場合には、タッチパッド805へのタッチオン継続中は視線によるAF枠の移動を制限し、タッチパッド805へのタッチ操作がなければ視線によるAF枠の移動を行えるようにする。第2の実施形態を適用する場合には、タッチパッド805へのタッチ操作がない間は視線によるAF枠の移動を制限し、タッチオン継続中は視線によるAF枠の移動を行えるようにする。
In addition, in the first embodiment and the second embodiment described above, the example of the
また、タッチパッド805にはクリック操作のように、タッチパッド805を押し込み可能なものもある。このように、押し込み可能なタッチパッド805の場合は、前述のSETボタン75のように押し込み中は視線を非制限/制限状態とするようにしてもよい。前述のタッチプッシュのように、タッチオン中は視線を検出していてもAF枠を表示せず、押し込みがあった時点でのAF枠位置を適用するようにしてもよい。
In addition, some
図8において、他の実施形態としてノートパソコンをあげたが、マウスやポインティングデバイス等のタップ操作や押し込み可能な操作部材を備えているものであれば、本実施形態は実施可能である。マウスの場合は、クリック操作の継続中は視線を非制限/制限状態とする。ポインティングデバイスにタッチ操作可能な操作部材が搭載されている場合は、タッチ操作の継続中は視線を非制限/制限状態とし、押し込み可能な操作部材の場合は前述したSETボタン75のように、押し込み中は視線を非制限/制限状態とする。なお、これらタッチパッドやマウス、ポインティングデバイス等はノートパソコン内蔵のものである必要はなく、外付けのものでもよい。 In FIG. 8, a notebook computer is used as another embodiment, but this embodiment can be implemented on any computer that has an operation member that can be tapped or pushed, such as a mouse or pointing device. In the case of a mouse, the line of sight is unrestricted/restricted while the click operation continues. If the pointing device is equipped with an operation member that can be touch-operated, the line of sight is set to the unrestricted/restricted state while the touch operation is continued. In the middle, the line of sight is in an unrestricted/restricted state. Note that the touch pad, mouse, pointing device, etc. need not be built in the notebook computer, and may be externally attached.
以上のように、操作部材への操作がないときに視線入力があった場合は、操作部材への操作がされない間は視線入力による表示位置の移動がされ、操作部材への操作の継続中は視線入力による表示位置の移動を一時的に制限する。操作部材への操作の終了により視線入力による表示位置の移動を許可し、移動ができるようにする。また、操作部材への操作がされているときに視線入力があった場合は、タッチ操作がされている間(タッチ操作の継続中)は視線入力による表示位置の移動がされ、タッチ操作がない間は視線入力による表示位置の移動を一時的に制限する。タッチ操作が再度行われた場合は、視線入力による表示位置の移動を許可し、移動ができるようにする。これにより、タッチ操作の有無により、視線入力による表示位置の移動を行うか否かの切替をより素早く行うことができる。 As described above, if there is line-of-sight input when there is no operation on the operation member, the display position is moved by the line-of-sight input while the operation member is not operated, and while the operation on the operation member continues Temporarily restrict movement of the display position by gaze input. When the operation to the operation member is completed, the movement of the display position by the line-of-sight input is permitted, and the movement is made possible. Also, if there is a line of sight input while an operation member is being operated, the display position is moved by the line of sight input while the touch operation is being performed (while the touch operation is continuing), and there is no touch operation. Temporarily restricts movement of the display position due to line-of-sight input. When the touch operation is performed again, the movement of the display position by the line-of-sight input is permitted so that the movement can be performed. As a result, it is possible to more quickly switch whether or not to move the display position based on the line-of-sight input, depending on the presence or absence of the touch operation.
なお、システム制御部50が行うものとして説明した上述の各種制御は、1つのハードウエアが行ってもよいし、複数のハードウエア(例えば複数のプロセッサーや回路)が処理を分担することで装置全体の制御を行ってもよい。
The various controls described above that are performed by the
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。視線入力と組み合わせて使う位置移動の指示部材としてタッチパネル70aの例を説明したが、ボタンやダイヤルなどこれ以外の操作手段としてもよい。表示位置をAF枠としたが、アイコン枠やパラメーター設定枠などとしてもよいし、マウスポインタなどのAF枠とは異なるインジケーター表示としてもよい。注視の判定基準について、視線検出ブロック160への視線入力が開始したあとの蓄積時間としたが、この蓄積時間についてあらかじめ設定した時間でもよい。表示されているAF枠と視線位置との位置関係に応じて変化するようにしてもよいし、ユーザーが任意に設定できるようにしてもよい。また、ユーザーの意図した視線位置の判断基準として本実施例では注視を取り上げたが、注視による判断基準ではなく視線入力設定(図7の設定項目703の視線入力)の有効/無効のみで判断してもよい。
Moreover, although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms within the scope of the gist of the present invention can be applied to the present invention. included. Although an example of the
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず視線入力を受け付け可能な受付手段を有した電子機器であれば適用可能である。また、各実施形態を適宜組み合わせることも可能である。本実施形態ではEVF29と視線検出を使用する構成としたが、EVF29以外の表示装置と視線検出を使用する構成でも本実施形態は実施可能である。すなわち、本発明はパーソナルコンピューターやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤーなどに適用可能である。また、ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイ等のウェアラブル機器などに適用可能である。
Further, in the above-described embodiment, the case where the present invention is applied to a digital camera has been described as an example, but this is not limited to this example, and any electronic device having a receiving means capable of receiving line-of-sight input can be used. Applicable. Moreover, it is also possible to combine each embodiment suitably. In this embodiment, the
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピューター(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads and executes the program code. It is a process to In this case, the program and the storage medium storing the program constitute the present invention.
Claims (18)
前記撮像部により撮像して得られたライブ画像において、被写体を追尾する追尾手段と、
ユーザー操作を受け付ける特定の操作手段と、
前記視線検出手段により検出した視線位置または前記特定の操作手段への操作に応じて、前記ライブ画像における選択位置を移動するように制御する制御手段と、
を有し、
前記制御手段は、
前記特定の操作手段への操作が行われていない場合は、前記視線検出手段により検出した視線位置に基づいて前記選択位置を移動するように制御し、
前記特定の操作手段への操作が継続されている間は、
前記操作が移動操作のときは、当該移動操作の移動に応じて前記選択位置を移動するように制御し、
前記操作が移動操作を含まない非移動操作のときは、当該非移動操作に応じて決定した追尾対象の被写体を前記追尾手段により追尾し、前記追尾手段により追尾した前記追尾対象の被写体の位置に前記選択位置を移動するように制御する、
ことを特徴とする電子機器。 line-of-sight detection means for detecting the line-of-sight position of the user with respect to the display section on which the live image obtained by imaging by the imaging section is displayed ;
a tracking means for tracking a subject in a live image obtained by imaging by the imaging unit;
a specific operating means for accepting user operations;
control means for controlling to move a selected position in the live image in accordance with the line-of-sight position detected by the line-of-sight detection means or the operation of the specific operation means;
has
The control means is
controlling to move the selected position based on the line-of-sight position detected by the line-of-sight detection means when the specific operation means is not operated ;
While the operation to the specific operation means is continued,
when the operation is a move operation, controlling to move the selected position according to the movement of the move operation;
When the operation is a non-moving operation that does not include a moving operation, the tracking means tracks the tracking target subject determined according to the non-moving operation, and the position of the tracking target subject tracked by the tracking means is moved to the position of the tracking target subject. controlling to move the selected position;
An electronic device characterized by:
前記操作面に対するタッチ操作が前記タッチ操作手段により検出されたことに応じて、前記追尾対象の被写体を決定し、前記追尾手段により追尾した前記追尾対象の被写体の位置に前記選択位置を移動するように制御し、determining the subject to be tracked in response to detection of a touch operation on the operation surface by the touch operation means, and moving the selected position to the position of the subject to be tracked tracked by the tracking means; control to
前記タッチ操作を検出した後、当該タッチ操作によるタッチが前記操作面から離れることなく、タッチ位置を移動する前記移動操作が前記タッチ操作手段により検出されたことに応じて、当該移動操作の移動に応じて前記選択位置を移動するように制御する、After the touch operation is detected, in response to the movement operation of moving the touch position without leaving the touch operation surface from the touch operation, the movement of the movement operation is detected by the touch operation means. control to move the selected position according to
ことを特徴とする請求項6に記載の電子機器。7. The electronic device according to claim 6, characterized by:
前記特定の操作手段は、前記第1の操作手段とは異なる操作手段であることを特徴とすることを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。 further comprising a first operation means for instructing recording of an image obtained by imaging by the imaging unit ;
8. The electronic device according to any one of claims 1 to 7 , wherein the specific operation means is an operation means different from the first operation means.
前記特定の操作手段への操作が行われていない場合に、前記選択位置を視線位置に基づいて移動する際に、
前記選択位置を所定の周期で前記視線検出手段により検出した視線位置に追従して移動するように制御することを特徴とする請求項1乃至8のいずれか1項に記載の電子機器。 The control means is
When moving the selected position based on the line-of-sight position when the specific operation means is not operated ,
9. The electronic device according to any one of claims 1 to 8 , wherein the selected position is controlled to move following the line-of-sight position detected by the line-of-sight detection means at a predetermined cycle.
前記特定の操作手段へのタッチ操作が終了したことに応じて、前記撮像部により撮像して得られた画像を記録する撮影処理を行うように制御することを特徴とする請求項6または7に記載の電子機器。 The control means is
8. The apparatus according to claim 6, wherein, in response to completion of the touch operation on the specific operation means, control is performed to perform photographing processing for recording an image obtained by photographing by the imaging unit. Electronics as described.
ファインダーと、
前記表示部であるファインダー内表示部を更に有することを特徴とする請求項1乃至12のいずれか1項に記載の電子機器。 The electronic device
a finder;
13. The electronic apparatus according to claim 1, further comprising an in-finder display section as the display section .
前記視線検出ステップで検出した視線位置または特定の操作手段への操作に応じて、前記ライブ画像における選択位置を移動するように制御する制御ステップと、
を有し、
前記制御ステップでは、
前記特定の操作手段への操作が行われていない場合は、前記視線検出ステップで検出した視線位置に基づいて、前記選択位置を移動するように制御し、
前記特定の操作手段への操作が継続されている間は、
前記操作が移動操作のときは、当該移動操作の移動に応じて前記選択位置を移動するように制御し、
前記操作が移動操作を含まない非移動操作のときは、当該非移動操作に応じて決定した追尾対象の被写体を追尾し、当該追尾した追尾対象の被写体の位置に前記選択位置を移動するように制御する、
ことを特徴とする電子機器の制御方法。 a line-of-sight detection step of detecting the line-of-sight position of the user on the display unit displaying the live image obtained by imaging by the imaging unit ;
a control step of controlling to move a selected position in the live image according to the line-of-sight position detected in the line-of-sight detection step or an operation to a specific operation means;
has
In the control step,
controlling to move the selected position based on the line-of-sight position detected in the line-of-sight detection step when the specific operation means is not operated ;
While the operation to the specific operation means is continued,
when the operation is a move operation, controlling to move the selected position according to the movement of the move operation;
When the operation is a non-moving operation that does not include a moving operation, the tracking target subject determined according to the non-moving operation is tracked, and the selected position is moved to the position of the tracked tracking target subject. Control,
A control method for an electronic device, characterized by:
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019112316A JP7301615B2 (en) | 2019-06-17 | 2019-06-17 | Electronic equipment and its control method |
US16/900,693 US11108945B2 (en) | 2019-06-17 | 2020-06-12 | Electronic apparatus, method for controlling the electronic apparatus, and storage medium |
CN202010551188.4A CN112104809B (en) | 2019-06-17 | 2020-06-17 | Electronic device, control method of electronic device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019112316A JP7301615B2 (en) | 2019-06-17 | 2019-06-17 | Electronic equipment and its control method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020204915A JP2020204915A (en) | 2020-12-24 |
JP2020204915A5 JP2020204915A5 (en) | 2022-06-13 |
JP7301615B2 true JP7301615B2 (en) | 2023-07-03 |
Family
ID=73745310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019112316A Active JP7301615B2 (en) | 2019-06-17 | 2019-06-17 | Electronic equipment and its control method |
Country Status (3)
Country | Link |
---|---|
US (1) | US11108945B2 (en) |
JP (1) | JP7301615B2 (en) |
CN (1) | CN112104809B (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7301615B2 (en) * | 2019-06-17 | 2023-07-03 | キヤノン株式会社 | Electronic equipment and its control method |
JP7253988B2 (en) * | 2019-07-03 | 2023-04-07 | キヤノン株式会社 | DISPLAY CONTROL DEVICE AND CONTROL METHOD THEREOF, DISPLAY CONTROL SYSTEM AND PROGRAM |
JP7277306B2 (en) * | 2019-07-31 | 2023-05-18 | キヤノン株式会社 | ELECTRONIC DEVICE, CONTROL METHOD FOR ELECTRONIC DEVICE, PROGRAM, STORAGE MEDIUM |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010218405A (en) | 2009-03-18 | 2010-09-30 | Brother Ind Ltd | Head-mounted display |
JP2015087921A (en) | 2013-10-30 | 2015-05-07 | セイコーエプソン株式会社 | Head-mounted display device and method for controlling head-mounted display device |
JP2018036426A (en) | 2016-08-30 | 2018-03-08 | キヤノン株式会社 | Imaging apparatus, method for controlling the same, imaging control device, program, and storage medium |
JP2018142230A (en) | 2017-02-28 | 2018-09-13 | キヤノンマーケティングジャパン株式会社 | Information processor, information processing system, information processing method, and program |
WO2019067901A2 (en) | 2017-09-29 | 2019-04-04 | Apple Inc. | Gaze-based user interactions |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0846833A (en) * | 1994-07-29 | 1996-02-16 | Canon Inc | Camera with line of sight detecting function |
JPH08184746A (en) * | 1994-12-27 | 1996-07-16 | Nikon Corp | Camera provided with line-of-sight detecting function |
JPH09167049A (en) * | 1995-12-15 | 1997-06-24 | Nissan Motor Co Ltd | Line of sight input device for console |
JPH10191132A (en) * | 1996-12-26 | 1998-07-21 | Canon Inc | Image recording method, device therefor and storage medium |
JP2001100903A (en) | 1999-09-28 | 2001-04-13 | Sanyo Electric Co Ltd | Device with line of sight detecting function |
US9596401B2 (en) * | 2006-10-02 | 2017-03-14 | Sony Corporation | Focusing an image based on a direction of a face of a user |
CN103246044B (en) * | 2012-02-09 | 2017-03-22 | 联想(北京)有限公司 | Automatic focusing method, automatic focusing system, and camera and camcorder provided with automatic focusing system |
JP6257199B2 (en) | 2013-07-22 | 2018-01-10 | キヤノン株式会社 | Optical apparatus, control method therefor, and control program |
CN103516985A (en) * | 2013-09-18 | 2014-01-15 | 上海鼎为软件技术有限公司 | Mobile terminal and image acquisition method thereof |
CN106303193A (en) * | 2015-05-25 | 2017-01-04 | 展讯通信(天津)有限公司 | Image capturing method and device |
JP6397454B2 (en) | 2016-08-31 | 2018-09-26 | キヤノン株式会社 | IMAGING CONTROL DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
JP6991746B2 (en) * | 2017-06-09 | 2022-01-13 | キヤノン株式会社 | Imaging device |
JP7341729B2 (en) * | 2019-05-29 | 2023-09-11 | キヤノン株式会社 | Electronic devices, control methods for electronic devices, programs, storage media |
JP7321786B2 (en) * | 2019-06-17 | 2023-08-07 | キヤノン株式会社 | Electronic equipment and its control method |
JP7301615B2 (en) * | 2019-06-17 | 2023-07-03 | キヤノン株式会社 | Electronic equipment and its control method |
JP7346135B2 (en) * | 2019-07-30 | 2023-09-19 | キヤノン株式会社 | Electronic devices, control methods for electronic devices, programs and storage media |
-
2019
- 2019-06-17 JP JP2019112316A patent/JP7301615B2/en active Active
-
2020
- 2020-06-12 US US16/900,693 patent/US11108945B2/en active Active
- 2020-06-17 CN CN202010551188.4A patent/CN112104809B/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010218405A (en) | 2009-03-18 | 2010-09-30 | Brother Ind Ltd | Head-mounted display |
JP2015087921A (en) | 2013-10-30 | 2015-05-07 | セイコーエプソン株式会社 | Head-mounted display device and method for controlling head-mounted display device |
JP2018036426A (en) | 2016-08-30 | 2018-03-08 | キヤノン株式会社 | Imaging apparatus, method for controlling the same, imaging control device, program, and storage medium |
JP2018142230A (en) | 2017-02-28 | 2018-09-13 | キヤノンマーケティングジャパン株式会社 | Information processor, information processing system, information processing method, and program |
WO2019067901A2 (en) | 2017-09-29 | 2019-04-04 | Apple Inc. | Gaze-based user interactions |
Also Published As
Publication number | Publication date |
---|---|
US20200396373A1 (en) | 2020-12-17 |
CN112104809B (en) | 2023-04-21 |
US11108945B2 (en) | 2021-08-31 |
JP2020204915A (en) | 2020-12-24 |
CN112104809A (en) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7321786B2 (en) | Electronic equipment and its control method | |
JP7208128B2 (en) | Imaging device and its control method | |
JP7301615B2 (en) | Electronic equipment and its control method | |
WO2020255675A1 (en) | Electronic device and control method therefor | |
US11240419B2 (en) | Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium | |
JP7442331B2 (en) | Voice input device and its control method and program | |
EP3876517A1 (en) | Electronic device, control method, program, and computer readable medium | |
JP7346375B2 (en) | Electronic equipment, its control method, program, and recording medium | |
JP7423248B2 (en) | Electronic devices, control methods for electronic devices, programs and storage media | |
JP2022018244A (en) | Electronic apparatus and method for controlling the same | |
US11442244B2 (en) | Imaging device | |
JP7336266B2 (en) | ELECTRONIC DEVICE, CONTROL METHOD FOR ELECTRONIC DEVICE, PROGRAM, STORAGE MEDIUM | |
JP2021140589A (en) | Electronic device, control method for electronic device, program, and storage medium | |
JP7450408B2 (en) | Electronic devices, their control methods, programs and storage media | |
JP7451255B2 (en) | Electronic equipment and its control method | |
JP7286469B2 (en) | IMAGING CONTROL DEVICE, CONTROL METHOD OF IMAGING CONTROL DEVICE, PROGRAM, STORAGE MEDIUM | |
WO2024095888A1 (en) | Imaging device, control method, and program | |
JP2022067578A (en) | Imaging apparatus and method for controlling the same and program and recording medium | |
JP2022172840A (en) | Electronic apparatus, method for controlling electronic apparatus, program, and storage medium | |
JP2022096462A (en) | Electronic apparatus, method for controlling the same, program, and recording medium | |
JP2021018634A (en) | Electronic equipment and method of controlling the same | |
JP2022095306A (en) | Display control device and method for controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220601 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230621 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7301615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |