WO2022196476A1 - 電子機器、電子機器の制御方法及び電子機器の制御プログラム - Google Patents

電子機器、電子機器の制御方法及び電子機器の制御プログラム Download PDF

Info

Publication number
WO2022196476A1
WO2022196476A1 PCT/JP2022/010195 JP2022010195W WO2022196476A1 WO 2022196476 A1 WO2022196476 A1 WO 2022196476A1 JP 2022010195 W JP2022010195 W JP 2022010195W WO 2022196476 A1 WO2022196476 A1 WO 2022196476A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
point
area
detection
display
Prior art date
Application number
PCT/JP2022/010195
Other languages
English (en)
French (fr)
Inventor
智貴 大槻
琢 古林
孝樹 北條
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2022196476A1 publication Critical patent/WO2022196476A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Definitions

  • the present invention relates to an electronic device, an electronic device control method, and an electronic device control program, and more particularly to a technique for operating an electronic device by moving the gaze point.
  • Patent Document 1 describes a method of operating an electronic device by eye movement. The method described in Patent Document 1 is configured to execute a specific command in combination with an eyeball movement pattern and the time required to complete the eyeball movement pattern.
  • An embodiment according to the technology of the present disclosure provides an electronic device that can accurately detect input of a gaze point pattern for the purpose of operation, a control method for the electronic device, and a control program for the electronic device.
  • a gazing point detection unit that detects a gazing point with respect to a display unit, a storage unit that stores a gazing point pattern, and a processor. and a process of retrieving a pattern that matches the detected pattern from the storage unit. , and terminates the pattern detection with a position where the gaze point remains for a second time or more as an end point.
  • a plurality of frames are set in the display area of the display unit, and in the process of detecting the pattern of the gaze point, the processor detects the pattern of the gaze point according to the order in which the gaze point enters the frame.
  • the electronic device of (3) The electronic device of (3).
  • a first area and a second area are set in the display area of the display unit, a plurality of frames are set in the second area, and the processor further performs processing for displaying an image in the first area. , (4).
  • the processor performs processing for receiving an instruction to switch the display mode of the display section, and processing for switching the display mode of the display section from the first display mode to the second display mode when the display mode switching instruction is given. , further performing , and in the second display mode, the first area and the second area are set in the display area of the display unit.
  • the display area of the display unit is set within the detectable range of the point of gaze by the point-of-regard detection unit, and the fourth area is an area outside the display area of the display unit or the fourth area within the display area of the display unit.
  • the processor performs processing for displaying a frame on the display unit, processing for changing the color and/or brightness of the frame that is the starting point of the pattern when pattern detection is started, and 2.
  • the electronic device according to any one of (4) to (11), further performing a process of changing the color and/or brightness of the frame that is the end point of the pattern.
  • the processor further performs a process of continuously or stepwise changing the color and/or brightness of the frame in which the point of gaze stays according to the dwell time of the point of gaze, any one of (4) to (12). or one electronic device.
  • the processor ends the process of detecting a pattern when a period of time equal to or longer than a fifth time elapses between when the point of interest exits the frame and enters the next frame. , (14).
  • the frame is set at the center of each area obtained by dividing a rectangular area by a ⁇ b, where a and b are integers of 2 or more, any one electron of (4) to (15) machine.
  • the processor further performs a process of accepting an instruction to change the size of the frame, and a process of changing the size of the frame in accordance with the instruction to change the size of the frame. Electronics.
  • the processor further performs a process of receiving an instruction to display or hide the frame on the display unit, and a process of displaying or hiding the frame on the display unit in accordance with the instruction to display or hide the frame.
  • the electronic device according to any one of (4) to (17).
  • the processor changes the luminance of the display unit to the first luminance when the pattern detection is started, and changes the luminance of the display unit to the second luminance when the pattern detection is finished. and further performing any one of (1) to (19).
  • the processor further performs a process of accepting an instruction to execute or cancel the command before the process of executing the command, and performs a process of executing the command when command execution is instructed; (3) electronics.
  • the processor performs processing for accepting instructions to execute and cancel commands based on the detection result of the point-of-regard detection unit, and executes the command when the point-of-regard remains in the fifth area for the sixth time period or longer.
  • the electronic device according to (21) which cancels the execution of the command when the gaze point remains in the sixth area for the seventh time or more.
  • the processor when a pattern matching the detected pattern is retrieved from the storage unit, further performs a process of displaying information on the command associated with the retrieved pattern on the display unit, (2) or ( 3) Electronic equipment.
  • a seventh area and an eighth area are set in the display area of the display unit, a plurality of frames are set in the seventh area, and the processor selects at least one pattern from among the patterns stored in the storage unit.
  • the electronic device according to (4) further performing a process of extracting one pattern and displaying the information of the extracted pattern and the command associated with the pattern in an eighth area.
  • the processor extracts at least one pattern in which the number of movements of the gaze point between the frames is equal to or less than a threshold, and displays the information of the extracted pattern and the command associated with the pattern in the eighth area, (24) or (25) electronic device.
  • the processor further performs a process of recording the history of the input pattern, extracts at least one pattern from the storage unit based on the recorded history, and stores the extracted pattern and the command associated with the pattern.
  • the electronic device of (24) or (25) displaying information in the eighth area.
  • the processor narrows down the patterns to be searched according to the order in which the gaze point enters the frame, and extracts at least one pattern from the narrowed down patterns. and displaying the information of the extracted pattern and the command associated with the pattern in the eighth area.
  • the storage unit stores an operation of the operation unit and information of a plurality of commands selectable corresponding to the operation in association with each other, and the processor selectable according to the operation (24) or (25), wherein information of a plurality of commands and patterns associated with the commands are displayed in the eighth area.
  • the storage unit stores a polygonal pattern with matching start and end points, and the processor performs processing for displaying an image on the display unit, and if a polygonal pattern is found, a polygonal pattern
  • the electronic device according to (1) further performing a process of enlarging and displaying an image within the area surrounded by on the display unit.
  • the processor further performs a process of detecting a movement vector of the point of gaze based on the detection result of the point-of-regard detection unit, and a process of moving the area to be enlarged and displayed based on the detected movement vector;
  • the electronic device wherein, in the process of detecting a movement vector, the movement vector is detected starting from a position where the gaze point remains for eighth or more hours.
  • FIG. 1 is a front perspective view showing an example of a digital camera to which the present invention is applied;
  • FIG. FIG. 1 is a rear perspective view showing an example of a digital camera to which the present invention is applied;
  • Block diagram showing the electrical configuration of a digital camera A diagram showing a schematic configuration of an EVF Block diagram of the main functions realized by the processor of the camera microcomputer regarding the command execution processing based on the movement of the gaze point
  • Conceptual diagram of pattern detection Diagram showing an example of pattern input Conceptual diagram of pattern storage table
  • Flowchart showing a processing procedure for command execution based on gaze point movement Diagram showing an example of an error display
  • a diagram showing an example of changes in the display of the detection frame
  • a diagram showing another example of a change in display of the detection frame Diagram showing an example of guide display Conceptual diagram of switching on and off of the operation function by sight line Diagram showing an example of changing the size of the detection frame Conceptual diagram of switching luminance according to pattern detection Diagram showing an example of command information display Conceptual diagram when command execution and cancellation are given by line of sight Block diagram of the main functions realized by the processor of the camera microcomputer for user switching Conceptual diagram of pattern storage table Flowchart showing the procedure for switching users Diagram showing an example of user information display Conceptual diagram when switching between the line-of-sight AF function and the line-of-sight operation function is performed by the line of sight.
  • FIG. 11 is a diagram showing an example of display on the EVF display when an operation for selecting a dynamic range is performed;
  • Conceptual diagram when selection operation on the menu screen is performed by sight
  • Conceptual diagram when scrolling the screen using the line of sight Conceptual diagram of pattern registration operation
  • Diagram showing another example of pattern registration operation
  • a digital camera is an example of an electronic device.
  • the digital camera 1 shown in FIGS. 1 and 2 is a so-called mirrorless camera.
  • a mirrorless camera is an interchangeable lens digital camera in which the image is viewed through an electric viewfinder (EVF) or rear monitor instead of the optical viewfinder of a single-lens reflex camera.
  • EMF electric viewfinder
  • rear monitor instead of the optical viewfinder of a single-lens reflex camera.
  • the digital camera 1 has a camera body 100 and an interchangeable lens 10.
  • the interchangeable lens 10 is detachably attached to the camera body 100 via the mount 101 .
  • the interchangeable lens 10 attached to the camera body 100 is electrically connected via contacts provided on the mount.
  • the camera body 100 is provided with members for various operations such as a power lever 111, a shutter button 112, a shutter speed dial 113, a sensitivity dial 114, a command dial 115, and the like.
  • the camera body 100 is provided with a rear monitor 120, an EVF 130, and the like.
  • the rear monitor 120 is composed of a so-called touch panel, and is also used for operation.
  • FIG. 3 is a block diagram showing the electrical configuration of the digital camera.
  • the interchangeable lens 10 has an optical system 20, an optical system drive section 30, a lens operation section 40, a lens microcomputer 50, and the like.
  • the optical system 20 is configured by combining a plurality of lenses. Further, the optical system 20 is provided with an aperture.
  • the diaphragm is composed of, for example, an iris diaphragm.
  • the optical system driving section 30 includes a focus driving section, a diaphragm driving section, and the like.
  • the focus driving section drives a lens group for focus adjustment (focus lens group).
  • the focus driving section includes a motor, its driving circuit, and the like.
  • the aperture driving section drives the aperture.
  • the aperture drive section includes a motor, its drive circuit, and the like.
  • the lens operation unit 40 includes a focus operation unit, an aperture operation unit, and the like.
  • the focus operation unit includes a focus operation member, a sensor that detects an operation on the focus operation member, and the like.
  • the focus operation member is configured by, for example, a focus ring.
  • the aperture operating unit includes an aperture operating member and a sensor or the like that detects an operation on the aperture operating member.
  • the aperture operating member is configured by, for example, an aperture ring.
  • the lens microcomputer 50 is composed of a microcomputer having a processor 50A, a memory 50B, and the like.
  • the processor 50A of the lens microcomputer 50 functions as a control section of the interchangeable lens 10 by executing a predetermined program.
  • the processor 50A is composed of, for example, a CPU (Central Processing Unit).
  • the memory 50B includes RAM (Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), and the like.
  • the memory 50B stores programs executed by the processor 50A and data necessary for control.
  • the camera body 100 includes an imaging device 140, a shutter 150, a shutter drive section 152, a storage section 160, a rear monitor 120, an EVF 130, a camera operation section 170, a camera microcomputer 200, and the like.
  • the imaging device 140 receives light passing through the interchangeable lens 10 and captures an image.
  • the imaging device 140 is an example of an imaging unit.
  • the imaging element 140 is configured by a known image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charged Coupled Device) image sensor, or the like.
  • the imaging element 140 is composed of a CMOS image sensor including a driving section, an ADC (Analog to Digital Converter), a signal processing section, and the like.
  • the imaging element 140 operates by being driven by a built-in driving section. Also, the signal of each pixel is converted into a digital signal by the built-in ADC and output.
  • the signal of each pixel is subjected to correlated double sampling processing, gain processing, correction processing, etc. by the built-in signal processing section.
  • an imaging device having phase difference detection pixels is used.
  • the information of the phase difference of the object can be acquired from the captured image data.
  • the direction of defocus and the amount of defocus (defocus amount) of the subject in the screen can be detected from the acquired phase difference information. Since the imaging element including the phase difference detection pixels, the method of detecting the phase difference using the imaging element, and the like are well-known techniques, detailed description thereof will be omitted.
  • the shutter 150 is, for example, a focal plane shutter.
  • the shutter 150 is driven by a shutter driving section 152 to operate.
  • the shutter driving unit 152 includes a charging motor, a holding electromagnet, a driving circuit for them, and the like.
  • the storage unit 160 mainly stores image data obtained by imaging.
  • the storage unit 160 includes a storage device, its control circuit, and the like.
  • the storage device is, for example, an EEPROM, SSD (Solid State Drive), or the like.
  • the storage device may be provided integrally with the camera body 100 (in the form of a so-called built-in memory), or may be detachable from the camera body 100 (in the form of a so-called memory card).
  • the rear monitor 120 is a relatively large monitor provided on the back of the camera body 100 .
  • the rear monitor 120 includes a display, its driving circuit, and the like.
  • the display is configured by, for example, an LCD (Liquid Crystal Display), an organic EL display (Organic Light Emitting Diode display), or the like.
  • the rear monitor 120 is composed of a touch panel. Therefore, the rear monitor 120 includes a touch sensor.
  • the EVF 130 has a small monitor, and has a structure in which the monitor's display is observed through the viewfinder.
  • the EVF 130 of this embodiment has a function of detecting the gaze point of the user's eyes looking through the viewfinder.
  • a monitor in the finder is an example of the display. Details of the EVF 130 will be described later.
  • the camera operation unit 170 includes various operation members provided in the camera body 100, sensors for detecting operations on the operation members, and the like.
  • the camera microcomputer 200 is composed of a microcomputer equipped with a processor 200A, a memory 200B, and the like.
  • the processor 200A of the camera microcomputer 200 functions as a control section, a signal processing section, etc. of the digital camera 1 by executing a predetermined program (control program).
  • Processor 200A is configured by, for example, a CPU.
  • the memory 200B includes RAM, ROM, EEPROM, and the like.
  • the memory 200B stores programs executed by the processor 200A and data necessary for control.
  • a processor 200A provided in the camera microcomputer 200 is an example of a processor.
  • the memory 200B provided in the camera microcomputer 200 is an example of a storage unit.
  • the control performed by the processor 200A of the camera microcomputer 200 includes control of functions possessed by general digital cameras such as imaging, recording, and playback.
  • imaging control includes AF (Auto Focus) control, AE (Automatic exposure) control, and the like.
  • AF control includes a process of setting a focus area, a process of acquiring information on the phase difference of the set focus area, a process of calculating the drive amount of the focus lens group based on the acquired phase difference information, and the calculated drive amount. includes processing for driving the focus lens group in .
  • Information on the phase difference is acquired based on the signal output from the imaging device 140 .
  • Drive control of the focus lens group is performed via the processor 50A of the lens microcomputer 50.
  • the camera microcomputer 200 and the lens microcomputer 50 are connected so as to be able to communicate with each other when the interchangeable lens 10 is attached to the camera body 100 .
  • AE control includes a process of detecting the brightness of the subject, a process of calculating an appropriate exposure value based on the detected brightness, a process of calculating the shutter speed and aperture value, etc. based on the calculated exposure value, It includes a process of driving the shutter and the aperture based on the calculated shutter speed and aperture value.
  • the imaging control includes live view display processing.
  • the live view display process is a process of displaying an image captured via the imaging device 140 on the rear monitor 120 or the EVF 130 in real time.
  • the signal processing performed by the processor 200A of the camera microcomputer 200 includes processing for generating an image for live view from a signal output from the imaging element 140, processing for generating an image for recording, and processing necessary for various controls. Includes signal processing.
  • the signal processing necessary for various controls includes, for example, processing the signal output from the image sensor 140 to generate phase difference information, and processing the signal output from the image sensor 140 to determine the brightness of the subject. It includes a process of processing a signal output from the imaging element 140 to calculate a white balance correction amount, and the like.
  • the digital camera 1 of the present embodiment has a function of performing various operations with the line of sight when observing the EVF 130 . Specifically, it has a function of performing various operations by moving the gaze point of the eye observing the EVF 130 . Detection of the gaze point is performed via the EVF 130 . First, the configuration of the EVF 130 including the point-of-regard detection unit will be described.
  • FIG. 4 is a diagram showing a schematic configuration of the EVF.
  • the EVF 130 includes an EVF display 131 , an eyepiece lens 132 and a gaze point detection section 133 .
  • the EVF display 131 is a small monitor provided inside the viewfinder.
  • the EVF display 131 is composed of, for example, an LCD, an organic EL display, or the like.
  • the user observes the EVF display 131 through the eyepiece 132 through the viewfinder eyepiece 134 .
  • An eyecup is attached to the viewfinder eyepiece 134 as required.
  • the EVF display 131 is an example of a display section.
  • the display of the EVF display 131 is controlled by the EVF display control section 210.
  • the function of the EVF display control section 210 is implemented by the processor 200A of the camera microcomputer 200.
  • the gaze point detection unit 133 detects the gaze point with respect to the EVF display 131 .
  • the point-of-regard detection unit 133 includes an infrared light irradiation unit 133A, a dichroic mirror 133B, a condenser lens 133C, an imaging device for detecting the point-of-regard 143C, a point-of-regard detection processing unit 211, and the like.
  • the infrared light irradiation unit 133A irradiates the eyes of the user looking into the finder eyepiece unit 134 with infrared light.
  • the infrared light irradiation unit 133A includes an infrared light emitting diode, its driving circuit, and the like.
  • a dichroic mirror 133 B is arranged in the optical path between the EVF display 131 and the eyepiece 132 .
  • the dichroic mirror 133B transmits visible light and reflects infrared light.
  • the condenser lens 133C collects the infrared light reflected by the dichroic mirror 133B.
  • the point-of-regard detection imaging element 143C receives the infrared light condensed by the condensing lens 133C and captures an image of the user's eyes looking through the finder eyepiece 134.
  • FIG. The point-of-regard detection imaging device 143C is composed of a known image sensor such as a CMOS image sensor or a CCD image sensor.
  • the image data of the user's eyes captured by the point-of-regard detection imaging device 143C is captured by the point-of-regard detection processing unit 211 .
  • the point-of-regard detection processing unit 211 detects the point-of-regard based on the captured eye image data. Since this type of point-of-regard detection processing technology is a known technology, the detailed description thereof will be omitted.
  • the function of the gaze point detection processing unit 211 is realized by the processor 200A of the camera microcomputer 200. FIG. That is, the processor 200A of the camera microcomputer 200 functions as the EVF display control section 210 by executing a predetermined program.
  • FIG. 5 is a block diagram of the main functions realized by the processor of the camera microcomputer regarding command execution processing based on movement of the gaze point.
  • the processor 200A of the camera microcomputer 200 functions as a pattern detection processing section 212, a search processing section 213, and the like.
  • the pattern detection processing unit 212 performs processing for detecting the pattern of the point of gaze based on the detection result of the point of gaze detected by the point of gaze detection processing unit 211 .
  • FIG. 6 is a conceptual diagram of pattern detection. This figure shows the inside of the finder observed through the finder eyepiece 134 .
  • a rectangular area A1 indicated by symbol A1 indicates an observable area through the finder eyepiece 134.
  • the area A1 is the maximum range within the EVF 130 that can be visually recognized when looking through the finder eyepiece 134 .
  • the area A1 will be referred to as an internal area A1 as required.
  • a rectangular area A2 indicated by symbol A2 indicates an area in which the gaze point detection unit 133 can detect the gaze point.
  • the area A2 will be referred to as a point-of-regard detectable area A2 as necessary.
  • the gaze point detectable area A2 is an example of a detectable range.
  • a rectangular area A3 indicated by symbol A3 indicates the display area of the EVF display 131.
  • the area A3 will be referred to as an EVF display area A3 as required.
  • a rectangular area A4 indicated by symbol A4 indicates an image display area.
  • the area A4 is an area where a live view is displayed during imaging. It is also an area where an image is displayed when reproducing an image that has already been captured.
  • the area A4 will be referred to as an image display area A4 as required.
  • the image display area A4 is set within the EVF display area A3.
  • the EVF display area A3 is set within the fixation point detectable area A2.
  • the gaze point detectable area A2 is set within the internal area A1.
  • the fixation point detectable area A2 is set with a predetermined margin around the EVF display area A3, and the fixation point can be detected in a wider range than the EVF display area A3. It's becoming That is, it is possible to detect a line of sight outside the EVF display area A3.
  • Pattern detection is performed using a plurality of detection frames W1 to W9 set in the EVF display area A3. Specifically, patterns are detected by detecting the order in which a plurality of detection frames W1 to W9 are gazed at.
  • the detection frames W1 to W9 are examples of frames.
  • nine detection frames W1 to W9 are set.
  • the nine detection frames W1 to W9 are set within the image display area A4 as shown in FIG.
  • the image display area A4 is equally divided into 9 by 3 ⁇ 3, and detection frames W1 to W9 are set in the center of each of the 9 divided areas.
  • the image display area A4 is an example of the third area.
  • each of the detection frames W1 to W9 is a circular frame.
  • the detection frame W1 is changed to the first detection frame W1, the detection frame W2 to the second detection frame W2, the detection frame W3 to the third detection frame W3, the detection frame W4 to the fourth detection frame W4, and the detection frame W5.
  • the detection frame W6 as the sixth detection frame W6, the detection frame W7 as the seventh detection frame W7, the detection frame W8 as the eighth detection frame W8, and the detection frame W9 as the ninth detection frame W9.
  • Frames W1 to W9 are distinguished.
  • the pattern detection processing unit 212 detects the order in which the points of interest enter the detection frames W1 to W9 based on the detection results of the points of interest by the point-of-regard detection processing unit 211, and detects patterns of the points of interest. That is, it detects that the gaze point has entered the detection windows W1 to W9, detects that each detection window W1 to W9 has been gazed at, and detects the order. Therefore, the pattern detection processing unit 212 detects the detection frames W1 to W9 in which the gaze points are entered and the order in which they are entered.
  • the EVF display control unit 210 displays the detection frames W1 to W9 superimposed on the image (live view or playback image) displayed in the image display area A4 (so-called superimposition).
  • pattern detection is started when any of the detection frames W1 to W9 is gazed at for a predetermined time T1 or longer. In other words, pattern detection is started when the gaze point remains in any of the detection windows W1 to W9 for the time T1 or longer. Similarly, when any one of the detection windows W1 to W9 is watched for a predetermined time T2 or longer, the pattern detection ends. In other words, pattern detection ends when the gaze point remains in any of the detection windows W1 to W9 for the time T2 or longer.
  • the time T1 is an example of the first time.
  • Time T2 is an example of a second time.
  • the times T1 and T2 are set to 1 second. Note that the time T1 and the time T2 do not necessarily have to be the same.
  • the time T1 can be 2 seconds and the time T2 can be 1 second.
  • pattern detection ends when the user gazes for a period of time T2 or longer, so it is necessary to move the gaze point of the intermediate detection frame (a detection frame passing between the start point and the end point) with a dwell time of less than the time T2. .
  • FIG. 7 is a diagram showing an example of pattern input.
  • the figure shows an example of inputting a pattern with the first detection window W1 as the starting point, the eighth detection window W8 as the end point, and the fourth detection window W4 and the fifth detection window W5 as intermediate points.
  • the user first gazes at the first detection window W1 for one second or more.
  • the fourth detection window W4 and the fifth detection window W5 are gazed in order, and finally the eighth detection window W8 is gazed at for one second or more.
  • the intermediate fourth detection window W4 and fifth detection window W5 are gazed at for less than one second.
  • the pattern detection processing unit 212 detects that the detection frame has been watched for one second or longer, and starts pattern detection. More specifically, it detects that the point of gaze remains in the detection frame for one second or more, and starts pattern detection. After the start of detection, the focused detection frame is detected in a time of less than 1 second, and the passing detection frame is detected. More specifically, a detection frame is detected in which the fixation time of the gaze point is less than 1 second, and a detection frame that passes through is detected. Also, a detection frame that has been gazed at for one second or more is detected, and a detection frame as an end point is detected. More specifically, the detection frame is detected as the end point by detecting the detection frame in which the fixation time of the gaze point is one second or longer.
  • the first detection window W1 has been watched for one second or longer, and pattern detection is started. More specifically, pattern detection is started with the first detection window W1 as the starting point. After that, it detects that the fourth detection window W4 and the fifth detection window W5 have been gazed in order, and detects intermediate detection frames that pass through. It also detects that the eighth detection window W8 has been watched for one second or longer, and terminates pattern detection. As a result, the observed patterns are detected in the order of the first detection window W1, the fourth detection window W4, the fifth detection window W5, and the eighth detection window W8.
  • pattern detection is started by gazing at any detection frame W1 to W9 for a predetermined time or longer.
  • a limit on the movement time of the gaze point when inputting the pattern.
  • a limit is set on the movement time when moving the gaze point from one detection frame to another. That is, the configuration is such that the gaze point is moved within the predetermined time T5.
  • the point of gaze when moving the point of gaze from the first detection window W1 to the fourth detection window W4, the point of gaze is configured to move within a predetermined time T5.
  • the point of gaze when moving the point of gaze from the fourth detection window W4 to the fifth detection window W5 and when moving the point of gaze from the fifth detection window W5 to the eighth detection window W8, the point of gaze is moved within the time T5. It is configured to be moved. This makes it possible to distinguish between movement of the point of gaze for pattern input and movement of the point of gaze for other purposes, effectively preventing erroneous detection.
  • the time T5 is set to a time shorter than the time T2 for detecting the end point of the pattern. As an example, if time T2 is 1 second, time T5 is 0.5 seconds. Therefore, in this case, in order to input a pattern, it is necessary to move the point of gaze to the next detection frame within 0.5 seconds after leaving the previously stopped detection frame.
  • time T5 is an example of a fifth time.
  • the search processing unit 213 searches the memory 200B for a pattern that matches the gaze point pattern detected by the pattern detection processing unit 212 . Specifically, the corresponding pattern is searched from the pattern storage table 214 stored in the memory 200B.
  • FIG. 8 is a conceptual diagram of the pattern storage table.
  • the gaze point pattern is composed of a pattern passing through two or more detection windows W1 to W9.
  • it is configured with a pattern passing through three or more detection windows W1 to W9.
  • the pattern of the gaze point is formed by a pattern passing through three or more detection windows W1 to W9.
  • the pattern storage table 214 is created in advance and stored in the memory 200B. It is more preferable that the user can arbitrarily add, delete, edit, etc. the patterns registered in the pattern storage table 214 .
  • the registration operation is performed, for example, by preparing a dedicated registration mode. In this mode, for example, first, a command to be assigned is selected, and then a gaze point pattern to be used for operation is input. For example, consider a case where an operation for switching the imaging mode to the auto mode is performed with the line of sight. In this case, first, a command for switching to the auto mode is selected, and then the gaze point pattern used for the operation is input.
  • the gaze point may be input via the EVF 130 in the same manner as the operation, or via the rear monitor 120 configured by a touch panel.
  • the processor 200A of the camera microcomputer 200 executes a command associated with the searched pattern.
  • FIG. 9 is a flow chart showing the processing procedure for command execution based on movement of the gaze point.
  • step S1 it is determined whether or not the detection frame has been watched for the time T1 or longer (step S1). That is, it is determined whether or not the gaze point has remained in any detection frame for the time period T1 or longer.
  • pattern detection is started with the detection frame as the starting point. That is, pattern detection is started with the detection frame that has been watched for the time T1 or longer as a starting point.
  • step S2 it is determined whether or not the gaze point has entered another detection frame within time T5 after leaving the detection frame. If the pattern does not enter another detection frame within time T5, the pattern detection process is terminated. That is, if the line of sight does not enter another detection frame within time T5, it is determined that the movement of the line of sight is not intended to input a pattern, and the pattern detection processing ends.
  • step S3 If another detection frame is entered within time T5, it is next determined whether or not the number of times the detection frame has been gazed at is M times or more (step S3).
  • step S4 it is determined whether or not the detection frame has been gazed at for a period of time T2 or longer. That is, it is determined whether or not pattern input has ended.
  • Whether or not the detection frame has been gazed at for time T2 or longer is determined by whether or not the gaze point has remained within any detection frame for time T2 or longer.
  • the pattern detection ends. That is, the pattern detection ends with the detection frame in which the gaze point remains for the time T2 or longer as the end point.
  • search processing is performed based on the detected pattern (step S5). That is, the pattern stored in the pattern storage table 214 is searched for a pattern that matches the input pattern.
  • step S6 it is determined whether or not there is a matching pattern. If there is a matching pattern, the command associated with the searched pattern is executed (step S7). On the other hand, if there is no matching pattern, error processing is performed (step S8). As an example, an error indication is provided.
  • FIG. 10 is a diagram showing an example of error display.
  • FIG. 4B shows an example of display on the EVF display 131 when an error display is displayed.
  • the characters "ERROR! are displayed in the image display area A4 instead of displaying the detection frame. Thereby, the user can recognize that the input of the pattern has failed from the display of the image display area A4.
  • the error display will continue for a predetermined period of time, and will return to the original display after the predetermined period of time has elapsed. That is, as shown in FIG. 10A, the detection frame is displayed again.
  • various operations can be performed based on the line of sight.
  • a desired operation can be performed while looking through the viewfinder, and operability can be improved.
  • pattern detection is started and ended when the detection frame is watched for a predetermined period of time or more, so erroneous input and erroneous detection can be effectively prevented. That is, it is possible to accurately detect the input of the gaze point pattern for the purpose of operation.
  • FIG. 11 is a diagram showing an example of changes in display of the detection frame. This figure shows changes in the display of the EVF display 131 in chronological order. The display on the EVF display 131 changes in the order of (A), (B), and (C). In addition, in the example shown in the figure, the lines dividing the image display area A4 are not displayed.
  • the black detection frame is the detection frame that was focused.
  • the first detection frame W1, the fourth detection frame W4, and the fifth detection frame W5 are the detection frames that the user gazed at, and the first detection frame W1, the fourth detection frame W4, and the fifth detection frame W5. We are watching in order. Only the outer shape is displayed for the detection frame that the user is not gazing at. That is, only circles are displayed.
  • the focused detection frame selected detection frame
  • the color inside the detection frame is changed, but the color of the frame may be changed.
  • the configuration may be such that the luminance of the frame is changed.
  • it is good also as a structure which blinks a frame.
  • these may be displayed in combination.
  • the display of the detection frame may be configured so that only the detection frame that is the start point and/or the end point is changed. This makes it possible to determine at least the start and/or the end of pattern detection.
  • FIG. 12 is a diagram showing another example of changes in the display of the detection frame. This figure shows changes in the display of the EVF display 131 in chronological order. The display on the EVF display 131 changes in the order of (A), (B), and (C).
  • the movement trajectory L of the gaze point is also displayed.
  • the movement trajectory L of the gazing point not only the gazing detection frame but also the gazing order can be determined.
  • FIG. 13 is a diagram showing another example of changes in the display of the detection frame. This figure shows changes in the display of the EVF display 131 in chronological order. The display on the EVF display 131 changes in the order of (A), (B), and (C).
  • the figure shows an example of changing the display mode of the detection frame according to the gaze time when changing the display of the detection frame that is being watched.
  • the figure shows an example in which the color of the detection frame is changed according to the gaze time.
  • the color of the gazed detection frame changes according to the gaze time.
  • the gazed detection frame is synonymous with the detection frame in which the gaze point remains, and the gaze time is synonymous with the fixation time of the gaze point.
  • the color of the detection frame changes continuously from transparent to white, from white to gray, and from gray to black over time. That is, the density of color changes.
  • the color change will be completed within the specified time.
  • This time preferably matches the time required to detect the start and/or end of pattern detection. That is, it is preferable to match the time T1 for detecting the start point and/or the time T5 for detecting the end point. With this, it can be determined that the start point and/or the end point have been determined when the color is completely switched.
  • FIG. 13 shows an example in which the time (time T1 and time T2) required to detect the start point and end point of pattern detection is 1 second. In this case, the color is completely switched after 1 second.
  • the configuration may be such that the luminance of the detection frame is changed.
  • a configuration may be employed in which both color and brightness are changed.
  • the change in display may be continuous or stepwise.
  • the color or luminance may be changed to a predetermined color or luminance after being changed continuously or stepwise. Alternatively, it may be changed continuously or stepwise and then blinked. This makes it possible to more clearly determine that the predetermined time has passed since the gaze was started.
  • FIG. 14 is a diagram showing an example of guide display.
  • the registered pattern name B1, pattern B2, and command information B3 to be executed are displayed in the EVF display area A3. It should be noted that this figure shows an example of the case of displaying the information of the pattern of the command for turning on the eye AF function.
  • Guide display is performed for all registered patterns. If there are multiple registered patterns, they are displayed in order. In this case, for example, patterns that are sequentially displayed at predetermined time intervals are switched.
  • the switching of the display may be configured to be performed by the line of sight. For example, by moving the gaze point from left to right (or from bottom to top), the information of the next pattern is displayed, and by moving the gaze point from right to left (or from top to bottom), the previous pattern is displayed. It can be configured to display. Further, for example, a configuration may be adopted in which a predetermined icon is displayed, and when the icon is watched for a predetermined period of time, information of the next pattern is displayed.
  • the guide display may be forcibly terminated using the line of sight.
  • a predetermined icon may be displayed, and when the icon is watched for a predetermined time or longer, the guide display may be forcibly terminated.
  • the guide display may be forcibly terminated when an area outside the EVF display area is gazed at for a predetermined time or longer.
  • the area outside the EVF display area is an area outside the EVF display area A3 and an area inside the fixation point detectable area A2 (see FIG. 6).
  • the number of patterns to be displayed as guides can be limited to a predetermined number. In this case, for example, it is possible to adopt a configuration in which a plurality of patterns with the highest frequency of use are extracted and displayed. Alternatively, it is possible to adopt a configuration in which a pattern having a matching starting point is extracted and displayed.
  • a configuration may be adopted in which switching on and off of the operation function by the line of sight is performed by the line of sight.
  • the processor 200A of the camera microcomputer 200 turns on the line-of-sight operation function when a specific area within the viewfinder is gazed at for a predetermined time or longer. After being turned on, if a specific area within the viewfinder is watched for a predetermined time or longer, the line-of-sight operation function is turned off.
  • FIG. 15 is a conceptual diagram in the case of switching on and off of the operation function by the line of sight.
  • FIG. 4B shows an example of display on the EVF display 131 when the line-of-sight operation function is turned on.
  • an icon (line-of-sight operation ON icon) G1 for turning on the line-of-sight operation function is displayed on the EVF display 131 .
  • the line-of-sight operation ON icon G1 is displayed in the line-of-sight operation icon display area A5 set in the EVF display area A3.
  • the line-of-sight operation icon display area A5 is set in a different area from the image display area A4.
  • the line-of-sight operation icon display area A5 is an example of a fourth area.
  • Time T3 is, for example, 2 seconds. Time T3 is an example of a third time.
  • detection frames W1 to W9 are displayed in the image display area A4 as shown in FIG. 15(B), enabling pattern detection.
  • an icon (line-of-sight operation OFF icon) G2 for turning off the line-of-sight operation function is displayed on the EVF display 131 .
  • the line-of-sight operation OFF icon G2 is displayed in the line-of-sight operation icon display area A5.
  • the line-of-sight operation function In a state where the line-of-sight operation function is turned on, if the line-of-sight operation OFF icon G2 is gazed at for a period of time T3 or longer, the line-of-sight operation function is turned off. In other words, when the gaze point remains on the line-of-sight operation OFF icon G2 for the time T3 or longer, the line-of-sight operation function is turned off.
  • the method of turning on and off the line-of-sight operation function is not limited to this.
  • it may be configured to turn on and off the operation function by the line of sight by detecting that the area outside the EVF display area A3 has been gazed at for the time T3 or longer.
  • the area outside the EVF display area A3 is another example of the fourth area.
  • the gaze point may be configured to detect that the gaze point has disappeared for a predetermined period of time T4 or longer, and turn on and off the operation function based on the line of sight.
  • a case where the gaze point is lost is, for example, a case where the user gazes at an area other than the gaze point detectable area A2.
  • the gaze point disappears as well. Therefore, the user can turn on and off the line-of-sight operation function even by closing his/her eyes for the time T4 or longer.
  • Time T4 is, for example, 2 seconds.
  • Time T4 is an example of a fourth time.
  • Detection frame settings In the above-described embodiment, nine detection windows W1 to W9 are used to detect patterns of gaze points, but the number of detection windows to be set is not limited to this. It can be set by increasing or decreasing as appropriate according to the screen size or the like. Also, the number of detection frames to be set may be arbitrarily set and changed by the user.
  • any layout can be adopted for the layout of the detection frame.
  • the rectangular area is set at the center of each area obtained by dividing a ⁇ b (a and b are integers of 2 or more).
  • the layout of the detection frame may be set and changed by the user.
  • Processor 200A of camera microcomputer 200 accepts a size change instruction on the setting screen, and changes the size of the detection frame displayed in EVF display area A3 according to the accepted instruction.
  • the change instruction is made using, for example, an operation member (including a touch panel) provided in the digital camera. Alternatively, it can be done by manipulating the line of sight.
  • FIG. 16 is a diagram showing an example of changing the size of the detection frame.
  • FIG. 4C shows an example when the detection frame is expanded.
  • the size of the detection frame (here, the diameter) can be enlarged or reduced according to the instruction to change the size. As a result, the size can be adjusted to a user-friendly size.
  • Display and non-display of detection frame It is preferable that display and non-display of the detection frame can be arbitrarily switched. In this case, it is more preferable to perform the switching operation with the line of sight.
  • the processor 200A of the camera microcomputer 200 turns off the display of the detection frame when a specific area within the finder is watched for a predetermined time or longer. After being turned off, when a specific area in the finder is watched for a predetermined time or longer, the display of the detection frame is turned on.
  • An example of the specific area is the area outside the EVF display area A3. That is, when the area outside the EVF display area A3 is watched for a predetermined time or longer, the display of the detection frame can be turned off and off.
  • an icon may be displayed in a predetermined area set within the image display area, and when the icon is watched for a predetermined time or longer, the display of the detection frame may be turned off and off (Fig. 15). Further, the display of the detection frame may be turned off and off when the point of gaze disappears for a predetermined time or longer.
  • the luminance of the EVF display 131 may be changed when pattern detection is started. As a result, it can be confirmed within the finder that pattern detection has started. Similarly, the luminance may be changed to that of the EVF display 131 when pattern detection is completed. As a result, it is possible to confirm in the finder that pattern detection has been completed.
  • FIG. 17 is a conceptual diagram when switching the luminance according to pattern detection.
  • FIG. 1(A) shows an example of the display of the EVF display 131 before pattern detection is started.
  • FIG. 4B shows an example of the display on the EVF display 131 immediately after the start of pattern detection.
  • FIG. 4C shows an example of the display on the EVF display 131 immediately after pattern detection.
  • display is performed at a predetermined brightness EV0 before pattern detection is started.
  • the luminance of the EVF display 131 is switched to a predetermined luminance EV1, as shown in FIG.
  • This brightness EV1 is lower than the brightness EV0 before switching. That is, when pattern detection is started, the luminance of the EVF display 131 is lowered and becomes dark.
  • Brightness EV1 is an example of the first brightness.
  • the brightness of the EVF display 131 is returned to the original brightness EV0, as shown in FIG. That is, it returns to the original brightness.
  • the brightness EV0 is an example of the second brightness.
  • the luminance of the entire EVF display 131 is changed, but it is also possible to change only the luminance of the area where the detection frame is displayed (for example, the image display area A4). In this case, it is also possible to change only the luminance excluding the detection frame. That is, it is also possible to adopt a configuration in which only the brightness of the image is changed (lowered). This makes it easier to visually recognize the detection frame.
  • a sound may be output to notify the user when the pattern detection is started and/or when the pattern detection is finished. It can be clearly recognized that the pattern detection process has started and/or ended.
  • the volume or tone of the sound may be changed depending on whether the point of interest is in the starting point and/or the detection frame used as the starting point and when the point of interest is in an intermediate detection frame.
  • the EVF display 131 may display command information associated with the found pattern.
  • FIG. 18 is a diagram showing an example of display of command information.
  • (A) of the figure shows an example of the display of the EVF display 131 at the time when the pattern input is completed. Note that this figure shows an example in which the color of the focused detection frame changes.
  • (B) of the figure shows an example of the display of the EVF display 131 when a pattern that matches the input pattern is searched.
  • the display of the image display area A4 is switched to display command information associated with the searched pattern. be. That is, the information of the command to be executed is displayed.
  • input pattern information is also displayed.
  • the information of the input pattern can also be hidden.
  • the command information disappears after being displayed for a certain period of time. After being erased, the original display is restored. That is, the detection frame is displayed again.
  • FIG. 19 is a conceptual diagram in the case of instructing execution and cancellation of commands by line of sight.
  • the figure shows an example of the display of the EVF display 131 immediately after the pattern is input when a pattern matching the input pattern is found.
  • command information corresponding to the searched pattern that is, command information to be executed, as well as an OK icon D1 and a cancel icon D2 are displayed in the image display area A4.
  • the OK icon D1 is displayed in a predetermined OK icon display area A6.
  • the cancel icon D2 is displayed in a predetermined cancel icon display area A7.
  • the OK icon display area A6 and the cancel icon display area A7 are set within the image display area A4, but they can also be set outside the image display area A4.
  • the OK icon display area A6 is an example of a fifth area.
  • the cancel icon display area A7 is an example of a sixth area.
  • the processor 200A of the camera microcomputer 200 performs a process of accepting commands to execute and cancel commands based on the detection result of the gaze point. Specifically, when it is detected that the gaze point remains on the OK icon D1 for a predetermined time T6 or longer, it is determined that the command execution has been instructed, and the command is executed. On the other hand, when it is detected that the gaze point remains on the cancel icon D2 for a predetermined time T7 or longer, it is determined that the execution of the command has been canceled, and the execution of the command is cancelled.
  • Time T6 and time T7 are, for example, 1 second. Time T6 is an example of the sixth time. Time T7 is an example of the seventh time.
  • the line of sight is used to instruct the execution and cancellation of the command, but it is also possible to use an operation member provided in the digital camera to instruct the execution and cancellation of the command. can.
  • an operation member provided in the digital camera to instruct the execution and cancellation of the command. can.
  • FIG. 20 is a block diagram of main functions realized by the processor of the camera microcomputer regarding user switching.
  • the processor 200A of the camera microcomputer 200 further functions as a personal authentication processing section 215.
  • the personal authentication processing unit 215 performs personal authentication based on the gaze point pattern detected by the pattern detection processing unit 212 . Specifically, the corresponding pattern is searched from the pattern storage table 214 stored in the memory 200B.
  • FIG. 21 is a conceptual diagram of the pattern storage table.
  • the pattern storage table 214 stores user name information, personal authentication point-of-regard pattern information, calibration data information, and operation point-of-regard information for each registered user. Pattern information and command information to be executed when the gaze point pattern for each command is input are recorded in association with each other.
  • the calibration data is data for calibration used when detecting the point of gaze. Since there are individual differences in eye shape, calibration data is prepared for each user. If the user switches, the calibration data is used to perform the calibration process. As a result, even when one digital camera is shared by a plurality of people, the gaze point can be detected with high accuracy.
  • the personal authentication processing unit 215 performs personal authentication by searching the pattern storage table for a pattern matching the gaze point pattern detected by the pattern detection processing unit 212 (personal authentication gaze point pattern).
  • the personal authentication pattern consists of patterns that do not overlap with the operation pattern. For example, it is composed of a pattern passing through 5 or more detection frames.
  • FIG. 22 is a flow chart showing the user switching processing procedure.
  • the user enters a pattern for personal authentication to switch users.
  • the pattern detection processing for personal authentication is the same as the operation pattern detection processing.
  • step S11 it is determined whether or not the detection frame has been watched for the time T1 or longer (step S11).
  • pattern detection is started with the watched detection frame as a starting point.
  • step S12 it is determined whether or not the gaze point has entered another detection frame within time T5 after leaving the detection frame. If the pattern does not enter another detection frame within time T5, the pattern detection process is terminated.
  • step S14 If the number of times the detection frame has been gazed at is less than M times, the pattern input is in progress, so the process returns to step S12. On the other hand, if the detection frame has been gazed at X times or more, it is determined whether or not the detection frame has been gazed at for the time T2 or longer (step S14).
  • step S15 personal authentication processing is performed based on the detected pattern.
  • a pattern for personal authentication that matches the inputted pattern for personal authentication is searched from among the patterns stored in the pattern storage table 214 .
  • it is determined whether or not there is a matching personal authentication pattern is determined whether or not there is a matching personal authentication pattern (step S16).
  • step S17 user switching processing is performed based on the user information associated with the searched personal authentication pattern.
  • the user switching process includes a calibration process. After that, an operation based on the line of sight is performed based on the switched registration information of the user.
  • step S18 if there is no matching pattern, error processing is performed (step S18). As an example, an error indication is provided.
  • patterns and commands are stored for each user. Available.
  • the line of sight can be used to instantaneously switch between users.
  • calibration processing for detecting the point of gaze is also performed in conjunction with the switching of the user, so the point of gaze can also be detected with high accuracy.
  • FIG. 23 is a diagram showing an example of display of user information.
  • a user information display area A8 is set in the EVF display area A3 of the EVF display 131, and user information is displayed in the user information display area A8.
  • the user information display area A8 is preferably set to a different area from the image display area A4.
  • only one of the functions is enabled by user's selection. That is, when the line-of-sight AF function is used, the line-of-sight operation function is turned off. Conversely, when the line-of-sight operation function is used, the line-of-sight AF function is turned off.
  • the line of sight AF function and the line of sight operation function are switched with the line of sight.
  • the line-of-sight AF function is turned off and the line-of-sight operation function is turned on.
  • FIG. 24 is a conceptual diagram when switching between the line-of-sight AF function and the line-of-sight operation function is performed by the line of sight.
  • FIG. 1 shows an example of the display of the EVF display 131 when the line-of-sight AF function is turned on.
  • a plurality of cross-shaped points C1 denoted by reference numeral C1 are focus area points.
  • a rectangular frame C2 indicated by reference symbol C2 is a focus area.
  • the processor 200A of the camera microcomputer 200 performs processing for setting the focus area based on the detection result of the gaze point. That is, the focus area C2 is set at the focused focus area point C1. In other words, the focus area C2 is set at the focus area point C1 where the gaze point is located.
  • FIG. 4(B) shows an example of the display of the EVF display 131 when the line-of-sight operation function is turned on.
  • an icon (line-of-sight operation ON icon) G1 for turning on the line-of-sight operation function is displayed on the EVF display 131 .
  • the line-of-sight operation ON icon G1 is displayed in the line-of-sight operation icon display area A5 set in the EVF display area A3.
  • the line-of-sight operation icon display area A5 is set in a different area from the image display area A4.
  • the line-of-sight operation icon display area A5 is an example of a fourth area.
  • the line-of-sight AF function When the line-of-sight AF function is turned on and the line-of-sight operation ON icon G1 is watched for a predetermined period of time or longer, the line-of-sight AF function is turned off, and instead, the line-of-sight operation function is turned on. In other words, when the gaze point remains on the line-of-sight operation-on icon G1 for a predetermined time or longer, the line-of-sight operation function is turned on.
  • detection frames W1 to W9 are displayed in the image display area A4 as shown in FIG. 24(B), enabling pattern detection.
  • the line-of-sight operation function is turned off, and the line-of-sight AF function is turned on again.
  • the method of switching between functions to be used is not limited to this.
  • it may be configured to switch from the line-of-sight AF function to the line-of-sight operation function by detecting that an area outside the EVF display area A3 has been watched for a predetermined time or longer.
  • the area outside the EVF display area A3 is another example of the fourth area.
  • it may be configured to detect that the gaze point has disappeared for a predetermined time or longer, and switch from the line-of-sight AF function to the line-of-sight operation function.
  • the line-of-sight AF function is automatically restored, but it may be restored in accordance with an instruction from the user. That is, similarly to the case of switching to the operation function by line of sight, the configuration may be such that the return is performed by the operation of gazing at an icon or the like.
  • the brightness of the EVF display 131 may be changed.
  • FIG. 25 is a conceptual diagram of switching the luminance of the EVF display.
  • FIG. 4B shows an example of display on the EVF display 131 when the line-of-sight operation function is turned on.
  • the luminance of the entire EVF display 131 is changed, but it is also possible to change only the luminance of the area where the detection frame is displayed (for example, the image display area A4). In this case, it is also possible to change only the luminance excluding the detection frame. That is, it is also possible to adopt a configuration in which only the brightness of the image is changed (lowered). This makes it easier to visually recognize the detection frame.
  • FIG. 26 is a diagram showing an example of display on the EVF display in the digital camera of the present embodiment.
  • the image display area A4 of the EVF display 131 has a focus area point C1, a focus area C2, and detection frames W1 to W4 and W6 to W9. is displayed.
  • the focus area point C1 is arranged over the entire image display area A4.
  • the detection frames W1 to W4 and W6 to W9 are arranged to avoid the central region. In other words, they are arranged along the edges of the image display area A4.
  • the pattern input area is set in an area different from the image display area.
  • FIG. 27 is a diagram showing an example of display on the EVF display in the digital camera of the present embodiment.
  • an image display area A4 and a pattern input area A9 are set in the EVF display area A3 of the EVF display 131.
  • FIG. 1 A first image display area A4 and a pattern input area A9 are set in the EVF display area A3 of the EVF display 131.
  • the image display area A4 is an area for displaying images (live view and playback images).
  • the pattern input area A9 is an area for inputting a gaze point pattern.
  • the pattern input area A9 is set in an area different from the image display area A4. In this example, the image display area A4 and the pattern input area A9 are displayed side by side in the horizontal direction.
  • a plurality of (nine in this example) detection frames W1 to W9 for detecting patterns are set in the pattern input area A9.
  • the detection frames W1 to W9 are arranged at regular intervals in a 3 ⁇ 3 array.
  • the pattern of gaze points is detected according to the order in which the gaze points enter the respective detection windows W1 to W9.
  • the image display area A4 is an example of the first area
  • the pattern input area A9 is an example of the second area.
  • the processor 200A of the camera microcomputer 200 detects the gaze point pattern based on the gaze point detection result in the pattern input area A9.
  • the detection frames W1 to W9 are set in an area (pattern input area A9) different from the image display area A4, and pattern input and detection are performed in this area.
  • the line-of-sight AF function and the line-of-sight operation function can be operated simultaneously without causing an erroneous operation.
  • the line-of-sight operation function may be turned on and off. In this case, it is preferable to adopt a configuration in which ON and OFF are switched by the line of sight.
  • FIG. 28 is a conceptual diagram in the case of turning on and off the operation function by sight line.
  • FIG. 4B shows an example of display on the EVF display 131 when the line-of-sight operation function is turned on. This figure is an example of the display in the second display mode.
  • an icon (line-of-sight operation ON icon) G1 for turning on the line-of-sight operation function is displayed on the EVF display 131 .
  • the line-of-sight operation ON icon G1 is displayed in the line-of-sight operation icon display area A5 set in the EVF display area A3.
  • the line-of-sight operation ON icon G1 When the line-of-sight operation ON icon G1 is gazed at for a predetermined time or longer while the line-of-sight operation function is turned off, the line-of-sight operation function is turned on. In other words, when the gaze point remains on the line-of-sight operation-on icon G1 for a predetermined time or longer, the line-of-sight operation function is turned on.
  • detection frames W1 to W9 are displayed in the image display area A4 as shown in FIG. 24(B), enabling pattern detection.
  • an icon (line-of-sight operation OFF icon) G2 for turning off the line-of-sight operation function is displayed on the EVF display 131 .
  • the line-of-sight operation OFF icon G2 is displayed in the line-of-sight operation icon display area A5.
  • the line-of-sight operation function In a state where the line-of-sight operation function is turned on, if the line-of-sight operation OFF icon G2 is gazed at for a period of time T3 or longer, the line-of-sight operation function is turned off. In other words, when the gaze point remains on the line-of-sight operation off icon G2 for a predetermined time or longer, the line-of-sight operation function is turned off.
  • the method of turning on and off the line-of-sight operation function is not limited to this.
  • it may be configured to turn on and off the operation function by the line of sight by detecting that the area outside the EVF display area A3 has been gazed at for the time T3 or longer.
  • it may be configured to detect that the point of gaze has disappeared for a predetermined period of time or longer, and turn on and off the operation function based on the line of sight.
  • a case where the gaze point is lost is, for example, a case where the user gazes at an area other than the gaze point detectable area A2.
  • the gaze point disappears as well. Therefore, even if the user closes his or her eyes for the predetermined time T4 or more, the line-of-sight operation function can be turned on and off.
  • the operation function by the eye gaze is turned off.
  • the line-of-sight operation function may be turned off.
  • the display on the EVF display 131 automatically switches from the second display mode to the first display mode.
  • gazing at the line-of-sight operation ON icon G1 and the line-of-sight operation OFF icon G2 the line-of-sight operation function is turned ON and OFF, and the display of the EVF display 131 is switched in conjunction with this. Therefore, gazing at the line-of-sight operation ON icon G ⁇ b>1 and the line-of-sight operation OFF icon G ⁇ b>2 corresponds to instructing switching of the display mode of the EVF display 131 .
  • FIG. 29 is a diagram showing an example of display on the EVF display in the digital camera of the present embodiment.
  • an image display area A4 and a guide display area A10 are set in the EVF display area A3.
  • the image display area A4 is an area for displaying images (live view and playback images).
  • the guide display area A10 is an area for displaying registered pattern information.
  • the guide display area A10 is set in an area different from the image display area A4. In the example shown in FIG. 29, the guide display area A10 is set in the space formed above the image display area A4.
  • the pattern information PI1 to PI5 is composed of a diagram showing the input order of patterns and information of commands associated with the patterns.
  • the diagram showing the input order of the patterns is composed of, for example, a diagram showing the order of gazing at the detection frames with arrows.
  • the command information consists of command names.
  • FIG. 29 shows an example in which pattern information PI1 of COMMAND_1, pattern information PI2 of COMMAND_2, pattern information PI3 of COMMAND_3, pattern information PI4 of COMMAND_4, and pattern information PI5 of COMMAND_5 are displayed.
  • At least one piece of pattern information is displayed in the guide display area A10.
  • the number of pieces of pattern information to be displayed in the guide display area A10 is set according to the size of the EVF display area A3 and the like.
  • FIG. 29 shows an example of displaying five pieces of pattern information.
  • Convenience can be improved by displaying pattern information as a guide in this way.
  • the image display area A4 is an example of the seventh area.
  • the guide display area A10 is an example of an eighth area.
  • the detection frame is set in the image display area A4.
  • a pattern input area A9 is separately set in the EVF display area A3. (see FIG. 27).
  • the pattern input area A9 corresponds to the seventh area.
  • the guide display can be turned on and off at will. In this case, it is more preferable to perform the on/off operation using the line of sight.
  • FIG. 30 is a conceptual diagram of turning the guide display on and off by sight.
  • FIG. 4B shows an example of display on the EVF display 131 when the guide display is turned on.
  • an icon (guide display ON icon) H1 for turning on the guide display is displayed on the EVF display 131 .
  • the guide display ON icon H1 is displayed in a guide display icon display area A11 set in the EVF display area A3.
  • the guide display ON icon H1 When the guide display ON icon H1 is gazed at for a predetermined time or longer while the guide display is turned off, the guide display is turned on. In other words, when the gaze point remains on the guide display ON icon H1 for a predetermined time or longer, the line-of-sight operation function is turned ON.
  • the predetermined time is, for example, 2 seconds.
  • a guide display area A10 is set in the image display area A4, and pattern information is displayed in the guide display area A10.
  • an icon (guide display off icon) H2 for turning off the guide display is displayed on the EVF display 131 .
  • the guide display OFF icon H2 is displayed in the guide display icon display area A11.
  • the line-of-sight operation function is turned OFF.
  • the predetermined time is, for example, 2 seconds.
  • the guide display by enabling the guide display to be turned on and off at will, the guide can be displayed only when necessary. Thereby, convenience can be improved.
  • the guide display is turned on and off using the icon
  • the method of turning on and off the guide display using the line of sight is not limited to this.
  • it may be configured to turn on and off the operation function based on the line of sight by detecting that the area outside the EVF display area A3 has been watched for a predetermined period of time or longer (for example, 2 seconds or longer).
  • it may be configured to detect that the point of gaze has disappeared for a predetermined period of time (for example, two seconds or longer), and turn on and off the operation function based on the line of sight.
  • a predetermined period of time for example, two seconds or longer
  • FIG. 31 is a conceptual diagram when switching the pattern information displayed in the guide display area according to the line of sight.
  • the figure shows an example of switching the pattern information displayed in the guide display area A10 by gazing at the icon.
  • a forward icon E1 and a return icon E2 are displayed in the guide display area A10.
  • the pattern information displayed in the guide display area A10 is scrolled in the forward direction indicated by the arrow AR1 in the drawing.
  • the pattern information displayed in the guide display area A10 is scrolled in the reverse direction indicated by the arrow AR2 in the figure.
  • the processor 200A of the camera microcomputer 200 detects that the gaze point has stopped at the forward icon E1 and the return icon E2, and performs processing to switch the pattern information displayed in the guide display area A10. In addition, in order to prevent erroneous detection, it is preferable to detect that the gaze point remains on the icon for a predetermined time or longer and perform switching processing.
  • the icon is used to switch the pattern information displayed in the guide display area A10, but the method of switching the pattern information displayed in the guide display area A10 is not limited to this. .
  • the pattern information displayed in the guide display area A10 may be switched by an operation of moving the point of gaze rightward or leftward. In this case, the pattern information is scrolled in the direction in which the gaze point is moved.
  • the patterns to be displayed in the guide display area A10 are preferably limited to patterns in which the number of movements of the gaze point is equal to or less than a threshold.
  • the number of times the gaze point is moved is the number of times the gaze point is moved between detection frames in order to input a pattern.
  • the number of movements of the gaze point is three in the pattern of the pattern information PI1 (the pattern of COMMAND_1) displayed in the guide display area A10.
  • the number of movements of the gaze point in the pattern of the pattern information PI2 (the pattern of COMMAND_2) is also three.
  • the threshold is, for example, 3.
  • the information of the pattern in which the number of movements of the gaze point is 3 or less is displayed in the guide display area A10.
  • the guide display when the guide display is limited to patterns in which the number of times the gaze point moves is equal to or less than the threshold, it is preferable to set the pattern assigned to each command according to the following criteria. That is, a pattern in which the number of movements of the gaze point is equal to or less than the threshold is assigned to a command that executes a single process. In other words, a pattern in which the number of gaze point movements is equal to or less than the threshold is assigned only to commands for which a single process is performed. As for a command in which a plurality of processes are performed by inputting one pattern, assignment of a pattern whose number of movements of the gaze point is equal to or less than a threshold is prohibited.
  • a command that performs a single process is a command that reflects one setting by inputting one pattern. For example, this is the case when the imaging mode is switched to a specific mode.
  • This type of command is a so-called basic operation (basic setting) command.
  • a command that performs multiple processes is a command that reflects multiple settings by inputting one pattern. For example, by inputting one pattern, the shutter speed, aperture value, and ISO sensitivity (ISO: International Organization for Standardization) are changed to preset values. Reflecting a so-called custom setting also corresponds to a command in which multiple processes are performed.
  • the convenience can be improved by limiting the patterns displayed in the guide display area A10 to the patterns of commands for basic operations.
  • a history of input patterns may be recorded, and guide display may be performed based on the recorded history.
  • the configuration may be such that the top N patterns are displayed in order of newest input.
  • FIG. 32 is a block diagram of main functions realized by the processor of the camera microcomputer when displaying a guide using history.
  • the processor 200A of the camera microcomputer 200 further functions as a history record processing section 216.
  • the history record processing unit 216 performs processing for recording the history of the input pattern in the input history storage unit 217 .
  • the pattern to be recorded is limited to the pattern in which the command was executed. Thus, patterns that are entered but do not find a matching pattern are not recorded.
  • the input history storage unit 217 is set in one storage area of the memory 200B.
  • the input history storage unit 217 stores information on N patterns.
  • the history record processing unit 216 updates pattern information stored in the input history storage unit 217 each time a pattern is input. In this case, the information of the oldest input pattern is rewritten. As a result, the input history storage unit 217 always stores the information of the top N patterns in order of newest input. When a pattern stored in the input history storage unit 217 is input, only the input order information is rewritten.
  • the EVF display control unit 210 refers to pattern information stored in the input history storage unit 217 and performs guide display. That is, the pattern information stored in the input history storage unit 217 is displayed in the guide display area A10. In this case, the N pieces of pattern information are arranged and displayed in order of newest input. In the example of FIG. 29, N pieces of pattern information are displayed in the guide display area A10, arranged from left to right in order of newest input.
  • the pattern information displayed in the guide display area A10 may be switched in conjunction with pattern input. That is, a pattern matching the order of gazing at the detection frame is extracted as an input candidate and displayed in the guide display area A10.
  • FIG. 33 is a conceptual diagram of candidate extraction.
  • the figure shows an example of the case where the pattern storage table 214 stores 12 patterns.
  • patterns with a common starting point are narrowed down as candidates.
  • patterns COMMAND_1, COMMAND_2, COMMAND_3, COMMAND_4, COMMAND_5, COMMAND_6, COMMAND_7, and COMMAND_8 are narrowed down as candidates.
  • the candidates are narrowed down to patterns that share the starting point and the second gazing point.
  • patterns COMMAND_1, COMMAND_2, COMMAND_3, and COMMAND_4 are narrowed down as candidates.
  • the candidates are narrowed down to patterns that share the starting point, the second gazing point, and the third gazing point.
  • patterns COMMAND_1, COMMAND_3, and COMMAND_4 are narrowed down as candidates.
  • the patterns to be displayed in the guide display area A10 are narrowed down according to the order in which the point of gaze enters the detection frame, and are displayed in the guide display area A10.
  • the narrowing process is performed by the search processing unit 213, for example.
  • a predetermined pattern is preferentially displayed according to a predetermined standard. For example, the top N patterns are displayed in order of registration. Alternatively, display based on the input history. For example, the top N patterns are displayed in order of newest input.
  • FIG. 34 is a diagram showing an example of display transition of the guide display area.
  • FIG. 1(A) shows an example of the display on the EVF display 131 immediately after the start of pattern detection. That is, it shows the display immediately after the start point is detected. At this point, the guide display area A10 displays the information of the pattern with the matching starting point.
  • FIG. (B) of the figure shows an example of the display on the EVF display 131 immediately after the second gaze point is detected.
  • the guide display area A10 displays information on a pattern in which the starting point and the second gazing point match.
  • (C) of the figure shows an example of the display on the EVF display 131 immediately after the third gaze point is detected.
  • the guide display area A10 displays information of a pattern in which the starting point, the second gazing point, and the third gazing point coincide.
  • the pattern information displayed in the guide display area A10 may be changed according to the current setting state of the digital camera.
  • the pattern information displayed in the guide display area A10 can be changed according to the set imaging mode.
  • FIG. 35 is a conceptual diagram of switching of the guide display according to the imaging mode.
  • the imaging mode is set to the shutter speed priority mode, the aperture priority mode, and the portrait mode.
  • pattern information for frequently used commands is displayed in each mode. For example, in shutter speed priority mode, command pattern information related to shutter speed setting is displayed. In aperture priority mode, command pattern information related to aperture value setting is displayed.
  • the memory 200B of the camera microcomputer 200 stores command information to be displayed according to the mode.
  • the processor 200A of the camera microcomputer 200 refers to this information and dynamically switches the pattern information to be displayed in the guide display area A10 according to the set mode.
  • the convenience can be improved by dynamically switching the pattern information displayed in the guide display area A10 according to the current setting state of the digital camera.
  • Operations using the line of sight can be performed in combination with operations of operation members provided on the camera body (including operations on the touch panel).
  • the configuration may be such that the selection of the option is performed by the line of sight.
  • pattern information corresponding to each option is displayed in the guide display area A10.
  • FIG. 36 is a diagram showing an example of display on the EVF display when performing an operation to select the dynamic range.
  • the figure shows an example in which there are three selectable dynamic ranges. Specifically, examples of selectable dynamic ranges of 100%, 200%, and 400% are shown.
  • pattern information for setting each dynamic range is displayed in the guide display area A10.
  • the user refers to the pattern information displayed in the guide display area A10 and inputs the desired dynamic range pattern.
  • the operation to call up the menu screen is preferably configured to be performed by a single button operation. It is preferable to call up the menu screen by pressing a button that can be operated while gripping the camera body. For example, in FIG. 2, pressing a button (quick menu button) denoted by reference numeral 116 is configured to call up the menu screen. As a result, the menu screen can be called up while looking through the finder.
  • FIG. 37 is a conceptual diagram in the case of performing a selection operation on the menu screen with the line of sight.
  • the figure shows an example of a menu screen displayed on the EVF display 131.
  • a menu screen displayed on the EVF display 131.
  • the quick menu button 116 is pressed, this screen is displayed.
  • a list of buttons (icons) of items that can be set is displayed.
  • the processor 200A of the camera microcomputer 200 detects the gazed button based on the gaze point detection result.
  • FIG. 38 is a conceptual diagram of zooming the displayed image using the line of sight.
  • FIG. 4B shows an example of the display of the EVF display 131 after zooming.
  • FIG. 4A shows an example of zooming the area surrounded by the first detection frame W1, the second detection frame W2, the fourth detection frame W4, and the fifth detection frame W5.
  • the detection frame is watched so that the start point and the end point are matched to form a rectangular frame.
  • pattern detection is started from a detection frame that has been watched for a period of time T1 or longer (a detection frame in which the gaze point has been fixed for a period of time T1 or longer) as a starting point. Also, pattern detection ends with a detection frame that has been watched for a period of time T2 or longer (a detection frame in which the point of gaze remains for a period of time T2 or longer) as an end point.
  • the detection frames W1 to W9 are arranged in 3 ⁇ 3, it is possible to specify enlargement of four areas. That is, the area surrounded by the first detection window W1, the second detection window W2, the fourth detection window W4 and the fifth detection window W5, the second detection window W2, the third detection window W3, the fifth detection window W5 and the sixth detection window W5
  • the area surrounded by the detection frame W6, the area surrounded by the fourth detection frame W4, the fifth detection frame W5, the seventh detection frame W7 and the eighth detection frame W8, the fifth detection frame W5, the sixth detection frame W6, Four areas surrounded by the eighth detection window W8 and the ninth detection window W9 can be enlarged.
  • the pattern storage table 214 stores information on patterns surrounding each area, and information on zooming each area as information on a command to be executed when the pattern is input.
  • a rectangular pattern is an example of a polygonal pattern.
  • the processor 200A of the camera microcomputer 200 detects input of a pattern forming a rectangular frame
  • the image within the area surrounded by the input pattern is enlarged and displayed in the image display area A4.
  • an image within a rectangular area formed by straight lines connecting the centers of detection frames forming the pattern is enlarged and displayed.
  • the image display area A4 when the detection frames W1 to W9 are set in the image display area A4, the image can be zoomed using the line of sight. Thereby, convenience can be improved.
  • the detection frame is used to specify the area to be zoomed, but it may be possible to zoom in on any area.
  • the enclosed area is enlarged by moving the line of sight (gazing point).
  • the area enclosed by the rectangle is enlarged by moving the line of sight.
  • the user gazes at the start point and the end point for a predetermined time (eg, 2 seconds) or more and gazes at the remaining three vertices for a predetermined time (eg, 1 second) or more.
  • FIG. 39 is a conceptual diagram of scrolling the screen using the line of sight.
  • FIG. 4B shows an example of the display on the EVF display 131 after scrolling.
  • the user gazes at one of the detection frames W1 to W9 for a predetermined time T8 or longer.
  • the line of sight (gazing point) is moved in the direction of scrolling the screen. That is, by gazing for a predetermined time T8 or longer, the scroll mode is entered, and the direction and amount of scrolling are determined by the direction and amount of movement of the line of sight.
  • Time T8 is, for example, 2 seconds.
  • Time T8 is an example of the eighth time.
  • the processor 200A of the camera microcomputer 200 detects that the point of gaze remains in any of the detection frames W1 to W9 for the time T8 or longer, and accepts an instruction to shift to the scroll mode. After accepting the instruction to shift to the scroll mode, the processor 200A detects the direction and amount of movement of the point of gaze based on the detection result of the point of gaze. That is, the motion vector of the gaze point is detected. The movement vector of the gaze point is detected, for example, as a vector connecting the start point and the end point. Scroll the screen based on the detected movement vector. That is, the area to be enlarged and displayed is moved.
  • FIG. 39 shows an example in which the line of sight is moved by a predetermined amount in the diagonally lower right direction (toward the ninth detection window W9) starting from the fifth detection window W5 in the center. That is, FIG. 39(A) shows an example in which the line of sight is moved in the direction of the vector indicated by the arrow V1. In this case, the image is scrolled in the direction of vector V1, that is, diagonally downward to the right. It is preferable that the scrolling speed is linked to the movement of the line of sight (gazing point).
  • the image after zooming, the image can be scrolled in any direction using the line of sight. Thereby, convenience can be improved.
  • the image since the image can be moved continuously in response to movement by button operation or the like, the desired range can be moved smoothly.
  • the scrolling is started by gazing at the detection frame for the time T8 or longer, but the condition for starting the scrolling process is not limited to this. It is also possible to adopt a configuration in which scrolling is started by gazing at the inside of the image display area including the detection frame for time T8 or longer. In this case, the movement vector of the gazing point is detected with the gazing point as the starting point.
  • This method can also be applied when an image is zoomed by operating an operation member provided on the camera body.
  • the target to be enlarged is not limited to the playback image, and can also be performed for the live view.
  • the zoom can be canceled.
  • the predetermined area an area other than the image display area can be exemplified. Further, the zoom may be canceled when the gaze point disappears for a predetermined time or longer.
  • FIG. 40 is a conceptual diagram of the pattern registration operation.
  • pattern registration is performed, for example, by setting the mode of the digital camera to the pattern registration mode.
  • Setting to the pattern registration mode is performed, for example, on the menu screen.
  • FIG. 40(A) shows an example of display on the rear monitor 120 when the pattern registration mode is set. As shown in the figure, a list of items to which patterns can be assigned is displayed. Items to which patterns can be assigned are displayed hierarchically as necessary. When hierarchical, the item at the top of the hierarchy is displayed on the initial screen. A user selects an item to which a pattern is to be assigned.
  • FIG. 40(B) shows an example when manual mode is selected as an item for assigning patterns. If you wish to assign a pattern, select “OK” on this screen (touch the OK button). When "OK” is selected, the pattern input screen is displayed.
  • FIG. 40(C) shows an example of a pattern input screen.
  • the user inputs the pattern he wishes to register. That is, the detection frames are touched in order.
  • the color of the detection frame changes in the order of touching, and the number is displayed.
  • the user selects "OK".
  • FIG. 41 is a diagram showing another example of the pattern registration operation. This figure shows an example of assigning patterns to custom settings.
  • a custom setting is a combination of multiple settings.
  • FIG. 41(A) shows the initial screen for custom settings. As shown in the figure, first, a list of locations for saving customized content is displayed. The user selects one from the displayed list.
  • FIG. 41(B) shows the screen after selection for custom settings. As shown in the figure, a list of customizable items is displayed, and the current settings are displayed. The user sets each item as necessary. After completing the setting, select "OK” (touch the OK button). When "OK" is selected, the pattern input screen is displayed.
  • FIG. 41(C) shows an example of a pattern input screen.
  • the user inputs the pattern he wishes to register. After completing the input of the pattern, the user selects "OK".
  • a custom setting is a combination of multiple settings, so it is preferable to set a more complex pattern than the basic setting pattern (a pattern that performs a single process). As a result, it is possible to distinguish between basic settings and patterns. In addition, display of custom setting patterns can be excluded when the guide is displayed.
  • the pattern is input using the rear monitor (touch panel), but it is also possible to input the pattern with the line of sight.
  • Identify pattern In the series of embodiments described above, a plurality of detection frames are set in the image display area, and the pattern is identified by the order in which the detection frames are observed.
  • the method of identifying the pattern is limited to this. not a thing
  • a pattern can be identified by a combination of moving directions of the gaze point.
  • a pattern can be identified by a combination of movement of the gaze point in four directions, up, down, left, and right.
  • pattern detection is started at a position where the point of interest remains for a predetermined time T1 or longer, and pattern detection ends at a position where the point of interest remains for a predetermined time T2 or longer as an end point.
  • the present invention can be applied to electronic devices in general provided with a display unit, as well as other imaging devices such as video cameras, television cameras, and cine cameras.
  • a display unit for example, it can be applied to smartphones, personal computers, and the like. It can also be applied to wearable devices such as so-called smart glasses.
  • processors include CPUs and/or GPUs (Graphic Processing Units), FPGAs (Field Programmable Gate Arrays), etc., which are general-purpose processors that execute programs and function as various processing units.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • a dedicated electric circuit which is a processor having a circuit configuration specially designed to execute specific processing, etc. included.
  • a program is synonymous with software.

Abstract

操作を目的とした注視点のパターンの入力を正確に検出できる電子機器、電子機器の制御方法及び電子機器の制御プログラムを提供する。表示部に対する注視点を検出する注視点検出部と、注視点のパターンを記憶する記憶部と、プロセッサと、を備える。プロセッサは、注視点検出部の検出結果に基づいて、注視点のパターンを検出する処理と、検出したパターンと一致するパターンを記憶部から検索する処理と、を行う。プロセッサは、パターンを検出する処理において、注視点が第1時間以上停留した箇所を始点としてパターンの検出を開始し、注視点が第2時間以上停留した箇所を終点としてパターンの検出を終了する。

Description

電子機器、電子機器の制御方法及び電子機器の制御プログラム
 本発明は、電子機器、電子機器の制御方法及び電子機器の制御プログラムに関し、特に、注視点の移動によって電子機器を操作する技術に関する。
 特許文献1には、眼球の動きによって電子機器を操作する方法が記載されている。特許文献1に記載の方法は、眼球の動きパターンと、その眼球の動きパターンを完了するのに要する時間との組み合わせで特定のコマンドを実行する構成のものである。
特表2014-517429号公報
 本開示の技術に係る一つの実施形態は、操作を目的とした注視点のパターンの入力を正確に検出できる電子機器、電子機器の制御方法及び電子機器の制御プログラムを提供する。
 (1)表示部に対する注視点を検出する注視点検出部と、注視点のパターンを記憶する記憶部と、プロセッサと、を備え、プロセッサは、注視点検出部の検出結果に基づいて、注視点のパターンを検出する処理と、検出したパターンと一致するパターンを記憶部から検索する処理と、を行い、パターンを検出する処理において、注視点が第1時間以上停留した箇所を始点としてパターンの検出を開始し、注視点が第2時間以上停留した箇所を終点としてパターンの検出を終了する、電子機器。
 (2)記憶部は、注視点のパターンと、実行するコマンドの情報とを関連付けて記憶する、(1)の電子機器。
 (3)プロセッサは、検索されたパターンに関連付けられたコマンドを実行する処理を更に行う、(2)の電子機器。
 (4)更に、表示部の表示領域に設定された複数の枠を備え、プロセッサは、注視点のパターンを検出する処理において、注視点が枠に入る順番によって、注視点のパターンを検出する、(3)の電子機器。
 (5)更に、表示部の表示領域に設定された第1領域及び第2領域を備え、枠は、第2領域に複数設定され、プロセッサは、第1領域に画像を表示する処理を更に行う、(4)の電子機器。
 (6)プロセッサは、表示部の表示モードの切り替えの指示を受け付ける処理と、表示モードの切り替えが指示された場合に、表示部の表示モードを第1表示モードから第2表示モードに切り替える処理と、を更に行い、第2表示モードにおいて、表示部の表示領域に第1領域及び第2領域が設定される、(5)の電子機器。
 (7)プロセッサは、パターンを検出する処理が終了した場合に、表示部の表示モードを第2表示モードから第1表示モードに切り替える処理を更に行う、(6)の電子機器。
 (8)表示部の表示領域に第3領域が設定され、枠は、第3領域に複数設定される、(4)の電子機器。
 (9)プロセッサは、注視点が第4領域に第3時間以上停留した場合、又は、注視点が第4時間以上消失した場合に、パターンを検出する処理を行う、(8)の電子機器。
 (10)注視点検出部による注視点の検出可能範囲内に表示部の表示領域が設定され、第4領域が、表示部の表示領域の外側の領域、又は、表示部の表示領域内の第3領域とは異なる領域に設定される、(9)の電子機器。
 (11)プロセッサは、第3領域に画像を表示する処理を更に行う、(8)から(10)のいずれか一の電子機器。
 (12)プロセッサは、枠を表示部に表示する処理と、パターンの検出を開始した場合に、パターンの始点となる枠の色及び/又は輝度を変更する処理と、パターンの検出を終了した場合に、パターンの終点となる枠の色及び/又は輝度を変更する処理と、を更に行う、(4)から(11)のいずれか一の電子機器。
 (13)プロセッサは、注視点の停留時間に応じて、注視点が停留した枠の色及び/又は輝度を連続的又は段階的に変化させる処理を更に行う、(4)から(12)のいずれか一の電子機器。
 (14)パターンは、始点とする枠から少なくとも1つの枠を経由して終点とする枠に到達する経路で構成される、(4)から(13)のいずれか一の電子機器。
 (15)プロセッサは、パターンを検出する処理において、注視点が、枠を出てから次の枠に入るまでの間に第5時間以上の時間が経過した場合、パターンを検出する処理を終了する、(14)の電子機器。
 (16)枠は、a及びbを2以上の整数とした場合に、矩形の領域をa×b分割した各領域の中央に設定される、(4)から(15)のいずれか一の電子機器。
 (17)プロセッサは、枠のサイズの変更指示を受け付ける処理と、サイズの変更指示に応じて、枠のサイズの変更する処理と、を更に行う、(4)から(16)のいずれか一の電子機器。
 (18)プロセッサは、表示部に対する枠の表示及び非表示の指示を受け付ける処理と、枠の表示及び非表示の指示に応じて、表示部に枠を表示及び非表示する処理と、を更に行う、(4)から(17)のいずれか一の電子機器。
 (19)プロセッサは、注視点の移動軌跡を表示部に表示する処理を更に行う、(1)から(18)のいずれか一の電子機器。
 (20)プロセッサは、パターンの検出を開始した場合に、表示部の輝度を第1輝度に変更する処理と、パターンの検出を終了した場合に、表示部の輝度を第2輝度に変更する処理と、を更に行う、(1)から(19)のいずれか一の電子機器。
 (21)プロセッサは、コマンドを実行する処理の前に、コマンドの実行及びキャンセルの指示を受け付ける処理を更に行い、コマンドの実行が指示された場合に、コマンドを実行する処理を行う、(3)の電子機器。
 (22)プロセッサは、注視点検出部の検出結果に基づいて、コマンドの実行及びキャンセルの指示を受け付ける処理を行い、注視点が第5領域に第6時間以上停留した場合に、コマンドを実行し、注視点が第6領域に第7時間以上停留した場合に、コマンドの実行をキャンセルする、(21)の電子機器。
 (23)プロセッサは、検出したパターンと一致するパターンが記憶部から検索された場合に、検索されたパターンに関連付けられたコマンドの情報を表示部に表示する処理を更に行う、(2)又は(3)の電子機器。
 (24)更に、表示部の表示領域に設定された第7領域及び第8領域を備え、枠は、第7領域に複数設定され、プロセッサは、記憶部に記憶されたパターンの中から少なくとも1つを抽出し、抽出したパターン及びパターンに関連付けられたコマンドの情報を第8領域に表示する処理を更に行う、(4)の電子機器。
 (25)プロセッサは、第7領域に画像を表示する処理を更に行う、(24)の電子機器。
 (26)プロセッサは、枠間における注視点の移動回数が閾値以下のパターンを少なくとも1つ抽出し、抽出したパターン及びパターンに関連付けられたコマンドの情報を第8領域に表示する、(24)又は(25)の電子機器。
 (27)プロセッサは、入力されたパターンの履歴を記録する処理を更に行い、記録された履歴に基づいて、記憶部から少なくとも1つのパターンを抽出し、抽出したパターン及びパターンに関連付けられたコマンドの情報を第8領域に表示する、(24)又は(25)の電子機器。
 (28)プロセッサは、入力が新しい順に上位N個のパターンを抽出し、抽出したパターン及びパターンに関連付けられたコマンドの情報を第8領域に表示する、(27)の電子機器。
 (29)プロセッサは、検出したパターンと一致するパターンを記憶部から検索する処理において、注視点が枠に入る順番によって、検索するパターンを絞り込み、絞り込まれたパターンの中から少なくとも1つのパターンを抽出し、抽出したパターン及びパターンに関連付けられたコマンドの情報を第8領域に表示する、(24)又は(25)の電子機器。
 (30)更に、操作部を備え、記憶部は、操作部の操作と、操作に対応して選択可能な複数のコマンドの情報とを関連付けて記憶し、プロセッサは、操作に応じて、選択可能な複数のコマンドの情報及びコマンドに関連付けられたパターンを第8領域に表示する、(24)又は(25)の電子機器。
 (31)記憶部は、始点と終点とが一致する多角形のパターンを記憶し、プロセッサは、表示部に画像を表示する処理と、多角形のパターンが検索された場合に、多角形のパターンで囲われる領域内の画像を表示部に拡大して表示する処理と、を更に行う、(1)の電子機器。
 (32)プロセッサは、注視点検出部の検出結果に基づいて、注視点の移動ベクトルを検出する処理と、検出した移動ベクトルに基づいて、拡大表示する領域を移動させる処理と、を更に行い、移動ベクトルを検出する処理において、注視点が第8時間以上停留した箇所を始点として移動ベクトルを検出する、(31)の電子機器。
 (33)更に、撮像部を備え、プロセッサは、撮像部で撮像された画像を表示部に表示する処理を行う、(1)から(32)のいずれか一の電子機器。
 (34)表示部がファインダ内に備えられる、(33)の電子機器。
 (35)注視点のパターンを記憶部に記憶するステップと、表示部に対する注視点を検出する注視点検出部の検出結果に基づいて、注視点のパターンを検出するステップであって、注視点が第1時間以上停留した箇所を始点としてパターンの検出を開始し、検出開始後、注視点が第2時間以上停留した箇所を終点としてパターンの検出を終了するステップと、検出したパターンと一致するパターンを記憶部から検索するステップと、を含む電子機器の制御方法。
 (36)注視点のパターンを記憶部に記憶する機能と、表示部に対する注視点を検出する注視点検出部の検出結果に基づいて、注視点のパターンを検出する機能であって、注視点が第1時間以上停留した箇所を始点としてパターンの検出を開始し、検出開始後、注視点が第2時間以上停留した箇所を終点としてパターンの検出を終了する機能と、検出したパターンと一致するパターンを記憶部から検索する機能と、をコンピュータに実現させる電子機器の制御プログラム。
本発明が適用されたデジタルカメラの一例を示す正面斜視図 本発明が適用されたデジタルカメラの一例を示す背面斜視図 デジタルカメラの電気的構成を示すブロック図 EVFの概略構成を示す図 注視点の移動に基づくコマンドの実行処理に関してカメラマイコンのプロセッサが実現する主な機能のブロック図 パターンの検出の概念図 パターンの入力の一例を示す図 パターン記憶テーブルの概念図 注視点の移動に基づくコマンドの実行の処理手順を示すフローチャート エラー表示の一例を示す図 検出枠の表示の変化の一例を示す図 検出枠の表示の変化の他の一例を示す図 検出枠の表示の変化の他の一例を示す図 ガイド表示の一例を示す図 視線による操作機能のオン及びオフの切り替えを視線で行う場合の概念図 検出枠のサイズの変更の一例を示す図 パターンの検出に応じて輝度を切り替える場合の概念図 コマンドの情報の表示の一例を示す図 コマンドの実行及びキャンセルの指示を視線で行う場合の概念図 ユーザ切り替えに関してカメラマイコンのプロセッサが実現する主な機能のブロック図 パターン記憶テーブルの概念図 ユーザの切り替えの処理手順を示すフローチャート ユーザの情報の表示の一例を示す図 視線AF機能と視線による操作機能との切り替えを視線で行う場合の概念図 EVF用ディスプレイの輝度の切り替えの概念図 EVF用ディスプレイの表示の一例を示す図 EVF用ディスプレイの表示の一例を示す図 視線による操作機能のオン及びオフを視線で操作する場合の概念図 EVF用ディスプレイの表示の一例を示す図 ガイド表示を視線でオン及びオフする場合の概念図 ガイド表示領域に表示するパターン情報を視線で切り替える場合の概念図 履歴を利用してガイド表示する場合においてカメラマイコンのプロセッサが実現する主な機能のブロック図 候補の抽出の概念図 ガイド表示領域の表示の遷移の一例を示す図 撮像モードに応じたガイド表示の切り替えの概念図 ダイナミックレンジを選択する操作を行う場合のEVF用ディスプレイの表示の一例を示す図 メニュー画面における選択操作を視線で行う場合の概念図 視線を利用した表示画像のズームの概念図 視線を利用して画面をスクロールする場合の概念図 パターンの登録操作の概念図 パターンの登録操作の他の一例を示す図
 以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
 ここでは、本発明をデジタルカメラに適用した場合を例に説明する。デジタルカメラは、電子機器の一例である。
 デジタルカメラでは、意図した画像を撮像するために、撮像の際に各種設定が行われる。設定操作は、一般にダイヤル、レバー、ボタン等を用いて行われる。しかし、ライブビューを見ながらダイヤル等を操作して、各種設定を行うことは難しい。特に、ファインダの場合、ファインダから目を離せないため、操作が一層難しいものとなる。そこで、視線(注視点)を利用して、デジタルカメラを操作することが考えられる。視線を利用した操作では、あらかじめ登録されたパターンで注視点を移動させることで、対応するコマンドが実行される。しかし、デジタルカメラの場合、ユーザの注視点の動きが、操作を意図したものか否かを判別するのが難しいという問題がある。すなわち、操作を意図した動きであるのか、あるいは、被写体等を探す動きであるのか、区別しにくいという問題がある。その結果、誤動作を招きやすいという欠点がある。
 以下においては、視線を利用して各種操作を行うデジタルカメラにおいて、操作を目的とした注視点のパターンの入力を正確に検出できるデジタルカメラについて説明する。
 [第1の実施の形態]
 [デジタルカメラの外観構成]
 図1及び図2は、本発明が適用されたデジタルカメラの一例を示す正面斜視図及び背面斜視図である。
 図1及び図2に示すデジタルカメラ1は、いわゆるミラーレスカメラである。ミラーレスカメラとは、一眼レフカメラの光学式ファインダの代わりに電子ビューファインダ(electric viewfinder:EVF)又は背面モニタを通じて像を確認する形式のレンズ交換式デジタルカメラである。
 図1及び図2に示すように、デジタルカメラ1は、カメラボディ100及び交換レンズ10を有する。交換レンズ10は、マウント101を介して、カメラボディ100に着脱自在に装着される。カメラボディ100に装着された交換レンズ10は、マウントに備えられた接点を介して電気的に接続される。
 カメラボディ100には、電源レバー111、シャッタボタン112、シャッタスピードダイヤル113、感度ダイヤル114、コマンドダイヤル115等の各種操作用の部材が備えられる。また、カメラボディ100には、背面モニタ120及びEVF130等が備えられる。背面モニタ120は、いわゆるタッチパネルで構成され、操作にも用いられる。
 [デジタルカメラの電気的構成]
 図3は、デジタルカメラの電気的構成を示すブロック図である。
 [交換レンズ]
 交換レンズ10は、光学系20、光学系駆動部30、レンズ操作部40及びレンズマイコン50等を有する。
 光学系20は、複数枚のレンズを組み合わせて構成される。また、光学系20には、絞りが備えられる。絞りは、たとえば、虹彩絞りで構成される。
 光学系駆動部30は、フォーカス駆動部及び絞り駆動部等を含む。フォーカス駆動部は、焦点調節用のレンズ群(フォーカスレンズ群)を駆動する。フォーカス駆動部は、モータ及びその駆動回路等を含む。絞り駆動部は、絞りを駆動する。絞り駆動部は、モータ及びその駆動回路等を含む。
 レンズ操作部40は、フォーカスの操作部及び絞りの操作部等を含む。フォーカスの操作部は、フォーカスの操作部材、及び、そのフォーカスの操作部材に対する操作を検出するセンサ等を含む。フォーカスの操作部材は、たとえば、フォーカスリングで構成される。絞りの操作部は、絞りの操作部材と、その絞りの操作部材に対する操作を検出するセンサ等を含む。絞りの操作部材は、たとえば、絞りリングで構成される。
 レンズマイコン50は、プロセッサ50A及びメモリ50B等を備えたマイクロコンピュータで構成される。レンズマイコン50のプロセッサ50Aは、所定のプログラムを実行することで、交換レンズ10の制御部として機能する。プロセッサ50Aは、たとえば、CPU(Central Processing Unit)で構成される。メモリ50Bは、RAM(Random Access Memory)、ROM(Read Only Memory)、及び、EEPROM(Electrically Erasable Programmable Read-Only Memory)等を含む。メモリ50Bには、プロセッサ50Aが実行するプログラム及び制御に必要なデータ等が記憶される。
 [カメラボディ]
 カメラボディ100は、撮像素子140、シャッタ150、シャッタ駆動部152、ストレージ部160、背面モニタ120、EVF130、カメラ操作部170及びカメラマイコン200等を備える。
 撮像素子140は、交換レンズ10を通る光を受光して画像を撮像する。撮像素子140は、撮像部の一例である。撮像素子140は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ、CCD(Charged Coupled Device)イメージセンサ等の公知のイメージセンサで構成される。一例として、本実施の形態のデジタルカメラ1では、駆動部、ADC(Analog to Digital Converter)、及び、信号処理部等を備えたCMOSイメージセンサによって撮像素子140が構成される。この場合、撮像素子140は、内蔵する駆動部に駆動されて動作する。また、各画素の信号は、内蔵するADCによってデジタル信号に変換されて出力される。更に、各画素の信号は、内蔵する信号処理部によって、相関二重サンプリング処理、ゲイン処理、補正処理等が施される。また、本実施の形態のデジタルカメラ1では、位相差検出用画素を備えた撮像素子が使用される。これにより、撮像された画像データから被写体の位相差の情報を取得できる。また、取得した位相差の情報から画面内の被写体の焦点のズレの方向及び焦点のズレ量(デフォーカス量)を検出できる。位相差検出用画素を備えた撮像素子、及び、その撮像素子を用いた位相差の検出方法等は、公知の技術であるので、その詳細についての説明は省略する。
 シャッタ150は、たとえば、フォーカルプレーンシャッタで構成される。シャッタ150は、シャッタ駆動部152に駆動されて動作する。シャッタ駆動部152は、チャージ用のモータ、保持用の電磁石及びそれらの駆動回路等を含む。
 ストレージ部160は、主として、撮像により得られた画像データを記憶する。ストレージ部160は、記憶装置及びその制御回路等を含む。記憶装置は、たとえば、EEPROM、SSD(Solid State Drive)等で構成される。なお、記憶装置は、カメラボディ100に一体的に備えられた構成(いわゆる内蔵メモリの形態)であってもよいし、カメラボディ100に対し、着脱可能な構成(いわゆるメモリカードの形態)であってもよい。
 背面モニタ120は、カメラボディ100の背面に備えられる比較的大型のモニタである。背面モニタ120は、ディスプレイ及びその駆動回路等を含む。ディスプレイは、たとえば、LCD(Liquid Crystal Display)、有機ELディスプレイ(Organic Light Emitting Diode display)等で構成される。なお、上記のように、本実施の形態のデジタルカメラ1では、背面モニタ120がタッチパネルで構成される。したがって、背面モニタ120には、タッチセンサが含まれる。
 EVF130は、小型のモニタを有し、そのモニタの表示をファインダ越しに観察する構造を有する。本実施の形態のEVF130は、ファインダを覗くユーザの目の注視点を検出する機能を有する。ファインダ内のモニタは表示部の一例である。EVF130の詳細については、後述する。
 カメラ操作部170は、カメラボディ100に備えられた各種操作用の部材と、その操作用の部材に対する操作を検出するセンサ等を含む。
 カメラマイコン200は、プロセッサ200A及びメモリ200B等を備えたマイクロコンピュータで構成される。カメラマイコン200のプロセッサ200Aは、所定のプログラム(制御プログラム)を実行することで、デジタルカメラ1の制御部及び信号処理部等として機能する。プロセッサ200Aは、たとえば、CPUで構成される。メモリ200Bは、RAM、ROM及びEEPROM等を含む。メモリ200Bには、プロセッサ200Aが実行するプログラム及び制御に必要なデータ等が記憶される。カメラマイコン200に備えられるプロセッサ200Aは、プロセッサの一例である。また、カメラマイコン200に備えられるメモリ200Bは、記憶部の一例である。
 カメラマイコン200のプロセッサ200Aが行う制御には、撮像、記録、再生等の一般的なデジタルカメラが有する機能の制御が含まれる。たとえば、撮像制御には、AF(Auto Focus)制御、AE(Automatic exposure)制御等が含まれる。AF制御には、フォーカスエリアを設定する処理、設定されたフォーカスエリアの位相差の情報を取得する処理、取得した位相差情報に基づいてフォーカスレンズ群の駆動量を算出する処理、算出した駆動量でフォーカスレンズ群を駆動する処理等が含まれる。位相差の情報は、撮像素子140から出力される信号に基づいて取得される。フォーカスレンズ群の駆動制御は、レンズマイコン50のプロセッサ50Aを介して行われる。なお、カメラマイコン200及びレンズマイコン50は、交換レンズ10がカメラボディ100に装着されることで相互に通信可能に接続される。AE制御には、被写体の明るさを検出する処理、検出された明るさに基づいて適正な露出値を算出する処理、算出された露出値に基づいてシャッタスピード及び絞り値等を算出する処理、算出されたシャッタスピード及び絞り値でシャッタ及び絞りを駆動する処理等が含まれる。また、撮像制御には、ライブビューの表示処理が含まれる。ライブビューの表示処理は、撮像素子140を介して撮像される画像をリアルタイムに背面モニタ120又はEVF130に表示させる処理である。
 また、カメラマイコン200のプロセッサ200Aが行う信号処理には、撮像素子140から出力される信号からライブビュー用の画像を生成する処理、記録用の画像を生成する処理の他、各種制御に必要な信号処理が含まれる。各種制御に必要な信号処理には、たとえば、撮像素子140から出力される信号を処理して位相差の情報を生成する処理、撮像素子140から出力される信号を処理して被写体の明るさを算出する処理等、撮像素子140から出力される信号を処理してホワイトバランス補正量を算出する処理等が含まれる。
 [視線を利用したデジタルカメラの操作]
 本実施の形態のデジタルカメラ1は、EVF130を観察する際の視線で各種操作を行う機能を有する。具体的には、EVF130を観察している目の注視点の動きによって、各種操作を行う機能を有する。注視点の検出は、EVF130を介して行われる。まず、注視点検出部を含むEVF130の構成について説明する。
 [EVFの構成]
 図4は、EVFの概略構成を示す図である。
 同図に示すように、EVF130は、EVF用ディスプレイ131、接眼レンズ132及び注視点検出部133を備える。
 EVF用ディスプレイ131は、ファインダ内に備えられる小型のモニタである。EVF用ディスプレイ131は、たとえば、LCD、有機ELディスプレイ等で構成される。ユーザは、ファインダ接眼部134から接眼レンズ132を介してEVF用ディスプレイ131を観察する。ファインダ接眼部134には、必要に応じてアイカップが装着される。EVF用ディスプレイ131は、表示部の一例である。
 EVF用ディスプレイ131の表示は、EVF表示制御部210で制御される。EVF表示制御部210の機能は、カメラマイコン200のプロセッサ200Aによって実現される。すなわち、カメラマイコン200のプロセッサ200Aが、所定のプログラムを実行することにより、EVF表示制御部210として機能する。
 注視点検出部133は、EVF用ディスプレイ131に対する注視点を検出する。注視点検出部133は、赤外光照射部133A、ダイクロイックミラー133B、集光レンズ133C、注視点検出用撮像素子143C及び注視点検出処理部211等を含む。
 赤外光照射部133Aは、ファインダ接眼部134を覗くユーザの目に赤外光を照射する。赤外光照射部133Aは、赤外発光ダイオード及びその駆動回路等を含む。ダイクロイックミラー133Bは、EVF用ディスプレイ131と接眼レンズ132との間の光路中に配置される。ダイクロイックミラー133Bは、可視光を透過し、赤外光を反射する。集光レンズ133Cは、ダイクロイックミラー133Bで反射された赤外光を集光する。注視点検出用撮像素子143Cは、集光レンズ133Cで集光された赤外光を受光し、ファインダ接眼部134を覗くユーザの目の画像を撮像する。注視点検出用撮像素子143Cは、CMOSイメージセンサ、CCDイメージセンサ等の公知のイメージセンサで構成される。
 注視点検出用撮像素子143Cで撮像されたユーザの目の画像データは、注視点検出処理部211に取り込まれる。注視点検出処理部211は、取り込んだ目の画像データに基づいて、注視点を検出する。なお、この種の注視点の検出処理技術は、公知の技術であるので、その詳細についての説明は省略する。注視点検出処理部211の機能は、カメラマイコン200のプロセッサ200Aによって実現される。すなわち、カメラマイコン200のプロセッサ200Aが、所定のプログラムを実行することにより、EVF表示制御部210として機能する。
 [注視点の移動に基づくコマンドの実行処理]
 図5は、注視点の移動に基づくコマンドの実行処理に関してカメラマイコンのプロセッサが実現する主な機能のブロック図である。
 同図に示すように、カメラマイコン200のプロセッサ200Aは、パターン検出処理部212及び検索処理部213等として機能する。
 パターン検出処理部212は、注視点検出処理部211による注視点の検出結果に基づいて、注視点のパターンを検出する処理を行う。
 図6は、パターンの検出の概念図である。同図は、ファインダ接眼部134を介して観察されるファインダ内の様子を表している。
 図6において、符号A1で示す矩形の領域A1は、ファインダ接眼部134を介して観察可能な領域を示している。すなわち、当該領域A1が、ファインダ接眼部134を覗いた際に視認できるEVF130内の最大範囲となる。以下、必要に応じて、当該領域A1を内部領域A1と呼ぶ。
 図6において、符号A2で示す矩形の領域A2は、注視点検出部133によって注視点の検出が可能な領域を示している。以下、必要に応じて、当該領域A2を注視点検出可能領域A2と呼ぶ。注視点検出可能領域A2は、検出可能範囲の一例である。
 図6において、符号A3で示す矩形の領域A3は、EVF用ディスプレイ131の表示領域を示している。以下、必要に応じて、当該領域A3をEVF表示領域A3と呼ぶ。
 図6において、符号A4で示す矩形の領域A4は、画像の表示領域を示している。当該領域A4は、撮像の際にライブビューが表示される領域である。また、撮像済みの画像を再生する際に、画像が表示される領域である。以下、必要に応じて、当該領域A4を画像表示領域A4と呼ぶ。
 図6に示すように、画像表示領域A4は、EVF表示領域A3内に設定される。また、EVF表示領域A3は、注視点検出可能領域A2内に設定される。また、注視点検出可能領域A2は、内部領域A1内に設定される。本実施の形態のデジタルカメラ1では、EVF表示領域A3の周囲に所定の余白(マージン)をもって注視点検出可能領域A2が設定され、EVF表示領域A3よりも広い範囲で注視点の検出が可能になっている。すなわち、EVF表示領域A3を外れる視線も検出が可能になっている。
 パターンの検出は、EVF表示領域A3内に複数設定された検出枠W1~W9を利用して行われる。具体的には、複数設定された検出枠W1~W9を注視する順番を検出することでパターンを検出する。検出枠W1~W9は、枠の一例である。
 本実施の形態のデジタルカメラでは、9つの検出枠W1~W9が設定される。9つの検出枠W1~W9は、図6に示すように、画像表示領域A4内に設定される。具体的には、画像表示領域A4を3×3で9等分割し、9分割された各領域の中央に検出枠W1~W9が設定される。本実施の形態において、画像表示領域A4は、第3領域の一例である。
 また、本実施の形態のデジタルカメラでは、図6に示すように、各検出枠W1~W9が円形の枠で構成される。
 以下、必要に応じて、検出枠W1を第1検出枠W1、検出枠W2を第2検出枠W2、検出枠W3を第3検出枠W3、検出枠W4を第4検出枠W4、検出枠W5を第5検出枠W5、検出枠W6を第6検出枠W6、検出枠W7を第7検出枠W7、検出枠W8を第8検出枠W8、検出枠W9を第9検出枠W9として、各検出枠W1~W9を区別する。
 パターン検出処理部212は、注視点検出処理部211による注視点の検出結果に基づいて、注視点が検出枠W1~W9に入る順番を検出して、注視点のパターンを検出する。すなわち、注視点が検出枠W1~W9に入ったことを検出して、各検出枠W1~W9を注視したことを検出し、その順番を検出する。したがって、パターン検出処理部212は、注視点が入った検出枠W1~W9及び入った順番を検出する。
 EVF表示制御部210は、画像表示領域A4に表示する画像(ライブビュー又は再生画像)に重ねて、検出枠W1~W9を表示する(いわゆるスーパーインポーズ)。
 なお、図6に示す例では、画像表示領域A4を9等分割する線も表示しているが、当該線は必ずしも表示させる必要はない。
 ところで、ファインダを覗く視線を利用してパターンを検出する場合、どのタイミングでパターンの検出を開始及び終了するかが問題となる。本実施の形態のデジタルカメラ1では、いずれかの検出枠W1~W9が、所定の時間T1以上注視されると、パターンの検出が開始される。換言すると、いずれかの検出枠W1~W9に注視点が時間T1以上停留すると、パターンの検出が開始される。同様に、いずれかの検出枠W1~W9が、所定の時間T2以上注視されると、パターンの検出が終了される。換言すると、いずれかの検出枠W1~W9に注視点が時間T2以上停留すると、パターンの検出が終了される。
 時間T1は、第1時間の一例である。時間T2は、第2時間の一例である。一例として、本実施の形態のデジタルカメラ1では、時間T1及びT2が、1秒に設定される。なお、時間T1及び時間T2は、必ずしも同じにする必要はない。たとえば、時間T1を2秒、時間T2を1秒とすることもできる。
 なお、時間T2以上注視すると、パターンの検出が終了するので、中間の検出枠(始点と終点との間で経由する検出枠)は、時間T2未満の停留時間で注視点を移動させる必要がある。
 図7は、パターンの入力の一例を示す図である。
 同図は、第1検出枠W1を始点、第8検出枠W8を終点、第4検出枠W4及び第5検出枠W5を中間の経由点とするパターンを入力する場合の例を示している。
 この場合は、ユーザは、まず、第1検出枠W1を1秒以上注視する。次いで、第4検出枠W4、第5検出枠W5の順で注視し、最後に、第8検出枠W8を1秒以上注視する。中間の第4検出枠W4及び第5検出枠W5は、1秒未満の時間で注視する。
 パターン検出処理部212は、検出枠が1秒以上注視されたことを検出して、パターンの検出を開始する。より具体的には、検出枠に注視点が1秒以上停留したことを検出して、パターンの検出を開始する。検出開始後、1秒未満の時間で注視された検出枠を検出して、経由する検出枠を検出する。より具体的には、注視点の停留時間が1秒未満の検出枠を検出して、経由する検出枠を検出する。また、1秒以上注視された検出枠を検出して、終点とする検出枠を検出する。より具体的には、注視点の停留時間が1秒以上の検出枠を検出して、終点とする検出枠を検出する。
 図7の例では、第1検出枠W1が1秒以上注視されたことを検出して、パターンの検出を開始する。より具体的には、第1検出枠W1を始点とするパターンの検出を開始する。その後、第4検出枠W4、第5検出枠W5の順で注視されたことを検出して、経由する中間の検出枠を検出する。また、第8検出枠W8が1秒以上注視されたことを検出して、パターンの検出を終了する。これにより、第1検出枠W1、第4検出枠W4、第5検出枠W5、第8検出枠W8の順で注視されたパターンが検出される。
 このように、本実施の形態のデジタルカメラでは、任意の検出枠W1~W9を所定の時間以上注視することで、パターンの検出が開始される。
 なお、誤検出を防止するために、パターンを入力する際の注視点の移動時間に制限を設けることが好ましい。具体的には、検出枠から検出枠に注視点を移動させる際の移動時間に制限を設ける。すなわち、所定の時間T5内に注視点を移動させる構成とする。たとえば、図7の例において、第1検出枠W1から第4検出枠W4に注視点を移動させる際、所定の時間T5内に注視点を移動させる構成とする。同様に、第4検出枠W4から第5検出枠W5に注視点を移動させる際、及び、第5検出枠W5から第8検出枠W8に注視点を移動させる際、時間T5内に注視点を移動させる構成とする。これにより、パターン入力のための注視点の移動と他を目的とした注視点の移動とを区別でき、誤検出を効果的に防止できる。
 時間T5は、パターンの終点を検出するための時間T2よりも短い時間に設定される。一例として、時間T2が1秒の場合、時間T5は0.5秒である。したがって、この場合、パターンを入力するためには、先に停留していた検出枠を出てから0.5秒以内に次の検出枠に注視点を移動させる必要がある。
 パターン検出処理部212は、パターンの検出開始後、時間T5内に次の検出枠への注視点の移動が検出できなかった場合、パターンの検出処理を終了する。この場合、パターンの検出は行われない。本実施の形態において、時間T5は、第5時間の一例である。
 検索処理部213は、パターン検出処理部212で検出された注視点のパターンと一致するパターンをメモリ200Bから検索する処理を行う。具体的には、メモリ200Bに記憶されたパターン記憶テーブル214から該当するパターンを検索する。
 図8は、パターン記憶テーブルの概念図である。
 同図に示すように、パターン記憶テーブル214には、注視点のパターンと、そのパターンが入力された場合に実行するコマンドの情報とが関連付けられて記録される。注視点のパターンは、2つ以上の検出枠W1~W9を通るパターンで構成される。好ましくは、3つ以上の検出枠W1~W9を通るパターンで構成する。すなわち、始点とする検出枠から少なくとも1つの検出枠を経由して終点とする検出枠に到達する経路で構成される。これにより、登録可能なコマンドの数を増やすことができる。本実施の形態では、3つ以上の検出枠W1~W9を通るパターンで注視点のパターンが構成される。
 パターン記憶テーブル214は、あらかじめ作成されて、メモリ200Bに記憶される。パターン記憶テーブル214に登録するパターンをユーザが任意に追加、削除、編集等できるようにすることがより好ましい。登録の操作は、たとえば、専用の登録モードを用意して行う。このモードでは、たとえば、まず、割り当てるコマンドを選択し、その後、操作に使用する注視点のパターンを入力する。たとえば、撮像モードをオートモードに切り替える操作を視線で行う場合を考える。この場合、まず、オートモードに切り替えるコマンドを選択し、その後、操作に使用する注視点のパターンを入力する。注視点の入力は、操作の場合と同様にEVF130を介して行う構成としてもよいし、また、タッチパネルで構成される背面モニタ120を介して行う構成としてもよい。
 検索処理部213において、入力されたパターンと一致するパターンが検索されると、カメラマイコン200のプロセッサ200Aは、検索されたパターンに関連付けられたコマンドを実行する処理を行う。
 図9は、注視点の移動に基づくコマンドの実行の処理手順を示すフローチャートである。
 まず、検出枠が時間T1以上注視されたか否かが判定される(ステップS1)。すなわち、注視点が、いずれかの検出枠内に時間T1以上停留したか否か判定される。検出枠が時間T1以上注視されると、その検出枠を始点として、パターンの検出が開始される。すなわち、時間T1以上注視された検出枠を始点の箇所として、パターンの検出が開始される。
 パターンの検出が開始されると、注視点が検出枠を出てから時間T5内に別の検出枠に入ったか否かが判定される(ステップS2)。時間T5内に別の検出枠に入らなかった場合は、パターンの検出処理を終了する。すなわち、時間T5内に別の検出枠に入らなかった場合は、パターンの入力を意図した視線の移動ではないと判断して、パターンの検出処理を終了する。
 時間T5内に別の検出枠に入った場合、次に、検出枠を注視した回数がM回以上か否かが判定される(ステップS3)。Mは、注視点のパターンを構成する最小の検出枠の数である。上記のように、本実施の形態では、3以上の検出枠を通るパターンで注視点のパターンが構成される。よって、本実施の形態では、M=3となる。したがって、本実施の形態では、検出枠を注視した回数が3回以上か否かが判定される。なお、検出枠を注視した回数は、注視点が検出枠に入った回数である。
 検出枠を注視した回数がM回未満の場合は、パターンの入力途中であるので、ステップS2に戻る。一方、検出枠を注視した回数がM回以上の場合、検出枠が時間T2以上注視されたか否かが判定される(ステップS4)。すなわち、パターンの入力が終了したか否かが判定される。
 検出枠が時間T2以上注視されたか否かは、注視点が、いずれかの検出枠内に時間T2以上停留したか否かによって判定される。注視点が、いずれかの検出枠内に時間T2以上停留すると、パターンの検出が終了される。すなわち、注視点が、時間T2以上停留した検出枠を終点の箇所として、パターンの検出が終了される。
 この後、検出されたパターンに基づいて、検索処理が行われる(ステップS5)。すなわち、入力されたパターンと一致するパターンがパターン記憶テーブル214に記憶された中から検索される。
 検索処理の結果、一致するパターンの有無が判定される(ステップS6)。一致するパターンがある場合、検索されたパターンに関連付けられたコマンドが実行される(ステップS7)。一方、一致するパターンがない場合、エラー処理が行われる(ステップS8)。一例として、エラー表示が行われる。
 図10は、エラー表示の一例を示す図である。
 同図(A)は、エラー表示前のEVF用ディスプレイ131の表示の一例を示している。同図(B)は、エラー表示した場合のEVF用ディスプレイ131の表示の一例を示している。
 同図に示すように、エラー表示では、検出枠の表示に代えて、「ERROR!」の文字が画像表示領域A4に表示される。これにより、ユーザは、画像表示領域A4の表示からパターンの入力に失敗したことを認識できる。
 エラー表示は、所定の時間継続して実施され、所定の時間が経過した後に元の表示に復帰する。すなわち、図10(A)に示すように、再度、検出枠が表示される。
 以上説明したように、本実施の形態のデジタルカメラ1によれば、視線によって各種操作を行うことができる。これにより、ファインダを覗いた状態で所望の操作を行うことができ、操作性を向上させることができる。
 また、検出枠が所定の時間以上注視された場合に、パターンの検出が開始及び終了されるので、誤入力及び誤検出を効果的に防止できる。すなわち、操作を目的とした注視点のパターンの入力を正確に検出できる。
 また、検出枠間の注視点の移動時間に制限が設けられているので、この点においても、誤入力及び誤検出を効果的に防止できる。
 [変形例]
 [注視した検出枠の明示]
 ユーザが、注視した検出枠(選択した検出枠)を判別できるように、注視した検出枠の表示を変えることが好ましい。
 図11は、検出枠の表示の変化の一例を示す図である。同図は、EVF用ディスプレイ131の表示の変化を時系列順で示している。EVF用ディスプレイ131の表示は、(A)、(B)、(C)の順で変化する。なお、同図に示す例では、画像表示領域A4を分割する線を非表示としている。
 同図において、黒塗りの検出枠が、注視した検出枠である。同図に示す例では、第1検出枠W1、第4検出枠W4及び第5検出枠W5が注視した検出枠であり、第1検出枠W1、第4検出枠W4、第5検出枠W5の順で注視している。注視していない検出枠は、外形のみが表示される。すなわち、円のみが表示される。
 このように、注視した検出枠の表示を切り替えることにより、注視した検出枠(選択した検出枠)を判別できる。
 なお、本例では、検出枠の枠内の色を変える構成としているが、枠の色を変える構成としてもよい。あるいは、枠の輝度を変える構成としてもよい。また、枠を点滅させる構成としてもよい。更に、これらを組み合わせて表示してもよい。
 また、検出枠の表示は、始点及び/又は終点となる検出枠についてのみ変える構成としてもよい。これにより、少なくともパターンの検出が開始されたこと、及び/又は、終了したことを判別できる。
 図12は、検出枠の表示の変化の他の一例を示す図である。同図は、EVF用ディスプレイ131の表示の変化を時系列順で示している。EVF用ディスプレイ131の表示は、(A)、(B)、(C)の順で変化する。
 同図に示す例では、更に、注視点の移動軌跡Lを表示している。これにより、注視点の移動軌跡Lを表示することにより、注視した検出枠だけでなく、注視した順番も判別できる。
 図13は、検出枠の表示の変化の他の一例を示す図である。同図は、EVF用ディスプレイ131の表示の変化を時系列順で示している。EVF用ディスプレイ131の表示は、(A)、(B)、(C)の順で変化する。
 同図は、注視された検出枠の表示を変える場合において、注視時間に応じて、検出枠の表示態様を変える場合の例を示している。特に、同図は、注視時間に応じて、検出枠の色を変える場合の例を示している。
 同図に示すように、注視された検出枠の色が、注視時間に応じて変化してゆく。なお、注視された検出枠は、注視点が停留した検出枠と同義であり、注視時間は、注視点の停留時間と同義である。
 図13の例では、時間の経過と共に検出枠の色が、透明から白、白からグレー、グレーから黒に連続的に変化している。すなわち、色の濃度が変化している。
 色の変化は、所定時間内に完了する。この時間は、パターン検出の始点及び/又は終点を検出するのに必要な時間と一致させることが好ましい。すなわち、始点を検出するための時間T1及び/又は終点を検出するための時間T5と一致させることが好ましい。これにより、色が完全に切り替わったことをもって、始点及び/又は終点が確定したことを判別できる。図13は、パターン検出の始点及び終点を検出するのに必要な時間(時間T1及び時間T2)が1秒の場合の例を示している。この場合、1秒後に完全に色が切り替わる。
 また、本例では、検出枠の色を変化させる場合の例を示しているが、検出枠の輝度を変化させる構成としてもよい。また、色と輝度の双方を変化させる構成としてもよい。
 また、表示の変化は、連続的であってもよいし、段階的であってもよい。
 更に、連続的又は段階的に変化させた後に所定の色又は輝度に変化させてもよい。あるいは、連続的又は段階的に変化させた後に点滅等させてもよい。これにより、注視開始から所定時間が経過したことをより明確に判別できる。
 [エラー処理]
 上記実施の形態では、検出したパターンと一致するパターンがパターン記憶テーブル214にない場合、エラー処理として、EVF用ディスプレイ131に所定のエラー表示を行う構成としているが、エラー処理は、これに限定されるものではない。たとえば、登録済みのパターン、すなわち、パターン記憶テーブル214に記録されているパターンの情報をガイド表示する構成としてもよい。
 このようにガイド表示することにより、ユーザが登録しておいたパターンを忘れた場合であっても、容易に確認できる。
 図14は、ガイド表示の一例を示す図である。
 同図に示すように、EVF表示領域A3に登録済みのパターンの名称B1と、パターンB2と、実行されるコマンドの情報B3とが表示される。なお、同図は、瞳AFの機能をオンするコマンドのパターンの情報を表示する場合の例を示している。
 ガイド表示は、登録済みのパターンすべてを対象に行われる。登録済みのパターンが複数存在する場合、順番に表示される。この場合、たとえば、所定の時間の間隔で順次表示されるパターンが切り替えられる。
 なお、表示の切り替えについては、視線で行う構成としてもよい。たとえば、注視点を左から右(あるいは下から上)に動かすことで、次のパターンの情報を表示し、注視点を右から左(あるいは上から下)に動かすことで、ひとつ前のパターンを表示する構成とすることができる。また、たとえば、所定のアイコンを表示し、そのアイコンが所定時間注視されると、次のパターンの情報が表示される構成とすることもできる。
 なお、ガイド表示については、視線を利用して、強制終了できるようにすることが好ましい。この場合、たとえば、所定のアイコンを表示し、そのアイコンが所定時間以上注視されると、ガイド表示が強制的に終了される構成とすることができる。あるいは、EVF表示領域外の領域が所定時間以上注視されると、ガイド表示が強制的に終了される構成とすることができる。EVF表示領域外の領域とは、EVF表示領域A3の外側の領域であり、かつ、注視点検出可能領域A2の内側の領域である(図6参照)。
 また、登録済みのパターンが複数存在する場合には、ガイド表示するパターンの数を所定数に制限することもできる。この場合、たとえば、使用頻度の多い上位複数個のパターンを抽出して表示する構成とすることができる。あるいは、始点が一致するパターンを抽出して表示する構成とすることができる。
 [視線による操作機能のオン及びオフの切り替え]
 視線による操作機能のオン及びオフの切り替えを視線で行う構成としてもよい。たとえば、カメラマイコン200のプロセッサ200Aは、ファインダ内の特定の領域が、所定時間以上注視されると、視線による操作機能をオンする。オンされた後、ファインダ内の特定の領域が、所定時間以上注視されると、視線による操作機能をオフする。
 図15は、視線による操作機能のオン及びオフの切り替えを視線で行う場合の概念図である。
 同図(A)は、視線による操作機能がオフされている場合におけるEVF用ディスプレイ131の表示の一例を示している。同図(B)は、視線による操作機能がオンされている場合におけるEVF用ディスプレイ131の表示の一例を示している。
 同図(A)に示すように、視線による操作機能がオフされている場合、EVF用ディスプレイ131に視線による操作機能をオンするためのアイコン(視線操作オン用アイコン)G1が表示される。視線操作オン用アイコンG1は、EVF表示領域A3内に設定された視線操作用アイコン表示領域A5に表示される。視線操作用アイコン表示領域A5は、画像表示領域A4とは異なる領域に設定される。視線操作用アイコン表示領域A5は、第4領域の一例である。
 視線による操作機能がオフされている状態において、視線操作オン用アイコンG1が、所定の時間T3以上注視されると、視線による操作機能がオンされる。換言すると、視線操作オン用アイコンG1上で注視点が時間T3以上停留すると、視線による操作機能がオンされる。時間T3は、たとえば、2秒である。時間T3は、第3時間の一例である。
 視線による操作機能がオンされると、図15(B)に示すように、画像表示領域A4に検出枠W1~W9が表示され、パターンの検出が可能になる。
 また、図15(B)に示すように、視線による操作機能がオンされると、EVF用ディスプレイ131に視線による操作機能をオフするためのアイコン(視線操作オフ用アイコン)G2が表示される。視線操作オフ用アイコンG2は、視線操作用アイコン表示領域A5に表示される。
 視線による操作機能がオンされている状態において、視線操作オフ用アイコンG2が、時間T3以上注視されると、視線による操作機能がオフされる。換言すると、視線操作オフ用アイコンG2上で注視点が時間T3以上停留すると、視線による操作機能がオフされる。
 視線による操作機能がオフされると、図15(A)に示すように、検出枠W1~W9の表示が消え、パターンの検出が不能になる。
 このように、視線による操作機能を任意にオン及びオフできるようにすることにより、意図しない操作が実行されるのを効果的に防止できる。
 なお、本例では、アイコンを利用して、視線による操作機能をオン及びオフする場合を例に説明したが、視線による操作機能をオン及びオフする方法は、これに限定されるものではない。この他、たとえば、EVF表示領域A3の外側の領域が、時間T3以上注視されたことを検出して、視線による操作機能をオン及びオフする構成としてもよい。EVF表示領域A3の外側の領域は、第4領域の他の一例である。
 また、たとえば、注視点が、所定の時間T4以上消失したことを検出して、視線による操作機能をオン及びオフする構成としてもよい。注視点を消失する場合とは、たとえば、ユーザが注視点検出可能領域A2以外の領域を注視した場合である。また、ユーザが目を閉じた場合も同様に注視点が消失される。したがって、ユーザが、時間T4以上、目を瞑る動作によっても、視線による操作機能をオン及びオフできる。時間T4は、たとえば、2秒である。時間T4は、第4時間の一例である。
 [検出枠の設定]
 上記実施の形態では、9つの検出枠W1~W9で注視点のパターンを検出する構成としているが、設定する検出枠の数については、これに限定されるものではない。画面サイズ等に応じて、適宜、増減して設定することができる。また、設定する検出枠の数をユーザが任意に設定及び変更等できるようにしてもよい。
 また、検出枠のレイアウトについても任意のレイアウトを採用できる。なお、好ましくは、上記実施の形態のデジタルカメラのように、矩形の領域をa×b分割した各領域の中央に設定する(a及びbは、2以上の整数)。また、検出枠のレイアウトをユーザが、設定及び変更等できるようにしてもよい。
 また、検出枠については、サイズを変更できるようにすることが、より好ましい。すなわち、ユーザからの指示に応じて、サイズを拡縮できるようにすることが好ましい。この処理は、たとえば、専用の設定画面で行う。カメラマイコン200のプロセッサ200Aは、設定画面において、サイズの変更指示を受け付け、受け付けた指示に応じて、EVF表示領域A3に表示する検出枠のサイズを変更する。変更指示は、たとえば、デジタルカメラに備えられた操作部材(タッチパネルを含む)を用いて行う。あるいは、視線の操作で行う。
 図16は、検出枠のサイズの変更の一例を示す図である。
 同図(A)は、検出枠を縮小した場合の一例を示している。同図(B)は、デフォルトの状態を示している。同図(C)は、検出枠を拡大した場合の一例を示している。
 同図に示すように、サイズの変更指示に応じて、検出枠のサイズ(ここでは、直径)を拡大及び縮小させることができる。これにより、ユーザの使いやすいサイズに調整できる。
 [検出枠の表示及び非表示]
 検出枠については、表示及び非表示を任意に切り替えられるようにすることが好ましい。この場合、切り替えの操作は、視線で行うことが、より好ましい。
 視線で表示及び非表示を切り替える場合、たとえば、カメラマイコン200のプロセッサ200Aは、ファインダ内の特定の領域が、所定時間以上注視されると、検出枠の表示をオフする。オフされた後、ファインダ内の特定の領域が、所定時間以上注視されると、検出枠の表示をオンする。
 特定の領域としては、EVF表示領域A3の外側の領域を例示できる。すなわち、EVF表示領域A3の外側の領域が、所定時間以上注視された場合に、検出枠の表示がオフ及びオフされる構成とすることができる。この他、画像表示領域内に設定された所定の領域にアイコンを表示し、当該アイコンが所定時間以上注視された場合に、検出枠の表示がオフ及びオフされる構成とすることができる(図15参照)。また、注視点が、所定時間以上消失した場合に、検出枠の表示がオフ及びオフされる構成としてもよい。
 これにより、検出枠によってEVF表示領域A3の視認性、特に画像表示領域A4の視認性が低下するのを防止できる。
 [表示輝度の切り替え]
 パターンの検出を開始した場合に、EVF用ディスプレイ131の輝度を変更する構成としてもよい。これにより、パターンの検出が開始されたことをファインダ内で確認できる。同様に、パターンの検出を終了した場合に、EVF用ディスプレイ131の輝度に変更する構成としてもよい。これにより、パターンの検出が終了したことをファインダ内で確認できる。
 図17は、パターンの検出に応じて輝度を切り替える場合の概念図である。
 同図(A)は、パターンの検出開始前のEVF用ディスプレイ131の表示の一例を示している。同図(B)は、パターンの検出開始直後のEVF用ディスプレイ131の表示の一例を示している。同図(C)は、パターンの検出終了直後のEVF用ディスプレイ131の表示の一例を示している。
 同図(A)に示すように、パターンの検出開始前は、所定の輝度EV0で表示が行われる。一方、パターンの検出が開始されると、同図(B)に示すように、EVF用ディスプレイ131の輝度が、所定の輝度EV1に切り替えられる。この輝度EV1は、切り替え前の輝度EV0よりも低い輝度である。すなわち、パターンの検出が開始されると、EVF用ディスプレイ131の輝度が下げられ、暗くなる。輝度EV1は、第1輝度の一例である。その後、パターンの検出が終了すると、同図(C)に示すように、EVF用ディスプレイ131の輝度が、元の輝度EV0に戻される。すなわち、元の明るさに戻る。輝度EV0は、第2輝度の一例である。
 このように、パターンの検出処理に連動して、EVF用ディスプレイ131の輝度を変えることにより、パターンの検出処理が開始及び終了したことを明確に把握できる。
 なお、本例では、EVF用ディスプレイ131の全体の輝度を変える構成としているが、検出枠が表示された領域(たとえば、画像表示領域A4)の輝度のみを変える構成とすることもできる。この場合、検出枠を除いた輝度のみを変える構成とすることもできる。すなわち、画像の輝度のみを変える(下げる)構成とすることもできる。これにより、検出枠を視認しやすくできる。
 [音の出力]
 パターンの検出を開始した場合及び/又はパターンの検出を終了した場合に、音を出力して、ユーザに告知してもよい。パターンの検出処理が開始及び/又は終了したことを明確に把握できる。
 また、注視点が入った場合に音を出力する構成としてもよい。この場合、始点及び/又は始点とする検出枠に注視点が入った場合と、中間の検出枠に注視点が入った場合とで音の大きさ又はトーンを変えるようにしてもよい。
 [実行するコマンドの表示]
 入力したパターンと一致するパターンが検索された場合に、検索されたパターンに関連付けられたコマンドの情報をEVF用ディスプレイ131に表示する構成としてもよい。
 図18は、コマンドの情報の表示の一例を示す図である。
 同図(A)は、パターンの入力完了時点でのEVF用ディスプレイ131の表示の一例を示している。なお、同図は、注視した検出枠の色が変わる場合の例である。
 同図(B)は、入力したパターンと一致するパターンが検索された場合のEVF用ディスプレイ131の表示の一例を示している。
 同図(A)及び(B)に示すように、入力したパターンと一致するパターンが検索されると、画像表示領域A4の表示が切り替わり、検索されたパターンに関連付けられたコマンドの情報が表示される。すなわち、実行するコマンドの情報が表示される。
 なお、同図(B)に示す例では、コマンドの情報に加えて、入力したパターンの情報も表示する例を示している。入力したパターンの情報については、非表示とすることもできる。
 コマンドの情報は、所定時間表示された後に消される。消された後は、元の表示に復帰する。すなわち、再び、検出枠が表示される。
 このように、実行するコマンドの情報を表示することにより、意図した操作が行われたか否かを判別できるようになる。これにより、利便性を向上できる。
 なお、本例では、画像表示領域A4の表示を切り替える例で説明したが、コマンドの情報を画像表示領域外の領域に表示する構成とすることもできる。
 [コマンドの実行の確認処理]
 上記実施の形態では、入力したパターンに一致するパターンが検索されると、直ちに対応するコマンドが実行される構成であるが、コマンドを実行する前に確認処理を行う構成とすることもできる。すなわち、コマンドを実行する処理の前に、コマンドの実行及びキャンセルの指示を受け付ける処理を更に行い、コマンドの実行が指示された場合に、コマンドを実行する処理を行う構成にする。この場合、コマンドの実行及びキャンセルの指示も視線を利用して行う構成とすることが好ましい。
 図19は、コマンドの実行及びキャンセルの指示を視線で行う場合の概念図である。
 同図は、入力したパターンと一致するパターンが検索された場合におけるパターンの入力直後のEVF用ディスプレイ131の表示の一例を示している。
 同図に示すように、検索されたパターンに対応するコマンドの情報、すなわち、実行されるコマンドの情報、並びに、OKアイコンD1及びキャンセルアイコンD2が、画像表示領域A4に表示される。
 OKアイコンD1は、所定のOKアイコン表示領域A6に表示される。また、キャンセルアイコンD2は、所定のキャンセルアイコン表示領域A7に表示される。本例では、OKアイコン表示領域A6及びキャンセルアイコン表示領域A7が、画像表示領域A4内に設定されているが、画像表示領域A4の外側の領域に設定することもできる。OKアイコン表示領域A6は、第5領域の一例である。また、キャンセルアイコン表示領域A7は、第6領域の一例である。
 カメラマイコン200のプロセッサ200Aは、注視点の検出結果に基づいて、コマンドの実行及びキャンセルの指示を受け付ける処理を行う。具体的には、注視点が、OKアイコンD1上に所定の時間T6以上停留したことを検出すると、コマンドの実行が指示されたと判断し、コマンドを実行する。一方、注視点が、キャンセルアイコンD2上に所定の時間T7以上停留したことを検出すると、コマンドの実行がキャンセルされたと判断し、コマンドの実行をキャンセルする。時間T6及び時間T7は、たとえば、1秒である。時間T6は、第6時間の一例である。時間T7は、第7時間の一例である。
 このように、コマンドを実行する前に実行するか否かを確認する処理を行うことにより、意図しない操作が実行されるのを防止できる。
 なお、本例では、視線を利用してコマンドの実行及びキャンセルを指示する構成としているが、デジタルカメラに備えられた操作部材を使用して、コマンドの実行及びキャンセルを指示する構成とすることもできる。視線を利用して指示する構成とすることにより、瞬時に操作を実行及びキャンセルすることができる。
 [第2の実施の形態]
 本実施の形態では、1台のデジタルカメラを複数人で共用する場合において、ユーザの切り替えを視線によるパターン入力で行うデジタルカメラについて説明する。
 なお、デジタルカメラの基本構成は、上記第1の実施の形態のデジタルカメラと同じなので、ここでは、ユーザ切り替えに関わる点についてのみ説明する。
 図20は、ユーザ切り替えに関してカメラマイコンのプロセッサが実現する主な機能のブロック図である。
 同図に示すように、カメラマイコン200のプロセッサ200Aは、更に、個人認証処理部215として機能する。
 個人認証処理部215は、パターン検出処理部212で検出された注視点のパターンに基づいて、個人認証を行う。具体的には、メモリ200Bに記憶されたパターン記憶テーブル214から該当するパターンを検索する。
 図21は、パターン記憶テーブルの概念図である。
 同図に示すように、パターン記憶テーブル214には、登録済みのユーザに関して、ユーザごとにユーザ名の情報、個人認証用の注視点のパターンの情報、較正データの情報、操作用の注視点のパターンの情報、及び、各コマンド用の注視点のパターンが入力された場合に実行するコマンドの情報が、互いに関連付けられて記録される。
 ここで、較正データとは、注視点の検出の際に使用する較正用のデータのことである。目の形状には個体差があるため、ユーザごとに較正用のデータを用意する。ユーザが切り替わった場合は、較正データを使用して、較正処理を行う。これにより、1台のデジタルカメラを複数人で共用する場合であっても、精度よく注視点を検出できる。
 個人認証処理部215は、パターン検出処理部212で検出された注視点のパターンと一致するパターン(個人認証用の注視点のパターン)を、パターン記憶テーブルから検索して、個人認証を行う。
 個人認証用のパターンは、操作用のパターンと重複しないパターンで構成される。たとえば、5以上の検出枠を通るパターンで構成される。
 図22は、ユーザの切り替えの処理手順を示すフローチャートである。
 ユーザは、個人認証用のパターンを入力して、ユーザの切り替えを行う。個人認証用のパターンの検出処理は、操作用のパターンの検出処理を同じである。
 まず、検出枠が時間T1以上注視されたか否かが判定される(ステップS11)。検出枠が時間T1以上注視されると、注視された検出枠を始点としてパターンの検出が開始される。
 パターンの検出が開始されると、注視点が検出枠を出てから時間T5内に別の検出枠に入ったか否かが判定される(ステップS12)。時間T5内に別の検出枠に入らなかった場合は、パターンの検出処理を終了する。
 時間T5内に別の検出枠に入った場合、次に、検出枠を注視した回数がX回以上か否かが判定される(ステップS13)。Xは、注視点のパターンを構成する最小の検出枠の数である。上記のように、本実施の形態では、5以上の検出枠を通るパターンで注視点のパターンが構成される。よって、本実施の形態では、X=5となる。したがって、本実施の形態では、検出枠を注視した回数が5回以上か否かが判定される。なお、検出枠を注視した回数は、注視点が検出枠に入った回数である。
 検出枠を注視した回数がM回未満の場合は、パターンの入力途中であるので、ステップS12に戻る。一方、検出枠を注視した回数がX回以上の場合、検出枠が時間T2以上注視されたか否かが判定される(ステップS14)。
 検出枠が時間T2以上注視されると、パターンの検出が終了される。この後、検出されたパターンに基づいて、個人認証処理が行われる(ステップS15)。すなわち、入力された個人認証用のパターンと一致する個人認証用のパターンが、パターン記憶テーブル214に記憶された中から検索される。検索処理の結果、一致する個人認証用のパターンの有無が判定される(ステップS16)。
 一致する個人認証用のパターンがある場合、検索された個人認証用のパターンに関連付けられたユーザの情報に基づいて、ユーザの切り替え処理が行われる(ステップS17)。ユーザの切り替え処理には、較正処理が含まれる。以後、切り替えられたユーザの登録情報に基づいて、視線に基づく操作が行われる。
 一方、一致するパターンがない場合、エラー処理が行われる(ステップS18)。一例として、エラー表示が行われる。
 以上説明したように、本実施の形態のデジタルカメラによれば、ユーザごとにパターン及びコマンドが記憶されるので、複数人で共用する場合であっても、各自の好みの設定でデジタルカメラ1を使用できる。また、視線を使用して、瞬時にユーザの切り替えを行うことができる。
 また、本実施の形態のデジタルカメラによれば、ユーザの切り替わりに連動して、注視点の検出の較正処理も行われるので、注視点の検出も精度よく行うことができる。
 [変形例]
 [ユーザの表示]
 現在のユーザが判別できるように、EVF用ディスプレイ131に現在のユーザの情報を表示することが好ましい。
 図23は、ユーザの情報の表示の一例を示す図である。
 同図に示すように、EVF用ディスプレイ131のEVF表示領域A3にユーザ情報表示領域A8を設定し、そのユーザ情報表示領域A8にユーザの情報を表示する。
 なお、ユーザ情報表示領域A8は、画像表示領域A4と異なる領域に設定することが好ましい。
 [第3の実施の形態]
 本実施の形態では、視線でフォーカスエリアを選択する機能(視線AF機能)を備えたデジタルカメラにおいて、視線で各種操作を行う場合について説明する。
 視線AF機能を備えたデジタルカメラにおいて、視線で各種操作を行う場合、次の課題が生じる。すなわち、注視点の移動が、フォーカスエリアの移動を意図したものであるのか、パターンの入力を意図したものであるのか、判断が難しく、誤動作が生じ得る。
 本実施の形態のデジタルカメラでは、ユーザの選択により、いずれか一方の機能のみを有効にする。すなわち、視線AF機能が使用されている場合、視線による操作機能はオフされる。逆に、視線による操作機能が使用されている場合、視線AF機能はオフされる。
 視線AF機能と視線による操作機能との切り替えは、視線で行われる。視線AF機能の使用中に所定の領域をユーザが注視すると、視線AF機能がオフされ、視線による操作機能がオンされる。
 図24は、視線AF機能と視線による操作機能との切り替えを視線で行う場合の概念図である。
 同図(A)は、視線AF機能がオンされている場合におけるEVF用ディスプレイ131の表示の一例を示している。同図において、符号C1で示す複数の十字状の点C1は、フォーカスエリアポイントである。また、符号C2で示す矩形の枠C2は、フォーカスエリアである。
 カメラマイコン200のプロセッサ200Aは、注視点の検出結果に基づいて、フォーカスエリアを設定する処理を行う。すなわち、注視されたフォーカスエリアポイントC1にフォーカスエリアC2を設定する。換言すると、注視点が位置しているフォーカスエリアポイントC1にフォーカスエリアC2を設定する。
 同図(B)は、視線による操作機能がオンされている場合におけるEVF用ディスプレイ131の表示の一例を示している。
 同図(A)に示すように、視線AF機能がオフされている場合、EVF用ディスプレイ131に視線による操作機能をオンするためのアイコン(視線操作オン用アイコン)G1が表示される。視線操作オン用アイコンG1は、EVF表示領域A3内に設定された視線操作用アイコン表示領域A5に表示される。視線操作用アイコン表示領域A5は、画像表示領域A4とは異なる領域に設定される。視線操作用アイコン表示領域A5は、第4領域の一例である。
 視線AF機能がオンされている状態において、視線操作オン用アイコンG1が、所定の時間以上注視されると、視線AF機能がオフされ、代わりに、視線による操作機能がオンされる。換言すると、視線操作オン用アイコンG1上で注視点が所定の時間以上停留すると、視線による操作機能がオンされる。
 視線による操作機能がオンされると、図24(B)に示すように、画像表示領域A4に検出枠W1~W9が表示され、パターンの検出が可能になる。
 パターンの入力が完了すると、視線による操作機能はオフされ、再び、視線AF機能がオンされる。
 このように、いずれか一方の機能のみに制限することにより、意図しない操作が実行されるのを効果的に防止できる。
 なお、本実施の形態では、アイコンを利用して、使用する機能を切り替える場合を例に説明したが、使用する機能を切り替える方法は、これに限定されるものではない。この他、たとえば、EVF表示領域A3の外側の領域が、所定の時間以上注視されたことを検出して、視線AF機能から視線による操作機能に切り替える構成としてもよい。この場合において、EVF表示領域A3の外側の領域は、第4領域の他の一例である。
 また、たとえば、注視点が、所定の時間以上消失したことを検出して、視線AF機能から視線による操作機能に切り替える構成としてもよい。
 また、上記実施の形態では、パターンの入力が完了すると、視線AF機能に自動で復帰する構成としているが、ユーザからの指示に応じて、復帰させる構成としてもよい。すなわち、視線による操作機能に切り替える場合と同様に、アイコン等を注視する操作によって復帰させる構成としてもよい。
 また、視線による操作機能がオンされた場合は、EVF用ディスプレイ131の輝度を変えるようにしてもよい。
 図25は、EVF用ディスプレイの輝度の切り替えの概念図である。
 同図(A)は、視線AF機能がオンされている場合におけるEVF用ディスプレイ131の表示の一例を示している。同図(B)は、視線による操作機能がオンされている場合におけるEVF用ディスプレイ131の表示の一例を示している。
 同図に示すように、視線による操作機能に切り替わると、EVF用ディスプレイ131の輝度が変更される。同図は、輝度を下げる場合(暗くする場合)の例である。
 このように、視線による操作機能がオンされた場合にEVF用ディスプレイ131の輝度を変えることにより、視線による操作機能がオンされたことを明確に把握できる。これにより、利便性を向上できる。
 なお、本例では、EVF用ディスプレイ131の全体の輝度を変える構成としているが、検出枠が表示された領域(たとえば、画像表示領域A4)の輝度のみを変える構成とすることもできる。この場合、検出枠を除いた輝度のみを変える構成とすることもできる。すなわち、画像の輝度のみを変える(下げる)構成とすることもできる。これにより、検出枠を視認しやすくできる。
 [第4の実施の形態]
 本実施の形態では、視線AF機能及び視線による操作機能の双方の機能の使用を可能にする構成につい説明する。
 図26は、本実施の形態のデジタルカメラにおけるEVF用ディスプレイの表示の一例を示す図である。
 同図に示すように、本実施の形態のデジタルカメラでは、撮像モードにおいて、EVF用ディスプレイ131の画像表示領域A4にフォーカスエリアポイントC1、フォーカスエリアC2、及び、検出枠W1~W4、W6~W9が表示される。
 フォーカスエリアポイントC1は、画像表示領域A4の全域に配置される。一方、検出枠W1~W4、W6~W9については、中央領域を避けて配置される。換言すると、画像表示領域A4の淵に沿って配置される。中央領域を避けて検出枠W1~W4、W6~W9を配置することにより、相互の機能の抵触を避けることができる。すなわち、一般にフォーカスエリアは、画面中央に設定されることが多いので、当該領域を避けて検出枠W1~W4、W6~W9を配置することにより、意図せぬ操作が行われるのを抑止できる。
 [第5の実施の形態]
 本実施の形態のデジタルカメラでは、画像の表示領域とは異なる領域にパターンの入力領域が設定される。
 図27は、本実施の形態のデジタルカメラにおけるEVF用ディスプレイの表示の一例を示す図である。
 同図に示すように、EVF用ディスプレイ131のEVF表示領域A3に画像表示領域A4及びパターン入力領域A9が設定される。
 画像表示領域A4は、画像(ライブビュー及び再生画像)を表示する領域である。パターン入力領域A9は、注視点のパターンを入力するための領域である。パターン入力領域A9は、画像表示領域A4とは異なる領域に設定される。本例では、画像表示領域A4及びパターン入力領域A9は、横方向に並列して表示している。
 パターン入力領域A9には、パターンを検出するための複数(本例では9つ)の検出枠W1~W9が設定される。各検出枠W1~W9は、3×3の配列で等間隔に配置される。注視点のパターンは、注視点が各検出枠W1~W9に入る順番によって検出される。
 本実施の形態のデジタルカメラにおいて、画像表示領域A4は第1領域の一例であり、パターン入力領域A9は第2領域の一例である。
 カメラマイコン200のプロセッサ200Aは、パターン入力領域A9における注視点の検出結果に基づいて、注視点のパターンを検出する。
 このように、本実施の形態のデジタルカメラでは、画像表示領域A4とは別の領域(パターン入力領域A9)に検出枠W1~W9が設定され、当該領域でパターンの入力及び検出が行われる。これにより、誤操作を生じることなく、視線AF機能と視線による操作機能と同時に作動させることができる。
 [変形例]
 必要に応じて、視線による操作機能をオン及びオフできるようにしてもよい。この場合、視線でオン及びオフを切り替える構成とすることが好ましい。
 図28は、視線による操作機能のオン及びオフを視線で操作する場合の概念図である。
 同図(A)は、視線による操作機能がオフされている場合におけるEVF用ディスプレイ131の表示の一例を示している。同図は、第1表示モードでの表示の一例である。同図(B)は、視線による操作機能がオンされている場合におけるEVF用ディスプレイ131の表示の一例を示している。同図は、第2表示モードでの表示の一例である。
 同図(A)に示すように、視線による操作機能がオフされている場合、視線による操作機能をオンするためのアイコン(視線操作オン用アイコン)G1がEVF用ディスプレイ131に表示される。視線操作オン用アイコンG1は、EVF表示領域A3内に設定された視線操作用アイコン表示領域A5に表示される。
 視線による操作機能がオフされている状態において、視線操作オン用アイコンG1が、所定の時間以上注視されると、視線による操作機能がオンされる。換言すると、視線操作オン用アイコンG1上で注視点が、所定の時間以上停留すると、視線による操作機能がオンされる。
 視線による操作機能がオンされると、図24(B)に示すように、画像表示領域A4に検出枠W1~W9が表示され、パターンの検出が可能になる。
 また、図24(B)に示すように、視線による操作機能がオンされると、EVF用ディスプレイ131に視線による操作機能をオフするためのアイコン(視線操作オフ用アイコン)G2が表示される。視線操作オフ用アイコンG2は、視線操作用アイコン表示領域A5に表示される。
 視線による操作機能がオンされている状態において、視線操作オフ用アイコンG2が、時間T3以上注視されると、視線による操作機能がオフされる。換言すると、視線操作オフ用アイコンG2上で注視点が、所定の時間以上停留すると、視線による操作機能がオフされる。
 視線による操作機能がオフされると、図24(A)に示すように、検出枠W1~W9の表示が消え、パターンの検出が不能になる。
 このように、視線による操作機能を任意にオン及びオフできるようにすることにより、不要な表示を避けることができ、画像表示領域A4を大きくできる。
 なお、本例では、アイコンを利用して、視線による操作機能をオン及びオフする場合を例に説明したが、視線による操作機能をオン及びオフする方法は、これに限定されるものではない。この他、たとえば、EVF表示領域A3の外側の領域が、時間T3以上注視されたことを検出して、視線による操作機能をオン及びオフする構成としてもよい。
 また、たとえば、注視点が、所定の時間以上消失したことを検出して、視線による操作機能をオン及びオフする構成としてもよい。注視点を消失する場合とは、たとえば、ユーザが注視点検出可能領域A2以外の領域を注視した場合である。また、ユーザが目を閉じた場合も同様に注視点が消失される。したがって、ユーザが、所定の時間T4以上、目を瞑る動作によっても、視線による操作機能をオン及びオフできる。
 また、本例では、視線操作オフ用アイコンG2を注視すると、視線による操作機能がオフされる構成としているが、パターンの入力が完了(パターンの検出が終了と同義)すると、あるいは、パターンの入力によってコマンドが実行されると、視線による操作機能がオフする構成としてもよい。この場合、パターンの入力が完了すると、あるいは、パターの入力によってコマンドが実行されると、EVF用ディスプレイ131の表示が、自動的に第2表示モードから第1表示モードに切り替わる。
 なお、上記例では、視線操作オン用アイコンG1及び視線操作オフ用アイコンG2の注視により、視線による操作機能がオン及びオフされ、これに連動してEVF用ディスプレイ131の表示が切り替わる。したがって、視線操作オン用アイコンG1及び視線操作オフ用アイコンG2を注視することは、EVF用ディスプレイ131の表示モードの切り替えを指示することに該当する。
 [第6の実施の形態]
 注視点のパターンで各種操作を行う場合、ユーザは、実行するコマンドのパターンを覚えておく必要がある。実行するコマンドのパターンを忘れてしまった場合、及び、実行するコマンドのパターンを知らない場合は、そのコマンドを視線で実行させることはできない。そこで、本実施の形態のデジタルカメラでは、EVFの画面内でガイド表示を行う。
 図29は、本実施の形態のデジタルカメラにおけるEVF用ディスプレイの表示の一例を示す図である。
 同図に示すように、EVF表示領域A3に画像表示領域A4及びガイド表示領域A10が設定される。
 画像表示領域A4は、画像(ライブビュー及び再生画像)を表示する領域である。一方、ガイド表示領域A10は、登録されているパターンの情報を表示する領域である。ガイド表示領域A10は、画像表示領域A4とは異なる領域に設定される。図29に示す例では、画像表示領域A4の上側に形成されるスペースにガイド表示領域A10を設定している。
 上記のように、ガイド表示領域A10には、登録されているパターンの情報(パターン情報)が表示される。パターン情報PI1~PI5は、パターンの入力順を示す図と、そのパターンに関連付けられているコマンドの情報と、で構成される。パターンの入力順を示す図は、たとえば、検出枠を注視する順番を矢印で示す図で構成される。コマンドの情報は、コマンドの名称で構成される。図29では、COMMAND_1のパターン情報PI1と、COMMAND_2のパターン情報PI2と、COMMAND_3のパターン情報PI3と、COMMAND_4のパターン情報PI4と、COMMAND_5のパターン情報PI5と、が表示された場合の例が示されている。
 ガイド表示領域A10には、少なくとも1つのパターン情報が表示される。ガイド表示領域A10に表示するパターン情報の数は、EVF表示領域A3のサイズ等に応じて設定される。図29は、パターン情報を5つ表示する場合の例を示している。
 ガイド表示領域A10に表示可能なパターン情報の数を超える数のパターンが登録されている場合、あらかじめ定められた基準に従って選出処理が行われ、選出されたパターンの情報が表示される。本実施の形態のデジタルカメラでは、登録順で上位5個のパターンの情報が表示される。すなわち、パターン記憶テーブルに記憶する各パターンに番号を付し、番号の若い順に5個のパターンを抽出し、抽出したパターンの情報を表示する。
 このように、パターンの情報をガイド表示することにより、利便性を向上できる。
 本実施の形態のデジタルカメラにおいて、画像表示領域A4は、第7領域の一例である。また、ガイド表示領域A10は、第8領域の一例である。
 なお、本実施の形態では、画像表示領域A4に検出枠が設定されているが、上記第5の実施の形態のデジタルカメラのように、EVF表示領域A3内にパターン入力領域A9を別途設定してもよい(図27参照)。この場合、パターン入力領域A9が、第7領域に相当する。
 [変形例]
 [ガイド表示のオン及びオフ]
 ガイド表示は、任意にオン及びオフできるようにすることが好ましい。この場合、オン及びオフの操作は、視線を利用して行うことが、より好ましい。
 図30は、ガイド表示を視線でオン及びオフする場合の概念図である。
 同図(A)は、ガイド表示がオフされている場合におけるEVF用ディスプレイ131の表示の一例を示している。同図(B)は、ガイド表示がオンされている場合におけるEVF用ディスプレイ131の表示の一例を示している。
 同図(A)に示すように、ガイド表示がオフされている場合、EVF用ディスプレイ131にガイド表示をオンするためのアイコン(ガイド表示オン用アイコン)H1が表示される。ガイド表示オン用アイコンH1は、EVF表示領域A3内に設定されたガイド表示用アイコン表示領域A11に表示される。
 ガイド表示がオフされている状態において、ガイド表示オン用アイコンH1が、所定の時間以上注視されると、ガイド表示がオンされる。換言すると、ガイド表示オン用アイコンH1上で注視点が所定の時間以上停留すると、視線による操作機能がオンされる。所定の時間は、たとえば、2秒である。
 ガイド表示がオンされると、図30(B)に示すように、画像表示領域A4にガイド表示領域A10が設定され、そのガイド表示領域A10にパターン情報が表示される。
 また、図30(B)に示すように、ガイド表示がオンされると、EVF用ディスプレイ131にガイド表示をオフするためのアイコン(ガイド表示オフ用アイコン)H2が表示される。ガイド表示オフ用アイコンH2は、ガイド表示用アイコン表示領域A11に表示される。
 ガイド表示がオンされている状態において、ガイド表示オフ用アイコンH2が、所定の時間以上注視されると、視線による操作機能がオフされる。換言すると、ガイド表示オフ用アイコンH2上で注視点が所定の時間以上停留すると、視線による操作機能がオフされる。所定の時間は、たとえば、2秒である。
 ガイド表示がオフされると、図30(A)に示すように、ガイド表示が消える。
 このように、ガイド表示を任意にオン及びオフできるようにすることにより、必要な場合にのみガイドを表示させることができる。これにより、利便性を向上できる。
 なお、本例では、アイコンを利用して、ガイド表示をオン及びオフする場合を例に説明したが、視線を利用してガイド表示をオン及びオフする方法は、これに限定されるものではない。この他、たとえば、EVF表示領域A3の外側の領域が、所定の時間以上(たとえば、2秒以上)注視されたことを検出して、視線による操作機能をオン及びオフする構成としてもよい。
 また、たとえば、注視点が、所定の時間以上(たとえば、2秒以上)消失したことを検出して、視線による操作機能をオン及びオフする構成としてもよい。
 [ガイド表示領域に表示するパターン情報の切り替え]
 上記実施の形態では、ガイド表示領域A10に5つのパターン情報を表示している。この場合、5つを超えるパターンが登録されていると、そのすべてを表示することはできない。そこで、ガイド表示領域A10に表示するパターン情報を切り替えられるようにする。切り替えの指示は、視線で行う構成とすることが好ましい。
 図31は、ガイド表示領域に表示するパターン情報を視線で切り替える場合の概念図である。
 同図は、アイコンの注視によって、ガイド表示領域A10に表示するパターン情報を切り替える場合の例を示している。
 同図に示すように、ガイド表示領域A10に送りアイコンE1及び戻しアイコンE2が表示される。ユーザが、送りアイコンE1を注視すると、ガイド表示領域A10に表示されるパターン情報が図中の矢印AR1で示す順方向にスクロールされる。一方、ユーザが、戻しアイコンE2を注視すると、ガイド表示領域A10に表示されるパターン情報が、図中の矢印AR2で示す逆方向にスクロールされる。
 カメラマイコン200のプロセッサ200Aは、送りアイコンE1及び戻しアイコンE2に注視点が停留したことを検出して、ガイド表示領域A10に表示するパターン情報を切り替える処理を行う。なお、誤検出を防止するため、注視点がアイコン上に所定時間以上停留したことを検出して、切り替えの処理を行うことが好ましい。
 これにより、ガイド表示領域A10に表示可能なパターン情報の数を超えてパターンが登録されている場合であっても、その情報をガイド表示領域A10に表示できる。これにより、利便性を向上できる。
 なお、本例では、アイコンを利用して、ガイド表示領域A10に表示するパターン情報を切り替える構成としているが、ガイド表示領域A10に表示するパターン情報を切り替える方法は、これに限定されるものではない。たとえば、ガイド表示領域A10を所定時間以上注視したのち、注視点を右方向又は左方向に移動させる操作によって、ガイド表示領域A10に表示するパターン情報を切り替える構成としてもよい。この場合、注視点を移動させる方向にパターン情報をスクロールする。
 [ガイド表示するパターンの制限]
 ガイド表示領域A10に表示するパターンは、注視点の移動回数が閾値以下のパターンに制限することが好ましい。注視点の移動回数とは、パターンを入力するために検出枠間で注視点を移動させる回数のことである。たとえば、図30において、ガイド表示領域A10に表示されたパターン情報PI1のパターン(COMMAND_1のパターン)における注視点の移動回数は3である。同様に、パターン情報PI2のパターン(COMMAND_2のパターン)における注視点の移動回数も3である。
 閾値は、たとえば、3である。この場合、注視点の移動回数が3以下のパターンの情報が、ガイド表示領域A10に表示される。
 なお、このように、注視点の移動回数が閾値以下のパターンに制限してガイド表示する場合、各コマンドに割り当てるパターンは、次の基準に従って設定することが好ましい。すなわち、注視点の移動回数が閾値以下のパターンは、単一の処理が実行されるコマンドに割り当てる。換言すると、単一の処理が行われるコマンドについてのみ、注視点の移動回数が閾値以下のパターンが割り当てられる。1つのパターンの入力で複数の処理が行われるコマンドについては、注視点の移動回数が閾値以下のパターンの割り当てを禁止する。
 ここで、単一の処理が行われるコマンドとは、1つのパターンの入力によって、1つの設定が反映されるコマンドのことである。たとえば、撮像モードを特定のモードに切り替える場合などが、これに該当する。この種のコマンドは、いわゆる基本操作(基本設定)のコマンドである。
 一方、複数の処理が行われるコマンドとは、1つのパターンの入力によって、複数の設定が反映されるコマンドのことである。たとえば、1つのパターンの入力によって、シャッタスピード、絞り値、ISO感度(ISO:International Organization for Standardization)をあらかじめ設定した値に変える場合などである。いわゆるカスタム設定を反映させる場合も、複数の処理が行われるコマンドに該当する。
 このように、ガイド表示領域A10に表示するパターンを基本操作のコマンドのパターン制限することにより、利便性を向上できる。
 [履歴を利用したガイド表示]
 入力されたパターンの履歴を記録し、記録された履歴に基づいて、ガイド表示を行うようにしてもよい。たとえば、入力が新しい順に上位N個のパターンを表示する構成とすることができる。
 図32は、履歴を利用してガイド表示する場合においてカメラマイコンのプロセッサが実現する主な機能のブロック図である。
 同図に示すように、カメラマイコン200のプロセッサ200Aは、更に、履歴記録処理部216として機能する。
 履歴記録処理部216は、入力されたパターンの履歴を入力履歴記憶部217に記録する処理を行う。なお、記録するパターンは、コマンドが実行されたパターンに限定される。したがって、入力しても、一致するパターンが検索されなかったパターンについては、記録されない。
 入力履歴記憶部217は、メモリ200Bの一記憶領域に設定される。入力履歴記憶部217は、N個分のパターンの情報を記憶する。Nは、ガイド表示領域A10に表示可能なパターン情報の数である。図29に示す例では、N=5となる。
 履歴記録処理部216は、パターンが入力されるたびに入力履歴記憶部217に記憶されたパターンの情報を更新する。この場合、最も入力が古いパターンの情報が書き換えられる。この結果、入力履歴記憶部217には、常に、入力が新しい順に上位N個のパターンの情報が記憶される。なお、入力履歴記憶部217に記憶済みのパターンが入力された場合は、入力順の情報のみが書き換えられる。
 ガイド表示を行う場合、EVF表示制御部210は、入力履歴記憶部217に記憶されたパターンの情報を参照し、ガイド表示を行う。すなわち、入力履歴記憶部217に記憶されたパターンの情報をガイド表示領域A10に表示する。この場合、N個のパターン情報を入力が新しい順に並べて表示する。図29の例では、左から右に向かって入力が新しい順に並べて、N個のパターン情報をガイド表示領域A10に表示する。
 なお、本例では、入力が新しい順に上位N個のパターンの情報を表示する例で説明したが、所定期間又は所定数の入力履歴を記録し、入力頻度の高い上位N個のパターンの情報を抽出して、表示する構成としてもよい。
 [パターンの入力に連動した候補の表示]
 ガイド表示領域A10に表示するパターン情報は、パターンの入力に連動して切り替える構成としてもよい。すなわち、検出枠を注視する順番が一致するパターンを入力の候補として抽出し、ガイド表示領域A10に表示する。
 図33は、候補の抽出の概念図である。
 同図は、パターン記憶テーブル214に12個のパターンが記憶されている場合の例を示している。
 パターンが未入力の状態では、パターン記憶テーブル214に記憶されたパターンが、すべて候補となる。
 パターンの始点が特定されると、始点(最初の注視点)が共通するパターンが候補として絞り込まれる。図33に示す例では、COMMAND_1、COMMAND_2、COMMAND_3、COMMAND_4、COMMAND_5、COMMAND_6、COMMAND_7及びCOMMAND_8のパターンが候補として絞り込まれる。
 更に、2番目の注視点が特定されると、始点及び2番目の注視点が共通するパターンが候補として絞り込まれる。図33に示す例では、COMMAND_1、COMMAND_2、COMMAND_3及びCOMMAND_4のパターンが候補として絞り込まれる。
 更に、3番目の注視点が特定されると、始点、2番目の注視点及び3番目の注視点が共通するパターンが候補として絞り込まれる。図33に示す例では、COMMAND_1、COMMAND_3及びCOMMAND_4のパターンが候補として絞り込まれる。
 このように、注視点が検出枠に入る順番によって、ガイド表示領域A10に表示させるパターンを絞り込み、ガイド表示領域A10に表示する。絞り込みの処理は、たとえば、検索処理部213が行う。
 なお、ガイド表示領域A10に表示可能なパターン情報の数を超えている場合は、あらかじめ定められた基準に従って、所定のパターンを優先的に表示させる。たとえば、登録順に上位N個のパターンを表示する。あるいは、入力履歴に基づいて表示する。たとえば、入力の新しい順に上位N個のパターンを表示する。
 図34は、ガイド表示領域の表示の遷移の一例を示す図である。
 同図(A)は、パターンの検出開始直後のEVF用ディスプレイ131の表示の一例を示している。すなわち、始点検出直後の表示を示している。この時点でガイド表示領域A10には、始点が一致するパターンの情報が表示される。
 同図(B)は、2番目の注視点が検出された直後のEVF用ディスプレイ131の表示の一例を示している。この時点でガイド表示領域A10には、始点及び2番目の注視点が一致するパターンの情報が表示される。
 同図(C)は、3番目の注視点が検出された直後のEVF用ディスプレイ131の表示の一例を示している。この時点でガイド表示領域A10には、始点、2番目の注視点及び3番目の注視点が一致するパターンの情報が表示される。
 このように、パターンの入力に連動してガイド表示領域A10に表示するパターン情報を切り替えることにより、利便性を向上できる。
 [設定状況に応じた表示の切り替え]
 現在のデジタルカメラの設定状態に応じて、ガイド表示領域A10に表示するパターン情報を変えてもよい。たとえば、設定されている撮像モードに応じて、ガイド表示領域A10に表示するパターン情報を変える構成とすることができる。
 図35は、撮像モードに応じたガイド表示の切り替えの概念図である。
 同図には、一例として、撮像モードが、シャッタスピード優先モードに設定された場合、絞り優先モードに設定された場合、及び、ポートレートモードに設定された場合の例が示されている。
 同図に示すように、各モードにおいて、使用頻度が多いコマンドのパターン情報が表示される。たとえば、シャッタスピード優先モードでは、シャッタスピードの設定に関わるコマンドのパターン情報が表示される。また、絞り優先モードでは、絞り値の設定に関わるコマンドのパターン情報が表示される。
 カメラマイコン200のメモリ200Bは、モードに応じて表示するコマンドの情報が記憶される。カメラマイコン200のプロセッサ200Aは、この情報を参照し、設定されたモードに応じて、ガイド表示領域A10に表示するパターン情報を動的に切り替える。
 このように、現在のデジタルカメラの設定状態に応じて、ガイド表示領域A10に表示するパターン情報を動的に切り替えることにより、利便性を向上できる。
 [操作部材の操作に応じた表示の切り替え]
 視線を利用した操作は、カメラボディに備えられた操作部材の操作(タッチパネルでの操作を含む)と組み合わせて行うことができる。たとえば、操作部材で操作した内容に複数の選択肢が存在する場合、選択肢の選択を視線で行う構成としてもよい。この場合、各選択肢に対応するパターン情報をガイド表示領域A10に表示する。
 一例として、ダイナミックレンジを設定する場合について説明する。この場合、設定するダイナミックレンジを選択する操作までをカメラボディに備えられた操作部材で行う。たとえば、ダイナミックレンジの設定をメニュー画面で行う場合、メニュー画面を呼び出す操作、メニュー画面において、ダイナミックレンジの設定の項目を選択する操作等をカメラボディに備えられた操作部材で行う。
 図36は、ダイナミックレンジを選択する操作を行う場合のEVF用ディスプレイの表示の一例を示す図である。
 同図では、選択可能なダイナミックレンジが3つの場合の例を示している。具体的には、選択可能なダイナミックレンジが、100%、200%、400%の場合の例を示している。この場合、各ダイナミックレンジに設定する場合のパターン情報が、ガイド表示領域A10に表示される。ユーザは、このガイド表示領域A10に表示されたパターン情報を参照して、設定を希望するダイナミックレンジのパターンを入力する。
 このように、選択できる項目のパターンをガイド表示することにより、パターン入力の際の利便性を向上できる。
 なお、メニュー画面を呼び出す操作は、単一のボタン操作で行う構成とすることが好ましい。カメラボディをグリップしながら操作できるボタンの押下によって、メニュー画面を呼び出せるようにすることが好ましい。たとえば、図2において、符号116で示すボタン(クイックメニューボタン)を押下すると、メニュー画面を呼び出せるように構成する。これにより、ファインダを覗きながらメニュー画面を呼び出すことができる。
 なお、呼び出したメニュー画面において、設定を行う項目の選択を視線で行う構成とすることもできる。
 図37は、メニュー画面における選択操作を視線で行う場合の概念図である。
 同図は、EVF用ディスプレイ131に表示されるメニュー画面の一例を示している。たとえば、クイックメニューボタン116を押下すると、この画面が表示される。同図に示すように、設定可能な項目のボタン(アイコン)が一覧表示される。ユーザは、設定を希望する項目のボタンを所定の時間(たとえば、2秒)注視する。カメラマイコン200のプロセッサ200Aは、注視点の検出結果に基づいて、注視されたボタンを検出する。
 このように、メニュー画面における選択操作も視線で行うことができるようにすることにより、利便性を向上できる。
 [第7の実施の形態]
 画像表示領域に検出枠が設定される場合、検出枠を利用して、画像を拡大して表示させることができる。すなわち、視線を利用して表示中の画像をズームする機能を実現できる。
 図38は、視線を利用した表示画像のズームの概念図である。
 同図(A)は、ズーム前のEVF用ディスプレイ131の表示の一例を示している。同図(B)は、ズーム後のEVF用ディスプレイ131の表示の一例を示している。
 同図(A)に示すように、表示中の画像をズームする場合は、ユーザは、ズームする領域を囲うようにパターンを入力する。より具体的には、ズームする領域を矩形状に囲うように、パターンを入力する。同図(A)では、第1検出枠W1、第2検出枠W2、第4検出枠W4及び第5検出枠W5によって囲われる領域をズームする場合の例が示されている。この場合、ユーザは、たとえば、第1検出枠W1を始点とし、第4検出枠W4、第5検出枠W5、第2検出枠W2、第1検出枠W1の順で注視する。すなわち、始点と終点を一致させて、矩形の枠を形成するように、検出枠を注視する。パターンの検出を開始する条件及び終了する条件は、第1の実施の形態の場合と同じである。すなわち、時間T1以上注視された検出枠(注視点が時間T1以上停留した検出枠)を始点として、パターンの検出を開始する。また、時間T2以上注視された検出枠(注視点が時間T2以上停留した検出枠)を終点として、パターンの検出を終了する。
 検出枠W1~W9が3×3で配置される場合、4つの領域の拡大指定が可能になる。すなわち、第1検出枠W1、第2検出枠W2、第4検出枠W4及び第5検出枠W5によって囲われる領域、第2検出枠W2、第3検出枠W3、第5検出枠W5及び第6検出枠W6によって囲われる領域、第4検出枠W4、第5検出枠W5、第7検出枠W7及び第8検出枠W8によって囲われる領域、並びに、第5検出枠W5、第6検出枠W6、第8検出枠W8及び第9検出枠W9によって囲われる領域の4つの領域を拡大させることができる。パターン記憶テーブル214には、各領域を囲うパターンの情報と、そのパターンが入力された場合に実行されるコマンドの情報として、各領域をズームさせる情報が記憶される。矩形のパターンは、多角形のパターンの一例である。
 カメラマイコン200のプロセッサ200Aは、矩形の枠を構成するパターンの入力を検出すると、入力されたパターンで囲われる領域内の画像を拡大して画像表示領域A4に表示する。具体的には、パターンを構成する各検出枠の中心を結ぶ直線で構成される矩形の領域内の画像を拡大して表示する。
 このように、画像表示領域A4に検出枠W1~W9が設定される場合、視線を利用して画像をズームさせることができる。これにより、利便性を向上できる。
 [変形例]
 [拡大する領域の指定]
 上記実施の形態では、入力されたパターンで囲われた領域を拡大して表示する場合を例に説明したが、画像を拡大する方法は、これに限定されるものではない。パターンで囲われた領域の中心又は重心を拡大の中心として、所定の倍率で拡大する構成とすることもできる。たとえば、3つの検出枠で囲われるパターンが入力されたと仮定する。この場合、まず、各検出枠の中心を結ぶ直線で構成される三角形の領域の中心又は重心を求める。求めた中心又は重心を拡大の中心として所定の倍率で表示中の画像を拡大して表示する。これにより、拡大する領域をより詳細に設定することができる。
 また、上記実施の形態では、検出枠を利用して、ズームする領域を指定する構成としているが、任意の領域をズームできるようにしてもよい。この場合、視線(注視点)の移動によって、囲われた領域を拡大する。たとえば、視線の移動によって矩形に囲われた領域を拡大する。この場合、たとえば、始点及び終点を所定の時間(たとえば、2秒)以上注視し、かつ、残り3つの頂点を所定の時間(たとえば、1秒)以上注視する構成にする。
 [ズーム領域の移動]
 ズームした場合、更に、視線を利用してズームする領域を移動できるようにすること、すなわち、画面をスクロールできるようにすることが好ましい。
 図39は、視線を利用して画面をスクロールする場合の概念図である。
 同図(A)は、スクロール前のEVF用ディスプレイ131の表示の一例を示している。同図(B)は、スクロール後のEVF用ディスプレイ131の表示の一例を示している。
 視線を利用して画面をスクロールする場合、ユーザは、いずれかの検出枠W1~W9を所定の時間T8以上注視する。その後、画面をスクロールする方向に視線(注視点)を移動させる。すなわち、所定の時間T8以上注視することで、スクロールモードに移行し、視線を移動させる方向及び量でスクロールさせる方向及び移動量が決定される。時間T8は、たとえば、2秒である。時間T8は、第8時間の一例である。
 カメラマイコン200のプロセッサ200Aは、注視点が、いずれかの検出枠W1~W9に時間T8以上停留したことを検出して、スクロールモードへの移行の指示を受け付ける。スクロールモードへの移行の指示を受け付けた後、プロセッサ200Aは、注視点の検出結果に基づいて、注視点の移動方向及び移動量を検出する。すなわち、注視点の移動ベクトルを検出する。注視点の移動ベクトルは、たとえば、始点と終点を結ぶベクトルとして検出する。検出した移動ベクトルに基づいて、画面をスクロールさせる。すなわち、拡大表示する領域を移動させる。
 図39は、中央の第5検出枠W5を始点として、右斜め下方向(第9検出枠W9の方向)に視線を所定量移動させた場合の例を示している。すなわち、図39(A)において、矢印V1で示すベクトルの方向に視線を移動させた場合の例を示している。この場合、画像は、ベクトルV1の方向、すなわち、右斜め下方向にスクロールされる。スクロールする速度については、視線(注視点)の移動に連動させることが好ましい。
 このように、本変形例によれば、ズーム後、視線を利用して、画像を任意の方向にスクロールできる。これにより、利便性を向上できる。また、ボタン操作等による移動に対して、画像を連続的に移動させることができるので、見たい範囲を滑らかに移動させることができる。
 なお、本例では、検出枠を時間T8以上注視することで、スクロールを開始する構成としているが、スクロール処理の開始条件は、これに限定されるものではない。検出枠を含む画像表示領域内を時間T8以上注視することで、スクロールを開始する構成とすることもできる。この場合、注視した点を始点として、注視点の移動ベクトルを検出する。
 また、本手法は、カメラボディに備えられた操作部材を操作して、画像をズームした場合にも適用できる。
 また、拡大する対象は、再生画像に限らず、ライブビューに対しても行うことができる。
 [ズームの解除]
 視線を利用して、画像をズームした場合、ズームの解除も視線で行うことができるようにすることが好ましい。
 たとえば、所定のパターンを入力すると、ズームを解除する構成にすることができる。あるいは、所定の領域を所定の時間以上注視すると、ズームを解除する構成にすることができる。所定の領域としては、画像表示領域以外の領域を例示できる。また、所定の時間以上、注視点が消失すると、ズームを解除する構成とすることもできる。
 また、ズーム後、所定のパターンを入力すると、所定の倍率でズームアウトする構成にすることもできる。
 [その他の実施の形態]
 [パターンの登録]
 上記のように、各コマンドに割り当てるパターンをユーザが任意に追加、削除、編集できるようにすることが好ましい。一例として、背面モニタ120を利用して、パターンの登録操作を行う場合について説明する。
 図40は、パターンの登録操作の概念図である。
 上記のように、パターンの登録は、たとえば、デジタルカメラのモードをパターン登録モードに設定して行う。パターン登録モードへの設定は、たとえば、メニュー画面で行う。
 図40(A)は、パターン登録モードに設定された場合の背面モニタ120の表示の一例を示している。同図に示すように、パターンを割り当て可能な項目が一覧表示される。パターンの割り当てが可能な項目は、必要に応じて階層化されて表示される。階層化されている場合、初期画面では、階層の最上位の項目が表示される。ユーザは、パターンの割り当てを希望する項目を選択する。
 図40(B)は、パターンを割り当てる項目として、マニュアルモードを選択した場合の例を示している。パターンの割り当てを希望する場合は、この画面で「OK」を選択する(OKボタンをタッチする。)。「OK」が選択されると、パターンの入力画面に切り替わる。
 図40(C)は、パターンの入力画面の一例を示している。ユーザは、登録を希望するパターンを入力する。すなわち、検出枠を順番にタッチする。同図に示す例では、タッチした順番に検出枠の色が変わり、かつ、番号が表示される例で示している。パターンの入力完了後、ユーザは、「OK」を選択する。
 「OK」が選択されると、入力されたパターン、及び、コマンドの情報が、パターン記憶テーブルに記録される。以上により登録操作が完了する。
 なお、入力されたパターンと同じパターンが既に登録されている場合は、エラー表示が行われる。ユーザは、異なるパターンを入力する。
 図41は、パターンの登録操作の他の一例を示す図である。同図は、カスタム設定に対しパターンを割り当てる場合の例を示している。カスタム設定とは、複数の設定を組み合わせたものである。
 図41(A)は、カスタム設定する場合の初期画面を示している。同図に示すように、まず、カスタムする内容を保存する場所が一覧表示される。ユーザは、一覧表示された中から一つを選択する。
 図41(B)は、カスタム設定する場合の選択後の画面を示している。同図に示すように、カスタム設定可能な項目が一覧表示され、かつ、現在の設定が表示される。ユーザは、必要に応じて、各項目の設定を行う。設定完了後、「OK」を選択する(OKボタンをタッチする。)。「OK」が選択されると、パターンの入力画面に切り替わる。
 図41(C)は、パターンの入力画面の一例を示している。ユーザは、登録を希望するパターンを入力する。パターンの入力完了後、ユーザは、「OK」を選択する。
 「OK」が選択されると、入力されたパターン、及び、コマンドの情報が、パターン記憶テーブルに記録される。以上により登録操作が完了する。
 なお、入力されたパターンと同じパターンが既に登録されている場合は、エラー表示が行われる。ユーザは、異なるパターンを入力する。
 カスタム設定とは、複数の設定を組み合わせたものであるので、パターンは、基本設定のパターン(単一の処理を行うパターン)よりも複雑なパターンを設定することが好ましい。これにより、基本設定とのパターンとの使い分けができる。また、ガイド表示する際にカスタム設定のパターンの表示を除外できる。
 なお、上記例では、背面モニタ(タッチパネル)を利用して、パターンを入力する場合について説明したが、視線でパターンを入力する構成とすることもできる。
 [パターンの特定]
 上記一連の実施の形態では、画像表示領域内に複数設定された検出枠を利用し、検出枠を注視する順番によってパターンを特定しているが、パターンを特定する方法は、これに限定されるものではない。たとえば、注視点の移動方向の組み合わせによって、パターンを特定する構成とすることができる。たとえば、上下左右の4方向の注視点の移動の組み合わせでパターンを特定する構成とすることができる。なお、この場合も、注視点が所定の時間T1以上停留した箇所を始点としてパターンの検出を開始し、注視点が所定の時間T2以上停留した箇所を終点としてパターンの検出を終了する。
 [他の電子機器への適用]
 上記実施の形態では、本発明をデジタルカメラに適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。ビデオカメラ、テレビカメラ、シネカメラ等のその他の撮像装置の他、表示部を備えた電子機器全般に適用できる。たとえば、スマートフォン、パーソナルコンピュータ等に適用できる。また、いわゆるスマートグラス等のウェアラブル機器にも適用できる。
 [処理部のハードウェア構成]
 本発明において、各処理を行う処理部(Processing Unit)のハードウェア的な構造は、各種のプロセッサ(Processor)で実現される。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU及び/又はGPU(Graphic Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device,PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。
1 デジタルカメラ
10 交換レンズ
20 光学系
30 光学系駆動部
40 レンズ操作部
50 レンズマイコン
50A レンズマイコンのプロセッサ
50B レンズマイコンのメモリ
100 カメラボディ
101 マウント
112 電源レバー
111 シャッタボタン
113 シャッタスピードダイヤル
114 感度ダイヤル
115 コマンドダイヤル
116 クイックメニューボタン
120 背面モニタ
130 EVF
131 EVF用ディスプレイ
132 接眼レンズ
133 注視点検出部
133A 赤外光照射部
133B ダイクロイックミラー
133C 集光レンズ
134 ファインダ接眼部
140 撮像素子
143C 注視点検出用撮像素子
150 シャッタ
152 シャッタ駆動部
160 ストレージ部
170 カメラ操作部
200 カメラマイコン
200A カメラマイコンのプロセッサ
200B カメラマイコンのメモリ
210 EVF表示制御部
211 注視点検出処理部
212 パターン検出処理部
213 検索処理部
214 パターン記憶テーブル
215 個人認証処理部
216 履歴記録処理部
217 入力履歴記憶部
A1 内部領域
A2 注視点検出可能領域
A3 EVF表示領域
A4 画像表示領域
A5 視線操作用アイコン表示領域
A6 OKアイコン表示領域
A7 キャンセルアイコン表示領域
A8 ユーザ情報表示領域
A9 パターン入力領域
A10 ガイド表示領域
A11 ガイド表示用アイコン表示領域
AR1 順方向を示す矢印
AR2 逆方向を示す矢印
B1 パターンの名称
B2 パターン
B3 コマンドの情報
C1 フォーカスエリアポイント
C2 フォーカスエリア
D1 OKアイコン
D2 キャンセルアイコン
E1 送りアイコン
E2 戻しアイコン
G1 視線操作オン用アイコン
G2 視線操作オフ用アイコン
H1 ガイド表示オン用アイコン
H2 ガイド表示オフ用アイコン
L 注視点の移動軌跡
PI1 パターン情報
PI2 パターン情報
PI3 パターン情報
PI4 パターン情報
PI5 パターン情報
V1 視線の移動ベクトル
W1 第1検出枠
W2 第2検出枠
W3 第3検出枠
W4 第4検出枠
W5 第5検出枠
W6 第6検出枠
W7 第7検出枠
W8 第8検出枠
W9 第9検出枠
S1~S8 注視点の移動に基づくコマンドの実行の処理手順
S11~S18 ユーザの切り替えの処理手順

Claims (37)

  1.  表示部に対する注視点を検出する注視点検出部と、
     前記注視点のパターンを記憶する記憶部と、
     プロセッサと、
     を備え、
     前記プロセッサは、
     前記注視点検出部の検出結果に基づいて、前記注視点のパターンを検出する処理と、
     検出した前記パターンと一致する前記パターンを前記記憶部から検索する処理と、
     を行い、
     前記パターンを検出する処理において、前記注視点が第1時間以上停留した箇所を始点として前記パターンの検出を開始し、前記注視点が第2時間以上停留した箇所を終点として前記パターンの検出を終了する、
     電子機器。
  2.  前記記憶部は、前記注視点の前記パターンと、実行するコマンドの情報とを関連付けて記憶する、
     請求項1に記載の電子機器。
  3.  前記プロセッサは、検索された前記パターンに関連付けられた前記コマンドを実行する処理を更に行う、
     請求項2に記載の電子機器。
  4.  更に、前記表示部の表示領域に設定された複数の枠を備え、
     前記プロセッサは、前記注視点の前記パターンを検出する処理において、前記注視点が前記枠に入る順番によって、前記注視点の前記パターンを検出する、
     請求項3に記載の電子機器。
  5.  更に、前記表示部の表示領域に設定された第1領域及び第2領域を備え、
     前記枠は、前記第2領域に複数設定され、
     前記プロセッサは、前記第1領域に画像を表示する処理を更に行う、
     請求項4に記載の電子機器。
  6.  前記プロセッサは、
     前記表示部の表示モードの切り替えの指示を受け付ける処理と、
     前記表示モードの切り替えが指示された場合に、前記表示部の前記表示モードを第1表示モードから第2表示モードに切り替える処理と、
     を更に行い、
     前記第2表示モードにおいて、前記表示部の表示領域に前記第1領域及び前記第2領域が設定される、
     請求項5に記載の電子機器。
  7.  前記プロセッサは、前記パターンを検出する処理が終了した場合に、前記表示部の前記表示モードを前記第2表示モードから前記第1表示モードに切り替える処理を更に行う、
     請求項6に記載の電子機器。
  8.  前記表示部の表示領域に第3領域が設定され、
     前記枠は、前記第3領域に複数設定される、
     請求項4に記載の電子機器。
  9.  前記プロセッサは、前記注視点が第4領域に第3時間以上停留した場合、又は、前記注視点が第4時間以上消失した場合に、前記パターンを検出する処理を行う、
     請求項8に記載の電子機器。
  10.  前記注視点検出部による前記注視点の検出可能範囲内に前記表示部の表示領域が設定され、
     前記第4領域が、前記表示部の表示領域の外側の領域、又は、前記表示部の表示領域内の前記第3領域とは異なる領域に設定される、
     請求項9に記載の電子機器。
  11.  前記プロセッサは、前記第3領域に画像を表示する処理を更に行う、
     請求項8から10のいずれか1項に記載の電子機器。
  12.  前記プロセッサは、
     前記枠を前記表示部に表示する処理と、
     前記パターンの検出を開始した場合に、前記パターンの始点となる前記枠の色及び/又は輝度を変更する処理と、
     前記パターンの検出を終了した場合に、前記パターンの終点となる前記枠の色及び/又は輝度を変更する処理と、
     を更に行う、
     請求項4から11のいずれか1項に記載の電子機器。
  13.  前記プロセッサは、前記注視点の停留時間に応じて、前記注視点が停留した前記枠の色及び/又は輝度を連続的又は段階的に変化させる処理を更に行う、
     請求項4から12のいずれか1項に記載の電子機器。
  14.  前記パターンは、始点とする前記枠から少なくとも1つの前記枠を経由して終点とする前記枠に到達する経路で構成される、
     請求項4から13のいずれか1項に記載の電子機器。
  15.  前記プロセッサは、前記パターンを検出する処理において、前記注視点が、前記枠を出てから次の前記枠に入るまでの間に第5時間以上の時間が経過した場合、前記パターンを検出する処理を終了する、
     請求項14に記載の電子機器。
  16.  前記枠は、a及びbを2以上の整数とした場合に、矩形の領域をa×b分割した各領域の中央に設定される、
     請求項4から15のいずれか1項に記載の電子機器。
  17.  前記プロセッサは、
     前記枠のサイズの変更指示を受け付ける処理と、
     サイズの変更指示に応じて、前記枠のサイズの変更する処理と、
     を更に行う、
     請求項4から16のいずれか1項に記載の電子機器。
  18.  前記プロセッサは、
     前記表示部に対する前記枠の表示及び非表示の指示を受け付ける処理と、
     前記枠の表示及び非表示の指示に応じて、前記表示部に前記枠を表示及び非表示する処理と、
     を更に行う、
     請求項4から17のいずれか1項に記載の電子機器。
  19.  前記プロセッサは、前記注視点の移動軌跡を前記表示部に表示する処理を更に行う、
     請求項1から18のいずれか1項に記載の電子機器。
  20.  前記プロセッサは、
     前記パターンの検出を開始した場合に、前記表示部の輝度を第1輝度に変更する処理と、
     前記パターンの検出を終了した場合に、前記表示部の輝度を第2輝度に変更する処理と、
     を更に行う、
     請求項1から19のいずれか1項に記載の電子機器。
  21.  前記プロセッサは、前記コマンドを実行する処理の前に、前記コマンドの実行及びキャンセルの指示を受け付ける処理を更に行い、前記コマンドの実行が指示された場合に、前記コマンドを実行する処理を行う、
     請求項3に記載の電子機器。
  22.  前記プロセッサは、前記注視点検出部の検出結果に基づいて、前記コマンドの実行及びキャンセルの指示を受け付ける処理を行い、前記注視点が第5領域に第6時間以上停留した場合に、前記コマンドを実行し、前記注視点が第6領域に第7時間以上停留した場合に、前記コマンドの実行をキャンセルする、
     請求項21に記載の電子機器。
  23.  前記プロセッサは、検出した前記パターンと一致する前記パターンが前記記憶部から検索された場合に、検索された前記パターンに関連付けられた前記コマンドの情報を前記表示部に表示する処理を更に行う、
     請求項2又は3に記載の電子機器。
  24.  更に、前記表示部の表示領域に設定された第7領域及び第8領域を備え、
     前記枠は、前記第7領域に複数設定され、
     前記プロセッサは、前記記憶部に記憶された前記パターンの中から少なくとも1つを抽出し、抽出した前記パターン及び前記パターンに関連付けられた前記コマンドの情報を前記第8領域に表示する処理を更に行う、
     請求項4に記載の電子機器。
  25.  前記プロセッサは、前記第7領域に画像を表示する処理を更に行う、
     請求項24に記載の電子機器。
  26.  前記プロセッサは、前記枠間における前記注視点の移動回数が閾値以下の前記パターンを少なくとも1つ抽出し、抽出した前記パターン及び前記パターンに関連付けられた前記コマンドの情報を前記第8領域に表示する、
     請求項24又は25に記載の電子機器。
  27.  前記プロセッサは、
     入力された前記パターンの履歴を記録する処理を更に行い、
     記録された前記履歴に基づいて、前記記憶部から少なくとも1つの前記パターンを抽出し、抽出した前記パターン及び前記パターンに関連付けられた前記コマンドの情報を前記第8領域に表示する、
     請求項24又は25に記載の電子機器。
  28.  前記プロセッサは、入力が新しい順に上位N個の前記パターンを抽出し、抽出した前記パターン及び前記パターンに関連付けられた前記コマンドの情報を前記第8領域に表示する、
     請求項27に記載の電子機器。
  29.  前記プロセッサは、検出した前記パターンと一致する前記パターンを前記記憶部から検索する処理において、前記注視点が前記枠に入る順番によって、検索する前記パターンを絞り込み、
     絞り込まれた前記パターンの中から少なくとも1つの前記パターンを抽出し、抽出した前記パターン及び前記パターンに関連付けられた前記コマンドの情報を前記第8領域に表示する、
     請求項24又は25に記載の電子機器。
  30.  更に、操作部を備え、
     前記記憶部は、前記操作部の操作と、前記操作に対応して選択可能な複数の前記コマンドの情報とを関連付けて記憶し、
     前記プロセッサは、前記操作に応じて、選択可能な複数の前記コマンドの情報及び前記コマンドに関連付けられた前記パターンを前記第8領域に表示する、
     請求項24又は25に記載の電子機器。
  31.  前記記憶部は、前記始点と前記終点とが一致する多角形の前記パターンを記憶し、
     前記プロセッサは、
     前記表示部に画像を表示する処理と、
     前記多角形の前記パターンが検索された場合に、前記多角形の前記パターンで囲われる領域内の画像を前記表示部に拡大して表示する処理と、
     を更に行う、
     請求項1に記載の電子機器。
  32.  前記プロセッサは、
     前記注視点検出部の検出結果に基づいて、前記注視点の移動ベクトルを検出する処理と、
     検出した前記移動ベクトルに基づいて、拡大表示する領域を移動させる処理と、
     を更に行い、
     前記移動ベクトルを検出する処理において、前記注視点が第8時間以上停留した箇所を始点として前記移動ベクトルを検出する、
     請求項31に記載の電子機器。
  33.  更に、撮像部を備え、
     前記プロセッサは、前記撮像部で撮像された画像を前記表示部に表示する処理を行う、
     請求項1から32のいずれか1項に記載の電子機器。
  34.  前記表示部がファインダ内に備えられる、
     請求項33に記載の電子機器。
  35.  注視点のパターンを記憶部に記憶するステップと、
     表示部に対する前記注視点を検出する注視点検出部の検出結果に基づいて、前記注視点のパターンを検出するステップであって、前記注視点が第1時間以上停留した箇所を始点として前記パターンの検出を開始し、検出開始後、前記注視点が第2時間以上停留した箇所を終点として前記パターンの検出を終了するステップと、
     検出した前記パターンと一致する前記パターンを前記記憶部から検索するステップと、
     を含む電子機器の制御方法。
  36.  注視点のパターンを記憶部に記憶する機能と、
     表示部に対する前記注視点を検出する注視点検出部の検出結果に基づいて、前記注視点のパターンを検出する機能であって、前記注視点が第1時間以上停留した箇所を始点として前記パターンの検出を開始し、検出開始後、前記注視点が第2時間以上停留した箇所を終点として前記パターンの検出を終了する機能と、
     検出した前記パターンと一致する前記パターンを前記記憶部から検索する機能と、
     をコンピュータに実現させる電子機器の制御プログラム。
  37.  非一時的かつコンピュータ読取可能な記録媒体であって、請求項36に記載のプログラムが記録された記録媒体。
PCT/JP2022/010195 2021-03-16 2022-03-09 電子機器、電子機器の制御方法及び電子機器の制御プログラム WO2022196476A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-042247 2021-03-16
JP2021042247 2021-03-16

Publications (1)

Publication Number Publication Date
WO2022196476A1 true WO2022196476A1 (ja) 2022-09-22

Family

ID=83320492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010195 WO2022196476A1 (ja) 2021-03-16 2022-03-09 電子機器、電子機器の制御方法及び電子機器の制御プログラム

Country Status (1)

Country Link
WO (1) WO2022196476A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010722A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
US20060039686A1 (en) * 2004-08-23 2006-02-23 Samsung Electronics Co., Ltd. Line-of-sight-based authentication apparatus and method
JP2013117821A (ja) * 2011-12-02 2013-06-13 Canon Inc 情報処理装置およびその制御方法
JP2013140540A (ja) * 2012-01-06 2013-07-18 Kyocera Corp 電子機器
JP2015070952A (ja) * 2013-10-03 2015-04-16 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲームシステム、コンピュータ、コンピュータの制御方法およびプログラム
JP2016207125A (ja) * 2015-04-28 2016-12-08 株式会社コロプラ ユーザインタフェース装置、方法およびプログラム
JP2019101814A (ja) * 2017-12-04 2019-06-24 アルプスアルパイン株式会社 入力制御装置、入力装置、操作対象機器、およびプログラム
WO2019155852A1 (ja) * 2018-02-08 2019-08-15 富士フイルム株式会社 電子アルバム装置とその作動方法および作動プログラム
JP2020047238A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 仮想現実システムにおける視線追跡によるパスワード認証方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010722A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
US20060039686A1 (en) * 2004-08-23 2006-02-23 Samsung Electronics Co., Ltd. Line-of-sight-based authentication apparatus and method
JP2013117821A (ja) * 2011-12-02 2013-06-13 Canon Inc 情報処理装置およびその制御方法
JP2013140540A (ja) * 2012-01-06 2013-07-18 Kyocera Corp 電子機器
JP2015070952A (ja) * 2013-10-03 2015-04-16 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲームシステム、コンピュータ、コンピュータの制御方法およびプログラム
JP2016207125A (ja) * 2015-04-28 2016-12-08 株式会社コロプラ ユーザインタフェース装置、方法およびプログラム
JP2019101814A (ja) * 2017-12-04 2019-06-24 アルプスアルパイン株式会社 入力制御装置、入力装置、操作対象機器、およびプログラム
WO2019155852A1 (ja) * 2018-02-08 2019-08-15 富士フイルム株式会社 電子アルバム装置とその作動方法および作動プログラム
JP2020047238A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 仮想現実システムにおける視線追跡によるパスワード認証方法

Similar Documents

Publication Publication Date Title
US9560261B2 (en) Display control for a camera
JP5652652B2 (ja) 表示制御装置および方法
US8767113B2 (en) Condition changing device
US9172881B2 (en) Camera and method of controlling operation of same
JP2018113551A (ja) 撮像装置及びその制御方法、プログラム、並びに記録媒体
JP2014078855A (ja) 電子機器、駆動方法およびプログラム
US9277133B2 (en) Imaging apparatus supporting different processing for different ocular states
JP5611600B2 (ja) 電子機器
JP2014161066A (ja) 撮像装置および撮像装置におけるモード切換え方法
US11659267B2 (en) Electronic device, control method thereof, and recording medium
KR20040039359A (ko) 디지털 카메라
JPWO2019087902A1 (ja) 撮像装置、その作動方法および作動プログラム
CN113364945A (zh) 电子装置、控制方法和计算机可读介质
US20100225798A1 (en) Digital photographing device, method of controlling the same, and computer-readable storage medium for executing the method
CN112702507A (zh) 电子装置、电子装置的控制方法及存储介质
US20200068137A1 (en) Digital camera
WO2022196476A1 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP2020204710A (ja) 電子機器およびその制御方法
JP6279120B2 (ja) 電子機器、駆動方法およびプログラム
CN112040095A (zh) 电子装置、电子装置的控制方法及存储介质
JP5053158B2 (ja) 表示装置、操作制御方法およびプログラム
JP2021043256A (ja) 撮像装置
JP2014068400A (ja) カメラ、カメラの制御方法、およびプログラム
US11962888B2 (en) Imaging apparatus with focus operation display information
US11843849B2 (en) Electronic device, control method thereof, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771228

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22771228

Country of ref document: EP

Kind code of ref document: A1