WO2022230783A1 - 記録装置、撮像装置、制御方法、記録システム - Google Patents

記録装置、撮像装置、制御方法、記録システム Download PDF

Info

Publication number
WO2022230783A1
WO2022230783A1 PCT/JP2022/018625 JP2022018625W WO2022230783A1 WO 2022230783 A1 WO2022230783 A1 WO 2022230783A1 JP 2022018625 W JP2022018625 W JP 2022018625W WO 2022230783 A1 WO2022230783 A1 WO 2022230783A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
information
sight
user
image
Prior art date
Application number
PCT/JP2022/018625
Other languages
English (en)
French (fr)
Inventor
康之 鈴木
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN202280031794.0A priority Critical patent/CN117223280A/zh
Publication of WO2022230783A1 publication Critical patent/WO2022230783A1/ja
Priority to US18/493,408 priority patent/US20240085979A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present invention relates to devices capable of detecting line of sight.
  • Japanese Patent Application Laid-Open No. 2018-207415 discloses a technique of adding information on the line-of-sight position of a photographer during shooting to an image, and superimposing and displaying the trajectory of the shooting position on the shot image after shooting.
  • an object of the present invention is to provide a recording device, an imaging device, a control method, and a recording system that enable reflection of the photographer's intentions.
  • the present invention provides an eyeball image pickup device for acquiring an eyeball image of a user, and a gaze point corresponding to the user's line of sight to a display means for displaying a still image or a moving image from the eyeball image obtained from the eyeball image pickup device.
  • an operation member for performing a confirming operation for confirming the gaze point by a user's operation; and storage means for storing information relating to the confirming operation in association with the information.
  • the intention of the photographer can be reflected.
  • FIG. 1 is a schematic configuration diagram of an imaging device to which a first embodiment of the present invention is applied;
  • FIG. 1 is a schematic external view of an imaging device according to a first embodiment of the present invention;
  • FIG. 1 is a schematic external view of an imaging device according to a first embodiment of the present invention;
  • FIG. 1 is a block diagram of an imaging device to which a first embodiment of the present invention is applied;
  • FIG. 2 is an explanatory diagram showing a field of view in the viewfinder according to the first embodiment of the present invention;
  • FIG. 2 is an explanatory diagram showing a field of view in the viewfinder according to the first embodiment of the present invention;
  • FIG. 1 is a schematic configuration diagram of an imaging device to which a first embodiment of the present invention is applied;
  • FIG. 1 is a schematic external view of an imaging device according to a first embodiment of the present invention;
  • FIG. 1 is a block diagram of an imaging device to which a first embodiment of the present invention is applied;
  • FIG. 2 is
  • FIG. 2 is a diagram for explaining the principle of the line-of-sight detection method according to the first embodiment of the present invention
  • Schematic diagram of an eyeball image projected on the eyeball imaging device 17 Gaze detection outline flow routine Schematic Routine for Recording Point-of-Gaze Confirmation Information and Line-of-Sight Detection Information in First Embodiment of the Present Invention Schematic Routine for Recording Point-of-Gaze Confirmation Information and Line-of-Sight Detection Information in Second Embodiment of the Present Invention Schematic Routine for Recording Point-of-Gaze Confirmation Information and Line-of-Sight Detection Information in Third Embodiment of the Present Invention Schematic Routine for Recording Point-of-Gaze Confirmation Information and Line-of-Sight Detection Information in the Fifth Embodiment of the Present Invention Schematic Routine for Recording Point-of-Gaze Confirmation Information and Line-of-Sight Detection Information in Sixth Embod
  • Example 1> ⁇ Description of configuration> 1 to 3 are diagrams showing the configuration of the camera of this embodiment.
  • FIG. 2A and 2B show the appearance of the digital still camera 1 according to the present invention.
  • 2A is a front perspective view
  • FIG. 2B is a rear perspective view.
  • the digital still camera 1 is composed of a photographing lens 1A and a housing portion 1B of the camera body, as shown in the front perspective view of FIG. 2A.
  • an eyepiece lens 12 is arranged on the rear side of the digital still camera 1 for the photographer to look into a later-described display element included inside the camera.
  • various operation members used for camera operation such as operation member ⁇ (touch panel compatible liquid crystal), operation member ⁇ (lever type operation member), and operation member ⁇ (button type cross key) indicated by 41 to 43 are arranged.
  • FIG. 1 is a cross-sectional view of the camera housing cut along the YZ plane formed by the Y-axis and Z-axis shown in FIG. 1, 2A, and 2B, corresponding parts are denoted by the same numbers.
  • 1A indicates a photographing lens in an interchangeable lens camera.
  • the inside of the photographing lens 1A is represented by two lenses 101 and 102 for the sake of convenience, but it is well known that the inside of the photographing lens 1A is actually composed of a larger number of lenses.
  • Reference numeral 1B denotes a housing portion of the camera body, and the configuration of units contained therein is as follows.
  • An imaging element 2 is arranged on a planned imaging plane of the photographing lens 1A of the digital still camera 1.
  • the digital still camera 1 includes a CPU 3 that controls the camera as a whole and a memory section 4 that records images captured by the image sensor 2 .
  • a display element 10 composed of liquid crystal or the like for displaying a captured image, a display element driving circuit 11 for driving the display element 10, and an eyepiece 12 for observing the subject image displayed on the display element 10 are provided. are placed.
  • the imaging element 2 and the display element 10 correspond to the imaging element and the display element in claim 1, respectively.
  • the light-receiving lens 16 positions the pupil of the photographer's eyeball 14 and the eyeball imaging element 17 in a conjugate image forming relationship. Based on the positional relationship between the eyeball imaged on the eyeball imaging device 17 and the images of the light sources 13a and 13b due to the corneal reflection, the line-of-sight direction is detected by a predetermined algorithm, which will be described later.
  • the eyeball imaging device corresponds to the eyeball imaging device in claim 1 .
  • Reference numeral 111 denotes an aperture provided in the photographing lens 1, 112 an aperture driving device, 113 a lens driving motor, and 114 a lens driving member including a driving gear.
  • a photocoupler 115 detects the rotation of a pulse plate 116 interlocked with the lens driving member 114 and transmits it to a lens focusing circuit 118 .
  • the focus adjustment circuit 118 drives the lens driving motor 113 by a predetermined amount based on this information and the lens driving amount information from the camera side, and moves the photographing lens 1A to the in-focus position.
  • Reference numeral 117 denotes a mount contact that serves as an interface between a known camera and lens. 6 detects panning of the camera with an acceleration sensor built in the camera.
  • Reference numeral 119 denotes an acceleration sensor built in the lens that detects panning of the lens. Panning determination, which will be described later, uses either the acceleration sensor 6 built into the camera or the acceleration sensor 119 built into the lens, or both.
  • FIG. 3 is a block diagram showing the electrical configuration built into the digital camera 1 having the configuration of the previous term, and the same components as in FIG. 1 are given the same numbers.
  • a central processing unit 3 of a microcomputer built in the camera body is hereinafter referred to as CPU3.
  • a line-of-sight detection circuit 201, a photometry circuit 202, an automatic focus detection circuit 203, a signal input circuit 204, a display element drive circuit 11, an illumination light source drive circuit 205, and an acceleration sensor 6 are connected to the CPU 3.
  • signals are transmitted to the focus adjustment circuit 118 arranged in the photographing lens, the aperture control circuit 206 included in the aperture driving device 112, and the acceleration sensor 119 via the mount contact 117 shown in FIG. .
  • a memory unit 4 attached to the CPU 3 has a function of storing imaging signals from the imaging device 2 and the eyeball imaging device 17 .
  • the memory unit 4 is connected to the recording medium 5 , and the CPU 3 converts the imaging signal of the image sensor 2 stored in the memory unit 4 into a photographed image, and the photographed image is transferred to the recording medium 5 .
  • the line-of-sight detection circuit 201 A/D-converts the output from the imaging element 17 (CCD-EYE) for eyeballs formed by forming an eyeball image, and transmits this image information to the CPU 3 .
  • the CPU 3 extracts each feature point of the eyeball image necessary for detecting the line of sight according to a predetermined algorithm described later, and further calculates the line of sight of the photographer from the position of each feature point.
  • the photometry circuit 202 amplifies the luminance signal output corresponding to the brightness of the object scene based on the signal obtained from the image pickup device 2 which also serves as a photometry sensor, and then logarithmically compresses and A/D converts it. It is sent to the CPU 3 as luminance information.
  • the autofocus detection circuit 203 A/D-converts signal voltages from a plurality of pixels included in the CCD in the image sensor 2 and used for phase difference detection, and sends them to the CPU 3 .
  • the CPU 3 calculates the distance to the object corresponding to each focus detection point from the signals of the plurality of pixels. This is a well-known technique known as imaging plane phase difference AF. In this embodiment, as an example, it is assumed that there are 180 focus detection points at positions on the imaging plane corresponding to the locations shown in the viewfinder images in FIGS. 4A and 4B.
  • the signal input circuit 204 is provided with a switch SW1 which is turned on by the first stroke of the release button 5 (not shown) to start photometry, distance measurement, line-of-sight detection of the camera, and operation of determining the line-of-sight position of the photographer. is connected. Further, the signal input circuit 204 is connected to a switch SW2 which is turned on by the second stroke of the release button to start the release operation. The above signal is input to the signal input circuit 204 and transmitted to the CPU 3 .
  • the operating member ⁇ touch panel compatible liquid crystal
  • the operating member ⁇ lever type operating member
  • the operating member ⁇ button type cross key
  • 4A and 4B are diagrams showing the inside of the viewfinder field, showing the state in which the display element 10 operates.
  • 300 is a field mask
  • 400 is a focus detection area
  • 4001 to 4180 are superimposed on the through image shown on the display device 10 at positions corresponding to a plurality of focus detection points on the imaging plane. 180 ranging point visual targets are shown.
  • the index corresponding to the current estimated gazing point position is displayed with a frame appearing like the estimated gazing point A in the figure. Displaying a frame at the estimated gazing point position corresponds to displaying on the display element an index indicating the gazing point position estimated by the gazing point position estimating means.
  • the configuration in which the CPU 3 sends a signal to the display element 10 to display a frame at the estimated gazing point position corresponds to gazing point position display means.
  • FIG. 5 is a diagram for explaining the principle of the line-of-sight detection method, and corresponds to the summary diagram of the optical system for performing line-of-sight detection in FIG. 1 described above.
  • reference numerals 13a and 13b denote light sources such as light-emitting diodes that emit infrared light that is imperceptible to the observer. 14 is illuminated. A part of the illumination light reflected by the eyeball 14 is collected by the light receiving lens 16 onto the eyeball imaging element 17 .
  • the line-of-sight detection means will be described below with reference to FIGS.
  • FIG. 7 shows a schematic flow routine for line-of-sight detection.
  • the light sources 13a and 13b emit infrared light toward the observer's eyeball 14 in S001.
  • the eyeball image of the observer illuminated by the infrared light is formed on the eyeball imaging device 17 through the light receiving lens 16, photoelectrically converted by the eyeball imaging device 17, and the eyeball image can be processed as an electric signal. becomes.
  • step S002 the eyeball image signal obtained from the eyeball imaging device 17 as described above is sent to the CPU3.
  • step S003 the coordinates of points corresponding to the corneal reflection images Pd and Pe of the light sources 13a and 13b shown in FIG. 5 and the pupil center c are obtained from the eyeball image signal information obtained in S002.
  • the infrared light emitted from the light sources 13a and 13b illuminates the cornea 142 of the eyeball 14 of the observer.
  • Corneal reflection images Pd and Pe formed by part of the infrared light reflected on the surface of the cornea 142 at this time are collected by the light receiving lens 16 .
  • an image is formed on the eyeball imaging element 17 (points Pd' and Pe' in the drawing).
  • the light beams from the ends a and b of the pupil 141 are also imaged on the eyeball imaging device 17 .
  • FIG. 6A shows an example of a reflected image obtained from the eyeball imaging device 17, and FIG. indicates As shown, the horizontal direction is the X axis and the vertical direction is the Y axis.
  • Xd and Xe are the coordinates in the X-axis direction (horizontal direction) of the images Pd' and Pe' formed by the corneal reflection images of the light sources 13a and 13b.
  • Let Xa and Xb be the coordinates in the X-axis direction of the images a' and b' formed by the light beams from the ends a and b of the pupil 14b.
  • the X-coordinates Xd and Xe of the images Pd' and Pe' formed by the corneal reflection images of the light sources 13a and 13b and the X-coordinates of the pupil end images a' and b' are obtained.
  • Xa and Xb can be obtained.
  • the coordinate Xc of the point corresponding to the pupil center c (assumed to be c′) formed on the eyeball imaging device 17 is It can be expressed as Xc ⁇ (Xa+Xb)/2. From the above, the X coordinate of c' corresponding to the center of the pupil formed on the eyeball imaging element 17 and the coordinates of the corneal reflection images Pd' and Pe' of the light sources 13a and 13b could be estimated.
  • step S004 the imaging magnification ⁇ of the eyeball image is calculated.
  • ⁇ is a magnification determined by the position of the eyeball 14 with respect to the light receiving lens 16, and can be obtained substantially as a function of the interval (Xd-Xe) between the corneal reflection images Pd' and Pe'.
  • step S005 since the X coordinate of the midpoint of the corneal reflection images Pd and Pe and the X coordinate of the center of curvature O of the cornea 142 substantially match, the standard distance between the center of curvature O of the cornea 142 and the center c of the pupil 141 is determined.
  • the rotation angle ⁇ X of the optical axis of the eyeball 14 in the ZX plane is ⁇ *Oc*SIN ⁇ X ⁇ (Xd+Xe)/2 ⁇ -Xc can be obtained from the relational expression of 5 and 6 show an example of calculating the rotation angle ⁇ X when the observer's eyeball rotates in a plane perpendicular to the Y-axis.
  • the method of calculating the rotation angle ⁇ y in the case of rotation within a flat plane is the same.
  • ⁇ x and ⁇ y are used in step S006 to determine the position of the observer's line of sight (at which the observer is gazing) on the display element 10 .
  • the position of the point (hereinafter referred to as the gaze point) is obtained.
  • the coefficient m is a constant determined by the configuration of the finder optical system of the camera, and is a conversion coefficient for converting the rotation angles ⁇ x and ⁇ y into position coordinates corresponding to the center c of the pupil 141 on the display device 10. and stored in the memory unit 4.
  • Ax, Bx, Ay, and By are line-of-sight correction coefficients for correcting individual differences in the line-of-sight of the observer, which are obtained by performing calibration work and stored in the memory unit 4 before the start of the line-of-sight detection routine. shall be
  • the coordinates (hereinafter referred to as gaze point position coordinates) and the eyeball image signal are acquired in the memory unit 4 in step S007.
  • the time (hereinafter referred to as line-of-sight detection time) is stored, and the line-of-sight detection routine ends.
  • the method for obtaining the point-of-regard coordinates on the display element using the corneal reflection images of the light sources 13a and 13b has been described above, it is not limited to this, and any method for obtaining the eyeball rotation angle from the captured eyeball image may be used. However, the present invention can be applied.
  • the line-of-sight detection routine corresponds to point-of-regard position estimation means in claim 1.
  • the release button 5 is capable of a two-stage push operation, and the AF operation is instructed by half-pressing the first stroke (hereinafter referred to as SW1), and the release is performed by fully pressing the second stroke (hereinafter referred to as SW2). is possible.
  • the release button 5 has a function of determining the point of gaze position (hereinafter referred to as line of sight determination) according to the intention of the photographer before the AF operation is performed by operating SW1, and the AF operation can be performed at the determined point of gaze position. can.
  • the point-of-regard position information determined by confirming the line-of-sight may be positional coordinates of the point-of-regard or the time when the determined position of the point-of-regard was detected. It suffices if the timing of the gazing point coordinates determined intentionally can be discriminated.
  • the point-of-regard position coordinates determined by the line-of-sight determination or determination timing are stored in the memory unit 4 .
  • the line-of-sight determination function similar to the SW1 operation may be assigned to the operation members ⁇ to ⁇ of the 41 to 43 described above.
  • the line-of-sight determination function corresponds to the point-of-regard position determination means in claim 1 .
  • step S101 line-of-sight detection is executed in step S101.
  • the line-of-sight detection in step S101 corresponds to steps S001 to S007.
  • the gaze point position is calculated in S101
  • the gaze point position coordinates and the gaze detection time are stored in the memory unit 4 in step S102, and the process proceeds to step S103.
  • S102 corresponds to S008 and the line-of-sight detection information recording means.
  • step S104 corresponds to fixed gaze point information recording means. If the gaze point position is not determined in S103, the process proceeds to step S105.
  • S105 it is determined whether the current mode is still image shooting mode or moving image shooting mode. Switching between the still image shooting mode and the moving image shooting mode can be performed by various operation members used for camera operation.
  • the various operation members referred to here are, for example, the operation member ⁇ (touch panel compatible liquid crystal), the operation member ⁇ (lever type operation member), the operation member ⁇ (button type cross key), and the like shown by 41 to 43 in FIG. 2B.
  • the process proceeds to S106, and in S106 it is determined whether or not the release has been performed by operating SW2. If it is not released, the process returns to S101 to repeat the line-of-sight detection. If the point-of-regard position determination operation in S103 is performed multiple times before reaching S105, the point-of-regard coordinates or the line-of-sight detection time at the time of determination of the latest point-of-regard in the memory unit 4 is updated in S104.
  • step S107 the CPU 3 records in the recording medium 5 the gazing point position coordinates and the sight line detection time in S102 and the gazing point coordinates or the sight line detection time when the gazing point is determined in S104 together with the photographed still image data.
  • the process proceeds to S108, in which it is determined whether or not the moving image shooting has ended. If not completed, the process returns to S101 to repeat the line-of-sight detection. As in the still image mode, if the point-of-regard position determination operation is performed a plurality of times in S103 before reaching S105, the point-of-regard coordinates or the line-of-sight detection time when the latest point-of-regard is determined in the memory unit 4 is updated in S104. do.
  • step S109 the CPU 3 records in the recording medium 5 the gaze point position coordinates and sight line detection time in S102 and the gaze point coordinates or sight line detection time when the gaze point is fixed in S104 together with the captured video data.
  • the memory unit 4 Since S101 and S102 are repeated until line-of-sight detection is completed, the memory unit 4 stores line-of-sight detection information for a plurality of times in the past for the gaze point position coordinates and line-of-sight detection times. For this reason, when the release button is pressed in S106 or when video shooting ends in S108, the results of the line-of-sight detection performed a plurality of times in the past are recorded in association with the still image shooting data.
  • Example 2 In the second embodiment, as a modified example of the first embodiment, a method of recording in the recording medium 5 so as not to overlap the line-of-sight detection information recorded in step S106 of FIG. 8 in the past will be described with reference to FIG.
  • the size that can be recorded in association with a still image is usually limited, so the past plural times of line-of-sight detection information is recorded in a fixed length size.
  • the sight line detection information for a plurality of times in the past until the release by the SW2 operation is recorded for a fixed number of times.
  • the past multiple times of line-of-sight detection information is recorded a fixed number of times even during continuous shooting, the past multiple times of line-of-sight detection information added to the previous shooting data may overlap. For example, if the line-of-sight detection result of 10 times can be added to one shooting data, if the line-of-sight detection routine can be executed five times between continuous shots, the previous and current line-of-sight detection information overlap five times. . Therefore, since the line-of-sight detection information for the past five times in the current captured image data can be confirmed even in the previous captured image, the recorded data is wasted. Considering the time required to transfer line-of-sight detection information from the memory unit 4 to the recording medium 5 and the recordable capacity of the recording medium 5, it is desirable that the information associated with the photographing data be as small as possible.
  • steps S201 to S206 in FIG. 9 Description of steps S201 to S206 in FIG. 9 is omitted because they are equivalent to steps S101 to S106 in FIG.
  • the process proceeds to step S207.
  • S207 the point-of-regard position coordinates and line-of-sight detection times stored in the memory unit 4 in S202 are erased.
  • the second embodiment corresponds to the imaging device according to claim 3.
  • Example 3 As a modification of Examples 1 and 2, a method of storing gaze point determination information in the memory unit 4 in S104 of FIG. 8 or S204 of FIG. 9 will be described with reference to FIG.
  • line-of-sight confirmation information the gaze point coordinates or the line-of-sight detection time (hereinafter referred to as line-of-sight confirmation information) stored in the memory unit 4 at S104 of FIG. 8 or S204 of FIG.
  • the line-of-sight detection information may be duplicated.
  • redundant line-of-sight detection information should be eliminated as much as possible, and It is desirable to record to 5.
  • FIG. 10 is a diagram explaining the method of storing line-of-sight determination information. Steps S301 to S303 are the same as steps S101 to S103 of the first embodiment, and thus description thereof is omitted.
  • step S304 it is determined whether or not there is gaze point position information that matches the past plural times of gaze detection information stored in step S302. If it is determined in S304 that there is gaze point position information that matches the sight line detection information obtained a plurality of times in the past, the process proceeds to step S305, and only the sight line detection time when the sight line is fixed is stored in the memory unit 4. In S304, if the point-of-regard position information does not match the sight-line detection information obtained a plurality of times in the past, the process advances to step S306 to store both the coordinates of the point-of-regard and the point-of-sight detection time when the line-of-sight is fixed in the memory unit 4.
  • step S307 corresponds to the image pickup apparatus according to claim 4 .
  • the confirmed point-of-regard information to be recorded by the confirmed point-of-regard information recording means is the point-of-regard information at the timing determined by the intention of the photographer, more detailed information of the line-of-sight information at the confirmed timing is recorded. There is a demand to provide it to a third party or to use it for analysis. By recording more detailed information than the line-of-sight detection information, the line-of-sight confirmation information is intended to achieve both the minimum addition of information to the photographing data and the detailed information of the confirmation timing.
  • the fixed gaze point information and line-of-sight detection information are the following information, but are not limited to this.
  • Determined gaze point information gaze point coordinates, gaze detection time, gaze dispersion degree, blink information, gaze angular velocity, leap (a large gaze jump to another subject) judgment information
  • Gaze detection information holds information for multiple past times: Note Viewpoint coordinates, line-of-sight detection time
  • Example 5 will be described with reference to FIG.
  • the point-of-regard position determining means is a means used to determine the position at which the photographer gazes.
  • the gaze point position determined by the gaze point position determining means is recorded in the recording medium 5 together with the photographic data by the determined gaze point information recording means.
  • the timing at which the point-of-regard position determined by the point-of-regard determination means is detected and the timing at which the photographing data is generated are significantly different.
  • the shooting scene changes by shaking the camera between the time the line of sight is fixed and the release is released the scene at the time the line of sight is fixed does not remain as shooting data, so the line of sight confirmation information becomes useless. . Therefore, when the camera is panned, the coordinates and the detection time when the line of sight is determined are not recorded in the memory unit 4 .
  • Steps S401 to S404 are the same as steps S101 to S104 in FIG. 8 of Embodiment 1, so description thereof will be omitted.
  • step S404 the process advances to S405 to acquire the acceleration. Acceleration is acquired from the acceleration sensor 6 in the camera or the acceleration sensor 119 in the lens.
  • step S406 Since S406 and S407 are the same as those in FIG. 8, S105 and S106 of the first embodiment, description thereof is omitted.
  • step S408 it is determined whether or not panning has been performed from the line of sight confirmation to the present. Panning determination from line-of-sight determination to the present is performed by using the acceleration acquired in S405 and determining whether or not the acceleration is greater than a threshold. If the acceleration is greater than the threshold, it is determined that panning has been performed from the fixation of the fixation point to the present, and the process proceeds to step S409.
  • step S410 where the line-of-sight detection information and fixed point of gaze are detected a plurality of times in the past. Both pieces of information are recorded in the recording medium 5 in association with the still image data.
  • step S411 determines whether or not the shooting has ended. If the photographing has not ended in S411, the process returns to S401 to repeat the line-of-sight detection. If the photographing is finished in S411, the process proceeds to step S412.
  • step S412 it is determined whether or not panning has been performed from the line of sight confirmation to the present. Panning determination from line-of-sight determination to the present is performed by using the acceleration acquired in S405 and determining whether or not the acceleration is greater than a threshold. If the acceleration is greater than the threshold, it is determined that panning has been performed from the fixation of the fixation point to the present, and the process proceeds to step S413.
  • step S412 if it is determined in S412 that the acceleration is smaller than the threshold, it is determined that panning has not occurred since the fixed point of gaze until the present time, and the process proceeds to step S414, where the line-of-sight detection information and fixed point of gaze are detected a plurality of times in the past. Both pieces of information are recorded in the recording medium 5 in association with the moving image data.
  • meaningful point-of-regard position information can be recorded for photographed data.
  • the sixth embodiment is a modification of the fifth embodiment, and corresponds to the imaging apparatus according to the seventh aspect.
  • the point-of-regard determination information is associated with the shooting data depending on whether or not panning is performed between the line-of-sight determination and the release.
  • the relative positional relationship between the gaze point and the subject when the line of sight is fixed changes even though the camera is panned. Most likely not.
  • the point-of-regard position determined by the point-of-regard position determination means will be meaningful information with respect to the photographed data, so it is necessary to associate the point-of-regard with the photographed data.
  • FIG. 12 is a flow diagram showing the association of gaze point position information when the gaze point position is determined with photographing data in the panning mode, and the flow will be described below.
  • Steps S501 to S507 are the same as in FIG. 11 and S401 to S407 of Embodiment 5, and step 512 is the same as in FIG. 11 and S412, so description thereof will be omitted.
  • step S508 If it is determined in step S508 that the panning mode is set, the process proceeds to step S512, and both the past plural times of line-of-sight detection information and line-of-sight determination information are associated with the still image data and recorded in the recording medium 5.
  • step S509 the process proceeds to step S509.
  • the setting of panning mode is used for camera operation such as operation member ⁇ (touch panel compatible liquid crystal), operation member ⁇ (lever type operation member), and operation member ⁇ (button type cross key) indicated by 41 to 43 in FIG. 2B. It can be set by various operation members.
  • step S513 If it is determined in step S513 that the panning mode is selected, the process proceeds to step S516, and both the past plural times of line-of-sight detection information and line-of-sight confirmation information are associated with the moving image data and recorded in the recording medium 5.
  • step S51 if the panning mode is not determined, the process proceeds to step S514.
  • the detection information recorded in the memory unit 4 by the line-of-sight detection information recording means and fixed gaze point information recording means is recorded in association with still image data or moving image data only when the gaze point position estimation means is valid. do.
  • the gazing point position estimating means can be enabled/disabled by various operation members used for camera operation.
  • the various operation members are, for example, an operation member ⁇ (touch panel compatible liquid crystal), an operation member ⁇ (lever-type operation member), an operation member ⁇ (button-type cross key), etc., indicated by 41 to 43 in FIG. 2B.
  • the device may be, for example, a head-mounted display, and may have a configuration for detecting a line of sight, a configuration for displaying an image, a configuration for determining a fixation point, and a configuration for recording an image and other information. It may be a recording system realized by a body device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

ＣＰＵ３は、ユーザによって前記確定操作がなされた場合には、表示素子１０に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶するよう制御する。

Description

記録装置、撮像装置、制御方法、記録システム
　本発明は視線検出可能な装置に関する。
　近年カメラの自動化・インテリジェント化が進み、撮影者（ユーザ）の視線位置の情報を取得し用いる技術が提案されている。
　特開２０１８－２０７４１５号公報には、撮影中の撮影者の視線位置情報を画像に付加し、撮影後に撮影位置の軌跡を撮影画像に重畳させて表示する技術が開示されている。
特開２０１８－２０７４１５号公報
　画像に付加する情報に関し、更なる改善が求められている。
　そこで、本発明は撮影者の意図の反映を可能にする記録装置、撮像装置、制御方法及び記録システムを提供することを目的とする。
　そこで、本発明は、ユーザの眼球画像を取得する眼球用撮像素子と、該眼球用撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、ユーザの操作によって注視点を確定する確定操作を行う操作部材と、ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有するよう構成したことを特徴とする。
　本発明によれば、撮影者の意図の反映することができる。
本発明の第１実施形態が適用される撮像装置の構成概略図 本発明の第１実施形態における撮像装置の外観概略図 本発明の第１実施形態における撮像装置の外観概略図 本発明の第１実施形態が適用される撮像装置のブロック図 本発明の第１実施形態におけるファインダ内視野を示す説明図 本発明の第１実施形態におけるファインダ内視野を示す説明図 本発明の第１実施形態における視線検出方法の原理説明図 眼球用撮像素子１７に投影される眼球像の概略図 視線検出の概略フロールーチン 本発明の第１実施形態における注視点確定情報と視線検出情報記録の概略ルーチン 本発明の第２実施形態における注視点確定情報と視線検出情報記録の概略ルーチン 本発明の第３実施形態における注視点確定情報と視線検出情報記録の概略ルーチン 本発明の第５実施形態における注視点確定情報と視線検出情報記録の概略ルーチン 本発明の第６実施形態における注視点確定情報と視線検出情報記録の概略ルーチン
　以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
　＜実施例１＞
　＜構成の説明＞
　図１～図３は、本実施例のカメラの構成図を示した図である。
　図２Ａ、図２Ｂは本発明におけるデジタルスチルカメラ１の外観を示している。図２Ａは正面斜視図、図２Ｂは背面斜視図である。デジタルスチルカメラ１は本実施例においては、図２Ａの正面斜視図に示すように、撮影レンズ１Ａ及びカメラ本体の筐体部１Ｂで構成されている。また、撮影者（ユーザ）からの撮像操作を受ける操作部材であるレリーズボタン５が配置されている。
　また、図２Ｂの背面斜視図で示すように、デジタルスチルカメラ１の背面には、カメラ内部に含まれる後述する表示素子を、撮影者が覗きこむための接眼レンズ１２が配置されている。また、４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）といった、カメラ操作に使用する各種操作部材が配置されているとする。
　図１は図２Ａで図示したＹ軸とＺ軸が成すＹＺ平面でカメラ筐体を切った断面図であり、本発明におけるデジタルスチルカメラ１の構成の概略を示した説明図である。図１及び図２Ａ、図２Ｂにおいて、対応する部位は同じ番号で表記されている。
　図１において、１Ａはレンズ交換式カメラにおける撮影レンズを示す。本実施形態では便宜上撮影レンズ１Ａの内部を１０１、１０２の二枚のレンズで表したが、実際はさらに多数のレンズで構成されていることは周知の通りである。１Ｂはカメラ本体の筐体部を示し、その内部に含まれるユニットの構成は以下のようになる。２は撮像素子で、デジタルスチルカメラ１の撮影レンズ１Ａの予定結像面に配置されている。デジタルスチルカメラ１には、カメラ全体を制御するＣＰＵ３、撮像素子２にて撮像された画像を記録するメモリ部４が内包される。また、撮像された画像を表示するための液晶等で構成される表示素子１０と、それを駆動する表示素子駆動回路１１、表示素子１０に表示された被写体像を観察するための接眼レンズ１２が配置されている。上記撮像素子２及び表示素子１０は請求項１における撮像素子及び表示素子に相当する。
　１３ａ～１３ｂは従来より一眼レフカメラ等に用いられている光源の角膜反射による反射象と瞳孔の関係から視線方向を検出するための撮影者の眼球１４を照明するための光源で、赤外発光ダイオードからなり、接眼レンズ１２の周りに配置されている。照明された眼球像と光源１３ａ～１３ｂの角膜反射による像は接眼レンズ１２を透過し、光分割器１５で反射され、受光レンズ１６によってＣＣＤ等の光電素子列を２次元的に配した眼球用撮像素子１７上に結像される。受光レンズ１６は撮影者の眼球１４の瞳孔と眼球用撮像素子１７を共役な結像関係に位置付けている。眼球用撮像素子１７上に結像された眼球と光源１３ａ～１３ｂの角膜反射による像の位置関係から後述する所定のアルゴリズムで視線方向を検出する。上記眼球用撮像素子は、請求項１における眼球用撮像素子に相当する。
　１１１は撮影レンズ１内に設けた絞り、１１２は絞り駆動装置、１１３はレンズ駆動用モーター、１１４は駆動ギヤ等からなるレンズ駆動部材である。１１５はフォトカプラでレンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、レンズ焦点調節回路１１８に伝えている。焦点調節回路１１８は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モーター１１３を所定量駆動させ、撮影レンズ１Ａを合焦点位置に移動させるようになっている。１１７は公知のカメラとレンズとのインターフェイスとなるマウント接点である。６はカメラ内に内蔵された加速度センサでカメラのパンニングを検出する。１１９はレンズ内に内蔵された加速度センサでレンズのパンニングを検出する。後述するパンニング判定にはカメラに内蔵された加速度センサ６、レンズに内蔵された加速度センサ１１９のいずれか、あるいは両方を用いる。
　図３は前期構成のデジタルカメラ１に内蔵された電気的構成を示すブロック図であり、図１と同一のものは同一番号をつけている。カメラ本体に内蔵されたマイクロコンピュータの中央処理装置３を以下、ＣＰＵ３と称する。ＣＰＵ３には視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示素子駆動回路１１、照明光源駆動回路２０５、加速度センサ６が接続されている。また、撮影レンズ内に配置された焦点調節回路１１８、前述の絞り駆動装置１１２に含まれる絞り制御回路２０６、加速度センサ１１９とは図１で示したマウント接点１１７を介して信号の伝達がなされる。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼球用撮像素子１７からの撮像信号の記憶機能を有している。メモリ部４は記録媒体５へ接続され、メモリ部４へ記憶した撮像素子２の撮像信号をＣＰＵ３が撮影画像へ変換し、記録媒体５へ撮影画像が転送される。
　視線検出回路２０１は、眼球用撮像素子１７（ＣＣＤ－ＥＹＥ）からの眼球像が結像することによる出力をＡ／Ｄ変換し、この像情報をＣＰＵ３に送信する。ＣＰＵ３は視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の視線を算出する。
　測光回路２０２は、測光センサの役割も兼ねる撮像素子２から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、Ａ／Ｄ変換し、被写界輝度情報として、ＣＰＵ３に送る。
　自動焦点検出回路２０３は、撮像素子２におけるＣＣＤの中に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施例では、一例として、図４Ａ、図４Ｂのファインダ内視野像で示した箇所に対応する撮像面上の位置に１８０か所の焦点検出ポイントがあるとする。
　信号入力回路２０４には不図示のレリーズボタン５の第一ストロークでＯＮし、カメラの測光、測距、視線検出動作、撮影者の視線位置を決定する動作等を開始するためのスイッチであるＳＷ１が接続される。また、信号入力回路２０４にはレリーズボタンの第二ストロークでＯＮし、レリーズ動作を開始するためのスイッチであるＳＷ２が接続される。前記の信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。
　また、前述した４１～４３で示す操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）は、ＣＰＵ３にその操作信号が伝わる構成となっている。
　図４Ａ、図４Ｂはファインダ視野内を示した図で、表示素子１０が動作した状態を示す。
　図４Ａ、図４Ｂにおいて、３００は視野マスク、４００は焦点検出領域、４００１～４１８０は表示素子１０に示されるスルー画像に、前記撮像面上における複数の焦点検出ポイントに対応する位置に重ねて表示した１８０個の測距点視標を示す。また、それらの指標の内、現在の推定注視点位置に対応する指標を図における推定注視点Ａのように枠を出現させた表示を行う。上記推定注視点位置に枠を表示させる事は請求項１における、前記注視点位置推定手段により推定された注視点位置を示す指標を、前記表示素子上に表示する事に相当する。また、ＣＰＵ３が表示素子１０に対して信号を送り、上記推定注視点位置に枠を表示させる構成は、請求項１における注視点位置表示手段に相当する。
　図５は視線検出方法の原理説明図であり、前述の図１の視線検出をおこなうための光学系の要約図に相当する。
　図５において、１３ａ、１３ｂは観察者に対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ１６の光軸に対して略対称に配置され観察者の眼球１４を照らしている。眼球１４で反射した照明光の一部は受光レンズ１６によって、眼球用撮像素子１７に集光する。
　以下、図７、８を用いて、視線の検出手段を説明する。
　＜視線検出動作の説明＞
　図７は視線検出の概略フロールーチンを表している。図７において、視線検出ルーチンが開始すると、Ｓ００１において、光源１３ａ、１３ｂは観察者の眼球１４に向けて赤外光を放射する。上記赤外光によって照明された観察者の眼球像は、眼球用撮像素子１７上に受光レンズ１６を通して結像し、眼球用撮像素子１７により光電変換がなされ、眼球像は電気信号として処理が可能となる。
　ステップＳ００２において上記のように眼球用撮像素子１７から得られた眼球画像信号をＣＰＵ３に送る。
　ステップＳ００３では、Ｓ００２において得られた眼球画像信号の情報から、図５に示す光源１３ａ、１３ｂの角膜反射像Ｐｄ，Ｐｅ及び瞳孔中心ｃに対応する点の座標を求める。光源１３ａ、１３ｂより放射された赤外光は観察者の眼球１４の角膜１４２を照明する。このとき角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは受光レンズ１６により集光される。そして、眼球用撮像素子１７上に結像する（図示の点Ｐｄ’，　Ｐｅ’）。同様に瞳孔１４１の端部ａ、ｂからの光束も眼球用撮像素子１７上に結像する。図６では、図６（ａ）において眼球用撮像素子１７から得られる反射像の画像例を、図６（ｂ）に上記画像例の領域αにおける、眼球用撮像素子１７から得られる輝度情報例を示す。図示のように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔１４ｂの端部ａ、ｂからの光束が結像した像ａ’，ｂ’のＸ軸方向の座標をＸａ、Ｘｂとする。（ｂ）の輝度情報例において、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔１４１の外側の光彩１４３の領域に相当する、Ｘａより低いＸ座標の値を持つ領域及びＸｂより高いＸ座標の値を持つ領域では、前記２種の輝度レベルの中間の値が得られる。上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端の像ａ’，ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１７上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。上記より、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１３ａ、１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができた。
　さらに、ステップＳ００４では、眼球像の結像倍率βを算出する。βは受光レンズ１６に対する眼球１４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ‘、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。
　また、ステップＳ００５では、角膜反射像Ｐｄ及びＰｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致するため、角膜１４２の曲率中心Ｏと瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＺ－Ｘ平面内の回転角θＸは、β＊Ｏｃ＊ＳＩＮθＸ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ
の関係式から求めることができる。また、図５、図６においては、観察者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θＸを算出する例を示しているが、観察者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。
　前ステップにおいて観察者の眼球１４の光軸の回転角θｘ、θｙが算出されると、ステップＳ００６では、θｘ、θｙを用いて、表示素子１０上で観察者の視線の位置（注視している点の位置。以下、注視点と称する。）を求める。注視点位置を表示素子１０上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）
と算出することができる。この時、係数ｍはカメラのファインダ光学系の構成で定まる定数で、回転角θｘ、θｙを表示素子１０上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、あらかじめ決定されてメモリ部４に記憶されているとする。また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙは観察者の視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部４に記憶されているものとする。
　上記のように表示素子１０上での瞳孔１４１の中心ｃの座標（Ｈｘ，Ｈｙ）を算出した後、ステップＳ００７においてメモリ部４に上記座標（以下、注視点位置座標）と眼球画像信号を取得した時刻（以下、視線検出時刻）を記憶して、視線検出ルーチンを終える。
　上記は光源１３ａ、１３ｂの角膜反射像を利用した表示素子上での注視点座標取得手法を示したが、それに限られるものではなく、撮像された眼球画像から眼球回転角度を取得する手法であれば本発明は適用可能である。
　上記視線検出ルーチンが、請求項１における注視点位置推定手段に相当する。
　＜注視点位置確定動作の説明＞
　前記レリーズボタン５は二段式の押し込み操作が可能で、第一ストロークの半押し操作（以下、ＳＷ１）でＡＦ動作を指示し、第二ストロークの全押し操作でレリーズ（以下、ＳＷ２）することが可能である。前記レリーズボタン５はＳＷ１操作でＡＦ動作を行う前に、撮影者の意思によって注視点位置を決定する（以下、視線確定）機能が含まれ、決定された注視点位置でＡＦ動作をさせることができる。視線確定によって確定された注視点位置情報は、注視点位置座標でも良いし、決定された注視点位置を検出した時刻でも良く、視線検出ルーチンで注視点座標が検出されたタイミングと、撮影者の意思で決定された注視点座標のタイミングが判別できれば良い。視線確定によって決定された注視点位置座標または確定タイミングはメモリ部４に記憶される。
　また、前記４１～４３の操作部材α～γにＳＷ１操作同様の視線確定機能を割り付けてもよい。視線確定機能は請求項１における注視点位置確定手段に相当する。
　＜静止画または動画への関連付け動作の説明＞
　次に、請求項１における視線検出情報記録手段と確定注視点情報記録手段について図８を用いて説明する。
　視線検出が開始されると、ステップＳ１０１で視線検出が実行される。ステップＳ１０１の視線検出は前記ステップＳ００１～Ｓ００７に相当する。Ｓ１０１で注視点位置が算出されると、ステップＳ１０２においてメモリ部４に前記注視点位置座標と前記視線検出時刻を記憶しステップＳ１０３へと進む。Ｓ１０２は前記Ｓ００８と視線検出情報記録手段に相当する。
　Ｓ１０３でＳＷ１操作や前記４１～４３の操作部材α～γの撮影者の操作により注視点位置が決定された場合には、ステップＳ１０４において撮影者の操作により決定された注視点座標または視線検出時刻をメモリ部４に記憶する。Ｓ１０４は確定注視点情報記録手段に相当する。Ｓ１０３で注視点位置が確定されなかった場合にはステップＳ１０５へと進む。
　Ｓ１０５では現在のモードが静止画撮影モードであるか、動画撮影モードであるかを判定する。静止画撮影モード及び動画撮影モードの切り替えは、カメラ操作に使用する各種操作部材によって、切り替えることができる。ここでいう各種操作部材は、例えば図２Ｂの４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）等である。
　静止画撮影モードである場合はＳ１０６へと進み、Ｓ１０６ではＳＷ２操作でレリーズされたか否かを判定する。レリーズされなかった場合はＳ１０１へと戻り、視線検出を繰り返す。Ｓ１０５に至る前に複数回Ｓ１０３での注視点位置確定操作が行われた場合は、Ｓ１０４にてメモリ部４の最新の注視点確定時の注視点座標または視線検出時刻を更新する。
　Ｓ１０６でレリーズボタンが押下された場合はステップＳ１０７へと進む。Ｓ１０７でＳ１０２の注視点位置座標及び視線検出時刻と、Ｓ１０４の注視点確定時の注視点座標または視線検出時刻を撮影された静止画データとともにＣＰＵ３が記録媒体５へ記録する。
　Ｓ１０５で動画撮影モードと判定された場合はＳ１０８へと進み、Ｓ１０８では動画撮影が終了した否かを判定する。終了していない場合はＳ１０１へと戻り、視線検出を繰り返す。静止画モード同様、Ｓ１０５に至る前に複数回Ｓ１０３での注視点位置確定操作が行われた場合は、Ｓ１０４にてメモリ部４の最新の注視点確定時の注視点座標または視線検出時刻を更新する。
　Ｓ１０８で動画撮影が終了していない場合はステップＳ１０９へと進む。Ｓ１０９でＳ１０２の注視点位置座標及び視線検出時刻と、Ｓ１０４の注視点確定時の注視点座標または視線検出時刻を撮影された動画データとともにＣＰＵ３が記録媒体５へ記録する。
　Ｓ１０１とＳ１０２は視線検出が終了するまで繰り返されるため、注視点位置座標及び視線検出時刻はメモリ部４へ過去複数回の視線検出情報が溜め込まれている。このため、Ｓ１０６でレリーズボタンが押されたときや、Ｓ１０８で動画撮影が終了した際には、過去複数回の視線検出結果が静止画の撮影データと関連付けられて記録されることになる。
　＜実施例２＞
　実施例２では実施例１の変形例として、図８ステップＳ１０６で記録する過去複数回の視線検出情報が重複しないように記録媒体５へ記録する方法を図９で説明する。
　前述の実施例１、図８のＳ１０７において、静止画と関連付けて記録できるサイズは通常有限なため、過去複数回の視線検出情報は固定長サイズで記録される。この場合、ＳＷ２操作でレリーズするまでの過去複数回の視線検出情報が固定回数記録されることになる。
　しかし、過去複数回の視線検出情報が連写中においても固定回数記録されると、１つ前の撮影データに付加される過去複数回の視線検出情報が重複する場合がある。例えば、１０回分の視線検出結果が１つの撮影データに付加できる場合を考えると、連写間で視線検出ルーチンが５回実施できる場合においては１つ前と現在の視線検出情報は５回分重複する。したがって、現在の撮影画像データにおける過去５回分の視線検出情報が１つ前の撮影画像でも確認することができるため、記録データに無駄が生じてしまう。メモリ部４から記録媒体５への視線検出情報転送時間や記録媒体５の記録可能な容量を考えると、撮影データに関連付ける情報はできるだけ小さいほうが望ましい。
　以下に図９を説明する。
　図９のステップＳ２０１～Ｓ２０６は図８のステップＳ１０１～Ｓ１０６と同等のための説明を省略する。ステップＳ２０２で記憶した視線検出情報と、ステップ２０４で記憶した注視点確定情報をステップＳ２０６で撮影データに付加すると、ステップＳ２０７に進む。Ｓ２０７においてＳ２０２でメモリ部４へ記憶した過去複数回の注視点位置座標と視線検出時刻を消去する。
　図９によると、連写した場合は次の視線検出ルーチンで検出された視線検出結果がクリアされたメモリ部４へ記録されるため、次のレリーズ時に撮影画像へ付加される過去複数回の視線検出結果は１つ前に記録した過去複数回の視線検出結果と重複することはない。
　実施例２は請求項３に記載の撮像装置に相当する。
　＜実施例３＞
　実施例３では実施例１および実施例２の変形例として、図８のＳ１０４または図９のＳ２０４でメモリ部４へ記憶する注視点確定情報の記憶方法について図１０で説明する。
　図８のＳ１０４または図９のＳ２０４でメモリ部４へ記憶した注視点確定時の注視点座標または視線検出時刻（以下、視線確定情報）と図８のＳ１０２または図９のＳ２０２で記憶した過去複数回の視線検出情報が重複する場合がある。実施例２で説明したように、メモリ部４から記録媒体５への視線検出情報転送時間や記録媒体５の記録可能な容量を考えると、可能な限り重複する視線検出情報は排除し、記録媒体５へ記録することが望ましい。このため、過去複数回の視線検出情報と重複する視線確定情報をできるだけ少なくして、過去複数回の視線検出情報の中から視線確定情報が特定できるデータのみを撮影データへ付加することを考える。
　図１０は視線確定情報の記憶方法について説明した図である。ステップＳ３０１～ステップＳ３０３は実施例１のステップＳ１０１～ステップ１０３と同様のため説明を省略する。
　ステップＳ３０３で注視点位置が決定された場合にステップＳ３０４へ進み、Ｓ３０２で記憶した過去複数回の視線検出情報と一致する注視点位置情報があるか否かを判定する。Ｓ３０４で過去複数回の視線検出情報と一致する注視点位置情報がある場合には、ステップＳ３０５へと進み、視線確定時の視線検出時刻のみをメモリ部４へ記憶する。Ｓ３０４で過去複数回の視線検出情報に注視点位置情報が一致しない場合には、ステップＳ３０６へと進み、視線確定時の注視点座標と視線検出時刻の両方をメモリ部４に記憶する。ステップＳ３０５及びＳ３０６それぞれが実施されるとステップＳ３０７へ進む。Ｓ３０７～Ｓ３１１はそれぞれ図８のＳ１０５～Ｓ１０９と同様のため説明を省略する。実施例３は請求項４に記載の撮像装置に相当する。
　＜実施例４＞
　実施例４では前記確定注視点情報記録手段と前記視線検出情報記録手段により記録される情報について説明する。
　実施例２で説明したように、メモリ部４から記録媒体５への視線検出情報の転送時間や記録媒体５の記録可能な容量を考えると、可能な限り少ない情報を撮影データへ関連付けて記憶することが望ましい。
　一方で、前記確定注視点情報記録手段で記録したい確定注視点情報は撮影者の意思で決定されたタイミングの注視点情報であるため、確定タイミングの視線情報のより詳細な情報を記録して第三者へ提供、または解析で利用したいという要望がある。視線確定情報は視線検出情報よりも詳細な情報を記録することで、撮影データへの最小限の情報付加と、確定タイミングの情報詳細化との両立を図るものである。
　具体的には確定注視点情報と視線検出情報は以下の情報とするが、この限りではない。
　確定注視点情報：注視点座標、視線検出時刻、視線ばらつき度合、まばたき情報、視線角速度、跳躍（別の被写体へ視線が大きくジャンプ）判定情報
　視線検出情報（過去複数回の情報を保持）：注視点座標、視線検出時刻
　＜実施例５＞
　実施例５を図１１を用いて説明する。
　前記注視点位置確定手段は実施例１で説明した通り、撮影者が注視する位置を決定するために用いられる手段である。前記注視点位置確定手段で決定された注視点位置を前記確定注視点情報記録手段により、撮影データと共に記録媒体５へ記録する。
　前記注視点位置確定手段による操作は、レリーズタイミングとは異なるため、前記注視点位置確定手段で決定された注視点位置が検出されたタイミングと、撮影データが生成されるタイミングが大きくずれる可能性がある。この場合、視線確定されてからレリーズされるまでの間で、カメラを振ることで撮影シーンが変わってしまうと、視線確定時のシーンが撮影データとして残らないため、視線確定情報が役に立たなくなってしまう。このため、カメラがパンニングされた際には視線確定時の座標や検出時刻をメモリ部４へ記録させない。
　以下、図１１でフローを説明する。
　ステップＳ４０１～Ｓ４０４は実施例１の図８、Ｓ１０１～ステップＳ１０４と同様のため説明を省略する。
　ステップＳ４０４が実行されるとＳ４０５と進み加速度を取得する。加速度の取得はカメラ内の加速度センサ６またはレンズ内の加速度センサ１１９から取得する。
　一方、まだ注視点位置が確定されていない場合にはステップＳ４０６へと進む。Ｓ４０６、Ｓ４０７は実施例１の図８、Ｓ１０５、Ｓ１０６と同等のため説明を省略する。
　ステップＳ４０８では視線確定から現在まででの間でパンニングを行ったかどうかを判定する。視線確定から現在までのパンニング判定はＳ４０５で取得した加速度を用いて、加速度が閾値よりも大きいか否かで判定する。加速度が閾値よりも大きい場合は注視点確定から現在までの間でパンニングしたと判断してステップＳ４０９へと進む。
　Ｓ４０９では過去複数回の視線検出情報のみを静止画データに関連付けて記録媒体５へ記録する。
　一方、Ｓ４０８で加速度が閾値よりも小さいと判定された場合は注視点確定から現在までの間でパンニングしていないと判断してステップＳ４１０へと進み、過去複数回の視線検出情報と注視点確定情報の両者を静止画データに関連づけて、記録媒体５へ記録する。
　Ｓ４０６で動画撮影モードと判定された場合はステップＳ４１１へと進み、撮影が終了したか否かを判定する。Ｓ４１１で撮影終了していない場合には、Ｓ４０１へと戻り視線検出を繰り返す。Ｓ４１１で撮影終了した場合にはステップＳ４１２へと進む。
　ステップＳ４１２では視線確定から現在まででの間でパンニングを行ったかどうかを判定する。視線確定から現在までのパンニング判定はＳ４０５で取得した加速度を用いて、加速度が閾値よりも大きいか否かで判定する。加速度が閾値よりも大きい場合は注視点確定から現在までの間でパンニングしたと判断してステップＳ４１３へと進む。
　Ｓ４１３では過去複数回の視線検出情報のみを動画データに関連付けて記録媒体５へ記録する。
　一方、Ｓ４１２で加速度が閾値よりも小さいと判定された場合は注視点確定から現在までの間でパンニングしていないと判断してステップＳ４１４へと進み、過去複数回の視線検出情報と注視点確定情報の両者を動画データに関連づけて、記録媒体５へ記録する。
　以上のように、実施例５によれば撮影データに対して意味のある注視点位置情報を記録することができる。
　＜実施例６＞
　実施例６は実施例５の変形例であり、請求項７に記載の撮像装置に相当する。実施例６では視線確定からレリーズまでの間でパンニングされているか否かで注視点確定情報を撮影データに関連付けるか否かを説明した。
　一方で、流し撮りモードのようにカメラをパンニングさせながら撮りたい被写体を画角内に収める撮影手法の場合、パンニングしているけれども視線確定時の注視点位置と被写体の相対的な位置関係が変わらない可能性が高い。この場合は、撮影データに対して前記注視点位置確定手段で決定された注視点位置が意味のある情報となる可能性が高いため、撮影データに関連付ける必要性がある。
　図１２は流し撮りモード時の撮影データへの注視点位置確定時の注視点位置情報の関連付けを示したフロー図であり、以下にフローを説明する。
　ステップＳ５０１～Ｓ５０７は実施例５の図１１、Ｓ４０１～Ｓ４０７と同様、ステップ５１２は図１１、Ｓ４１２と同様のため説明を省略する。
　ステップＳ５０８で流し撮りモードと判定した場合にはステップＳ５１２へと進み、過去複数回の視線検出情報と視線確定情報の両者を静止画データに関連づけて、記録媒体５へ記録する。
　一方、流し撮りモードと判定されない場合にはステップＳ５０９へと進む。
　流し撮りモードの設定は、図２Ｂの４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）といった、カメラ操作に使用する各種操作部材によって、設定することができる。
　Ｓ５０９～Ｓ５１１は実施例５に記載のＳ４０８～Ｓ４１０と同様のため説明を省略する。
　ステップＳ５１３で流し撮りモードと判定した場合にはステップＳ５１６へと進み、過去複数回の視線検出情報と視線確定情報の両者を動画データに関連づけて、記録媒体５へ記録する。
　一方、流し撮りモードと判定されない場合にはステップＳ５１４へと進む。
　Ｓ５１４～Ｓ５１６は実施例５に記載のＳ４１２～Ｓ４１４と同様のため説明を省略する。
　以上のように、実施例６によれば流し撮りモードの場合には撮影データに対して意味のある注視点位置情報を記録することができる。
　＜実施例７＞
　実施例７では、前記注視点位置推定手段が有効の時のみ静止画データまたは動画データに関連づけて前記視線検出情報記録手段及び確定注視点情報記録手段でメモリ部４に記録された検出情報を記録する。
　注視点位置推定手段の有効・無効の切り替えは、カメラ操作に使用する各種操作部材によって、切り替えることができる。各種操作部材は例えば図２Ｂの４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）等である。
　なお、上述の実施例においてはカメラの形態を中心に説明したが、他の装置においても上述の実施例の処理を適用可能である。装置は例えばヘッドマントディスプレイでも良いし、視線検出のための構成、画像の表示のための構成、注視点を確定するための構成、画像やその他の情報を記録するための構成、の各々を別体の装置によって実現する記録システムであっても良い。
　以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２１年４月２８日提出の日本国特許出願特願２０２１－０７６７４８を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (10)

  1. 　ユーザの眼球画像を取得する撮像素子と、
    　該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、
    　ユーザの操作によって注視点を確定する確定操作を行う操作部材と、
    　ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有することを特徴とする記録装置。
  2. 　前記確定操作に関する情報は、前記確定操作が行われたタイミングにおけるユーザの注視点の位置情報を含むことを特徴とする請求項１に記載の記録装置。
  3. 　前記注視点の位置情報は注視点に対応する座標の情報であることを特徴とする請求項２に記載の記録装置。
  4. 　前記確定操作に関する情報は、前記確定操作が行われた時刻に対応する情報を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の記録装置。
  5. 　前記記憶手段は、前記確定操作に関する情報に加え、
    　複数回の視線検出情報を、静止画または動画に対応付けて記録することを特徴とする請求項１乃至請求項４のいずれか１項に記載の記録装置。
  6. 　前記視線検出情報は、注視点の位置情報と当該位置情報を取得した時刻の情報であることを特徴とする請求項５に記載の記録装置。
  7. 　前記記録装置を有する撮像装置であって、
    　前記確定操作がなされたタイミングにおいて当該撮像装置がパンニングされている場合は、前記確定操作に関する情報を記録しないことを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
  8. 　ユーザによって前記撮像装置を用いた流し撮り撮影が行われている場合には、当該撮像装置がパンニングされている場合であっても前記確定操作に関する情報を静止画または動画に対応付けて記録することを特徴とする請求項７に記載の撮像装置。
  9. 　ユーザの眼球画像を取得する撮像素子を有する記録装置の制御方法であって、
    　該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出ステップと、
    　ユーザの操作によって注視点を確定する確定操作を行う操作ステップと、
    　ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶ステップと、を有することを特徴とする記録装置の制御方法。
  10. 　ユーザの眼球画像を取得する撮像素子と、
    　該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、
    　ユーザの操作によって注視点を確定する確定操作を行う操作部材と、
    　ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有することを特徴とする記録システム。
PCT/JP2022/018625 2021-04-28 2022-04-22 記録装置、撮像装置、制御方法、記録システム WO2022230783A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280031794.0A CN117223280A (zh) 2021-04-28 2022-04-22 记录装置、摄像设备、控制方法和记录系统
US18/493,408 US20240085979A1 (en) 2021-04-28 2023-10-24 Recording device, image-capturing apparatus, control method, and recording system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021076748A JP2022170551A (ja) 2021-04-28 2021-04-28 記録装置、撮像装置、制御方法、記録システム
JP2021-076748 2021-04-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/493,408 Continuation US20240085979A1 (en) 2021-04-28 2023-10-24 Recording device, image-capturing apparatus, control method, and recording system

Publications (1)

Publication Number Publication Date
WO2022230783A1 true WO2022230783A1 (ja) 2022-11-03

Family

ID=83847200

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018625 WO2022230783A1 (ja) 2021-04-28 2022-04-22 記録装置、撮像装置、制御方法、記録システム

Country Status (4)

Country Link
US (1) US20240085979A1 (ja)
JP (1) JP2022170551A (ja)
CN (1) CN117223280A (ja)
WO (1) WO2022230783A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036901A (ja) * 1999-07-15 2001-02-09 Canon Inc 画像処理装置及び画像処理方法並びにメモリ媒体
JP2004181233A (ja) * 2002-11-25 2004-07-02 Eastman Kodak Co 画像中の重要領域決定方法及びプログラム
WO2019171522A1 (ja) * 2018-03-08 2019-09-12 株式会社ソニー・インタラクティブエンタテインメント 電子機器、ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036901A (ja) * 1999-07-15 2001-02-09 Canon Inc 画像処理装置及び画像処理方法並びにメモリ媒体
JP2004181233A (ja) * 2002-11-25 2004-07-02 Eastman Kodak Co 画像中の重要領域決定方法及びプログラム
WO2019171522A1 (ja) * 2018-03-08 2019-09-12 株式会社ソニー・インタラクティブエンタテインメント 電子機器、ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法

Also Published As

Publication number Publication date
US20240085979A1 (en) 2024-03-14
JP2022170551A (ja) 2022-11-10
CN117223280A (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
JP7358530B2 (ja) 被写体認識装置及び被写体認識装置の制御方法
US11509816B2 (en) Image processing apparatus, image pickup apparatus, and control method of image processing apparatus
WO2022230783A1 (ja) 記録装置、撮像装置、制御方法、記録システム
JP2002214659A (ja) ぶれ補正機能付きカメラ
JP2021125867A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム
JP2004008323A (ja) 視線機能付光学装置
JP2002301030A (ja) 視線検出機能付き機器
JP4594402B2 (ja) 自動焦点カメラ
US20230186520A1 (en) Gaze detection apparatus
JP2023083695A (ja) 電子機器
JP2023006629A (ja) 制御装置およびその制御方法
JP2024003432A (ja) 電子機器
JP3647088B2 (ja) 視線検出手段を有するカメラ
JP2022185313A (ja) 撮像装置
JP2022171084A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2023073758A (ja) 電子機器、制御方法
JP3406945B2 (ja) 視線検出機能付光学装置
JP3391892B2 (ja) 視線検出装置、光学装置及び視線検出方法
JP2023003735A (ja) 視線検出装置、撮像装置、視線検出方法、プログラム、および、記憶媒体
JP2023047605A (ja) 制御装置、撮像装置、制御方法、およびプログラム
JP3530648B2 (ja) 視線検出装置及び光学装置
JP4593805B2 (ja) 自動焦点カメラ
JP2023063023A (ja) 電子機器及び電子機器の制御方法
JP2024053967A (ja) 視線検出装置、撮像装置、視線検出方法、およびプログラム
JP2022072973A (ja) 電子機器およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795696

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280031794.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22795696

Country of ref document: EP

Kind code of ref document: A1