WO2022191151A1 - 自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラム - Google Patents

自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラム Download PDF

Info

Publication number
WO2022191151A1
WO2022191151A1 PCT/JP2022/009824 JP2022009824W WO2022191151A1 WO 2022191151 A1 WO2022191151 A1 WO 2022191151A1 JP 2022009824 W JP2022009824 W JP 2022009824W WO 2022191151 A1 WO2022191151 A1 WO 2022191151A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
image information
unit
interest
focal length
Prior art date
Application number
PCT/JP2022/009824
Other languages
English (en)
French (fr)
Inventor
英樹 相羽
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2022191151A1 publication Critical patent/WO2022191151A1/ja
Priority to US18/462,458 priority Critical patent/US20230418131A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081—Ophthalmic lenses with variable focal length
    • G02C7/083—Electrooptic lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081—Ophthalmic lenses with variable focal length
    • G02C7/085—Fluid-filled lenses, e.g. electro-wetting lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/30—Focusing aids indicating depth of field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves

Definitions

  • the present embodiment relates to automatic focusing glasses, a control method for automatic focusing glasses, and a program.
  • Patent Literature 1 and Patent Literature 2 disclose automatic focusing eyeglasses having a function of automatically adjusting the focal length of the lenses of the eyeglasses.
  • the auto-focusing eyeglasses disclosed in Patent Document 1 lacks practicality because, in order to detect the line of sight of the user, the camera that captures the image of the pupil must be placed at a position that does not interfere with the field of view of the eyeglass lens. be.
  • the automatic focus adjustment glasses disclosed in Patent Document 2 change the focal length when the user touches the frame, so the focal length cannot be adjusted automatically.
  • the present embodiment aims to provide automatic focus adjustment glasses, an automatic focus adjustment method, and a program that can automatically adjust the focal length without sacrificing practicality.
  • the automatic focusing glasses include an imaging unit capable of acquiring image information, a variable focus lens capable of changing the focal length, and the imaging unit acquiring a depth information acquiring unit that acquires depth information for each position of the image information obtained; a focused position determining unit that determines a focused position in the image information acquired by the imaging unit; A focus position, a depth specifying section that specifies the depth of the focus position based on the depth information, and a focal length control section that sets the focal length of the varifocal lens based on the depth of the focus position.
  • a method for controlling automatic focusing eyeglasses provides an automatic focusing lens including an imaging unit capable of acquiring image information and a variable focus lens capable of changing the focal length.
  • a method for controlling focus adjustment glasses comprising: acquiring depth information for each position in image information acquired by the imaging unit; determining a position of interest in the image information acquired by the imaging unit; A position of interest in the information, identifying a depth of the position of interest based on the depth information, and setting a focal length of a varifocal lens based on the depth of the position of interest.
  • a program provides a control method for automatic focusing eyeglasses including an imaging unit capable of acquiring image information and a variable focus lens capable of changing the focal length. comprising a step of acquiring depth information for each position in the image information acquired by the imaging unit, a step of determining a position of interest in the image information acquired by the imaging unit, and the image A position of interest in the information, identifying a depth of the position of interest based on the depth information, and setting a focal length of a varifocal lens based on the depth of the position of interest.
  • FIG. 1 is a schematic diagram showing how to use automatic focusing glasses according to the present disclosure.
  • FIG. 2 is a schematic diagram of a first embodiment of a variable focus lens for autofocusing eyeglasses according to the present disclosure;
  • FIG. 3 is a schematic diagram of a second embodiment of a variable focus lens for autofocusing eyeglasses according to the present disclosure;
  • FIG. 4 is a block diagram showing a configuration example of a control device for automatic focusing eyeglasses according to the present disclosure.
  • FIG. 5 is a flow chart showing a first mode of processing of the attention position determination unit.
  • FIG. 6 is a flow chart showing a second mode of processing of the attention position determination unit.
  • FIG. 7 is a flow chart showing a third mode of processing of the attention position determination unit.
  • FIG. 5 is a flow chart showing a first mode of processing of the attention position determination unit.
  • FIG. 6 is a flow chart showing a second mode of processing of the attention position determination unit.
  • FIG. 7 is a flow chart
  • FIG. 8 is a schematic diagram showing image information acquired by the imaging unit of the automatic focusing eyeglasses according to the present disclosure.
  • FIG. 9 is a schematic diagram visually showing depth information acquired by a depth information acquiring unit of the automatic focusing eyeglasses according to the present disclosure.
  • FIG. 1 is a schematic diagram showing how to use automatic focusing glasses according to the present disclosure.
  • autofocus eyeglasses 10 include depth camera 11 , variable focus lens 12 , eyeglass frame 13 , and controller 14 .
  • the user wears the spectacle frame 13 on the ear and visually recognizes the short-distance object TG1 and the long-distance object TG2 through the variable focus lens 12 from the pupil EY.
  • the focal length of the varifocal lens 12 is automatically adjusted under the control of the control device 14, the user can visually recognize both the short-distance object TG1 and the long-distance object TG2.
  • the depth camera 11 acquires depth information for each position of image information at the same time as acquiring image information. That is, the depth camera 11 includes an imaging unit that acquires image information, and a depth information acquisition unit that acquires depth information for each position of the image information acquired by the imaging unit.
  • the image information is data including luminance and color information of each pixel in one frame, and may be data to which a gradation is assigned to each pixel.
  • Depth information is information indicating the distance from the depth camera 11 of an object imaged in the image information, and the distance from the depth camera 11 is recorded for each position of the image information.
  • the imaging unit includes an optical element and an imaging element.
  • Optical elements are elements that constitute an optical system, such as lenses, mirrors, prisms, and filters.
  • An imaging device is a device that converts incident light through an optical device into an image signal that is an electrical signal.
  • the imaging device is, for example, a CCD (Charge Coupled Device) sensor, a CMOS (Complementary Metal Oxide Semiconductor) sensor, or the like.
  • the depth information acquisition unit acquires depth information for each position of image information.
  • the depth information acquisition unit may acquire depth information for each position of image information using, for example, a TOF (Time Of Flight) method.
  • the depth information acquisition unit includes a light projecting element and a light receiving element, and measures the time from when the photon emitted from the light projecting element hits the object to when the reflected light is received by the light receiving element. to measure the distance to an object.
  • the light projecting element for example, an LED (Light Emitting Diode), an LD (Laser Diode), a VCSEL (Vertical Cavity Surface Emitting Laser), or the like can be used.
  • a light receiving element for example, a CCD sensor, a CMOS sensor, or the like can be used.
  • the depth information acquisition unit uses, as learning data, data in which the RGB image acquired using the monocular RGB camera, the depth information, the motion vector of the object included in the image information, and the motion vector of the camera are associated with each other.
  • Depth information may be acquired by inputting image information into a learning model that has been subjected to unsupervised learning using the . Accordingly, when a moving object is imaged in the image information, the depth information of the moving object can be obtained accurately. Further, even if the depth camera 11 that acquires image information moves, the depth information of the imaged object can be acquired accurately.
  • the image information acquisition unit and the depth information acquisition unit are configured as integrated hardware as the depth camera 11.
  • the present invention is not limited to this, and the image information acquisition unit and the depth information acquisition unit are separate units. hardware.
  • the configurations of the image information acquisition unit and the depth information acquisition unit are not limited to the above examples, and may be arbitrary configurations.
  • the varifocal lens 12 is a lens whose focal length can be adjusted. Examples of aspects of the varifocal lens 12 will be described below, but the varifocal lens 12 is not limited to the following aspects.
  • FIG. 2 is a schematic diagram of a first embodiment of a variable focus lens for autofocusing eyeglasses according to the present disclosure
  • the variable focus lens 12 includes, for example, a transparent liquid 121, a transparent container 122, and an actuator 123.
  • the transparent liquid 121 is a transparent liquid that can transmit light.
  • the transparent liquid 121 for example, pure water or silicone such as polydimethylcyclosan may be used.
  • the transparent container 122 is a flexible transparent container.
  • the transparent container 122 may be formed by pasting together two transparent plate-like bodies formed into plane-symmetrical cylindrical, parabolic, or cubic curved surfaces. By forming the transparent container 122 in a plane-symmetrical shape, it becomes easier to calculate deformation control.
  • a transparent liquid 121 is sealed inside the transparent container 122 .
  • the actuator 123 is a mechanical element capable of telescopic motion.
  • a mechanism can be used in which fluid is injected into a tube made of an elastic material such as rubber and the pressure of the fluid is changed to expand and contract the tube.
  • the actuator 123 may be a piezo actuator using a piezoelectric material that deforms when voltage is applied.
  • a piezoelectric ceramic or a polymeric piezoelectric material for example, PVDF (polyvinylidene fluoride) or VDF/TrFE (vinylidene fluoride/trifluoroethylene) copolymer can be used.
  • the actuators 123 are provided at the upper and lower ends of the transparent container 122 . As the actuator 123 expands and contracts, the distance between the transparent containers 122 changes, the pressure of the transparent liquid 121 sealed inside the transparent container 122 changes, and the transparent container 122 elastically deforms. Thereby, the focal length of the varifocal lens 12 can be changed.
  • FIG. 3 is a schematic diagram of a second embodiment of a variable focus lens for autofocusing eyeglasses according to the present disclosure
  • the varifocal lens includes a transparent substrate 21, two outer transparent substrates 22, two liquid crystal lenses 23 sandwiching the transparent substrate 21, and an ultra-thin lens arranged on the transparent substrate 21.
  • the liquid crystal varifocal lens 20 may include the sonic transducer 24 and the power supply section 25 .
  • the transparent substrate 21 may be a glass plate.
  • the material of the transparent substrate 21 is not limited to glass, and may be, for example, a transparent resin material.
  • the thickness of the transparent substrate 21 is, for example, 100-900 ⁇ m.
  • the outer transparent substrate 22 may be a glass plate.
  • One outer transparent substrate 22 is arranged on each side of the transparent substrate 21 , and a liquid crystal lens 23 to be described later is arranged between the transparent substrate 21 and the outer transparent substrate 22 .
  • the liquid crystal lens 23 is composed of an alignment film 231 , a liquid crystal layer 232 and a sealing material 233 .
  • the alignment film 231 is a vertical alignment film, and aligns the liquid crystal molecules so that the long axes of the liquid crystal molecules are perpendicular to the main surface of the alignment film 231 in a state where ultrasonic waves are not generated.
  • the liquid crystal layer 232 contains liquid crystal molecules.
  • Liquid crystal molecules include, for example, nematic liquid crystals with negative dielectric anisotropy.
  • the thickness of the liquid crystal layer 232 is, for example, 30-80 ⁇ m. By setting the thickness of the liquid crystal layer 232 to 30 ⁇ m or more, the variable range of the focal length of the liquid crystal lens 23 can be sufficiently widened. On the other hand, by setting the thickness of the liquid crystal layer 232 to 80 ⁇ m or less, the thickness of the entire liquid crystal lens 23 can be made sufficiently thin.
  • the sealing material 233 seals the liquid crystal layer 232 provided between the transparent substrate 21 and the outer transparent substrate 22 .
  • the sealing material 233 is provided along the peripheries of the transparent substrate 21 and the outer transparent substrate 22, and seals the liquid crystal layer 232 therebetween.
  • an epoxy resin can be used as the sealing material 233.
  • the ultrasonic transducer 24 is arranged on the transparent substrate 21 .
  • the ultrasonic transducer 24 is composed of a vibrating portion 241 and a pair of electrodes 242 provided to sandwich the vibrating portion 241 .
  • the electrode 242 is connected to the power supply section 25 .
  • the ultrasonic oscillator 24 generates ultrasonic waves having a frequency matching the resonance frequencies of the transparent substrate 21 and the liquid crystal lens 23 .
  • An ultrasonic wave with a frequency matched to the resonant frequency produces flexural vibration in the first mode.
  • the primary mode flexural vibration is vibration in which the vibration intensity continuously decreases from the center side of the liquid crystal layer 232 toward the peripheral side thereof.
  • the frequency of the ultrasonic waves generated by the ultrasonic transducer 24 depends on the frequency of the voltage applied from the power supply section 25 .
  • the intensity of ultrasonic waves from the ultrasonic transducer 24 depends on the amplitude value of the voltage applied from the power supply section 25 .
  • the ultrasonic transducer 24 may be, for example, a piezoelectric ultrasonic transducer.
  • materials for the vibrating portion 241 of the ultrasonic transducer 24 include ceramics such as zirconate titanate (PZT), barium titanate and lead titanate, polyvinylidene fluoride-trifluoroethylene copolymer (P( Examples include polymers such as VDF-TrFE)).
  • the material of the electrode 242 is silver or nickel, for example.
  • the electrode 242 is connected to the power source section 25 capable of applying voltage.
  • Electrode 242 may comprise, for example, a high temperature baked silver electrode or a chemically plated nickel electrode.
  • the electrode 242 is electrically connected to the power source section 25 by wiring.
  • the frequency of the voltage applied from the power supply unit 25 to the ultrasonic transducer 24 depends on the physical properties of the transparent substrate 21 and the liquid crystal lens 23 (for example, Young's modulus, Poisson's ratio, density, etc. of the transparent substrate 21), and the ultrasonic wave. It can be calculated by performing a simulation using the physical property values of the ultrasonic transducer 24 (for example, the elastic constant matrix, density, and piezoelectric constant matrix of the ultrasonic transducer 24).
  • the spectacle frame 13 is a member to which the depth camera 11, the varifocal lens 12, and the control device 14 (to be described later) are attached, and which has temples so that the spectacles can be worn on the ears of the user.
  • the control device 14 is not limited to being attached to the spectacle frame 13, and is connected to the control device 14 provided outside the spectacle frame 13 via a wireless or electric communication line. It can be.
  • FIG. 4 is a block diagram showing a configuration example of a control device for automatic focusing eyeglasses according to the present disclosure.
  • the control device 14 is a computer in this embodiment and has a storage unit 141 and a control unit 142 .
  • the storage unit 141 is a memory that stores various kinds of information such as calculation contents and programs of the control unit 142.
  • the storage unit 141 includes a main storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), and an HDD. (Hard Disk Drive) or other external storage device.
  • the program for the control unit 142 stored in the storage unit 141 may be stored in a recording medium readable by the control unit 142 .
  • the control unit 142 is an arithmetic device and includes an arithmetic circuit such as a CPU (Central Processing Unit).
  • the control unit 142 includes an attention position determining unit 1421 , a depth specifying unit 1422 and a focal length control unit 1423 .
  • the depth camera 11 and the control device 14 are connected, and image information and depth information are transmitted from the depth camera 11 to the control device 14 .
  • the variable focus lens 12 is connected to the control device 14 and a control signal from the control device 14 is transmitted to the variable focus lens 12 .
  • the control unit 142 reads out and executes a program (software) from the storage unit 141 to realize a position-of-interest determination unit 1421, a depth determination unit 1422, and a focal length control unit 1423, and performs these processes. Run. Note that the control unit 142 may execute these processes by one CPU, or may be provided with a plurality of CPUs and may execute the processes by the plurality of CPUs. Also, at least one of the attention position determination unit 1421, the depth identification unit 1422, and the focal length control unit 1423 may be realized by a hardware circuit.
  • the attention position determination unit 1421 determines the attention position in the image information acquired by the depth camera 11 .
  • the attention position is a position in the image information that the user of the automatic focusing glasses 10 is estimated to pay attention to in the image information acquired by the depth camera 11 .
  • the image information acquired by the depth camera 11 if an object with a large degree of change in brightness per unit area in the image information such as characters is captured, it is assumed that the user will pay attention to this, and the image information of this is assumed to be focused on. may be set as the position of interest. This is because people tend to gaze at specific objects such as characters, and the specific objects tend to have a large degree of change in luminance.
  • the position-of-interest determining unit 1421 is not limited to setting the position in the image information of an object, such as a character, having a large degree of change in luminance as the position of interest, and may set any other arbitrary position as the position of interest.
  • FIG. 5 is a flow chart showing a first mode of processing of the attention position determination unit.
  • the attention position determining unit 1421 calculates the degree of change in luminance within a unit area of the image in the image information acquired by the depth camera 11, and selects the target area including the unit area whose degree of luminance change is equal to or greater than a threshold value. Set as position.
  • a first mode of processing of the attention position determination unit 1421 will be described below with reference to FIG.
  • the attention position determination unit 1421 executes object detection processing on the image information and sets a target area, which means an area including the detected object (step S100).
  • the target area is an area occupying a certain range in image information obtained by executing object detection processing on image information and predicting a rectangle called a bounding box containing the specified object. That is, the target area is the area containing the object in the image information.
  • object detection is performed by taking a fixed size window from the image information with all possible positions and inputting these regions into the image classifier.
  • a technique such as R-CNN (Region-based Convolutional Neural Network) can be used for object detection.
  • the R-CNN performs object detection from image information in the procedure described below.
  • region candidates are searched from image information using selective-search, which is a technique for finding object-likeness. All the region images of the region candidates are resized to a certain size and input to a CNN (Convolutional Neural Network) to extract feature amounts. Estimate the position of the bounding box containing the object in the image information by generating a learning model using multiple SVMs (Support Vector Machines) using the extracted feature values and inputting image information to the learning model. . This makes it possible to detect an object from image information while reducing the calculation load of the CNN.
  • SVMs Small Vector Machines
  • the attention position determination unit 1421 calculates the degree of change in luminance within the unit area of the image in the image information (step S110).
  • a unit area is an area that occupies a certain range in an arbitrarily set image. For example, assume that the image is a 4K image with 3840 pixels vertically and 2160 pixels horizontally. In this case, the attention position determination unit 1421 may divide the image vertically into 384 pixels and horizontally into 216 pixels, and set a unit region of 10 pixels vertically and 10 pixels horizontally. After the image information is divided into unit areas, the attention position determination unit 1421 calculates the degree of luminance change within each unit area of the image in the image information.
  • the attention position determination unit 1421 may use, for example, the amount of variation in luminance distribution within a unit area of the image as the degree of change in luminance.
  • the amount of variation is a value that indicates the spread of luminance distribution.
  • the degree of change in brightness within a unit area may be obtained using statistical summaries of brightness distribution such as standard deviation, variance, maximum value-minimum value, interquartile range, and percentile value.
  • the attention position determination unit 1421 determines whether the degree of change in luminance within each unit area is equal to or greater than a first threshold, and A unit area whose degree of change in is greater than or equal to the first threshold is selected (step S120).
  • the first threshold may be set arbitrarily.
  • the attention position determination unit 1421 selects the unit area in which the degree of change in luminance is the first threshold among the unit areas included in the target area.
  • a target area having the highest proportion of unit areas equal to or greater than one threshold is set as the position of interest (step S130).
  • the position of interest may be any position in the target area.
  • the position of the center of the target area may be set as the position of interest. Note that if there is only one target area that includes unit areas whose degree of change in luminance is equal to or greater than the first threshold, the process of selecting the unit area with the largest ratio as in step S130 is unnecessary.
  • FIG. 6 is a flow chart showing a second mode of processing of the attention position determination unit.
  • the attention position determination unit 1421 sets the target area as the attention position.
  • the target when there are a plurality of target regions including unit regions having a degree of change in luminance equal to or greater than the first threshold, the target having the largest ratio of unit regions having a degree of change in luminance equal to or greater than the first threshold
  • the second mode is different from the first mode in that the target area located in the central area is set as the position of interest.
  • steps S200 to S220 are the same as steps S100 to S120 of the first aspect, so description thereof will be omitted.
  • the attention position determination unit 1421 selects a unit area having a degree of change in luminance equal to or greater than the first threshold as a target whose ratio is equal to or greater than a second threshold.
  • a region is identified (step S230).
  • the second threshold may be set to any value, but may be set to 60%, for example.
  • the attention position determination unit 1421 determines that the ratio of unit regions with the degree of change in brightness equal to or greater than the first threshold is If the target area with the second threshold value or more is located in the central area, the central area is set as the attention position (step S240).
  • the central area is an area that occupies a certain range including the central position in the image information. For example, if the image information is a 4K image, the center area may be a range of 50 pixels left and right and 50 pixels up and down from the center position. Further, when the size of the target area is larger than the center area, the center area may be set as the attention position if a certain range of the target area, for example, 60%, is included in the center area.
  • the central area can be set as the attention position. That is, when an object such as characters that the user pays attention to is imaged in the central area of the image, the focal length can be adjusted to the depth of the object located in the central area.
  • the ratio of the unit regions is equal to or greater than the second threshold, and the central region The target area located at is set as the position of interest.
  • the second threshold value in this way, for example, a target region located in the central region, which is occupied by a small percentage of unit regions having a degree of luminance change equal to or greater than the first threshold value, can be excluded from the position of interest. This is preferable because it is possible to set another target area having a high percentage of unit areas having a degree of change equal to or greater than the first threshold as the position of interest.
  • the second aspect is not limited to setting the second threshold. For example, among target regions including unit regions having a degree of luminance change equal to or greater than the first threshold, a target region located in the central region may be set as the position of interest.
  • the second mode can also be applied to a case where there is only one target region that includes a unit region whose degree of luminance change is greater than or equal to the first threshold. In this case, for example, if one target area is located in the center area, it is set as the attention position, and if one target area is not located in the center area, it is not necessary to set the attention position.
  • FIG. 7 is a flow chart showing a third mode of processing of the attention position determination unit.
  • the attention position determination unit 1421 executes object detection processing on the image information to detect an object, specifies the depth of the object from the position in the image information of the target area including the detected object, and determines the depth of the object per unit time. is calculated, and if the rate of change in depth per unit time is equal to or greater than the threshold, the position of the object is set as the position of interest.
  • a third mode of processing of the attention position determination unit 1421 will be described below with reference to FIG.
  • the attention position determination unit 1421 executes object detection processing on the image information and sets a target area, which means an area including the detected object (step S300).
  • the object detection processing is the same as step S100 of the first aspect of the processing of the attention position determination unit 1421, so the description is omitted.
  • the attention position determining unit 1421 identifies the depth of the target area from the position of the target area in the image (step S310).
  • the depth of the target area is specified by the depth specifying unit 1422, which will be described later, based on the position of the target area in the image information.
  • the attention position determination unit 1421 inputs the position of the target region in the image information to the depth identification unit 1422 and acquires the depth output from the depth identification unit 1422 . The processing of the depth identification unit 1422 will be described later.
  • the attention position determination unit 1421 calculates the rate of change per unit time of the depth of the target region (step S320).
  • the attention position determination unit 1421 calculates the rate of change in depth per unit time from the depth acquired for each frame of the target region. That is, when the frame rate of image information is 30 fps, the rate of change in depth per 1/30 second is calculated.
  • the attention position determination unit 1421 sets the target region having the depth change rate per unit time equal to or greater than the third threshold as the attention position (step S330).
  • the third threshold value may be set to any value, and may be set to 60 km/hr, for example. Note that the rate of change in depth here may indicate that the depth becomes shallower, in other words, that an object approaches.
  • the position of the object can be set as the target position. Then, based on the position of the object set as the position of interest, the depth of the object is specified by the depth specifying unit 1422, which will be described later, and the focal length of the variable focus lens 12 is adjusted, so that the object approaching at high speed can be detected. You can adjust the focal length.
  • the attention position determination unit 1421 may perform at least one of the identification of the attention position according to the first to third modes described above. Also, the attention position determination unit 1421 may combine the identification of the attention position according to the first to third modes.
  • the attention position determining unit 1421 sets the center region as the attention position according to the second mode to match the focal length of the varifocal lens 12, and then, in another target region, the change rate of the depth of the object is If it is equal to or greater than the third threshold, that is, if the object is approaching, the attention position may be switched to the target area.
  • the attention position determination unit 1421 is not limited to setting the attention position according to the first to third modes.
  • the attention position determination unit 1421 sets a target area in which a preset object exists as the attention position in the image information. More specifically, for example, the preset object is a character or the like, but is not limited to this.
  • the attention position determination unit 1421 reads out information about preset objects from the storage unit 141 .
  • the attention position determination unit 1421 performs pattern matching on the image information acquired by the depth camera 11 based on preset information about the object, and identifies characters.
  • the attention position determination unit 1421 sets the target area in which the specified character exists as the attention position in the image information. Further, the attention position determination unit 1421 may detect a target area in which a preset object exists by the object detection processing described in the first aspect, and set the target area as the attention position.
  • the attention position determination unit 1421 may set the target region located closer to the central region of the image as the attention position. As a result, since people tend to center their visual field on the object they want to gaze at, it is possible to select an object that the person wants to gaze at.
  • the depth identification unit 1422 identifies the depth of the attention position based on the attention position in the image information determined by the attention position determination unit 1421 and the depth information recorded for each position of the image information. As described above, the depth information acquired by the depth camera 11 records the depth of the object captured in the image information for each position of the image information.
  • FIG. 8 is a schematic diagram showing image information acquired by the imaging unit of the automatic focusing eyeglasses according to the present disclosure.
  • FIG. 8 shows, as an example, an image in which a short-distance object TG1 and a long-distance object TG2 are captured.
  • FIG. 9 is a schematic diagram visually showing depth information acquired by a depth information acquiring unit of the automatic focusing eyeglasses according to the present disclosure.
  • objects far from the depth camera 11 are displayed in bright colors, and objects close to the depth camera 11 are displayed in dark colors.
  • the depth information records the depth of the object captured in the image information for each position of the image information.
  • the depth identification unit 1422 identifies the depth of the attention position from the depth information acquired by the depth camera 11 based on the attention position in the image information determined by the attention position determination unit 1421 .
  • the focal length control unit 1423 sets the focal length of the varifocal lens 12 based on the depth of interest position. That is, the focal length control unit 1423 calculates the focal length of the lens system of the automatic focusing eyeglasses 10 based on the depth of attention position in the image information, and adjusts the focal length of the varifocal lens 12 based on this. and transmits the control signal to the varifocal lens 12 .
  • the varifocal lens 12 is controlled by the control signal generated by the focal length control unit 1423 , and the focal length of the varifocal lens 12 is set to the depth of interest position.
  • the autofocus eyewear 10 includes an imaging unit capable of acquiring image information, a variable focus lens 12 capable of changing the focal length, and depth information for each position of the image information acquired by the imaging unit.
  • a depth information acquisition unit a position-of-interest determination unit 1421 that determines a position of interest in the image information acquired by the imaging unit, a position of interest in the image information determined by the position-of-interest determination unit 1421, and a depth of the position of interest based on the depth information.
  • a focal length control unit 1423 that sets the focal length of the varifocal lens 12 based on the depth of the position of interest.
  • the attention position determination unit 1421 calculates the degree of luminance change within the unit area of the image in the image information acquired by the imaging unit, and sets the target area including the unit area with the degree of luminance change equal to or greater than the threshold value as the attention position. do.
  • a target region including a unit region having a degree of change in brightness equal to or greater than a threshold value is set as a target position, and the depth is varied to match the target position.
  • the focal length of the focusing lens 12 can be set.
  • the attention position determination unit 1421 sets the target area as the attention position.
  • the target region when a target region including a unit region whose degree of change in brightness is equal to or greater than a threshold is located in the central region of the image, among the target regions in which the object has been detected in the image information, the target region is set as the position of interest, and the focal length of the varifocal lens 12 can be set so as to match the depth of the position of interest.
  • the attention position determination unit 1421 executes object detection processing on the image information to detect an object, specifies the depth of the object from the position in the image information of the target area including the detected object, and determines the depth of the object per unit time. is calculated, and if the rate of change in depth per unit time is equal to or greater than the threshold, the position of the object is set as the position of interest.
  • the target region when a target region including an object whose depth change rate is equal to or greater than a threshold value is captured in the image information, the target region is set as the target position, and the depth is changed to match the target position.
  • the focal length of the focusing lens 12 can be set. Therefore, for example, when there is an object approaching the user, the focal length of the varifocal lens 12 can be adjusted to the approaching object.
  • a method for controlling autofocus eyeglasses 10 is a control method for autofocus eyeglasses 10 including an imaging unit capable of acquiring image information and a variable focus lens 12 capable of changing the focal length, a step of acquiring depth information for each position in the image information acquired by the imaging unit; a step of determining a position of interest in the image information acquired by the imaging unit; a position of interest in the image information; It includes determining the depth and setting the focal length of the variable focus lens 12 based on the depth of interest.
  • a program according to the present disclosure is a program that causes a computer to execute a control method of automatic focusing eyeglasses 10 including an imaging unit capable of acquiring image information and a variable focus lens 12 capable of changing the focal length, wherein the imaging unit acquiring depth information for each position of the image information acquired by the imaging unit; determining a target position in the image information acquired by the imaging unit; focusing on the target position in the image information; and setting the focal length of the varifocal lens based on the depth of the position of interest.
  • the embodiment is not limited by the content of this embodiment.
  • the components described above include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those within the so-called equivalent range.
  • the components described above can be combined as appropriate.
  • various omissions, replacements, or modifications of components can be made without departing from the gist of the above-described embodiments.
  • the auto-focusing eyeglasses, the control method for the auto-focusing eyeglasses, and the program of the present embodiment can be used, for example, for eyeglasses that can improve the user's convenience.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eyeglasses (AREA)
  • Focusing (AREA)

Abstract

実用性を犠牲にすることなく、自動で焦点距離を調整することができる自動焦点調整眼鏡、自動焦点調整方法、プログラムを提供することを目的とする。本開示に係る自動焦点調整眼鏡（１０）は、画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズ（１２）と、撮像部が取得した画像情報についての位置毎の深度情報を取得する深度情報取得部と、撮像部が取得した画像情報における注目位置を決定する注目位置決定部（１４２１）と、注目位置決定部（１４２１）が決定した画像情報における注目位置と、深度情報に基づいて注目位置の深度を特定する深度特定部（１４２２）と、注目位置の深度に基づいて可変焦点レンズ（１２）の焦点距離を設定する焦点距離制御部（１４２３）と、を備える。

Description

自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラム
　本実施形態は、自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラムに関する。
　眼鏡のレンズの焦点距離を自動で調節する機能を備えた自動焦点調整眼鏡が例えば、特許文献１、及び特許文献２に開示されている。特許文献１に開示された自動焦点調整眼鏡は、ユーザの視線を検出する為、瞳孔を撮像するカメラを眼鏡レンズの視界の妨げにならない位置に配置しなければならないなど、実用性に欠ける点がある。特許文献２に開示された自動焦点調整眼鏡は、ユーザがフレームに触れることで、焦点距離を変更するため、自動で焦点距離を調整することができない。
　このような自動焦点調整眼鏡において、実用性を犠牲にすることなく、自動で焦点距離を調整することができれば、有益である。
特開２０００－２４９９０２号公報 特開２００７－２１２５０１号公報
　本実施形態は上記課題を鑑み、実用性を犠牲にすることなく、自動で焦点距離を調整することができる自動焦点調整眼鏡、自動焦点調整方法、プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る自動焦点調整眼鏡は、画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズと、前記撮像部が取得した画像情報についての位置毎の深度情報を取得する深度情報取得部と、前記撮像部が取得した画像情報における注目位置を決定する注目位置決定部と、前記注目位置決定部が決定した画像情報における注目位置と、前記深度情報に基づいて注目位置の深度を特定する深度特定部と、前記注目位置の深度に基づいて可変焦点レンズの焦点距離を設定する焦点距離制御部と、を備える。
　上述した課題を解決し、目的を達成するために、本開示に係る自動焦点調整眼鏡の制御方法は、画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズとを備える自動焦点調整眼鏡の制御方法であって、前記撮像部が取得した画像情報についての位置毎の深度情報を取得するステップと、前記撮像部が取得した画像情報における注目位置を決定するステップと、前記画像情報における注目位置と、前記深度情報に基づいて注目位置の深度を特定するステップと、前記注目位置の深度に基づいて可変焦点レンズの焦点距離を設定するステップと、を含む。
　上述した課題を解決し、目的を達成するために、本開示に係るプログラムは、画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズとを備える自動焦点調整眼鏡の制御方法をコンピュータに実行させるプログラムであって、前記撮像部が取得した画像情報についての位置毎の深度情報を取得するステップと、前記撮像部が取得した画像情報における注目位置を決定するステップと、前記画像情報における注目位置と、前記深度情報に基づいて注目位置の深度を特定するステップと、前記注目位置の深度に基づいて可変焦点レンズの焦点距離を設定するステップと、を含む。
　本開示によれば、実用性を犠牲にすることなく、自動で焦点距離を調整することができる自動焦点調整眼鏡を提供することができる。
図１は、本開示に係る自動焦点調整眼鏡の使用態様を示す模式図である。 図２は、本開示に係る自動焦点調整眼鏡の可変焦点レンズの第１態様の模式図である。 図３は、本開示に係る自動焦点調整眼鏡の可変焦点レンズの第２態様の模式図である。 図４は、本開示に係る自動焦点調整眼鏡の制御装置の構成例を示すブロック図である。 図５は、注目位置決定部の処理の第１態様を示すフローチャートである。 図６は、注目位置決定部の処理の第２態様を示すフローチャートである。 図７は、注目位置決定部の処理の第３態様を示すフローチャートである。 図８は、本開示に係る自動焦点調整眼鏡の撮像部が取得した画像情報を示す模式図である。 図９は、本開示に係る自動焦点調整眼鏡の深度情報取得部が取得した深度情報を視覚的に示す模式図である。
　以下に、本開示の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本開示が限定されるものではない。
（自動焦点調整眼鏡の構成）
　図１は、本開示に係る自動焦点調整眼鏡の使用態様を示す模式図である。図１に示すように、本開示に係る自動焦点調整眼鏡１０は、デプスカメラ１１と、可変焦点レンズ１２と、メガネフレーム１３と、制御装置１４と、を備える。図１に示すように、ユーザはメガネフレーム１３を耳にかけて、瞳ＥＹから可変焦点レンズ１２を介して、近距離対象物ＴＧ１や遠距離対象物ＴＧ２を視認する。ここで、可変焦点レンズ１２の焦点距離が制御装置１４の制御によって自動で調整されるため、ユーザは近距離対象物ＴＧ１、及び遠距離対象物ＴＧ２のどちらも視認することができる。
　デプスカメラ１１は、画像情報を取得する同時に画像情報の位置ごとに深度情報を取得する。すなわち、デプスカメラ１１は画像情報を取得する撮像部と、撮像部が取得した画像情報についての位置ごとの深度情報を取得する深度情報取得部と、を備える。ここで、画像情報とは、１つのフレームにおける各画素の輝度や色の情報を含むデータであり、画素毎の階調が割り当てられるデータであってもよい。また、深度情報とは、画像情報に撮像された物体のデプスカメラ１１からの距離を示す情報であり、画像情報の位置ごとにデプスカメラ１１からの距離が記録されている。
　撮像部は、光学素子と撮像素子とを含む。光学素子は、例えばレンズ、ミラー、プリズム、フィルタなどの光学系を構成する素子である。撮像素子は、光学素子を通して入射した光を電気信号である画像信号に変換する素子である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。
　深度情報取得部は、画像情報の位置ごとに深度情報を取得する。深度情報取得部は、例えば、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式を用いて画像情報の位置ごとに深度情報を取得して良い。この場合、深度情報取得部は、投光素子と、受光素子と、を備え、投光素子から発せられた光子が物体に当たり、反射した反射光を受光素子で受光するまでの時間を計測することで物体までの距離を計測する。投光素子としては、例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、ＬＤ（Ｌａｓｅｒ　Ｄｉｏｄｅ）、ＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ　Ｃａｂｉｔｙ　Ｓｕｒｆａｃｅ　Ｅｍｉｔｔｉｎｇ　ＬＡＳＥＲ）などを用いることができる。また、受光素子としては、例えば、ＣＣＤセンサやＣＭＯＳセンサなどを用いることができる。
　また、深度情報取得部は、単眼ＲＧＢカメラを用いて取得したＲＧＢ画像と、深度情報と、画像情報に含まれる物体の動きベクトルと、カメラの動きベクトルと、を対応付けたデータを学習データとして用いて教師なし学習を行った学習モデルに、画像情報を入力することで、深度情報を取得してもよい。これにより、画像情報に動く物体が撮像されていた場合に、動く物体の深度情報を正確に取得することができる。また、画像情報を取得するデプスカメラ１１が移動したとしても撮像された物体の深度情報を正確に取得することができる。
　なお、本実施形態では、画像情報取得部と深度情報取得部とがデプスカメラ１１として一体のハードウェアとして構成されているが、それに限られず、画像情報取得部と深度情報取得部とが別体のハードウェアであってもよい。また、画像情報取得部と深度情報取得部の構成も以上の例に限られず任意の構成であってよい。
　可変焦点レンズ１２は、焦点距離を調整可能なレンズである。以下に可変焦点レンズ１２の態様の例を説明するが、可変焦点レンズ１２は以下の態様に限定されない。
（可変焦点レンズの第１態様）
　図２は、本開示に係る自動焦点調整眼鏡の可変焦点レンズの第１態様の模式図である。可変焦点レンズ１２は、例えば、透明液体１２１と、透明容器１２２と、アクチュエータ１２３と、を備える。
　透明液体１２１は、光を透過可能な透明な液体である。透明液体１２１としては、例えば、純水や、ポリジメチルシクロサンなどのシリコーンを用いてもよい。
　透明容器１２２は、可撓性のある透明な容器である。透明容器１２２は、面対称の円筒形、放物面、３次曲面に形成された２つの透明板状体を張り合わせて形成されてよい。透明容器１２２を、面対称の形状とすることで、変形の制御の計算が容易になる。なお、透明容器１２２の内部には、透明液体１２１が封入される。
　アクチュエータ１２３は、伸縮運動が可能な機械要素である。アクチュエータ１２３には、ゴム等の弾性体で作製されたチューブに流体を注入して流体の圧力を変えることでチューブを伸縮させる機構を用いることができる。また、アクチュエータ１２３には、電圧を印加すると変形する圧電材料を用いたピエゾアクチュエータを用いてもよい。圧電材料としては、圧電セラミックや高分子圧電材料（例えば、ＰＶＤＦ（ポリフッ化ビニリデン）やＶＤＦ／ＴｒＦＥ（フッ化ビニリデン／トリフロロエチレン））共重合体などを用いることができる。
　アクチュエータ１２３は、透明容器１２２の上下の端部の位置に設けられる。アクチュエータ１２３が伸縮することによって透明容器１２２の間隔が変化し、透明容器１２２の内部に封入された透明液体１２１の圧力が変化して、透明容器１２２が弾性変形する。これによって、可変焦点レンズ１２の焦点距離を変化させることができる。
（可変焦点レンズの第２態様）
　図３は、本開示に係る自動焦点調整眼鏡の可変焦点レンズの第２態様の模式図である。図３に示すように、可変焦点レンズは、透明基板２１と、２つの外側透明基板２２と、透明基板２１を挟むように設けられた二つの液晶レンズ２３と、透明基板２１に配置された超音波振動子２４と、電源部２５と、を備える液晶可変焦点レンズ２０であってもよい。
　透明基板２１は、ガラス板であってよい。なお、透明基板２１の材質はガラスに限定されるものではなく、例えば、透明樹脂材料であってもよい。透明基板２１の厚さは、例えば、１００～９００μｍである。
　外側透明基板２２は、ガラス板であってよい。外側透明基板２２は、透明基板２１の両面にそれぞれ１つ配置され、透明基板２１と外側透明基板２２の間に、後述する液晶レンズ２３が配置される。
　液晶レンズ２３は、配向膜２３１と、液晶層２３２と、封止材２３３と、によって構成される。配向膜２３１は、垂直配向膜であり、超音波が発生していない状態において液晶分子の長軸が配向膜２３１の主面に対して垂直となるように液晶分子を配向する。
　液晶層２３２は、液晶分子を含む。液晶分子としては、例えば、誘電率異方性が負のネマティック液晶が挙げられる。液晶層２３２の厚さは、例えば、３０～８０μｍである。液晶層２３２の厚さを３０μｍ以上とすることで、液晶レンズ２３の焦点距離の可変範囲を十分に広くすることができる。他方、液晶層２３２の厚さを８０μｍ以下とすることで、液晶レンズ２３の全体の厚さを十分に薄くすることができる。
　封止材２３３は、透明基板２１と外側透明基板２２の間に設けられる液晶層２３２を封止する。封止材２３３は、透明基板２１と外側透明基板２２の外周に沿って設けられており、これらの間に液晶層２３２を封止している。封止材２３３としては、例えば、エポキシ樹脂が挙げられる。
　超音波振動子２４は、透明基板２１に配置される。超音波振動子２４は、振動部２４１と、これを挟むように設けられた一対の電極２４２と、によって構成されている。電極２４２は、電源部２５に接続されている。超音波振動子２４は、透明基板２１と液晶レンズ２３の共振周波数に一致した周波数を持つ超音波を発生させる。共振周波数に一致した周波数を持つ超音波により、一次モードのたわみ振動が発生する。一次モードのたわみ振動は、振動強度が液晶層２３２の中心側から周縁側に向かって連続的に小さくなる振動である。この一次モードのたわみ振動に起因して液晶層２３２において音響定常波が発生し、さらに音響放射力が生じて液晶層２３２の厚さ及び配向が変化する。これらの変化によって、液晶層２３２の焦点距離が変化する。
　超音波振動子２４が生じる超音波の周波数は電源部２５から印加される電圧の周波数に依存する。超音波振動子２４の超音波の強度は、電源部２５から印加される電圧の振幅値に依存する。電圧の周波数を一定の値とし、電圧の振幅値を制御することで、液晶層２３２の屈折率の変化の程度を調整することができ、液晶レンズ２３の焦点距離を調整することができる。すなわち、超音波振動子２４に印加する電圧の振幅値を大きくすることで、液晶レンズ２３の焦点距離を短くすることができ、他方、印加する電圧の振幅値を小さくすることで液晶レンズ２３の焦点距離を長くすることができる。
　超音波振動子２４は、例えば、圧電超音波振動子であってよい。超音波振動子２４の振動部２４１の材質としては、例えば、チタン酸ジルコン酸塩（ＰＺＴ）、チタン酸バリウム及びチタン酸鉛等のセラミックス、ポリビニリデンフルオライド－トリフルオロエチレン共重合体（Ｐ（ＶＤＦ－ＴｒＦＥ））等の高分子等が挙げられる。
　電極２４２の材質は、例えば、銀あるいはニッケルである。電極２４２は電圧を印加可能な電源部２５に接続されている。電極２４２は、例えば、高温焼付の銀電極や化学めっきのニッケル電極によって構成されてもよい。電極２４２は配線によって電源部２５に電気的に接続されている。
　超音波振動子２４に対して、電源部２５から印加される電圧の周波数は、透明基板２１、液晶レンズ２３の物性値（例えば、透明基板２１のヤング率、ポアソン比及び密度等）、及び超音波振動子２４の物性値（例えば、超音波振動子２４の弾性定数マトリックス、密度及び圧電定数マトリックス）を用いて、シミュレーションを行うことで、算出することができる。
　メガネフレーム１３は、デプスカメラ１１と、可変焦点レンズ１２と、後述する制御装置１４と、が取り付けられ、テンプルを備えて、メガネをユーザの耳に装着可能とする部材である。なお、制御装置１４は、メガネフレーム１３に取り付けられることに限定されることなく、メガネフレーム１３の外部に備えられた制御装置１４と、無線又は電気通信回線を介して接続される制御装置１４であっても良い。
（制御装置について）
　図４は、本開示に係る自動焦点調整眼鏡の制御装置の構成例を示すブロック図である。制御装置１４は、本実施形態ではコンピュータであり、記憶部１４１と制御部１４２とを有する。記憶部１４１は、制御部１４２の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などのような主記憶装置と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部１４１が記憶する制御部１４２用のプログラムは、制御部１４２が読み取り可能な記録媒体に記憶されていてもよい。
　制御部１４２は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算回路を含む。制御部１４２は、注目位置決定部１４２１と、深度特定部１４２２と、焦点距離制御部１４２３と、を備える。図４に示すように、デプスカメラ１１と、制御装置１４と、が接続され、デプスカメラ１１から画像情報と、深度情報と、が制御装置１４に送信される。また、図４に示すように、制御装置１４に可変焦点レンズ１２が接続されて、制御装置１４からの制御信号が可変焦点レンズ１２に送信される。制御部１４２は、記憶部１４１からプログラム（ソフトウェア）を読み出して実行することで、注目位置決定部１４２１と、深度特定部１４２２と、焦点距離制御部１４２３と、を実現して、それらの処理を実行する。なお、制御部１４２は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、注目位置決定部１４２１と、深度特定部１４２２と、焦点距離制御部１４２３と、の少なくとも１つを、ハードウェア回路で実現してもよい。
　注目位置決定部１４２１は、デプスカメラ１１が取得した画像情報における注目位置を決定する。注目位置とは、自動焦点調整眼鏡１０のユーザが、デプスカメラ１１が取得した画像情報において注目すると推定される画像情報における位置である。例えば、デプスカメラ１１が取得した画像情報において、文字等の画像情報における単位領域当たりの輝度の変化の度合いが大きい対象物が写っていた場合、ユーザがこれに注目すると推定し、これの画像情報における位置を注目位置としてもよい。これは、人は文字などの特定の物体を注視する性質があり、その特定の物体は輝度の変化の度合いが大きい傾向を有するためである。なお、注目位置決定部１４２１は、文字等の輝度の変化の度合いが大きい対象物の画像情報における位置を注目位置とすることに限定されず、その他の任意の位置を注目位置としてよい。
（注目位置決定部の処理の第１態様）
　図５は、注目位置決定部の処理の第１態様を示すフローチャートである。注目位置決定部１４２１は、デプスカメラ１１が取得した画像情報における画像の単位領域内での輝度の変化の度合いを算出し、輝度の変化の度合いが閾値以上の単位領域を含む対象領域を、注目位置として設定する。以下、図５を用いて注目位置決定部１４２１の処理の第１態様について説明する。
　注目位置決定部１４２１は、画像情報に対して物体検出処理を実行して、検出された物体を含む領域を意味する対象領域を設定する（ステップＳ１００）。ここで、対象領域とは、画像情報に対して物体検出処理を実行し、特定された物体を含むバウンディングボックスという矩形を予測することで得られる画像情報における一定の範囲を占める領域である。すなわち、対象領域は画像情報における物体を含む領域である。なお、物体検出は、画像情報から固定サイズのウィンドウを全ての可能な位置で取得して、これらの領域を画像分類器に入力することで実行される。具体的には、物体検出には、例えば、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などの手法を用いることができる。Ｒ－ＣＮＮは、次に述べる手順で画像情報から、物体検出を行う。まず、物体らしさを見つける手法であるｓｅｌｅｃｔｉｖｅ－ｓｅａｒｃｈを用いて、画像情報から領域候補を探す。領域候補の領域画像を全て一定の大きさにリサイズしてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）に入力し特徴量を抽出する。取り出した特徴量を使用して複数のＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）を用いて、学習モデルを生成し、学習モデルに画像情報を入力することで、画像情報における物体を含むバウンディングボックスの位置を推定する。これにより、ＣＮＮの計算負荷を軽減した上で、画像情報から物体検出を行うことができる。
　注目位置決定部１４２１は、画像情報から対象領域が抽出されたら、画像情報における画像の単位領域内での輝度の変化度合いを算出する（ステップＳ１１０）。単位領域とは、任意に設定される画像における一定の範囲を占める領域である。例えば、画像が縦に３８４０ピクセル、横に２１６０ピクセルの４Ｋ画像であったとする。この場合、注目位置決定部１４２１は、例えば、画像を縦に３８４分割、横に２１６分割して、縦に１０ピクセル、横に１０ピクセルの領域を単位領域としてよい。注目位置決定部１４２１は、画像情報が単位領域に分割されたら、画像情報における画像の各単位領域内での輝度の変化度合いを算出する。注目位置決定部１４２１は、例えば、画像の単位領域内での輝度の分布のばらつき量を輝度の変化度合いとしてよい。ばらつき量とは、輝度の分布の広がりを示す値である。例えば、標準偏差、分散、最大値－最小値、四分位範囲、パーセンタイル値などの輝度の分布に対する統計要約量を用いて単位領域内での輝度の変化度合いを求めてもよい。
　注目位置決定部１４２１は、画像情報における画像の単位領域内での輝度の変化度合いが算出されたら、各単位領域内の輝度の変化度合いが第１閾値以上であるか否かを判定し、輝度の変化度合いが第１閾値以上の単位領域を選定する（ステップＳ１２０）。ここで、第１閾値は任意に設定して良い。
　注目位置決定部１４２１は、画像情報における画像の単位領域内での輝度の変化度合いが第１閾値以上の単位領域が選定されたら、対象領域に含まれる単位領域の内、輝度の変化度合いが第１閾値以上の単位領域の割合が最も高い対象領域を注目位置と設定する（ステップＳ１３０）。ここで、対象領域は画像情報の中で、一定の範囲を占める領域であるから、注目位置は対象領域の中の任意の位置としてよい。例えば、対象領域の中心の位置を注目位置として設定してもよい。なお、輝度の変化度合いが第１閾値以上の単位領域を含む対象領域が１つである場合は、ステップＳ１３０のように単位領域の割合が最大となるものを選定する処理は不要となる。
（注目位置決定部の処理の第２態様）
　図６は、注目位置決定部の処理の第２態様を示すフローチャートである。注目位置決定部１４２１は、輝度の変化度合いが閾値以上の単位領域を含む対象領域が画像の中心領域に位置している場合に、その対象領域を注目位置として設定する。すなわち、第１態様においては、輝度の変化度合いが第１閾値以上の単位領域を含む対象領域が複数ある場合には、輝度の変化度合いが第１閾値以上の単位領域の割合が最大となる対象領域を注目位置として設定していたが、第２態様においては、中心領域に位置している対象領域を注目位置として設定する点で、第１態様と異なる。以下、図６を用いて注目位置決定部１４２１の処理の第２態様について説明する。
　注目位置決定部１４２１の処理の第２態様は、スッテプＳ２００からステップＳ２２０までは、第１態様のステップＳ１００からステップＳ１２０までの処理と同じであるから説明を省略する。注目位置決定部１４２１は、ステップＳ２２０において、輝度の変化度合いが第１閾値以上の単位領域が選定されたら、輝度の変化度合いが第１閾値以上の単位領域の割合が第２閾値以上となる対象領域を特定する（ステップＳ２３０）。ここで、第２閾値は、任意の値に設定して良いが、例えば、６０％と設定してもよい。
　注目位置決定部１４２１は、輝度の変化度合いが第１閾値以上の単位領域の割合が第２閾値以上となる対象領域が特定されたら、輝度の変化度合いが第１閾値以上の単位領域の割合が第２閾値以上となる対象領域が中心領域に位置していたら、中心領域を注目位置と設定する（ステップＳ２４０）。ここで、中心領域とは、画像情報における中心位置を含む一定の範囲を占める領域である。例えば、画像情報が４Ｋ画像であった場合は、中心位置から、左右に５０ピクセル、上下に５０ピクセルの範囲を中心領域としてよい。また、対象領域の大きさが中心領域よりも大きい場合は、対象領域の一定の範囲、例えば、６０％が中心領域に含まれる場合に、中心領域を注目位置としてよい。
　これにより、ユーザが注目しやすいと考えられる画像の中心領域に文字等の輝度の変化度合いが大きい対象が撮像された場合に、中心領域を注目位置とすることができる。すなわち、画像の中心領域に文字等のユーザが注目する対象が撮像されていた場合に、中心領域に位置する対象の深度に焦点距離を調整することができる。このように、第２態様においては、輝度の変化度合いが第１閾値以上の単位領域を含む対象領域が複数ある場合には、その単位領域の占める割合が第２閾値以上であり、かつ中心領域に位置している対象領域を、注目位置とする。このように第２閾値を設けることにより、例えば、輝度の変化度合いが第１閾値以上の単位領域の占める割合が低いが中心領域に位置している対象領域を、注目位置から除外でき、輝度の変化度合いが第１閾値以上の単位領域の占める割合が高い他の対象領域を注目位置に設定できるため、好適である。ただし、第２態様においては、第２閾値を設定することに限られない。例えば、輝度の変化度合いが第１閾値以上の単位領域を含む対象領域のうち、中心領域に位置している対象領域を、注目位置として設定してよい。また、第２態様は、輝度の変化度合いが第１閾値以上の単位領域を含む対象領域が１つである場合にも適用可能である。この場合、例えば、１つの対象領域が中心領域にある場合には、注目位置として設定し、１つの対象領域が中心領域にない場合には、注目位置を設定しなくてよい。
（注目位置決定部の処理の第３態様）
　図７は、注目位置決定部の処理の第３態様を示すフローチャートである。注目位置決定部１４２１は、画像情報に対して物体検出処理を実行して物体を検出し、検出された物体を含む対象領域の画像情報における位置から物体の深度を特定し、単位時間当たりの物体の深度の変化率を算出し、単位時間当たりの深度の変化率が閾値以上の場合に、当該の物体の位置を注目位置として設定する。以下、図７を用いて注目位置決定部１４２１の処理の第３態様について説明する。
　注目位置決定部１４２１は、画像情報に対して物体検出処理を実行して、検出された物体を含む領域を意味する対象領域を設定する（ステップＳ３００）。物体検出処理は、注目位置決定部１４２１の処理の第１態様のステップＳ１００と同様であるから説明を省略する。
　注目位置決定部１４２１は、対象領域が設定されたら、対象領域の画像における位置から対象領域の深度を特定する（ステップＳ３１０）。対象領域の深度の特定は、対象領域の画像情報における位置に基づいて後述する深度特定部１４２２が実行する。注目位置決定部１４２１は、対象領域の画像情報における位置を深度特定部１４２２に入力し、深度特定部１４２２から出力された深度を取得する。深度特定部１４２２の処理は後述する。
　注目位置決定部１４２１は、対象領域の深度が特定されたら、対象領域の深度の単位時間当たりの変化率を算出する（ステップＳ３２０）。注目位置決定部１４２１は、対象領域の１フレームごとに取得した深度から単位時間当たりの深度の変化率を算出する。すなわち、画像情報のフレームレートが３０ｆｐｓである場合は、１／３０秒の当たりの深度の変化率を算出する。
　注目位置決定部１４２１は、対象領域の深度の単位時間当たりの深度の変化率が算出されたら、単位時間当たりの深度の変化率が第３閾値以上の対象領域を注目位置として設定する（ステップＳ３３０）。ここで、第３閾値は任意の値を設定して良いが、例えば、６０ｋｍ／ｈｒと設定してもよい。なお、ここでの深度の変化率は、深度が浅くなること、言い換えれば物体が近づいてくることを指してよい。
　これにより、画像情報にユーザに対して高速で近づいてくる物体が撮像されていた場合に、当該の物体の位置を注目位置として設定することができる。そして、注目位置として設定された物体の位置に基づいて後述する深度特定部１４２２により当該の物体の深度を特定し、可変焦点レンズ１２の焦点距離を調整することで、高速で近づいてくる物体に焦点距離を合わせることができる。なお、注目位置決定部１４２１は、以上説明した第１態様から第３態様による注目位置の特定の少なくとも１つを実施すればよい。また、注目位置決定部１４２１は、第１態様から第３態様による注目位置の特定を組み合わせてよい。すなわち、例えば、注目位置決定部１４２１は、第２態様によって中心領域を注目位置として設定して可変焦点レンズ１２の焦点距離を合わせておき、その後に別の対象領域において物体の深度の変化率が第３閾値以上となる場合には、すなわち、物体が近づいて来ている場合には、注目位置をその対象領域に切り替えてよい。
（注目位置決定部の処理のその他の態様）
　また、注目位置決定部１４２１は、第１態様から第３態様による注目位置の設定に限定されない。注目位置決定部１４２１は、予め設定されたオブジェクトが存在する対象領域を画像情報における注目位置として設定する。より具体的には、例えば、予め設定されたオブジェクトは文字などであるがこれに限定されない。注目位置決定部１４２１は、記憶部１４１から予め設定されたオブジェクトに関する情報を読み出す。注目位置決定部１４２１は、予め設定されたオブジェクトに関する情報に基づき、デプスカメラ１１が取得した画像情報に対してパターンマッチングを行い、文字を特定する。注目位置決定部１４２１は、特定した文字が存在する対象領域を画像情報における注目位置として設定する。さらには、注目位置決定部１４２１は、第１態様で説明した物体検出処理により、予め設定されたオブジェクトが存在する対象領域を検出し、その対象領域を注目位置としてもよい。
　なお、注目位置決定部１４２１が、デプスカメラ１１が取得した画像情報に対してパターンマッチングや物体検出処理を行った結果、所定画素以上離れた対象領域に文字が存在する場合には、それぞれ別にして文字が存在する対象領域として特定する。２つ以上の、文字が存在する対象領域が特定された場合には、注目位置決定部１４２１は、より画像の中心領域に位置している対象領域を注目位置として設定すればよい。これにより、人は注視したいオブジェクトを視野の中心にする傾向があるため、人が注視したいと考えられるオブジェクトを選択することができる。
　深度特定部１４２２は、注目位置決定部１４２１が決定した画像情報における注目位置と、画像情報の位置ごとに記録された深度情報に基づいて注目位置の深度を特定する。前述した通り、デプスカメラ１１が取得する深度情報は、画像情報の位置ごとに画像情報に撮像された物体の深度が記録されている。
　ここで、深度特定部１４２２の処理についての説明に先立って、図８、及び図９を用いて画像情報、及び深度情報について説明する。図８は、本開示に係る自動焦点調整眼鏡の撮像部が取得した画像情報を示す模式図である。図８には、例として近距離対象物ＴＧ１と遠距離対象物ＴＧ２が撮像された画像が示されている。図９は、本開示に係る自動焦点調整眼鏡の深度情報取得部が取得した深度情報を視覚的に示す模式図である。図９においては、デプスカメラ１１からの距離が遠い物体は、明るい色で表示され、デプスカメラ１１からの距離が近い物体は暗い色で表示されている。図９に示すように、深度情報は画像情報の位置ごとに、画像情報に撮像された物体の深度が記録されている。
　したがって、画像情報に撮像された物体の画像情報における位置が分かれば、その深度を特定することができる。深度特定部１４２２は、注目位置決定部１４２１が決定した画像情報における注目位置に基づいて、デプスカメラ１１が取得した深度情報から、注目位置の深度を特定する。
　焦点距離制御部１４２３は、注目位置の深度に基づいて可変焦点レンズ１２の焦点距離を設定する。すなわち、焦点距離制御部１４２３は、画像情報における注目位置の深度に基づいて、自動焦点調整眼鏡１０のレンズ系の焦点距離を計算し、これに基づいて可変焦点レンズ１２の焦点距離を調整する為の制御信号を生成し、可変焦点レンズ１２に制御信号を送信する。焦点距離制御部１４２３で生成された制御信号によって、可変焦点レンズ１２を制御し、注目位置の深度を可変焦点レンズ１２の焦点距離とする。
（自動焦点調整眼鏡の構成と効果）
　本開示に係る自動焦点調整眼鏡１０は、画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズ１２と、撮像部が取得した画像情報についての位置毎の深度情報を取得する深度情報取得部と、撮像部が取得した画像情報における注目位置を決定する注目位置決定部１４２１と、注目位置決定部１４２１が決定した画像情報における注目位置と、深度情報に基づいて注目位置の深度を特定する深度特定部１４２２と、注目位置の深度に基づいて可変焦点レンズ１２の焦点距離を設定する焦点距離制御部１４２３と、を備える。
　この構成によれば、画像情報における注目位置を決定し、注目位置の深度に基づいて可変焦点レンズ１２の焦点距離を設定することができる。したがって、実用性を犠牲にすることなく、自動で焦点距離を調整可能な自動焦点調整眼鏡１０を提供することができる。
　注目位置決定部１４２１は、撮像部が取得した画像情報における画像の単位領域内での輝度の変化度合いを算出し、輝度の変化度合いが閾値以上の単位領域を含む対象領域を、注目位置として設定する。
　この構成によれば、画像情報において物体検出がされた対象領域の内、輝度の変化度合いが閾値以上の単位領域を含む対象領域を注目位置として設定し、その注目位置の深度に合うように可変焦点レンズ１２の焦点距離を設定することができる。
　注目位置決定部１４２１は、輝度の変化度合いが閾値以上の単位領域を含む対象領域が画像の中心領域に位置している場合に、その対象領域を注目位置として設定する。
　この構成によれば、画像情報において物体検出がされた対象領域の内、輝度の変化度合いが閾値以上の単位領域を含む対象領域が、画像の中心領域に位置している場合に、その対象領域を注目位置として設定し、その注目位置の深度に合うように可変焦点レンズ１２の焦点距離を設定することができる。
　注目位置決定部１４２１は、画像情報に対して物体検出処理を実行して物体を検出し、検出された物体を含む対象領域の画像情報における位置から物体の深度を特定し、単位時間当たりの物体の深度の変化率を算出し、単位時間当たりの深度の変化率が閾値以上の場合に、物体の位置を注目位置として設定する。
　この構成によれば、画像情報に深度の変化率が閾値以上の物体を含む対象領域が撮像されていた場合に、その対象領域を注目位置として設定し、その注目位置の深度に合うように可変焦点レンズ１２の焦点距離を設定することができる。したがって、例えば、ユーザに近づいてくる物体があった場合に、可変焦点レンズ１２の焦点距離を近づいてくる物体に合わせることができる。
　本開示に係る自動焦点調整眼鏡１０の制御方法は、画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズ１２とを備える自動焦点調整眼鏡１０の制御方法であって、撮像部が取得した画像情報についての位置毎の深度情報を取得するステップと、撮像部が取得した画像情報における注目位置を決定するステップと、画像情報における注目位置と、深度情報に基づいて注目位置の深度を特定するステップと、注目位置の深度に基づいて可変焦点レンズ１２の焦点距離を設定するステップと、を含む。
　この構成によれば、実用性を犠牲にすることなく、自動で焦点距離を調整可能な自動焦点調整眼鏡１０の制御方法を提供することができる。
　本開示に係るプログラムは、画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズ１２とを備える自動焦点調整眼鏡１０の制御方法をコンピュータに実行させるプログラムであって、撮像部が取得した画像情報についての位置毎の深度情報を取得するステップと、撮像部が取得した画像情報における注目位置を決定するステップと、画像情報における注目位置と、深度情報に基づいて注目位置の深度を特定するステップと、注目位置の深度に基づいて可変焦点レンズの焦点距離を設定するステップと、をコンピュータに実行させる。
　この構成によれば、実用性を犠牲にすることなく、自動で焦点距離を調整可能な自動焦点調整プログラムを提供することができる。
　以上、本実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態の自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラムは、例えば利用者の利便性を向上させることが可能な眼鏡に利用することができる。
　１０　自動焦点調整眼鏡
　１１　デプスカメラ
　１２　可変焦点レンズ
　１３　メガネフレーム
　１４　制御装置
　１４１　記憶部
　１４２　制御部
　１４２１　注目位置決定部
　１４２２　深度特定部
　１４２３　焦点距離制御部

Claims (6)

  1. 　画像情報を取得可能な撮像部と、
    　焦点距離を変更可能な可変焦点レンズと、
    　前記撮像部が取得した画像情報についての位置毎の深度情報を取得する深度情報取得部と、
    　前記撮像部が取得した画像情報における注目位置を決定する注目位置決定部と、
    　前記注目位置決定部が決定した画像情報における注目位置と、前記深度情報に基づいて注目位置の深度を特定する深度特定部と、
    　前記注目位置の深度に基づいて可変焦点レンズの焦点距離を設定する焦点距離制御部と、
    　を備える自動焦点調整眼鏡。
  2. 　前記注目位置決定部は、前記撮像部が取得した画像情報における画像の単位領域内での輝度の変化度合いを算出し、輝度の変化度合いが閾値以上の単位領域を含む対象領域を、前記注目位置として設定する、
    　請求項１に記載の自動焦点調整眼鏡。
  3. 　前記注目位置決定部は、輝度の変化度合いが閾値以上の単位領域を含む対象領域が画像の中心領域に位置している場合に、その対象領域を前記注目位置として設定する、
    　請求項２に記載の自動焦点調整眼鏡。
  4. 　前記注目位置決定部は、画像情報に対して物体検出処理を実行して物体を検出し、検出された物体を含む対象領域の画像情報における位置から前記物体の深度を特定し、単位時間当たりの前記物体の深度の変化率を算出し、単位時間当たりの深度の変化率が閾値以上の場合に、前記物体の位置を注目位置として設定する、
    　請求項２又は請求項３に記載の自動焦点調整眼鏡。
  5. 　画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズとを備える自動焦点調整眼鏡の制御方法であって、
    　前記撮像部が取得した画像情報についての位置毎の深度情報を取得するステップと、
    　前記撮像部が取得した画像情報における注目位置を決定するステップと、
    　前記画像情報における注目位置と、前記深度情報に基づいて注目位置の深度を特定するステップと、
    　前記注目位置の深度に基づいて可変焦点レンズの焦点距離を設定するステップと、
    　を含む自動焦点調整眼鏡の制御方法。
  6. 　画像情報を取得可能な撮像部と、焦点距離を変更可能な可変焦点レンズとを備える自動焦点調整眼鏡の制御方法をコンピュータに実行させるプログラムであって、
    　前記撮像部が取得した画像情報についての位置毎の深度情報を取得するステップと、
    　前記撮像部が取得した画像情報における注目位置を決定するステップと、
    　前記画像情報における注目位置と、前記深度情報に基づいて注目位置の深度を特定するステップと、
    　前記注目位置の深度に基づいて可変焦点レンズの焦点距離を設定するステップと、
    　をコンピュータに実行させるプログラム。
PCT/JP2022/009824 2021-03-12 2022-03-07 自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラム WO2022191151A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/462,458 US20230418131A1 (en) 2021-03-12 2023-09-07 Automatic focus-adjusting glasses, control method of automatic focus-adjusting glasses, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-040337 2021-03-12
JP2021040337A JP2022139798A (ja) 2021-03-12 2021-03-12 自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/462,458 Continuation US20230418131A1 (en) 2021-03-12 2023-09-07 Automatic focus-adjusting glasses, control method of automatic focus-adjusting glasses, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2022191151A1 true WO2022191151A1 (ja) 2022-09-15

Family

ID=83226676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009824 WO2022191151A1 (ja) 2021-03-12 2022-03-07 自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラム

Country Status (3)

Country Link
US (1) US20230418131A1 (ja)
JP (1) JP2022139798A (ja)
WO (1) WO2022191151A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359444A (en) * 1992-12-24 1994-10-25 Motorola, Inc. Auto-focusing optical apparatus
JP2010262189A (ja) * 2009-05-11 2010-11-18 Panasonic Corp 多焦点電子眼鏡
JP2011107550A (ja) * 2009-11-20 2011-06-02 Panasonic Corp 撮像装置
US20120127422A1 (en) * 2010-11-20 2012-05-24 Tian Yibin Automatic accommodative spectacles using a scene analyzer and focusing elements
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US20160139433A1 (en) * 2013-07-31 2016-05-19 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging apparatus and imaging method
JP2016134668A (ja) * 2015-01-16 2016-07-25 株式会社ブリリアントサービス 電子眼鏡および電子眼鏡の制御方法
JP2019200238A (ja) * 2018-05-14 2019-11-21 キヤノン株式会社 撮像制御装置およびその制御方法、プログラム並びに記憶媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359444A (en) * 1992-12-24 1994-10-25 Motorola, Inc. Auto-focusing optical apparatus
JP2010262189A (ja) * 2009-05-11 2010-11-18 Panasonic Corp 多焦点電子眼鏡
JP2011107550A (ja) * 2009-11-20 2011-06-02 Panasonic Corp 撮像装置
US20120127422A1 (en) * 2010-11-20 2012-05-24 Tian Yibin Automatic accommodative spectacles using a scene analyzer and focusing elements
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US20160139433A1 (en) * 2013-07-31 2016-05-19 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging apparatus and imaging method
JP2016134668A (ja) * 2015-01-16 2016-07-25 株式会社ブリリアントサービス 電子眼鏡および電子眼鏡の制御方法
JP2019200238A (ja) * 2018-05-14 2019-11-21 キヤノン株式会社 撮像制御装置およびその制御方法、プログラム並びに記憶媒体

Also Published As

Publication number Publication date
JP2022139798A (ja) 2022-09-26
US20230418131A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
TWI672553B (zh) 投影鏡頭系統、投影裝置、感測模組及電子裝置
US6747813B2 (en) Optical system and imaging device
EP2924608A1 (en) Biological features imaging method and device
CN105320943A (zh) 生物识别装置及其进行生物识别的方法
US6859332B2 (en) Zoom optical system and imaging apparatus using the same
JP2004247947A (ja) 光学装置
JP2000316120A (ja) 全焦点撮像装置
JP2004004496A (ja) 撮像装置、可変ミラーを備えた光学装置の製造方法又はその製造方法によってつくられた可変ミラーを備えた光学装置、撮像装置の調整方法、撮像装置の調整装置、又はその調整方法もしくは調整装置によって調整された可変ミラーを備えた撮像装置、及び形状可変光学素子の制御方法。
KR102326952B1 (ko) 광학계 및 이를 포함하는 카메라 모듈
JP2003228003A (ja) 観察光学系
CN113785225B (zh) 可变透镜、视频记录装置及包括其的系统和方法
WO2022191151A1 (ja) 自動焦点調整眼鏡、自動焦点調整眼鏡の制御方法、プログラム
JP2006072267A (ja) 光学特性可変光学素子
JP5048195B2 (ja) 光学系
JP2002228816A (ja) 可変形状鏡の駆動装置
JP2006138950A (ja) 光学特性可変光学素子、その光偏向作用を検出する検出装置及び光学特性可変光学素子を用いた光学装置
JP2006072266A (ja) 光学特性可変光学素子
JP2004198636A (ja) 光学系及びそれを用いた光学装置
US11927772B2 (en) Liquid lens control systems and methods
JP2003161874A (ja) 撮像装置
TW202117385A (zh) 飛行時間相機
US20240027722A1 (en) Flat-surfaced tunable optical lens
US20080151390A1 (en) Auto-focusing image-forming lens set
JP2004069874A (ja) 光学装置
JP2002221751A (ja) 可変形状鏡を用いたカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767105

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22767105

Country of ref document: EP

Kind code of ref document: A1