WO2023286301A1 - フォーカス制御装置とフォーカス制御方法および撮像装置 - Google Patents

フォーカス制御装置とフォーカス制御方法および撮像装置 Download PDF

Info

Publication number
WO2023286301A1
WO2023286301A1 PCT/JP2022/003996 JP2022003996W WO2023286301A1 WO 2023286301 A1 WO2023286301 A1 WO 2023286301A1 JP 2022003996 W JP2022003996 W JP 2022003996W WO 2023286301 A1 WO2023286301 A1 WO 2023286301A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus control
subject
depth map
control unit
focus
Prior art date
Application number
PCT/JP2022/003996
Other languages
English (en)
French (fr)
Inventor
徹 倉田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP22841651.7A priority Critical patent/EP4373115A1/en
Priority to CN202280048579.1A priority patent/CN117730542A/zh
Priority to JP2023535084A priority patent/JPWO2023286301A1/ja
Publication of WO2023286301A1 publication Critical patent/WO2023286301A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor

Definitions

  • This technology enables focus control at low cost with respect to the focus control device, focus control method, and imaging device.
  • Patent Literature 1 discloses a technique of performing focus control using both the distance measurement result of a distance measurement sensor and an evaluation value calculated in a predetermined cycle using the high frequency component of a specific area of an image signal.
  • the purpose of this technology is to provide a focus control device, a focus control method, a program, and an imaging device that are capable of reducing cost and power consumption and downsizing.
  • a first aspect of this technology is a control unit that performs focus control using a depth map generated from a captured image including a predetermined subject, and switches the focus control between a tracking mode in which the subject is tracked and a non-tracking mode in which the subject is not tracked; It is in the provided focus control device.
  • the control unit performs focus control using a depth map generated by performing machine learning using a captured image containing a predetermined subject.
  • the control unit performs focus control for focusing on a predetermined subject searched based on subject distance information generated using a depth map.
  • the subject distance information is generated using the depth value indicated by the depth map and the depth value of the predetermined subject.
  • the control unit provides an adjustment coefficient for adjusting the distance relationship between the depth value indicated by the depth map and the depth value of the predetermined subject, specifically, the difference between the depth value indicated by the depth map and the depth value of the subject.
  • Subject distance information may be generated using an adjustment coefficient for adjusting the distance difference corresponding to the depth difference.
  • the adjustment coefficient is set according to, for example, the composition of the captured image.
  • the control unit may perform filtering in the time direction to generate subject distance information. In filtering in the time direction, for example, a depth map is filtered.
  • control unit detects the subject at the closest position indicated by the subject distance information generated using the depth map, for example, the subject within the search range provided in the captured image. Focus control is performed so that the object at the closest position is focused.
  • a second aspect of this technology is A control unit that performs focus control using a depth map generated from a captured image including a predetermined subject, and switches the focus control between a tracking mode in which the subject is tracked and a non-tracking mode in which the subject is not tracked. in a focus control method comprising:
  • a third aspect of this technology is A program for causing a computer to perform focus control of an imaging device, a procedure for performing focus control using a depth map generated from a captured image including a predetermined subject;
  • the program causes the computer to execute a procedure for switching the focus control between a tracking mode for tracking the subject and a non-tracking mode for not tracking the subject.
  • the program of the present technology is, for example, a storage medium or communication medium provided in a computer-readable format to a general-purpose computer capable of executing various program codes, such as an optical disk, a magnetic disk, or a semiconductor memory. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program is realized on the computer.
  • a fourth aspect of this technology is an imaging unit that generates a captured image; A tracking mode in which a depth map is generated from an image including a predetermined subject generated by the imaging unit, focus control is performed using the depth map, and the subject is tracked, and a non-tracking mode in which tracking is not performed. and a control unit for switching the focus control to a different control.
  • FIG. 4 is a diagram exemplifying the configuration of an image processing unit;
  • FIG. 4 is a flow chart illustrating a flow chart of focus control operation in the imaging device; It is the figure which illustrated the captured image acquired with the imaging device.
  • FIG. 4 is a diagram illustrating an example of a depth map; It is the figure which illustrated focus operation
  • FIG. 10 is a diagram showing subject distance information when an adjustment coefficient c is set to “1”;
  • FIG. 10 is a diagram showing object distance information when an adjustment coefficient c is set to “2”;
  • FIG. 10 is a diagram showing subject distance information when the adjustment coefficient c is set to “0.5”;
  • FIG. 10 is a diagram showing subject distance information when IIR filtering is performed;
  • FIG. 1 illustrates the configuration of an imaging device using the focus control device of the present technology.
  • the imaging apparatus 10 has an imaging optical system 11 , an imaging section 12 , an image processing section 13 , a display section 14 , a recording section 15 , an operation section 16 , a system control section 17 and a bus 18 .
  • the imaging optical system 11 is configured using a focus lens, a zoom lens, and the like.
  • the imaging optical system 11 drives a focus lens, a zoom lens, and the like based on control signals from the image processing unit 13 and the system control unit 17 to form an optical image of the subject on the imaging surface of the imaging unit 12 .
  • the imaging optical system 11 may be provided with an iris (aperture) mechanism, a shutter mechanism, or the like.
  • the imaging unit 12 is configured using an imaging element such as CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the imaging unit 12 performs photoelectric conversion to generate an analog imaging signal corresponding to the optical image of the subject.
  • the imaging unit 12 also performs CDS (Correlated Double Sampling) processing, AGC (Auto Gain Control) processing, and A/D conversion processing on the analog imaging signal, and outputs the digital image signal to the image processing unit 13 .
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control
  • FIG. 2 exemplifies the configuration of the image processing unit.
  • the image processing section 13 has a development processing section 131 , a post processing section 132 , a detection processing section 133 and a focus control section 134 .
  • the development processing unit 131 performs clamp processing, defect correction processing, demosaicing processing, etc. on the digital image signal supplied from the imaging unit 12 .
  • the development processing unit 131 performs clamping processing, and sets the signal level of pixels in a black state with no light in the image signal generated by the imaging unit 12 to a predetermined level. Further, the development processing unit 131 performs defect correction, and corrects the pixel signal of the defective pixel using, for example, the pixel signals of the surrounding pixels. Furthermore, the development processing unit 131 performs demosaic processing, and from the image signal in which one pixel represents one color component generated by the imaging unit 12, one pixel represents each color component (for example, a red component, a green component, and a blue component). to generate an image signal showing The development processing unit 131 outputs the image signal after the development processing to the post processing unit 132 , the detection processing unit 133 and the focus control unit 134 .
  • the post-processing unit 132 performs noise removal, white balance adjustment, gamma adjustment, distortion correction, camera shake correction, image quality improvement processing, image scaling processing, encoding processing, etc. according to user settings and needs, and displays images. image signals suitable for recording, etc. Note that the white balance adjustment is performed using the white balance coefficient calculated by the detection processing unit 133, for example.
  • the post-processing unit 132 also outputs an image signal used for displaying an image to the display unit 14 and outputs an image signal used for recording an image to the recording unit 15 .
  • the detection processing unit 133 automatically or by using the image signal in the detection region set by the user, calculates the white balance coefficient based on the luminance value and integral value for each color component, and outputs it to the post processing unit 132. .
  • the detection processing unit 133 determines the exposure state based on the image signal of the detection area, generates an exposure control signal based on the determination result, and outputs it to the imaging optical system 11, so that the subject in the detection area is properly detected.
  • a diaphragm or the like may be driven so as to provide brightness.
  • the focus control unit 134 generates a control signal based on the image signal supplied from the development processing unit 131 so as to focus on a predetermined subject, and outputs the control signal to the imaging optical system 11 .
  • the focus control unit 134 has a depth calculation unit 134a that calculates depth using an image signal, and a control unit 134b that performs focus control using the depth value calculated by the depth calculation unit 134a.
  • the depth calculation unit 134a generates a depth map of the imaging region by machine learning using the image signal supplied from the development processing unit 131, for example, deep learning such as DNN (Deep Neural Network). Also, the depth calculation unit 134a calculates the depth value of a predetermined subject by machine learning using the image signal.
  • a predetermined subject may be set based on a depth map, or may be set based on a subject recognition result or a user instruction.
  • the control unit 134b performs focus control using a depth map generated from a captured image including a predetermined subject, and has a tracking mode in which the predetermined subject is tracked and kept in focus, and a non-tracking mode in which tracking is not performed. Switch the focus control to a different control. For example, in the tracking mode, the control unit 134b performs focus control based on subject distance information generated using the depth value indicated by the depth map and the depth value of a predetermined subject. Also, in the non-tracking mode, the control unit 134b performs focus control using the depth map as subject distance information. The control unit 134b generates a control signal for focusing on a predetermined subject based on the subject distance information, and outputs the control signal to the imaging optical system 11.
  • the display unit 14 is a display device configured by, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro Luminescence) panel, or the like.
  • the display unit 14 displays a user interface of the imaging device 10, a menu screen, a through image during imaging, still images and moving images recorded in the recording unit 15, and the like.
  • the recording unit 15 is configured using a recording medium such as a hard disk or memory card, for example.
  • the recording medium may be fixed to the imaging device 10 or may be detachably provided.
  • the recording unit 15 records the image generated by the post-processing unit 132 of the image processing unit 13 on a recording medium.
  • the recording unit 15 records an image signal of a still image in a compressed state based on a predetermined standard (for example, JPEG (Joint Photographic Experts Group)).
  • a predetermined standard for example, JPEG (Joint Photographic Experts Group)
  • information about the recorded image for example, EXIF (Exchangeable Image File Format) data including additional information such as image capturing date and time
  • EXIF Exchangeable Image File Format
  • the recording unit 15 records the moving picture image signal in a compressed state based on a predetermined standard (for example, MPEG2 (Moving Picture Experts Group2), MPEG4, etc.). Compression and decompression of the image signal may be performed by the recording unit 15 or may be performed by the post-processing unit 132 of the image processing unit 13 .
  • a predetermined standard for example, MPEG2 (Moving Picture Experts Group2), MPEG4, etc.
  • the operation unit 16 includes, for example, a power button for switching power on/off, a release button for instructing the start of recording of captured images, an operator for zoom adjustment, and a touch screen integrated with the display unit 14. And so on.
  • the operation unit 16 generates an operation signal according to the user's operation and outputs it to the system control unit 17 .
  • the system control unit 17 is composed of a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), and the like.
  • the ROM stores programs and the like that are read and operated by the CPU.
  • the RAM is used as work memory for the CPU.
  • the CPU executes various processes according to programs stored in the ROM and issues commands, thereby controlling the operation of each unit so that the imaging apparatus 10 performs operations according to user operations.
  • the program of the system control unit 17 is not limited to being installed in advance, and may be updated by downloading or using a distributed recording medium. Also, the system control unit 17 may be provided with some or all of the functions of the focus control unit 134 .
  • the bus 18 electrically connects the above-described units so that image signals, control signals, and the like can be exchanged.
  • the bus 18 may include multiple types of buses.
  • FIG. 3 illustrates a flowchart of focus control operation in the imaging device.
  • the image processing unit 13 generates a depth map.
  • the focus control unit 134 of the image processing unit 13 calculates the depth value by machine learning using the image signal generated by the development process, generates the depth map of the imaging area, and proceeds to step ST2.
  • the image processing unit 13 determines whether it is in tracking mode.
  • the focus control unit 134 of the image processing unit 13 advances to step ST4 when the tracking mode is set to continuously track and focus on the predetermined subject, and shifts to the non-tracking mode in which the predetermined subject is not tracked unlike the tracking mode. If it is set, the process proceeds to step ST3.
  • the image processing unit 13 performs focus control at a fixed position.
  • the focus control unit 134 of the image processing unit 13 performs focus control by fixing the position of the subject to be focused.
  • the focus control unit 134 uses the depth map as subject distance information and performs focus control so as to focus on the closest subject indicated by the subject distance information.
  • the focus control unit 134 uses, as subject distance information, information indicating the image position of the subject specified by the user on the captured image or the image position of the subject set based on the recognition result of subject recognition or the like for the captured image. Focus control may be performed so as to focus on the subject at the indicated position.
  • the focus control unit 134 performs focus control at a fixed position, and proceeds to step ST7.
  • the image processing unit 13 performs subject distance information generation processing.
  • the focus control unit 134 of the image processing unit 13 uses the depth map as object distance information. Further, the depth value of a predetermined subject and the depth value indicated by the depth map are information indicating perspective, and do not indicate distance. Therefore, the focus control unit 134 calculates an estimated distance to another subject based on the depth difference between the depth value indicated by the depth map and the depth value of the predetermined subject, using the distance to the predetermined subject as a reference. subject distance information indicating the distance to the subject and the estimated distances to other subjects.
  • the focus control unit 134 When generating subject distance information indicating distance information to a predetermined subject and estimated distance information to another subject, the focus control unit 134 calculates the depth value of the predetermined subject by machine learning using captured images. Further, the focus control unit 134 calculates an estimated distance using the difference between the depth value of the predetermined subject and the depth value of the depth map generated in step ST1.
  • the variable "a” is a predetermined depth value of the subject (for example, a value within the range of 0 (far) to 1 (near)), and the variable "x" is a two-dimensional depth based on the captured image. It indicates a depth value indicated by the map (for example, a value within the range of 0 (far) to 1 (near)).
  • the variable "d” indicates the absolute distance obtained from the focus lens position when the predetermined subject is focused. It is the distance to the object that can be calculated using the distance from the lens position to the focal position, or the distance from the lens position to the focal position when in focus.
  • the coefficient "c” is an adjustment coefficient for adjusting the distance relationship between the depth value indicated by the depth map and the depth value of the predetermined subject.
  • the focus control unit 134 can calculate the estimated distance by emphasizing discrimination between a predetermined subject and another subject having a different depth value. Further, when the value of the adjustment coefficient “c” becomes smaller, the calculated estimated distance has a smaller distance difference with respect to the predetermined object. Therefore, the focus control unit 134 can calculate a stable estimated distance with little fluctuation even if the depth value fluctuates.
  • the focus control unit 134 generates object distance information and proceeds to step ST5.
  • the image processing unit 13 searches for the tracking target.
  • the focus control unit 134 of the image processing unit 13 searches for a predetermined subject to be tracked based on the subject distance information generated in step ST4, and proceeds to step ST6.
  • the image processing unit 13 performs focus control based on the search result.
  • the focus control unit 134 of the image processing unit 13 performs focus control so as to focus on the tracking target searched in step ST5, and proceeds to step ST7.
  • the image processing unit 13 determines whether the operation has ended.
  • the focus control unit 134 of the image processing unit 13 returns to step ST1 when the focus operation is in the autofocus mode, and when the focus operation is switched to the manual focus mode or an operation to end the imaging operation is performed, the operation is performed. exit.
  • FIG. 4 exemplifies a captured image acquired by the imaging device, and illustrates a case where a desired subject, for example, a person OB holding a dog leaves and then returns.
  • 4(a) is the captured image at time t1
  • FIG. 4(b) is the captured image at time t2
  • FIG. 4(c) is the captured image at time t3
  • FIG. 4(d) is the captured image at time t4.
  • 4 (e) of FIG. 4 shows the image taken at time t5
  • (f) of FIG. 4 shows the image taken at time t6.
  • FIG. 5 exemplifies a depth map obtained by performing machine learning using an image captured by an imaging device.
  • FIG. 5(a) is the depth map at time t1
  • FIG. 5(b) is the depth map at time t2
  • FIG. 5(c) is the depth map at time t3
  • FIG. 5(d) is the depth at time t4.
  • FIG. 5(e) shows the depth map at time t5
  • FIG. 5(f) shows the depth map at time t6. Note that in the depth map shown in FIG. 5, the brightness is high at a near position and low at a far position.
  • the focus control unit 134 can perform an autofocus operation without using a distance measuring sensor by using a depth map obtained by performing machine learning using a captured image.
  • FIG. 6 exemplifies the focus operation.
  • 6A to 6F show conventional operations
  • FIGS. 6G to 6L show operations using subject distance information (depth map).
  • FIG. 6 also shows a rectangular tracking frame MA and a focus point MP within the tracking frame.
  • the focus point MP will be the object at time t4 as shown in FIG. to the background. Therefore, at time t5 and time t6, focus control for focusing on the focus point, which is the position of the background, is performed, and it is impossible to keep tracking and focusing on the predetermined subject OB.
  • the object OB can be searched using the depth values. Therefore, as shown in (g) to (l) of FIG. 6, the object OB can be continuously tracked and focused during the period from time t1 to time t6.
  • the depth values shown in the depth map may fluctuate in the time direction.
  • the position of object OB at time t3 is farther than the position at time t2, but the depth value of object OB in (c) of FIG. 5 is greater than the depth value of object OB in (b) of FIG.
  • a short distance is shown, and fluctuations occur in the time direction. Therefore, if the fluctuation becomes large, there is a possibility that the focus point (tracking frame) will move from the subject OB to another subject.
  • the focus control unit 134 may generate subject distance information indicating distance information to a predetermined subject and estimated distance information to another subject, and search for a predetermined subject based on the generated subject distance information.
  • subject distance information indicating distance information to a predetermined subject and estimated distance information to another subject
  • search for a predetermined subject based on the generated subject distance information.
  • an adjustment coefficient for adjusting the distance difference corresponding to the depth difference between the depth value indicated by the depth map and the depth value of the predetermined subject may be used.
  • FIG. 7 shows subject distance information when the adjustment coefficient c is set to "1".
  • 7A is subject distance information at time t1
  • FIG. 7B is subject distance information at time t2
  • FIG. 7C is subject distance information at time t3
  • FIG. 7 shows object distance information at time t4
  • FIG. 7E shows object distance information at time t5
  • FIG. 7F shows object distance information at time t6.
  • FIG. 8 shows subject distance information when the adjustment coefficient c is set to "2".
  • 8A is subject distance information at time t1
  • FIG. 8B is subject distance information at time t2
  • FIG. 8C is subject distance information at time t3
  • FIG. 8 shows object distance information at time t4
  • FIG. 8E shows object distance information at time t5
  • FIG. 8F shows object distance information at time t6.
  • the subject distance information when the adjustment coefficient c is set to "2" has a larger distance difference between the subject OB and the background than when the adjustment coefficient c is set to "1". Therefore, it is possible to perform focus control with an emphasis on distinguishability.
  • FIG. 9 shows subject distance information when the adjustment coefficient c is set to "0.5".
  • 9A is subject distance information at time t1
  • FIG. 9B is subject distance information at time t2
  • FIG. 9C is subject distance information at time t3
  • FIG. 9 shows object distance information at time t4
  • FIG. 9E shows object distance information at time t5
  • FIG. 9F shows object distance information at time t6.
  • the subject distance information when the adjustment coefficient c is set to "0.5" has a smaller distance difference between the subject OB and the background than when the adjustment coefficient c is set to "1". Therefore, focus control can be performed with an emphasis on stability.
  • the adjustment coefficient may be set in advance or may be settable by the user. Also, the adjustment coefficient may be set according to the composition of the captured image. For example, when the composition of the captured image is such that a predetermined person is captured as the main subject, such as a portrait, the main subject can be easily tracked. By emphasizing gender, the focal point does not move into the foreground or background. Also, in a scene in which a plurality of people are subjects, it is difficult to track a predetermined subject, so the value of the adjustment coefficient c is made smaller than usual to emphasize stability.
  • the focus control unit 134 performs focus control to focus on the subject at the closest position indicated by the subject distance information generated using the depth map. For example, when the object OB shown in FIG. 4 does not move from the position at time t1, which is the closest position, by performing focus control to focus on the closest position in the depth map generated from the captured image including the object OB, movement It is possible to focus on the object OB at the closest position, which is not in focus. Further, when the object OB is at the position of time t5 shown in (5) of FIG. 4, for example, if focus control is performed to focus on the closest position in the depth map generated from the captured image including the object OB, the foreground is There is a risk of being burned. However, if a search range is set in the central portion of the picked-up image and focus control is performed to focus on the subject at the closest position within the search range, the subject OB can be brought into focus.
  • the focus control unit 134 performs an IIR (Infinite Impulse Response) filtering process as the filtering process in the time direction.
  • the focus control unit 134 may perform FIR (Finite Impulse Response) filtering or the like as filtering in the time direction. Note that the filtering in the time direction is not limited to the depth map, and the estimated distance may be filtered.
  • FIG. 10 illustrates subject distance information when IIR filtering is performed.
  • FIG. 10 shows object distance information at time t1
  • FIG. 10 shows object distance information at time t2
  • FIG. 10E shows object distance information at time t5
  • FIG. 10F shows object distance information at time t6.
  • the position difference between the position of the object OB indicated by the object distance information at time t2 and the position of the object OB indicated by the object distance information at time t3 is filtered. less than before treatment.
  • the focus control unit 134 performs filtering in the time direction, reduces the influence of fluctuations in the depth value in the time direction, and performs focus control so that a predetermined subject is tracked and focused continuously.
  • the adjustment coefficients for adjusting the distance relationship between the depth values indicated by the depth map and the depth values of the predetermined subject are not limited to the coefficients described above.
  • a coefficient that varies linearly or nonlinearly according to the depth difference between the depth value indicated by the depth map and the depth value of the predetermined subject may be used.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots.
  • it may be implemented as a device mounted on equipment used in the production process in a factory or equipment used in the construction field.
  • the technology according to the present disclosure can also be applied to the medical field. For example, if it is applied to the case of using captured images of the surgical site when performing surgery, it will be possible to easily obtain an image that is in focus on the surgical site, reducing fatigue of the operator and ensuring safety and reliability. Surgery becomes possible.
  • the technology according to the present disclosure can also be applied to the surveillance field.
  • this technology is applied to a surveillance camera, it will be possible to easily obtain an image in which the object to be monitored is in focus.
  • a series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • a program recording a processing sequence is installed in a memory within a computer incorporated in dedicated hardware and executed.
  • the program can be installed and executed in a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program can be stored on flexible discs, CD-ROMs (Compact Disc Read Only Memory), MO (Magneto optical) discs, DVDs (Digital Versatile Discs), BDs (Blu-Ray Discs (registered trademark)), magnetic discs, and semiconductor memory cards. It can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • Such removable recording media can be provided as so-called package software.
  • the program can also be downloaded from the download site via a network such as WAN (Wide Area Network), LAN (Local Area Network) such as cellular, or the Internet to the computer wirelessly or by wire. You can transfer with The computer can receive the program transferred in this way and install it in a built-in recording medium such as a hard disk.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the focus control device of the present technology can also have the following configuration.
  • Focus control is performed using a depth map generated from a captured image including a predetermined subject, and the focus control is switched between a tracking mode in which the subject is tracked and a non-tracking mode in which the subject is not tracked.
  • a focus control device comprising a control unit.
  • Device (3) The focus control device according to (2), wherein the control unit generates the subject distance information using the depth value indicated by the depth map and the depth value of the predetermined subject.
  • the control unit according to (3) wherein the control unit generates the subject distance information using an adjustment coefficient that adjusts the distance relationship between the depth value indicated by the depth map and the depth value of the predetermined subject. Focus control device. (5) The focus control device according to (4), wherein the control unit adjusts the distance difference corresponding to the depth difference between the depth value indicated by the depth map and the depth value of the subject. (6) The focus control device according to (4) or (5), wherein the control unit sets the adjustment coefficient according to the composition of the captured image. (7) The focus control device according to any one of (2) to (6), wherein the control unit performs time-direction filtering to generate the subject distance information. (8) The focus control device according to (7), wherein the control unit performs the filtering process on the depth map.
  • the control unit performs focus control to focus on the subject at the closest position indicated by the subject distance information generated using the depth map (1) to (8). ).
  • (11) The focus control device according to any one of (1) to (10), wherein the control unit performs machine learning using the captured image to generate the depth map.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

コストや消費電力の削減と小型化を可能としてフォーカス制御を行えるようにする。 機械学習を行い、デプスマップを生成する。制御部１３４ｂは、デプス算出部１３４で生成されたデプスマップを用いてフォーカス制御を行い、所定の被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、異なる制御に切り替える。例えば追尾モードである場合、デプスマップを用いて生成した被写体距離情報に基づき探索した所定の被写体に合焦させるフォーカス制御を行う。非追尾モードである場合、デプスマップを用いて生成した被写体距離情報で示された最至近位置の被写体に合焦させるフォーカス制御を行う。測距センサを設けなくとも、撮像画に基づいて生成されたデプスマップを用いて追尾モードまたは非追尾モードに応じたフォーカス制御を行えるようになる。

Description

フォーカス制御装置とフォーカス制御方法および撮像装置
　この技術は、フォーカス制御装置とフォーカス制御方法および撮像装置に関し、低コストでフォーカス制御を行えるようにする。
　従来、被写体に対して自動的にフォーカスを合わる種々のフォーカス制御技術が提案されている。例えば、特許文献１は、測距センサの測距結果と画像信号の特定領域の高周波成分を用いて所定周期で算出される評価値を併用してフォーカス制御を行う技術が開示されている。
特開２００８－００９３４１号公報
　ところで、測距センサを用いるとコストが高くなり、消費電力も増加する。また、測距センサを設置する空間が必要となり、小型化が困難となってしまう。
　そこで、この技術では、コストや消費電力の削減と小型化が可能なフォーカス制御装置とフォーカス制御方法およびプログラムと撮像装置を提供することを目的とする。
　この技術の第１の側面は、
　所定の被写体を含む撮像画から生成されたデプスマップを用いてフォーカス制御を行い、前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替える制御部
を備えるフォーカス制御装置にある。
　この技術において、制御部は、所定の被写体を含む撮像画を用いて機械学習を行い生成したデプスマップを用いてフォーカス制御を行う。制御部は、被写体を追尾する追尾モードである場合、デプスマップを用いて生成した被写体距離情報に基づき探索した所定の被写体に合焦させるフォーカス制御を行う。被写体距離情報は、デプスマップで示されたデプス値と所定の被写体のデプス値を用いて生成する。また、制御部は、デプスマップで示されたデプス値と所定の被写体のデプス値との距離関係を調整する調整係数、具体的にはデプスマップで示されたデプス値と被写体のデプス値とのデプス差に対応する距離差を調整する調整係数を用いて被写体距離情報を生成してもよい。調整係数は、例えば撮像画の構図に応じて設定する。さらに、制御部は、時間方向のフィルタ処理を行い、被写体距離情報を生成してもよい。時間方向のフィルタ処理では、例えばデプスマップに対してフィルタ処理を行う。
　また制御部は、所定の被写体の追尾を行わない非追尾モードである場合、デプスマップを用いて生成した被写体距離情報で示された最至近位置の被写体、例えば撮像画に設けた探索範囲内の最至近位置の被写体に合焦されるフォーカス制御を行う。
　この技術の第２の側面は、
　所定の被写体を含む撮像画から生成されたデプスマップを用いてフォーカス制御を行い、前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替えて制御部で行うこと
を含むフォーカス制御方法にある。
　この技術の第３の側面は、
撮像装置のフォーカス制御をコンピュータで実行させるプログラムであって、
　所定の被写体を含む撮像画から生成されたデプスマップを用いてフォーカス制御を行う手順と、
　前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替える手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　撮像画を生成する撮像部と、
　前記撮像部で生成された所定の被写体を含む撮像画からデプスマップを生成して、前記デプスマップを用いてフォーカス制御を行い、前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替える制御部と
を備える撮像装置にある。
撮像装置の構成を例示した図である。 画像処理部の構成を例示した図である。 撮像装置におけるフォーカス制御動作のフローチャートを例示したフローチャートである。 撮像装置で取得された撮像画を例示した図である。 デプスマップを例示した図である。 フォーカス動作を例示した図である。 調整係数ｃを「１」に設定した場合の被写体距離情報を示した図である。 調整係数ｃを「２」に設定した場合の被写体距離情報を示した図である。 調整係数ｃを「０．５」に設定した場合の被写体距離情報を示した図である。 ＩＩＲのフィルタ処理を行った場合の被写体距離情報を示した図である。
　以下、本技術を実施するための形態について説明する。
なお、説明は以下の順序で行う。
　１．撮像装置の構成について
　２．撮像装置の動作について
　　２－１．撮像装置の動作
　　２－２．動作例
　　２－３．他の動作
　３．応用例
　＜１．撮像装置の構成について＞
　図１は、本技術のフォーカス制御装置を用いた撮像装置の構成を例示している。撮像装置１０は、撮像光学系１１、撮像部１２、画像処理部１３、表示部１４、記録部１５、操作部１６、システム制御部１７、バス１８を有している。
　撮像光学系１１は、フォーカスレンズやズームレンズ等を用いて構成されている。撮像光学系１１は、画像処理部１３やシステム制御部１７からの制御信号に基づきフォーカスレンズやズームレンズ等を駆動して、被写体光学像を撮像部１２の撮像面に結像させる。また、撮像光学系１１には、アイリス（絞り）機構やシャッタ機構等が設けられてもよい。
　撮像部１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。撮像部１２は、光電変換を行い被写体光学像に応じたアナログ撮像信号を生成する。また、撮像部１２は、アナログ撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理やＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ変換処理を行いデジタル画像信号として画像処理部１３へ出力する。
　図２は、画像処理部の構成を例示している。画像処理部１３は、現像処理部１３１、ポスト処理部１３２、検波処理部１３３、フォーカス制御部１３４を有している。
　現像処理部１３１は、撮像部１２から供給されたデジタル画像信号に対してクランプ処理や欠陥補正処理、デモザイク処理等を行う。現像処理部１３１は、クランプ処理を行い、撮像部１２で生成された画像信号において、光のない黒状態の画素の信号レベルを所定レベルとする。また、現像処理部１３１は、欠陥補正を行い、欠陥画素の画素信号を例えば周囲の画素の画素信号を用いて補正する。さらに、現像処理部１３１は、デモザイク処理を行い、撮像部１２で生成された１画素が１つの色成分を示す画像信号から、１画素が各色成分（例えば赤色成分と緑色成分と青色成分）を示す画像信号を生成する。現像処理部１３１は、現像処理後の画像信号をポスト処理部１３２と検波処理部１３３とフォーカス制御部１３４へ出力する。
　ポスト処理部１３２は、ノイズ除去やホワイトバランス調整、ガンマ調整、歪み補正、手振れ補正、高画質化処理や画像の拡大縮小処理、符号化処理等をユーザ設定や必要に応じて行い、画像の表示や記録等に適した画像信号を生成する。なお、ホワイトバランス調整は、例えば検波処理部１３３で算出されたホワイトバランス係数を用いて行う。また、ポスト処理部１３２は、画像の表示に用いる画像信号を表示部１４へ出力して、画像の記録に用いる画像信号を記録部１５へ出力する。
　検波処理部１３３は、自動的にあるいはユーザによって設定された検波領域の画像信号を用いて、色成分毎の輝度値や積分値などに基づきホワイトバランス係数を算出してポスト処理部１３２へ出力する。また、検波処理部１３３は、検波領域の画像信号に基づき露出状態を判別して、判別結果に基づき露出制御信号を生成して撮像光学系１１に出力することで、検波領域の被写体が適正な明るさとなるように絞り等を駆動させてもよい。
　フォーカス制御部１３４は、現像処理部１３１から供給された画像信号に基づいて、所定の被写体に合焦するように制御信号を生成して撮像光学系１１へ出力する。フォーカス制御部１３４は、画像信号を用いてデプスの算出を行うデプス算出部１３４ａと、デプス算出部１３４ａで算出されたデプス値を用いてフォーカス制御を行う制御部１３４ｂを有している。
　デプス算出部１３４ａは、現像処理部１３１から供給された画像信号を用いた機械学習、例えばＤＮＮ（Deep Neural Network）等の深層学習によって、撮像領域のデプスマップを生成する。また、デプス算出部１３４ａは、画像信号を用いた機械学習によって、所定の被写体のデプス値を算出する。所定の被写体はデプスマップに基づいて設定してもよく、被写体認識結果やユーザ指示に基づいて設定してもよい。
　制御部１３４ｂは、所定の被写体を含む撮像画から生成されたデプスマップを用いてフォーカス制御を行い、所定の被写体を追尾して合焦させ続ける追尾モードと追尾を行わない非追尾モードとで、フォーカス制御を異なる制御に切り替える。例えば、制御部１３４ｂは、追尾モードである場合、デプスマップで示されたデプス値と所定の被写体のデプス値を用いて生成した被写体距離情報に基づいてフォーカス制御を行う。また、制御部１３４ｂは、非追尾モードである場合、デプスマップを被写体距離情報として用いてフォーカス制御を行う。制御部１３４ｂは、被写体距離情報に基づいて所定の被写体に合焦させる制御信号を生成して撮像光学系１１に出力する。
　表示部１４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部１４には、撮像装置１０のユーザインターフェース、メニュー画面、撮像中のスルー画、記録部１５に記録された静止画や動画などが表示される。
　記録部１５は、例えば、ハードディスク、メモリカードなどの記録媒体を用いて構成されている。記録媒体は、撮像装置１０に固定して設けられてもよく、着脱可能に設けられてもよい。記録部１５は、画像処理部１３のポスト処理部１３２で生成された画像を記録媒体に記録する。例えば、記録部１５は、静止画の画像信号を所定の規格（例えばＪＰＥＧ（Joint Photographic Experts Group）など）に基づいて圧縮された状態で記録する。また、記録された画像に関する情報（例えば撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データ等）もその画像に対応付けて記録する。また、記録部１５は、動画の画像信号を所定の規格（例えばＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４など）に基づいて圧縮された状態で記録する。なお、画像信号の圧縮や伸長は、記録部１５で行ってもよく、画像処理部１３のポスト処理部１３２で行ってもよい。
　操作部１６は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部１４と一体に構成されたタッチスクリーンなどからなる。操作部１６は、ユーザ操作に応じた操作信号を生成してシステム制御部１７に出力する。
　システム制御部１７は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１０でユーザ操作に応じた動作を行うように各部の動作を制御する。なお、システム制御部１７のプログラムは、予めインストールされている場合に限らず、ダウンロードによってあるいは配布された記録媒体を利用して更新できるようにしてもよい。また、システム制御部１７に、フォーカス制御部１３４の一部あるいは全ての機能を設けるようにしてもよい。
　バス１８は、上述の各部を電気的に接続して、画像信号や制御信号等を授受できるようにする。なお、バス１８は複数の種類のバスを含んでもよい。
　＜２．撮像装置の動作について＞
　＜２－１．撮像装置の動作＞
　図３は、撮像装置におけるフォーカス制御動作のフローチャートを例示している。ステップＳＴ１で画像処理部１３はデプスマップを生成する。画像処理部１３のフォーカス制御部１３４は、現像処理で生成された画像信号を用いた機械学習によってデプス値の算出を行い、撮像領域のデプスマップを生成してステップＳＴ２に進む。
　ステップＳＴ２で画像処理部１３は追尾モードであるか判別する。画像処理部１３のフォーカス制御部１３４は、所定の被写体を追尾して合焦させ続ける追尾モードに設定されている場合にステップＳＴ４に進み、追尾モードと異なり所定の被写体を追尾しない非追尾モードに設定されている場合にステップＳＴ３に進む。
　ステップＳＴ３で画像処理部１３は固定位置でフォーカス制御を行う。画像処理部１３のフォーカス制御部１３４は、合焦させる被写体の位置を固定してフォーカス制御を行う。例えば、フォーカス制御部１３４は、デプスマップを被写体距離情報として用いて、被写体距離情報が示す最も近接している被写体に合焦するようにフォーカス制御を行う。なお、最も近接している被写体に合焦するようフォーカス制御を行う場合、最も近接している被写体の検出範囲を撮像画に設定すれば、注目する被写体の前方に位置する被写体に合焦するようフォーカス制御が行われることを防止できる。また、フォーカス制御部１３４は、撮像画上でユーザが指定した被写体、あるいは撮像画に対する被写体認識等の認識結果に基づいて設定した被写体の画像位置を示す情報を被写体距離情報として、被写体距離情報で示された位置の被写体に合焦するようにフォーカス制御を行ってもよい。フォーカス制御部１３４は、固定位置でフォーカス制御を行いステップＳＴ７に進む。
　ステップＳＴ４で画像処理部１３は被写体距離情報の生成処理を行う。画像処理部１３のフォーカス制御部１３４は、デプスマップを被写体距離情報として用いる。また、所定の被写体のデプス値やデプスマップが示すデプス値は、遠近を示す情報であり距離を示していない。そこで、フォーカス制御部１３４は、所定の被写体までの距離を基準として、デプスマップが示すデプス値と所定の被写体のデプス値とのデプス差に基づき他の被写体までの推定距離を算出して、所定の被写体までの距離と他の被写体までの推定距離を示す被写体距離情報を生成してもよい。
　所定の被写体までの距離情報と他の被写体までの推定距離情報を示す被写体距離情報を生成する場合、フォーカス制御部１３４は、撮像画を用いた機械学習によって所定の被写体のデプス値を算出する。また、フォーカス制御部１３４は、所定の被写体のデプス値と、ステップＳＴ１で生成したデプスマップのデプス値との差分を用いて推定距離を算出する。式（１）は推定距離ＤＰの算出式を例示している。
　　ＤＰ＝（１＋（ａ－ｘ）×ｃ）×ｄ　　　・・・（１）
　式（１）において、変数「ａ」は、所定の被写体のデプス値（例えば０（ｆａｒ）～１（ｎｅａｒ）の範囲内の値）、変数「ｘ」は、撮像画に基づく２次元のデプスマップが示すデプス値（例えば０（ｆａｒ）～１（ｎｅａｒ）の範囲内の値）を示している。変数「ｄ」は、所定の被写体に合焦しているときのフォーカスレンズ位置から得られる絶対距離を示しており、絶対距離は、例えば撮像光学系１１の焦点距離と焦点が合った状態でのレンズ位置から焦点位置までの距離を用いて算出できる被写体までの距離、あるいは焦点が合った状態でのレンズ位置から焦点位置までの距離である。係数「ｃ」は、デプスマップで示されたデプス値と所定の被写体のデプス値との距離関係を調整する調整係数であり、式（１）の場合、デプスマップで示されたデプス値と被写体のデプス値とのデプス差に対応する距離差を調整する。式（１）において、調整係数「ｃ」の値が大きくなると、算出される推定距離は所定の被写体に対する距離差が大きくなる。したがって、フォーカス制御部１３４は、所定の被写体とデプス値の異なる他の被写体との弁別性を重視して推定距離を算出できる。また、調整係数「ｃ」の値が小さくなると、算出される推定距離は所定の被写体に対する距離差が小さくなる。したがって、フォーカス制御部１３４は、デプス値が変動しても変動の少なく安定した推定距離を算出できる。フォーカス制御部１３４は、被写体距離情報を生成してステップＳＴ５に進む。
　ステップＳＴ５で画像処理部１３は追尾対象を探索する。画像処理部１３のフォーカス制御部１３４は、ステップＳＴ４で生成された被写体距離情報に基づいて追尾する所定の被写体を探索してステップＳＴ６に進む。
　ステップＳＴ６で画像処理部１３は探索結果に基づいたフォーカス制御を行う。画像処理部１３のフォーカス制御部１３４は、ステップＳＴ５で探索された追尾対象に合焦するようにフォーカス制御を行いステップＳＴ７に進む。
　ステップＳＴ７で画像処理部１３は動作終了であるか判別する。画像処理部１３のフォーカス制御部１３４は、フォーカス動作がオートフォーカスモードである場合にステップＳＴ１に戻り、フォーカス動作がマニュアルフォーカスモードに切り替えられた場合や撮像動作の終了操作が行われた場合、動作を終了する。
　＜２－２．動作例＞
　次に、図４乃至図９を用いて追尾モードの動作例について説明する。図４は、撮像装置で取得された撮像画を例示しており、所望の被写体である例えば犬を抱えた人物ＯＢが離れていったのち戻ってくる場合を例示している。なお、図４の（ａ）は時点ｔ１の撮像画、図４の（ｂ）は時点ｔ２の撮像画、図４の（ｃ）は時点ｔ３の撮像画、図４の（ｄ）は時点ｔ４の撮像画、図４の（ｅ）は時点ｔ５の撮像画、図４の（ｆ）は時点ｔ６の撮像画をそれぞれ示している。
　図５は、撮像装置で取得された撮像画を用いて機械学習を行うことにより得られたデプスマップを例示している。図５の（ａ）は時点ｔ１のデプスマップ、図５の（ｂ）は時点ｔ２のデプスマップ、図５の（ｃ）は時点ｔ３のデプスマップ、図５の（ｄ）は時点ｔ４のデプスマップ、図５の（ｅ）は時点ｔ５のデプスマップ、図５の（ｆ）は時点ｔ６のデプスマップをそれぞれ示している。なお、図５に示すデプスマップでは、近い位置は輝度が高く、遠い位置は輝度が低くされている。フォーカス制御部１３４は、撮像画を用いて機械学習を行うことにより得られたデプスマップを用いることで、測距センサを用いることなくオートフォーカス動作を行うことができる。
　図６は、フォーカス動作を例示している。なお、図６の（ａ）乃至（ｆ）は従来の動作、図６（ｇ）乃至（ｌ）は被写体距離情報（デプスマップ）を用いた動作を示している。また、図６では矩形状の追尾枠ＭＡと追尾枠内のフォーカスポイントＭＰを示している。　模様と色情報に基づき追尾を行う従来の方法を用いた場合、背景と追尾する被写体の模様や色が似ていると、時点ｔ４で図６の（ｄ）に示すようにフォーカスポイントＭＰが被写体から背景に移動してしまう。したがって、時点ｔ５や時点ｔ６では、背景の位置であるフォーカスポイントに合焦させるフォーカス制御が行われて、所定の被写体ＯＢを追尾して合焦させ続けることができない。しかし、本技術のように撮像画を用いて機械学習を行うことにより得られたデプスマップを用いれば、背景と被写体ＯＢのデプス値が異なるので、デプス値を用いて被写体ＯＢを探索できる。したがって、図６の（ｇ）乃至（ｌ）に示すように時点ｔ１から時点ｔ６の期間、被写体ＯＢを追尾して合焦させ続けることができるようになる。
　ところで、デプスマップで示されたデプス値は、時間方向の揺らぎが生じるおそれがある。例えば、時点ｔ３における被写体ＯＢの位置は、時点ｔ２における位置よりも離れているが、図５の（ｃ）における被写体ＯＢのデプス値は、図５の（ｂ）における被写体ＯＢのデプス値よりも近い距離を示しており、時間方向において揺らぎを生じている。したがって、揺らぎが大きくなると、被写体ＯＢから他の被写体にフォーカスポイント（追尾枠）が移動してしまうおそれがある。
　そこで、フォーカス制御部１３４は、所定の被写体までの距離情報と他の被写体までの推定距離情報を示す被写体距離情報を生成して、生成した被写体距離情報に基づき所定の被写体を探索してもよい。この場合、被写体距離情報の生成では、上述したように、デプスマップで示されたデプス値と所定の被写体のデプス値とのデプス差に対応する距離差を調整する調整係数を用いてもよい。
　図７は、調整係数ｃを「１」に設定した場合の被写体距離情報を示している。なお、図７の（ａ）は時点ｔ１の被写体距離情報、図７の（ｂ）は時点ｔ２の被写体距離情報、図７の（ｃ）は時点ｔ３の被写体距離情報、図７の（ｄ）は時点ｔ４の被写体距離情報、図７の（ｅ）は時点ｔ５の被写体距離情報、図７の（ｆ）は時点ｔ６の被写体距離情報をそれぞれ示している。
　図８は、調整係数ｃを「２」に設定した場合の被写体距離情報を示している。なお、図８の（ａ）は時点ｔ１の被写体距離情報、図８の（ｂ）は時点ｔ２の被写体距離情報、図８の（ｃ）は時点ｔ３の被写体距離情報、図８の（ｄ）は時点ｔ４の被写体距離情報、図８の（ｅ）は時点ｔ５の被写体距離情報、図８の（ｆ）は時点ｔ６の被写体距離情報をそれぞれ示している。調整係数ｃを「２」に設定した場合の被写体距離情報は、調整係数ｃを「１」に設定した場合に比べて、被写体ＯＢと背景との距離差が大きい。したがって、弁別性を重視したフォーカス制御を行うことができる。
　図９は、調整係数ｃを「０．５」に設定した場合の被写体距離情報を示している。なお、図９の（ａ）は時点ｔ１の被写体距離情報、図９の（ｂ）は時点ｔ２の被写体距離情報、図９の（ｃ）は時点ｔ３の被写体距離情報、図９の（ｄ）は時点ｔ４の被写体距離情報、図９の（ｅ）は時点ｔ５の被写体距離情報、図９の（ｆ）は時点ｔ６の被写体距離情報をそれぞれ示している。調整係数ｃを「０．５」に設定した場合の被写体距離情報は、調整係数ｃを「１」に設定した場合に比べて、被写体ＯＢと背景との距離差が小さい。したがって、安定性を重視してフォーカス制御を行うことができる。
　調整係数は、予め設定されてもよく、ユーザによって設定可能としてもよい。また、撮像画の構図に応じて調整係数を設定してもよい。例えば、撮像画の構図がポートレートのように所定の人物を主被写体として撮像するような場合、主被写体の追尾が容易であることから、調整係数ｃの値を通常よりも大きくして、弁別性を重視することで、フォーカスポイントが前景や背景に移動しないようにする。また、複数の人が被写体となるようなシーンでは、所定の被写体の追尾が難しいことから、調整係数ｃの値を通常よりも小さくして安定性を重視させる。
　また、フォーカス制御部１３４は、非追尾モードである場合、デプスマップを用いて生成した被写体距離情報で示された最至近位置の被写体に合焦させるフォーカス制御を行う。例えば、図４に示す被写体ＯＢが最至近位置である時点ｔ１の位置から移動しない場合、被写体ＯＢを含む撮像画から生成したデプスマップにおける最至近位置に合焦させるフォーカス制御を行うことで、移動していない最至近位置の被写体ＯＢに合焦させることができる。また、被写体ＯＢが例えば図４の（５）に示す時点ｔ５の位置である場合、被写体ＯＢを含む撮像画から生成したデプスマップにおける最至近位置に合焦させるフォーカス制御を行うと、前景に合焦されてしまうおそれがある。しかし、撮像画の中央部分に探索範囲を設定して、探索範囲内の最至近位置の被写体に合焦されるフォーカス制御を行えば、被写体ＯＢに合焦させることができるようになる。
　＜２－３．他の動作＞
　ところで、上述の動作では、調整係数を変化させてフォーカス制御を行う場合を例示したが、フォーカス制御部１３４は、デプスマップに対して時間方向のフィルタ処理を行い、デプス値の時間方向の揺らぎを軽減してもよい。フォーカス制御部１３４は、時間方向のフィルタ処理としてＩＩＲ（Infinite Impulse Response）のフィルタ処理を行う。また、フォーカス制御部１３４は、時間方向のフィルタ処理としてＦＩＲ（Finite Impulse Response）のフィルタ処理等を行うようにしてもよい。なお、時間方向のフィルタ処理はデプスマップに限らず推定距離のフィルタ処理を行うようにしてもよい。
　図１０は、ＩＩＲのフィルタ処理を行った場合の被写体距離情報を例示している。なお、図１０では、調整係数を「ｃ＝１」、ＩＩＲ帰還係数を「０．５」とした場合を例示している。なお、図１０の（ａ）は時点ｔ１の被写体距離情報、図１０の（ｂ）は時点ｔ２の被写体距離情報、図１０の（ｃ）は時点ｔ３の被写体距離情報、図１０の（ｄ）は時点ｔ４の被写体距離情報、図１０の（ｅ）は時点ｔ５の被写体距離情報、図１０の（ｆ）は時点ｔ６の被写体距離情報をそれぞれ示している。この場合、図５に示すようにデプスマップが揺らぎを生じて時点ｔ３における被写体ＯＢのデプス値が時点ｔ２における被写体ＯＢのデプス値よりも近いことを示す場合でも、時間方向のフィルタ処理によって揺らぎが軽減される。このため、図１０の（ｃ）に示すように、時点ｔ２の被写体距離情報で示された被写体ＯＢの位置と、時点ｔ３の被写体距離情報で示された被写体ＯＢの位置との位置差をフィルタ処理前よりも少なくできる。
　このように、フォーカス制御部１３４は、時間方向のフィルタ処理を行い、デプス値の時間方向の揺らぎによる影響を軽減して、所定の被写体を追尾して合焦し続けるようにフォーカス制御を行える。
　また、デプスマップで示されたデプス値と所定の被写体のデプス値との距離関係を調整する調整係数は、上述のような係数に限られない。例えばデプスマップで示されたデプス値と所定の被写体のデプス値とのデプス差に応じて線形あるいは非線形に変化する係数を用いてもよい。
　＜３．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。
　このような分野に適用すれば、低いコストかつ少ないスペースで、所望の被写体に焦点の合った画像を取得できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部に焦点の合った画像を容易に得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
　また、本開示に係る技術は、監視分野にも適用できる。例えば監視カメラに本技術を適用すれば、監視対象に焦点が合った画像を容易に得られるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからセルラーに代表されるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　また、本技術のフォーカス制御装置は以下のような構成も取ることができる。
　（１）　所定の被写体を含む撮像画から生成されたデプスマップを用いてフォーカス制御を行い、前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替える制御部を備えるフォーカス制御装置。
　（２）　前記制御部は、前記追尾モードである場合、前記デプスマップを用いて生成した被写体距離情報に基づき探索した前記所定の被写体に合焦させるフォーカス制御を行う（１）に記載のフォーカス制御装置。
　（３）　前記制御部は、前記デプスマップで示されたデプス値と前記所定の被写体のデプス値を用いて前記被写体距離情報の生成を行う（２）に記載のフォーカス制御装置。
　（４）　前記制御部は、前記デプスマップで示されたデプス値と前記所定の被写体のデプス値との距離関係を調整する調整係数を用いて前記被写体距離情報を生成する（３）に記載のフォーカス制御装置。
　（５）　前記制御部は、前記調整係数は、前記デプスマップで示されたデプス値と前記被写体のデプス値とのデプス差に対応する距離差を調整する（４）に記載のフォーカス制御装置。
　（６）　前記制御部は、前記撮像画の構図に応じて前記調整係数を設定する（４）または（５）に記載のフォーカス制御装置。
　（７）　前記制御部は、時間方向のフィルタ処理を行い、前記被写体距離情報を生成する（２）乃至（６）のいずれかに記載のフォーカス制御装置。
　（８）　前記制御部は、前記デプスマップに対して前記フィルタ処理を行う（７）に記載のフォーカス制御装置。
　（９）　前記制御部は、前記非追尾モードである場合、前記デプスマップを用いて生成した被写体距離情報で示された最至近位置の被写体に合焦させるフォーカス制御を行う（１）乃至（８）のいずれかに記載のフォーカス制御装置。
　（１０）　前記制御部は、前記撮像画に設けた探索範囲内の最至近位置の被写体に合焦されるフォーカス制御を行う（９）に記載のフォーカス制御装置。
　（１１）　前記制御部は、前記撮像画を用いて機械学習を行い、前記デプスマップを生成する（１）乃至（１０）のいずれかに記載のフォーカス制御装置。
　１０・・・撮像装置
　１１・・・撮像光学系
　１２・・・撮像部
　１３・・・画像処理部
　１４・・・表示部
　１５・・・記録部
　１６・・・操作部
　１７・・・システム制御部
　１８・・・バス
　１３１・・・現像処理部
　１３２・・・ポスト処理部
　１３３・・・検波処理部
　１３４・・・フォーカス制御部
　１３４ａ・・・デプス算出部
　１３４ｂ・・・制御部

Claims (14)

  1. 　所定の被写体を含む撮像画から生成されたデプスマップを用いてフォーカス制御を行い、前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替える制御部
    を備えるフォーカス制御装置。
  2. 　前記制御部は、前記追尾モードである場合、前記デプスマップを用いて生成した被写体距離情報に基づき探索した前記所定の被写体に合焦させるフォーカス制御を行う
    請求項１に記載のフォーカス制御装置。
  3. 　前記制御部は、前記デプスマップで示されたデプス値と前記所定の被写体のデプス値を用いて前記被写体距離情報の生成を行う
    請求項２に記載のフォーカス制御装置。
  4. 　前記制御部は、前記デプスマップで示されたデプス値と前記所定の被写体のデプス値との距離関係を調整する調整係数を用いて前記被写体距離情報を生成する
    請求項３に記載のフォーカス制御装置。
  5. 　前記制御部は、前記調整係数は、前記デプスマップで示されたデプス値と前記被写体のデプス値とのデプス差に対応する距離差を調整する
    請求項４に記載のフォーカス制御装置。
  6. 　前記制御部は、前記撮像画の構図に応じて前記調整係数を設定する
    請求項４に記載のフォーカス制御装置。
  7. 　前記制御部は、時間方向のフィルタ処理を行い、前記被写体距離情報を生成する
    請求項２に記載のフォーカス制御装置。
  8. 　前記制御部は、前記デプスマップに対して前記フィルタ処理を行う
    請求項７に記載のフォーカス制御装置。
  9. 　前記制御部は、前記非追尾モードである場合、前記デプスマップを用いて生成した被写体距離情報で示された最至近位置の被写体に合焦させるフォーカス制御を行う
    請求項１に記載のフォーカス制御装置。
  10. 　前記制御部は、前記撮像画に設けた探索範囲内の最至近位置の被写体に合焦されるフォーカス制御を行う
    請求項９に記載のフォーカス制御装置。
  11. 　前記制御部は、前記撮像画を用いて機械学習を行い、前記デプスマップを生成する
    請求項１に記載のフォーカス制御装置。
  12. 　所定の被写体を含む撮像画から生成されたデプスマップを用いてフォーカス制御を行い、前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替えて制御部で行うこと
    を含むフォーカス制御方法。
  13. 　撮像装置のフォーカス制御をコンピュータで実行させるプログラムであって、
    　所定の被写体を含む撮像画から生成されたデプスマップを用いてフォーカス制御を行う手順と、
    　前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替える手順
    を前記コンピュータで実行させるプログラム。
  14. 　撮像画を生成する撮像部と、
    　前記撮像部で生成された所定の被写体を含む撮像画からデプスマップを生成して、前記デプスマップを用いてフォーカス制御を行い、前記被写体を追尾する追尾モードと追尾を行わない非追尾モードとで、前記フォーカス制御を異なる制御に切り替える制御部と
    を備える撮像装置。
PCT/JP2022/003996 2021-07-16 2022-02-02 フォーカス制御装置とフォーカス制御方法および撮像装置 WO2023286301A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22841651.7A EP4373115A1 (en) 2021-07-16 2022-02-02 Focus control device, focus control method, and imaging device
CN202280048579.1A CN117730542A (zh) 2021-07-16 2022-02-02 聚焦控制设备、聚焦控制方法以及成像设备
JP2023535084A JPWO2023286301A1 (ja) 2021-07-16 2022-02-02

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-117636 2021-07-16
JP2021117636 2021-07-16

Publications (1)

Publication Number Publication Date
WO2023286301A1 true WO2023286301A1 (ja) 2023-01-19

Family

ID=84919252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003996 WO2023286301A1 (ja) 2021-07-16 2022-02-02 フォーカス制御装置とフォーカス制御方法および撮像装置

Country Status (4)

Country Link
EP (1) EP4373115A1 (ja)
JP (1) JPWO2023286301A1 (ja)
CN (1) CN117730542A (ja)
WO (1) WO2023286301A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004505393A (ja) * 2000-08-09 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
JP2008009341A (ja) 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
JP2017103525A (ja) * 2015-11-30 2017-06-08 株式会社ニコン 追尾装置および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004505393A (ja) * 2000-08-09 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
JP2008009341A (ja) 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
JP2017103525A (ja) * 2015-11-30 2017-06-08 株式会社ニコン 追尾装置および撮像装置

Also Published As

Publication number Publication date
CN117730542A (zh) 2024-03-19
JPWO2023286301A1 (ja) 2023-01-19
EP4373115A1 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
JP4678603B2 (ja) 撮像装置及び撮像方法
EP2171685B1 (en) Image processor, image processing method, digital camera, and imaging apparatus
JP4582423B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5393930B2 (ja) カメラ装置、交換レンズ装置、カメラ本体部およびフォーカス制御方法
US9723208B2 (en) Image processing apparatus, method for controlling the same, and storage medium
CN108668074B (zh) 图像模糊校正装置及其控制方法、摄像设备和存储介质
JP2018037772A (ja) 撮像装置およびその制御方法
JP5144724B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2013143712A (ja) 画像処理装置、画像処理装置を有する撮像装置、画像処理方法、プログラム、及びプログラムを記憶した記憶媒体
US10735655B2 (en) Apparatus, method, and program for image processing
WO2013094552A1 (ja) 撮像装置、その制御方法およびプログラム
JP2007133810A (ja) 画像処理装置
WO2023286301A1 (ja) フォーカス制御装置とフォーカス制御方法および撮像装置
JP2013192121A (ja) 撮像装置及び撮像方法
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
JP2018142983A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP5188293B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2007306199A (ja) 撮像装置および画像処理プログラム
US11832020B2 (en) Image pickup apparatus, image pickup method, and storage medium
JP2014103450A (ja) 画像処理装置、方法及びプログラム
US20160057350A1 (en) Imaging apparatus, image processing method, and non-transitory computer-readable medium
WO2023136079A1 (ja) 撮像装置、撮像装置の制御方法、プログラム
JP5041050B2 (ja) 撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023535084

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280048579.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022841651

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022841651

Country of ref document: EP

Effective date: 20240216