WO2021161959A1 - 情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システム Download PDF

Info

Publication number
WO2021161959A1
WO2021161959A1 PCT/JP2021/004585 JP2021004585W WO2021161959A1 WO 2021161959 A1 WO2021161959 A1 WO 2021161959A1 JP 2021004585 W JP2021004585 W JP 2021004585W WO 2021161959 A1 WO2021161959 A1 WO 2021161959A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
focus
information processing
image pickup
processing device
Prior art date
Application number
PCT/JP2021/004585
Other languages
English (en)
French (fr)
Inventor
佳裕 金子
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021161959A1 publication Critical patent/WO2021161959A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • This technology relates to an information processing device, an information processing method, an information processing program, an image pickup device, a control method of the image pickup device, a control program, and an image pickup system.
  • Patent Document 1 a technique has been proposed in which a device is connected to a device separate from the device and a part of the processing is executed by the external device.
  • This technology was made in view of these points, and an information processing device, an information processing method, and information processing that can realize highly accurate focus control in an imaging device by using an information processing device that is a separate device. It is an object of the present invention to provide a program, an image pickup device, a control method of an image pickup device, a control program, and an image pickup system.
  • the first technique is an information processing device that receives focus-related information from an image pickup device, generates focus control information based on the focus-related information, and transmits the focus control information to the image pickup device. Is.
  • the second technique is an information processing method that generates focus control information based on focus-related information received from the image pickup device and transmits the focus control information to the image pickup device.
  • the third technology is an information processing program that causes a computer to execute an information processing method that generates focus control information based on focus-related information received from the image pickup device and transmits the focus control information to the image pickup device.
  • the fourth technology is an imaging device that transmits focus-related information to an information processing device and receives focus control information generated based on the focus-related information in the information processing device and transmitted from the information processing device.
  • a fifth technique is a control method of an imaging device that transmits focus-related information to an information processing device and receives focus control information generated based on the focus-related information in the information processing device and transmitted from the information processing device. Is.
  • a sixth technique is a control method for an imaging device that transmits focus-related information to an information processing device, generates focus-related information in the information processing device, and receives focus control information transmitted from the information processing device.
  • the seventh technique is an imaging device that transmits focus-related information to the information processing device and receives focus control information generated based on the focus-related information in the information processing device and transmitted from the information processing device, and imaging.
  • This is an information processing system including an information processing device that receives focus-related information from the device, generates focus control information based on the focus-related information, and transmits the focus control information to the image pickup device.
  • the image pickup system 10 includes an image pickup device 100 and an information processing device 200.
  • the image pickup apparatus 100 is used by the user for photographing.
  • the information processing device 200 receives information from the image pickup device 100, executes a part of the functions performed by the image pickup device 100 instead, and transmits information for performing predetermined control to the image pickup device 100.
  • the image pickup apparatus 100 and the information processing apparatus 200 are connected by wire or wirelessly.
  • the image pickup device 100 includes a control unit 101, an optical image pickup system 102, a lens drive driver 103, an image sensor 104, an image signal processing unit 105, a codec unit 106, a storage unit 107, an interface 108, an input unit 109, a display unit 110, and a microphone 111.
  • the detection unit 112 and the AF control unit 113 are provided.
  • the image pickup apparatus 100 operates in one of two modes, the first mode and the second mode.
  • the image pickup apparatus 100 itself generates focus control information for controlling the lens drive driver 103 to perform autofocus, and performs autofocus.
  • the second mode controls the lens drive driver 103 based on the focus control information generated by the information processing apparatus 200 to perform autofocus.
  • the control unit 101 is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the CPU controls the entire image pickup apparatus 100 and each part by issuing commands by executing various processes according to the program stored in the ROM.
  • the optical image pickup system 102 includes an image pickup lens for concentrating light from a subject on an image pickup element 104, a drive mechanism for moving the image pickup lens to perform focusing and zooming, a shutter mechanism, an iris mechanism, and the like. There is. These are driven based on the control signals from the control unit 101 and the lens drive driver 103. The optical image of the subject obtained through the optical image pickup system 102 is imaged on the image pickup device 104.
  • the lens drive driver 103 is configured by, for example, a microcomputer or the like, and moves the imaging lens by a predetermined amount along the optical axis direction based on the focus control information supplied from the AF control unit 113 or the information processing device 200 to achieve the target. Autofocus is performed so that the subject is in focus. Further, according to the control from the control unit 101, the operation of the drive mechanism, the shutter mechanism, the iris mechanism, etc. of the optical imaging system 102 is controlled. As a result, the exposure time (shutter speed) and the aperture value (F value) are adjusted.
  • the image sensor 104 photoelectrically converts the incident light from the subject obtained through the image sensor into an electric charge amount and outputs an image pickup signal. Then, the image sensor 104 outputs the pixel signal to the image signal processing unit 105.
  • the image pickup device 104 a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like is used.
  • the image sensor 104 has R (Red) pixels, G (Green) pixels, B (Blue) pixels, which are normal pixels, and a phase difference detection pixel that performs phase difference detection. So-called phase difference AF (Auto Focus) can be performed using the phase difference information output from the phase difference detection pixels.
  • the phase difference information corresponds to the focus-related information in the claims.
  • the phase difference detection pixel functions only as a phase difference detection pixel and may not function as a normal pixel. Since one pixel is composed of two independent photodiodes, it is used for imaging and phase difference detection. It may function as a diode.
  • the phase difference detection may be performed by an AF sensor dedicated to the phase difference detection.
  • phase difference information as focus-related information is supplied to the detection unit 112. Further, in the second mode in which the information processing apparatus 200 generates the focus control information, the phase difference information is supplied to the information processing apparatus 200.
  • the image signal processing unit 105 is a sample hold for maintaining a good S / N (Signal / Noise) ratio by CDS (Correlated Double Sampling) processing with respect to the image pickup signal output from the image sensor 104, and AGC (Auto Gain Control). ) Processing, A / D (Analog / Digital) conversion, etc. are performed to create an image signal. Further, the image signal processing unit 105 performs a recording process on the image signal for recording, and a display process on the image signal for display.
  • the codec unit 106 performs coding processing for recording or communication, for example, on the image signal subjected to the predetermined processing.
  • the storage unit 107 is a large-capacity storage medium such as a hard disk or a flash memory.
  • the video data and image data processed by the image signal processing unit 105 and the codec unit 106 are stored in a compressed state or an uncompressed state based on a predetermined standard.
  • EXIF ExchangeableImageFileFormat
  • additional information such as information on the saved data, imaging position information indicating the imaging position, and imaging time information indicating the imaging date and time is also stored in association with the data.
  • Interface 108 is an interface between other devices and the Internet.
  • Interface 108 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface is cellular communication such as 3TTE, Wi-Fi, Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark), HDMI (registered trademark). (High-Definition Multimedia Interface), USB (Universal Serial Bus), etc. can be included.
  • the interface 108 may include a connection terminal between the devices, a bus in the device, and the like (hereinafter, these are also referred to as interfaces in the device). ).
  • the interface 108 may include different types of interfaces for each device.
  • the interface 108 may include both a communication interface and an interface within the device.
  • the image pickup device 100 may include a communication unit that can be connected to the Internet and other devices such as a wireless LAN (Local Area Network), WAN (Wide Area Network), and WiFi (Wireless Fidelity).
  • communication between the image pickup device 100 and the information processing device 200 includes short-range wireless communication such as NFC (Near Field Communication) and ZigBee (registered trademark), WiFi tethering, USB (Universal Serial Bus) tethering, and Bluetooth (registered trademark).
  • a tethering connection such as tethering may be used.
  • the input unit 109 is for the user to give various instructions to the image pickup device 100.
  • a control signal corresponding to the input is generated and supplied to the control unit 101.
  • the control unit 101 performs various processes corresponding to the control signal.
  • the input unit 109 includes a shutter button for shutter input, a physical button for various operations, a touch panel, a touch screen integrally configured with a display as a display unit 110, and the like.
  • the display unit 110 includes a through image which is an image signal for display that has been processed for display, an image / video that has been subjected to image processing for recording and stored in the storage unit 107, a GUI (Graphical User Interface), and the like. It is a display device such as a display that displays.
  • the microphone 111 is a sound collecting device for recording voice at the time of recording.
  • the detection unit 112 executes AF detection for determining the focus position using the phase difference information supplied from the image sensor 104, and calculates the defocus amount.
  • the defocus amount is supplied to the AF control unit 113.
  • the AF control unit 113 focuses on a position within the angle of view (for example, XY coordinate information) so as to focus on the target subject based on the defocus amount calculated by the detection unit 112.
  • the lens drive driver 103 of the image pickup apparatus 100 generates focus control information indicating how much the lens is moved.
  • the focus control information is information for performing autofocus control in the image pickup apparatus 100.
  • the image pickup apparatus 100 transmits phase difference information to the information processing apparatus 200 as focus-related information.
  • the image pickup device 100 is configured as described above.
  • the image pickup device 100 includes devices specialized in camera functions such as digital cameras, single-lens reflex cameras, camcoders, professional cameras, and professional photography devices, as well as smartphones, tablet terminals, wearable devices, portable game machines, etc. having camera functions. It may be.
  • the detection unit 112 and the AF control unit 113 may be configured as dedicated devices, or may be configured by a program so that the imaging device 100 has the function by executing the program.
  • the program may be installed in the image pickup apparatus 100 in advance, or may be distributed by download, storage medium, or the like so that the user can install the program in the image pickup apparatus 100 by himself / herself.
  • the information processing device 200 includes a control unit 201, an interface 202, a detection unit 203, and an AF control unit 204.
  • the information processing device 200 When the image pickup device 100 is in the second mode, the information processing device 200 generates focus control information for the image pickup device 100 to perform autofocus based on the focus-related information received from the image pickup device 100, and the image pickup device 100 generates the focus control information. Is to be supplied to.
  • the control unit 301 is composed of a CPU, a RAM, a ROM, and the like, and the CPU controls the entire information processing apparatus 200 and each unit by executing various processes according to a program stored in the ROM and issuing commands. ..
  • Interface 108 is an interface between other devices and the Internet.
  • Interface 108 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface includes cellular communication such as 3TTE, Wi-Fi, Bluetooth (registered trademark), NFC, Ethernet (registered trademark), HDMI (registered trademark), USB and the like. sell.
  • the interface 108 may include a connection terminal between the devices, a bus in the device, and the like (hereinafter, these are also referred to as interfaces in the device). ).
  • the interface 108 may include different types of interfaces for each device. For example, the interface may include both a communication interface and an interface within the device.
  • the detection unit 203 executes AF detection for determining the focus position using the phase difference information supplied from the image pickup apparatus 100, and calculates the defocus amount.
  • the defocus amount is supplied to the AF control unit 114.
  • the AF control unit 204 captures a position within the angle of view (for example, XY coordinate information) so as to focus on the target subject based on the defocus amount calculated by the detection unit 203.
  • the lens drive driver 103 of the device 100 generates focus control information indicating how much the lens is moved.
  • the focus control information is supplied to the image pickup apparatus 100.
  • the focus control information is information for the image pickup apparatus 100 to perform autofocus control.
  • the information processing device 200 is superior in performance to the image pickup device 100 in calculating focus control information.
  • Excellent performance means, for example, that the CPU that executes processing can perform faster processing than the CPU of the image pickup apparatus 100, the number of CPUs is larger than that of the imaging apparatus 100, and the capacity of the RAM is provided in the imaging apparatus 100. It is defined by factors such as being larger than the one, having a logic circuit or algorithm specialized for focus, and so on.
  • the information processing device 200 may have higher performance than the image pickup device 100 due to any one of these elements, or may have higher performance than the image pickup device 100 due to a plurality of elements.
  • the information processing device 200 is configured as described above.
  • the information processing device 200 may be configured as a dedicated device by hardware having the function.
  • the information processing device 200 may be configured to be integrally connected to the image pickup device 100.
  • the image pickup device 100 and the information processing device 200 as a dedicated device may be connected by wire via an interface such as USB.
  • the information processing device 200 may be configured as a circuit or the like incorporated in a board in the image pickup device 100.
  • the information processing device 200 is not only configured as a dedicated device, but is also configured by a program, and a terminal device such as a personal computer, a smartphone, or a tablet terminal may function as the information processing device 200 by executing the program. ..
  • the program may be pre-installed on the terminal device, or may be distributed by download, storage medium, or the like so that the user can install the program on the terminal device by himself / herself.
  • the information processing device 200 When the specifications of the information processing device 200 are prioritized over portability, the information processing device 200 is configured in a large-scale external computing device 300, a server, a cloud, etc. as shown in FIG. 5, and is connected via a network. You may.
  • the image pickup apparatus 100 operates in the first mode in which autofocus control is performed based on the focus control information generated by itself. Therefore, first, in step S101, the image pickup apparatus 100 switches to the second mode in which the autofocus control is performed by the focus control information generated by the information processing apparatus 200.
  • the switching to the mode may be performed based on the switching input to the input unit 109 by the user, or may be automatically performed by the image pickup apparatus 100.
  • the mode switching information is transmitted from the image pickup apparatus 100 to the information processing apparatus 200, and the information processing apparatus 200 is put into the operation mode.
  • the case where the user instructs to switch to the second mode is, for example, a case where high-speed, high-precision autofocus is required for a long period of time, such as shooting a professional sport or shooting a fast-moving animal.
  • the user may switch the mode from the start of shooting to calculate the focus control information in the information processing apparatus 200.
  • the case where the image pickup apparatus 100 automatically switches the second mode is a case where a predetermined condition is satisfied.
  • the first example of the condition is a case where the speed of the subject to be photographed by the image pickup apparatus 100 is equal to or higher than a predetermined value. In this case, since the speed of the subject is high, it is possible to surely improve the accuracy of autofocus by calculating the focus control information by the information processing device 200, which has better processing power than the image pickup device 100.
  • the second example of the condition is when the success rate of autofocus is less than or equal to the predetermined value.
  • the success rate of autofocus in order to increase the success rate of autofocus, it is possible to surely increase the success rate of focusing by calculating the focus control information with the information processing device 200 having better processing power than the imaging device 100.
  • the third example of the condition is the case where the contrast of the through image displayed on the display unit 110 is equal to or less than a predetermined value.
  • the contrast is low, that is, the shooting environment is dark, it is possible to improve the autofocus accuracy by calculating the focus control information with the information processing device 200, which has better processing power than the image pickup device 100. Because it can be done.
  • the fourth example of the condition is the case where the number of candidates for the subject to be autofocused is equal to or greater than a predetermined number.
  • a predetermined number For example, a human face
  • the image pickup apparatus 100 automatically switches to the second mode when any one of the above conditions is satisfied, or when a plurality of conditions are satisfied.
  • the conditions are not limited to the above-mentioned conditions, and any conditions may be used as long as high-speed and high-precision autofocus is required.
  • step S102 the image pickup apparatus 100 acquires phase difference information as focus-related information. Then, in step S103, the image pickup apparatus 100 transmits the phase difference information to the information processing apparatus 200.
  • step S104 the information processing device 200 receives the phase difference information.
  • step S105 the information processing apparatus 200 generates focus control information based on the focus-related information.
  • step S106 the information processing device 200 transmits the focus control information to the image pickup device 100.
  • step S106 the image pickup apparatus 100 performs autofocus control of the phase difference AF based on the received focus control information.
  • the processing in the imaging system 10 is performed as described above. Since the autofocus is continuously performed while the user points the lens at the subject and the shutter button is half-pressed, the process of the sequence diagram of FIG. 6 is repeatedly performed while the shutter button is half-pressed. Become.
  • focus control information is generated using phase difference information as focus-related information to perform so-called phase difference AF, but this technique can also be applied to other autofocus methods, such as contrast AF. be.
  • image data including color information as focus-related information is supplied to the AF control unit 113.
  • the AF control unit 113 transmits a control signal to the lens drive driver 103, changes the position of the lens little by little to shift the focus, and refers to the contrast of the image data including the color information each time, and the contrast is the highest. Search for the position of the lens.
  • the lens drive driver 103 is controlled so as to focus on a specific subject at the position of the lens having the highest contrast.
  • the information processing device 200 receives image data including color information from the image pickup device 100. Then, the AF control unit 204 of the information processing device 200 refers to the contrast of the image data including the color information, and generates focus control information for changing the position of the lens of the image pickup device 100 so that the contrast becomes the highest. It is transmitted to the image pickup apparatus 100.
  • the image pickup apparatus 100 changes the position of the lens according to the focus control information, and transmits image data including color information to the information processing apparatus 200 each time. Then, the AF control unit 204 of the information processing device 200 again refers to the contrast of the image data including the color information, and generates focus control information for changing the position of the lens of the image pickup device 100 so that the contrast becomes the highest. Is transmitted to the image pickup apparatus 100.
  • the position of the lens having the highest contrast is searched, and the focus control information is generated so as to focus on a specific subject at the position of the lens having the highest contrast and transmitted to the image pickup apparatus 100. Then, the image pickup apparatus 100 moves the lens by the lens drive driver 103 according to the focus control information to focus on a specific subject.
  • Color information includes RGB color information, luminance information, light / dark difference information, color difference information, and the like.
  • phase difference AF using the phase difference information and the contrast AF using the color information may be used together. In this case, it is necessary to transmit the phase difference information and the color information as focus-related information from the image pickup apparatus 100 to the information processing apparatus 200.
  • This technology is configured as described above. According to this technology, it is possible to realize high-speed and high-precision autofocus as compared with the case where the image pickup apparatus 100 is used alone.
  • Second Embodiment> [2-1. Configuration of image pickup device 100]
  • the information processing device 200 generates focus control information for autofocus control by the image pickup device 100, but in the second embodiment, focus control information for subject tracking control of the image pickup device 100. To generate.
  • FIG. 7 shows the configuration of the image pickup apparatus 100 in the second embodiment.
  • the image pickup apparatus 100 further includes a subject detection unit 121 and a tracking control unit 122. Since other configurations are the same as those of the first embodiment, the description thereof will be omitted.
  • the subject detection unit 121 detects a specific subject by a known subject detection process from the image data generated by shooting.
  • known subject recognition technology a method by template matching, a matching method based on the brightness distribution information of the subject, a method based on the skin color part included in the image, the feature amount of the human face, etc., a method using artificial intelligence, etc. are used. You may. Further, these methods may be combined to improve the recognition accuracy.
  • the subject detection information corresponds to the focus-related information in the claims.
  • the detection unit 112 executes AF detection for determining the focus position using the phase difference information supplied from the image sensor 104, and calculates the defocus amount.
  • the defocus amount is supplied to the tracking control unit 122.
  • the tracking control unit 122 Based on the defocus amount calculated by the detection unit 112, the tracking control unit 122 focuses on the subject to be tracked detected by the subject detection unit 121 at any position in the angle of view (for example, XY coordinates). It focuses on information) or generates focus control information indicating how much the lens drive driver 103 of the image pickup apparatus 100 moves the lens. Focus control information is supplied to the lens drive driver 103. Based on this focus control information, the lens drive driver 103 drives the lens and keeps focusing on the subject to track the subject.
  • the focus control information is information for performing tracking control in the image pickup apparatus 100.
  • the image pickup apparatus 100 transmits subject detection information and phase difference information as focus-related information to the information processing apparatus 200.
  • FIG. 8 shows the configuration of the information processing device 200 according to the second embodiment.
  • the information processing device 200 further includes a tracking control unit 222. Since other configurations are the same as those of the first embodiment, the description thereof will be omitted.
  • the detection unit 203 is the same as that provided in the image pickup device 100, performs AF detection for determining the focus position using the phase difference information supplied from the image pickup device 100, and calculates the defocus amount.
  • the defocus amount is supplied to the tracking control unit 222.
  • the tracking control unit 222 is the same as that provided in the image pickup device 100, and is focused on the subject to be tracked indicated by the subject detection information based on the defocus amount calculated by the detection unit 203. Generate focus control information.
  • the focus control information is supplied to the image pickup apparatus 100. Based on this focus control information, the lens drive driver 103 of the image pickup apparatus 100 drives the lens and keeps focusing on the subject to track the subject.
  • the focus control information is information for performing tracking control in the image pickup apparatus 100.
  • the image pickup device 100 and the information processing device 200 in the second embodiment are configured as described above.
  • step S201 the image pickup apparatus 100 switches to the second mode in which the subject tracking control is performed by the focus control information generated by the information processing apparatus 200.
  • the switching to the second mode and the automatic switching to the second mode by the user are the same as those in the first embodiment.
  • step S202 the subject detection unit 121 of the imaging device 100 detects the subject to be tracked.
  • the subject detection information is focus-related information.
  • step S203 the image pickup apparatus 100 acquires phase difference information as focus-related information.
  • step S204 the image pickup apparatus 100 transmits the subject detection information and the phase difference information to the information processing apparatus 200.
  • step S205 the information processing device 200 receives the subject detection information and the phase difference information.
  • step S206 the information processing apparatus 200 generates focus control information for continuously focusing on the subject to be tracked based on the subject detection information and the phase difference information.
  • step S207 the information processing device 200 transmits the focus control information to the image pickup device 100.
  • step S208 the image pickup apparatus 100 controls to track the subject by continuing to focus on the subject by the phase difference AF based on the received focus control information.
  • the processing in the imaging system 10 is performed as described above. Note that the subject tracking is continuously performed in a state where a predetermined tracking instruction is input, such as when the user points the lens at the subject and presses the shutter button halfway. Therefore, while the tracking instruction continues, the sequence shown in FIG. 9 The processing of the figure will be repeated.
  • the subject to be tracked by the contrast AF using the color information may be focused as in the first embodiment.
  • the information processing device 200 may also be provided with a subject detection unit, and image data may be transmitted from the image pickup device 100 to the information processing device 200 so that the information processing device 200 detects a subject to be tracked.
  • high-speed and high-precision subject tracking control can be realized in the image pickup apparatus 100 by using the information processing apparatus 200 which is another apparatus.
  • the phase difference information is transmitted from the image pickup apparatus 100 to the information processing apparatus 200 as focus-related information, but the image pickup apparatus 100 may transmit the defocus amount as focus-related information to the information processing apparatus 200.
  • one information processing device 200 is connected to one image pickup device 100, but a plurality of image pickup devices 100 may be connected to one information processing device 200.
  • the information processing device 200 receives focus-related information from each of the plurality of image pickup devices 100, generates focus control information corresponding to each of the plurality of image pickup devices 100, and each image pickup device 100. May be sent to.
  • focus control information is generated based on focus-related information received from each of the plurality of image pickup devices 100, and the focus control information is transmitted only to a specific image pickup device 100, not to each image pickup device 100. You may do so.
  • the information processing device 200 receives captured images from each image pickup device 100 to form a stereo view, and measures a three-dimensional distance to a specific subject by using triangulation. You may. Then, it is also possible to specify the image pickup device 100 closest to the subject from the plurality of image pickup devices 100 based on the three-dimensional distance, and to perform autofocus and shoot with the image pickup device 100 closest to the subject.
  • a single image pickup device is obtained by sharing the information of the subject to be tracked and the focus control information among the plurality of image pickup devices 100 via one information processing device 200. It is possible to shoot in a range of 100 or more angle angles. For example, when the subject moves across the front of the image pickup device 100, if there is only one image pickup device 100, the subject easily goes out of the angle of view and the frame is out.
  • the focus control information is calculated by either the image pickup device 100 or the information processing device 200, but the focus control information may be calculated by using the image pickup device 100 and the information processing device 200 together.
  • the power consumption of the information processing apparatus 200 can be suppressed as compared with the case where the focus control information is calculated only by the information processing apparatus 200.
  • the present technology can be applied to a so-called network camera used as a surveillance camera or the like.
  • the present technology can also have the following configurations.
  • An information processing device that receives focus-related information from an image pickup device, generates focus control information based on the focus-related information, and transmits the focus control information to the image pickup device.
  • the information processing device according to any one of (1) to (5), wherein the focus control information is information for performing subject tracking control in the image pickup device.
  • the information processing device according to any one of (1) to (6), wherein a plurality of the focus control information generated based on the focus-related information received from the plurality of the image pickup devices is transmitted to the plurality of the image pickup devices.
  • the information processing device according to any one of (1) to (7), which is configured to be detachable from the image pickup device. (9) An information processing method that generates focus control information based on focus-related information received from an image pickup apparatus and transmits the focus control information to the image pickup apparatus.
  • An information processing program that causes a computer to execute an information processing method that generates focus control information based on focus-related information received from an image pickup device and transmits the focus control information to the image pickup device.
  • An imaging device that transmits focus-related information to an information processing device and receives focus control information generated by the information processing device based on the focus-related information and transmitted from the information processing device.
  • the information processing apparatus according to (11), wherein the focus-related information is phase difference information.
  • the information processing apparatus according to (11) or (12), wherein the focus-related information is color information.
  • the information processing device according to any one of (11) to (13), wherein the focus-related information is subject detection information.
  • the imaging device according to any one of (11) to (14), which performs autofocus control based on the focus control information.
  • a control method of an imaging device that transmits focus-related information to an information processing device and receives focus control information generated by the information processing device based on the focus-related information and transmitted from the information processing device.
  • Focus-related information is transmitted to the information processing device, and the computer is made to execute a control method of the image pickup device that receives the focus control information generated based on the focus-related information in the information processing device and transmitted from the information processing device. Control program.
  • An imaging device that transmits focus-related information to an information processing device and receives focus control information generated by the information processing device based on the focus-related information and transmitted from the information processing device.
  • An information processing device that receives focus-related information from the image pickup device, generates focus control information based on the focus-related information, and transmits the focus control information to the image pickup device.
  • Imaging system consisting of.
  • Imaging device 200 ... Information processing device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置からフォーカス関連情報を受信し、フォーカス関連情報に基づいてフォーカス制御情報を生成し、フォーカス制御情報を前記撮像装置に送信する情報処理装置である。

Description

情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システム
　本技術は、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システムに関する。
　従来から様々な装置において、装置器をその装置とは別体の装置を接続し、一部の処理をその外装置に実行させる技術が提案されている（特許文献１）
特開２０１９－１３４３３４号公報
　別装置に一部の処理を実行させる場合、装置が実行する処理ならどのような処理でもよいというわけではなく、特定の装置における特定の処理や制御、例えば、撮像装置におけるオートフォーカス制御など特に高精度、高速性、高い処理能力が必要となる処理を行う技術が要求されている。
　本技術はこのような点に鑑みなされたものであり、別装置である情報処理装置を用いることで撮像装置における高精度なフォーカス制御を実現することができる情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、撮像装置からフォーカス関連情報を受信し、フォーカス関連情報に基づいてフォーカス制御情報を生成し、フォーカス制御情報を撮像装置に送信する情報処理装置である。
　また、第２の技術は、撮像装置から受信したフォーカス関連情報に基づいてフォーカス制御情報を生成し、フォーカス制御情報を撮像装置に送信する情報処理方法である。
　また、第３の技術は、撮像装置から受信したフォーカス関連情報に基づいてフォーカス制御情報を生成し、フォーカス制御情報を撮像装置に送信する情報処理方法をコンピュータに実行させる情報処理プログラムである。
　また、第４の技術は、フォーカス関連情報を情報処理装置に送信し、情報処理装置においてフォーカス関連情報に基づいて生成され、情報処理装置から送信されたフォーカス制御情報を受信する撮像装置である。
　また、第５の技術は、フォーカス関連情報を情報処理装置に送信し、情報処理装置においてフォーカス関連情報に基づいて生成され、情報処理装置から送信されたフォーカス制御情報を受信する撮像装置の制御方法である。
　また、第６の技術は、フォーカス関連情報を情報処理装置に送信し、情報処理装置においてフォーカス関連情報に基づいて生成され、情報処理装置から送信されたフォーカス制御情報を受信する撮像装置の制御方法をコンピュータに実行させる制御プログラムである。
　さらに、第７の技術は、フォーカス関連情報を情報処理装置に送信し、情報処理装置においてフォーカス関連情報に基づいて生成され、情報処理装置から送信されたフォーカス制御情報を受信する撮像装置と、撮像装置からフォーカス関連情報を受信し、フォーカス関連情報に基づいてフォーカス制御情報を生成し、フォーカス制御情報を撮像装置に送信する情報処理装置とからなる撮像システムである。
撮像システム１０の構成を示すブロック図である。 第１の実施の形態における撮像装置１００の構成を示すブロック図である。 第１の実施の形態における情報処理装置２００の構成を示すブロック図である。 撮像装置１００と情報処理装置２００の接続状態を示す図である。 撮像装置１００と情報処理装置２００の接続状態を示す図である。 第１の実施の形態における撮像システムにおける処理を示すシーケンス図である。 第２の実施の形態における撮像装置１００の構成を示すブロック図である。 第２の実施の形態における情報処理装置２００の構成を示すブロック図である。 第２の実施の形態における撮像システムにおける処理を示すシーケンス図である。 変形例における撮像システム１０の構成を示すブロック図である。 変形例における撮像システム１０の構成を示すブロック図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．撮像システム１０の構成］
［１－２．撮像装置１００の構成］
［１－３．情報処理装置２００の構成］
［１－４．撮像システム１０における処理］
＜２．第２の実施の形態＞
［２－１．撮像装置１００の構成］
［２－２．情報処理装置２００の構成］
［２－３．撮像システム１０における処理］
＜３．変形例＞
＜１．第１の実施の形態＞
［１－１．撮像システム１０の構成］
　まず、図１を参照して撮像システム１０の構成について説明する。撮像システム１０は撮像装置１００と情報処理装置２００とから構成されている。撮像装置１００はユーザが撮影のために用いるものである。情報処理装置２００は撮像装置１００から情報を受信し、撮像装置１００が行う機能の一部を代わりに実行し、撮像装置１００に所定の制御を行うための情報を送信するものである。撮像装置１００と情報処理装置２００は有線または無線により接続されている。
［１－２．撮像装置１００の構成］
　次に図２を参照して撮像装置１００の構成について説明する。撮像装置１００は、制御部１０１、光学撮像系１０２、レンズ駆動ドライバ１０３、撮像素子１０４、画像信号処理部１０５、コーデック部１０６、記憶部１０７、インターフェース１０８、入力部１０９、表示部１１０、マイクロホン１１１、検波部１１２、ＡＦ制御部１１３を備えて構成されている。
　本実施の形態では撮像装置１００は第１のモードと第２のモードの２つのモードのいずれかで動作する。第１のモードは、レンズ駆動ドライバ１０３を制御してオートフォーカスを行うためのフォーカス制御情報を撮像装置１００自身が生成してオートフォーカスを行うものである。第２のモードは情報処理装置２００が生成したフォーカス制御情報に基づいてレンズ駆動ドライバ１０３を制御してオートフォーカスを行うものである。
　制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１００の全体および各部の制御を行う。
　光学撮像系１０２は、被写体からの光を撮像素子１０４に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部１０１、レンズ駆動ドライバ１０３からの制御信号に基づいて駆動される。光学撮像系１０２を介して得られた被写体の光画像は、撮像素子１０４上に結像される。
　レンズ駆動ドライバ１０３は、例えばマイコンなどにより構成され、ＡＦ制御部１１３または情報処理装置２００から供給されたフォーカス制御情報に基づいて撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部１０１からの制御に従い、光学撮像系１０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
　撮像素子１０４は、撮像レンズを通して得られた被写体からの入射光を光電変換して電荷量に変換して撮像信号を出力する。そして、撮像素子１０４は画素信号を画像信号処理部１０５に出力する。撮像素子１０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
　撮像素子１０４は、通常画素であるＲ（Red）画素、Ｇ（Green）画素、Ｂ（Blue）画素と、位相差検出を行う位相差検出画素を有している。この位相差検出画素から出力される位相差情報を用いていわゆる位相差ＡＦ（Auto Focus）を行うことができる。位相差情報が特許請求の範囲におけるフォーカス関連情報に相当するものである。なお、位相差検出画素は位相差検出画素としてのみ機能し、通常画素としては機能しないものでもよいし、１つの画素が独立した２つのフォトダイオードで構成されていることにより撮像用および位相差検出用として機能するものでもよい。なお、位相差検出は位相差検出専用のＡＦセンサにより行ってもよい。
　本技術において、撮像装置１００自身がフォーカス制御情報を生成する第１のモードである場合、フォーカス関連情報としての位相差情報は検波部１１２に供給される。また、フォーカス制御情報の生成を情報処理装置２００が行う第２のモードである場合、位相差情報は情報処理装置２００に供給される。
　画像信号処理部１０５は撮像素子１０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つためのサンプルホールド、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、画像信号を作成する。また、画像信号処理部１０５は記録用の画像信号には記録用の処理を施し、表示用の画像信号には表示用の処理を施す。
　コーデック部１０６は、所定の処理が施された画像信号について、例えば記録用や通信用の符号化処理を行う。
　記憶部１０７は、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。画像信号処理部１０５およびコーデック部１０６により処理が施された映像データや画像データは所定の規格に基づいて圧縮状態または非圧縮状態で保存される。また、保存されたデータに関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）もそのデータに対応付けられて保存される。
　インターフェース１０８は他の装置やインターネットなどとの間のインターフェースである。インターフェース１０８は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＴＴＥなどのセルラー通信、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、イーサネット（登録商標）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、ＵＳＢ（Universal　Serial　Bus）などを含みうる。また、撮像装置１００と情報処理装置２００がハードウェア的に接続される場合、インターフェース１０８は、装置間の接続端子や、装置内のバスなどを含みうる（以下、これらを装置内のインターフェースともいう）。また、撮像装置１００と情報処理装置２００が複数の装置に分散して実現される場合、インターフェース１０８は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース１０８は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
　なお、撮像装置１００は、無線ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、ＷｉＦｉ（Wireless Fidelity）などインターネットおよび他の装置などと接続できる通信部を備えていてもよい。また、撮像装置１００と情報処理装置２００との通信はＮＦＣ（Near Field Communication）やZigBee（登録商標）などの近距離無線通信や、ＷｉＦｉテザリング、ＵＳＢ（Universal Serial Bus）テザリング、Bluetooth（登録商標）テザリングなどのテザリング接続でもよい。
　入力部１０９は撮像装置１００に対してユーザが各種指示など行うためのものである。入力部１０９に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部１０１に供給される。そして、制御部１０１はその制御信号に対応した各種処理を行う。入力部１０９としてはシャッタ入力のためのシャッタボタン、各種操作のための物理ボタンの他、タッチパネル、表示部１１０としてのディスプレイと一体に構成されたタッチスクリーンなどがある。
　表示部１１０は、表示用の処理が施された表示用の画像信号であるスルー画、記録用の画像処理が施されて記憶部１０７に保存された画像／映像、ＧＵＩ（Graphical User Interface）などを表示するディスプレイなどの表示デバイスである。
　マイクロホン１１１は録画の際に音声を収録するための集音デバイスである。
　検波部１１２は、撮像素子１０４から供給された位相差情報を用いてフォーカス位置を判定するＡＦ検波を実行してデフォーカス量を算出する。デフォーカス量はＡＦ制御部１１３に供給される。
　ＡＦ制御部１１３は、検波部１１２が算出したデフォーカス量に基づいて目標とする被写体に合焦するように、画角内のどこの位置（例えばＸＹの座標情報）にフォーカスを合わせるか、および、撮像装置１００のレンズ駆動ドライバ１０３がレンズをどれだけ動かすか、を示すフォーカス制御情報を生成する。フォーカス制御情報は撮像装置１００においてオートフォーカス制御を行うための情報である。
　第２のモードの場合、撮像装置１００はフォーカス関連情報として位相差情報を情報処理装置２００に送信する。
　撮像装置１００は以上のようにして構成されている。撮像装置１００としてはデジタルカメラ、一眼レフカメラ、カムコーダー、業務用カメラ、プロ仕様撮影機器などのカメラ機能に特化した装置の他、カメラ機能を備えるスマートフォン、タブレット端末、ウェアラブルデバイス、携帯ゲーム機などでもよい。
　なお、検波部１１２およびＡＦ制御部１１３は専用の装置として構成してもよいし、プログラムにより構成し、そのプログラムの実行により撮像装置１００がその機能を有するようにしてもよい。そのプログラムは予め撮像装置１００にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自ら撮像装置１００にインストールするようにしてもよい。
［１－４．情報処理装置２００の構成］
　次に図３を参照して情報処理装置２００の構成について説明する。情報処理装置２００は、制御部２０１、インターフェース２０２、検波部２０３、ＡＦ制御部２０４を備えて構成されている。
　情報処理装置２００は撮像装置１００が第２のモードである場合に、撮像装置１００から受信したフォーカス関連情報に基づいて撮像装置１００がオートフォーカスを行うためのフォーカス制御情報を生成して撮像装置１００に供給するものである。
　制御部３０１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成され、ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって情報処理装置２００の全体および各部の制御を行う。
　インターフェース１０８は他の装置やインターネットなどとの間のインターフェースである。インターフェース１０８は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＴＴＥなどのセルラー通信、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、イーサネット（登録商標）、ＨＤＭＩ（登録商標）、ＵＳＢなどを含みうる。また、撮像装置１００と情報処理装置２００がハードウェア的に接続される場合、インターフェース１０８は、装置間の接続端子や、装置内のバスなどを含みうる（以下、これらを装置内のインターフェースともいう）。また、撮像装置１００と情報処理装置２００が複数の装置に分散して実現される場合、インターフェース１０８は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェースは、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
　検波部２０３は、撮像装置１００から供給された位相差情報を用いてフォーカス位置を判定するＡＦ検波を実行してデフォーカス量を算出する。デフォーカス量はＡＦ制御部１１４に供給される。
　ＡＦ制御部２０４は、検波部２０３が算出したデフォーカス量に基づいて目標とする被写体に合焦するように、画角内のどこの位置（例えばＸＹの座標情報）にフォーカスを合わせるか、撮像装置１００のレンズ駆動ドライバ１０３がレンズをどれだけ動かすかを示すフォーカス制御情報を生成する。フォーカス制御情報は撮像装置１００に供給される。フォーカス制御情報は撮像装置１００がオートフォーカス制御を行うための情報である。
　情報処理装置２００は撮像装置１００よりもフォーカス制御情報の算出において性能が優れているものである。性能が優れているとは、例えば、処理を実行するＣＰＵが撮像装置１００のＣＰＵよりも高速処理が可能である、ＣＰＵの数が撮像装置１００よりも多い、ＲＡＭの容量が撮像装置１００が備えるものよりも大きい、フォーカスに特化した論理回路やアルゴリズムなどを有している、などの要素により定義される。情報処理装置２００はこれらのいずれか１つの要素により撮像装置１００よりも高性能であってもよいし、複数の要素により撮像装置１００よりも高性能であってもよい。
　情報処理装置２００は以上のようにして構成されている。情報処理装置２００はその機能を有するハードウェアによる専用の装置として構成されてもよい。情報処理装置２００はハードウェアによる専用装置として構成された場合、撮像装置１００と一体的に接続する構成にしてもよい。例えば図４に示すように情報処理装置２００を撮像装置１００に着脱可能な縦位置グリップとして構成した場合、携帯性とオートフォーカスの精度向上を両立させることができる。また、撮像装置１００と専用装置としての情報処理装置２００はＵＳＢなどによりインターフェースを介して有線接続されてもよい。また、情報処理装置２００は撮像装置１００内の基盤に組み込む回路などとして構成されてもよい。
　また、情報処理装置２００は専用の装置として構成されるのみでなく、プログラムにより構成され、そのプログラムの実行によりパーソナルコンピュータ、スマートフォン、タブレット端末などの端末装置が情報処理装置２００として機能してもよい。そのプログラムは予め端末装置にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自ら端末装置にインストールするようにしてもよい。
また、携帯性よりも情報処理装置２００のスペックを優先する場合、情報処理装置２００を図５に示すような大規模外部演算機器３００や、サーバ、クラウドなどにおいて構成し、ネットワークを介して接続してもよい。
［１－５．撮像システム１０における処理］
　次に図６のシーケンス図を参照して撮像システム１０における処理について説明する。
　通常、撮像装置１００は自身が生成したフォーカス制御情報に基づいてオートフォーカス制御を行う第１のモードで動作する。そこで、まずステップＳ１０１で、撮像装置１００は情報処理装置２００が生成したフォーカス制御情報でオートフォーカス制御を行う第２のモードに切り替える。モードへの切り替えはユーザによる入力部１０９への切り替え入力に基づいて行ってもよいし、撮像装置１００が自動で行ってもよい。撮像装置１００が第２のモードに切り替えられた場合、撮像装置１００からモード切替情報が情報処理装置２００に送信され、情報処理装置２００が動作モードになる。
　ユーザが第２のモードへの切り替えを指示する場合とは例えば、プロのスポーツの撮影や素早く動く動物の撮影など、長時間にわたって高速、高精度のオートフォーカスが求められるような場合である。このような場合、ユーザは撮影の開始時からモードを切り替えて情報処理装置２００においてフォーカス制御情報を算出するとよい。
　撮像装置１００が自動で第２のモードの切り替えを行う場合とは、所定の条件を満たした場合である。条件の第１の例は、撮像装置１００の撮影対象である被写体の速度が所定値以上の場合である。この場合、被写体の速度が速いため、撮像装置１００よりも処理能力に優れた情報処理装置２００でフォーカス制御情報を算出したほうが確実にオートフォーカスの精度を高めることができるからである。
　条件の第２の例は、オートフォーカスの成功率が所定値以下となった場合である。この場合、オートフォーカスの成功率を高めるためには撮像装置１００よりも処理能力に優れた情報処理装置２００でフォーカス制御情報を算出したほうが確実にフォーカスの成功率を高めることができるからである。
　条件の第３の例は、表示部１１０に表示されるスルー画のコントラストが所定値以下の場合である。この場合、コントラストが低い、すなわち撮影環境が暗いということであるため、撮像装置１００よりも処理能力に優れた情報処理装置２００でフォーカス制御情報を算出したほうが確実にオートフォーカスの精度を高めることができるからである。
　条件の第４の例は、オートフォーカスの対象となる被写体の候補の数が所定数以上の場合である。オートフォーカスの対象が多数ある場合、多数のフォーカス対象（例えば人の顔）の中から特定の顔を検出してオートフォーカスを行う必要があるため、撮像装置１００よりも処理能力に優れた情報処理装置２００でフォーカス制御情報を算出したほうが確実にオートフォーカスの精度を高めることができるからである。
　撮像装置１００が第２のモードに自動で切り替えるのは上述の条件のいずれか１つを満たした場合でもよいし、複数の条件を満たした場合でもよい。また、条件は上述の条件に限られず、高速で高精度なオートフォーカスが要求される条件であればどのような条件でもよい。
　シーケンス図の説明に戻る。次にステップＳ１０２で撮像装置１００はフォーカス関連情報としての位相差情報を取得する。そしてステップＳ１０３で撮像装置１００は位相差情報を情報処理装置２００に送信する。
　次にステップＳ１０４で、情報処理装置２００は位相差情報を受信する。次にステップＳ１０５で、情報処理装置２００はフォーカス関連情報に基づいてフォーカス制御情報を生成する。次にステップＳ１０６で、情報処理装置２００はフォーカス制御情報を撮像装置１００に送信する。
　そしてステップＳ１０６で、撮像装置１００は受信したフォーカス制御情報に基づき位相差ＡＦのオートフォーカス制御を行う。
　以上のようにして撮像システム１０における処理が行われる。なお、オートフォーカスは例えばユーザが被写体にレンズを向けてシャッタボタンを半押し状態において継続して行われるため、シャッタボタンが半押し状態の間、図６のシーケンス図の処理が繰り返し行われることになる。
　上述の実施の形態ではフォーカス関連情報として位相差情報を用いてフォーカス制御情報を生成していわゆる位相差ＡＦを行ったが、他のオートフォーカスの方式、例えばコントラストＡＦにも本技術は適用可能である。
　本技術をコントラストＡＦに適用する場合、撮像装置１００においてはフォーカス関連情報としての色情報を含む画像データがＡＦ制御部１１３に供給される。そしてＡＦ制御部１１３は、レンズ駆動ドライバ１０３に制御信号を送信し、レンズの位置を少しずつ変化させてピントをずらし、そのたびに色情報を含む画像データのコントラストを参照し、コントラストが最も高くなるレンズの位置を探索する。そしてコントラストが最も高いレンズの位置で特定の被写体にフォーカスを合わせるようにレンズ駆動ドライバ１０３を制御する。
　また、本技術をコントラストＡＦに適用する場合、情報処理装置２００は、撮像装置１００から色情報を含む画像データを受信する。そして情報処理装置２００のＡＦ制御部２０４は、色情報を含む画像データのコントラストを参照し、コントラストが最も高くなるように撮像装置１００のレンズの位置を変化させるためのフォーカス制御情報を生成して撮像装置１００に送信する。
　撮像装置１００はフォーカス制御情報に従いレンズの位置を変化させ、そのたびに色情報を含む画像データを情報処理装置２００に送信する。そして再び情報処理装置２００のＡＦ制御部２０４は、色情報を含む画像データのコントラストを参照し、コントラストが最も高くなるように撮像装置１００のレンズの位置を変化させるためのフォーカス制御情報を生成して撮像装置１００に送信する。
　これを繰り返すことによりコントラストが最も高くなるレンズの位置を探索し、コントラストが最も高いレンズの位置で特定の被写体にフォーカスを合わせるようにフォーカス制御情報を生成して撮像装置１００に送信する。そして、撮像装置１００はそのフォーカス制御情報に従いレンズ駆動ドライバ１０３でレンズを動かして特定の被写体にフォーカスを合わせる。
　色情報としてはＲＧＢの色情報、輝度情報、明暗の差情報、色差情報などがある。
　なお、位相差情報を用いた位相差ＡＦと色情報を用いたコントラストＡＦと併用してもよい。この場合、撮像装置１００から情報処理装置２００に対してフォーカス関連情報として位相差情報と色情報を送信する必要がある。
　本技術は以上のようにして構成されている。本技術によれば、撮像装置１００を単体で使用する場合よりも高速で高精度なオートフォーカスを実現することができる。
＜２．第２の実施の形態＞
［２－１．撮像装置１００の構成］
　次に本技術の第２の実施の形態について説明する。第１の実施の形態では情報処理装置２００は撮像装置１００によるオートフォーカス制御のためのフォーカス制御情報を生成したが、第２の実施の形態では撮像装置１００の被写体追尾制御のためにフォーカス制御情報を生成する。
　図７に第２の実施の形態のおける撮像装置１００の構成を示す。撮像装置１００はさらに被写体検出部１２１、追尾制御部１２２を備える。その他の構成は第１の実施の形態と同様であるため説明を省略する。
　被写体検出部１２１は、撮影により生成された画像データから公知の被写体検出処理により特定の被写体を検出するものである。公知の被写体認識技術としては、テンプレートマッチングによる方法、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法、人工知能を用いる方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。被写体検出情報は特許請求の範囲におけるフォーカス関連情報に相当するものである。
　検波部１１２は、第１の実施の形態と同様に、撮像素子１０４から供給された位相差情報を用いてフォーカス位置を判定するＡＦ検波を実行し、デフォーカス量を算出する。デフォーカス量は追尾制御部１２２に供給される。
　追尾制御部１２２は、検波部１１２が算出したデフォーカス量に基づいて、被写体検出部１２１が検出した追尾対象である被写体に合焦するように、画角内のどこの位置（例えばＸＹの座標情報）にフォーカスを合わせるか、撮像装置１００のレンズ駆動ドライバ１０３がレンズをどれだけ動かすかを示すフォーカス制御情報を生成する。フォーカス制御情報はレンズ駆動ドライバ１０３に供給される。このフォーカス制御情報に基づきレンズ駆動ドライバ１０３がレンズを駆動させて被写体にフォーカスを合わせ続けることにより被写体を追尾する。フォーカス制御情報は撮像装置１００において追尾制御を行うための情報である。
　第２のモードの場合、撮像装置１００はフォーカス関連情報として被写体検出情報と位相差情報を情報処理装置２００に送信する。
［２－２．情報処理装置２００の構成］
　図８に第２の実施の形態における情報処理装置２００の構成を示す。情報処理装置２００はさらに追尾制御部２２２を備える。その他の構成は第１の実施の形態と同様であるため説明を省略する。
　検波部２０３は、撮像装置１００が備えるものと同様のものであり、撮像装置１００から供給された位相差情報を用いてフォーカス位置を判定するＡＦ検波を実行し、デフォーカス量を算出する。デフォーカス量は追尾制御部２２２に供給される。
　追尾制御部２２２は、撮像装置１００が備えるものと同様のものであり、検波部２０３が算出したデフォーカス量に基づいて、被写体検出情報で示される追尾対象である被写体に合焦するように、フォーカス制御情報を生成する。フォーカス制御情報は撮像装置１００に供給される。このフォーカス制御情報に基づき撮像装置１００のレンズ駆動ドライバ１０３がレンズを駆動させて被写体にフォーカスを合わせ続けることにより被写体を追尾する。フォーカス制御情報は撮像装置１００において追尾制御を行うための情報である。
　第２の実施の形態における撮像装置１００と情報処理装置２００は以上のように構成されている。
［２－４．撮像システム１０における処理］
　次に図９のシーケンス図を参照して撮像システム１０における処理について説明する。通常、撮像装置１００は自身が生成したフォーカス制御情報に基づいて被写体追尾制御を行う第１のモードで動作する。そこで、まずステップＳ２０１で、撮像装置１００は情報処理装置２００が生成したフォーカス制御情報で被写体追尾制御を行う第２のモードに切り替える。ユーザによる第２のモードへの切り替え、第２のモードへの自動切り替えは第１の実施の形態と同様である。
　次にステップＳ２０２で撮像装置１００の被写体検出部１２１が追尾対象でとなる被写体を検出する。被写体検出情報はフォーカス関連情報である。次にステップＳ２０３で撮像装置１００はフォーカス関連情報としての位相差情報を取得する。そしてステップＳ２０４で撮像装置１００は被写体検出情報と位相差情報を情報処理装置２００に送信する。
　次にステップＳ２０５で、情報処理装置２００は被写体検出情報と位相差情報を受信する。次にステップＳ２０６で、情報処理装置２００は被写体検出情報と位相差情報に基づいて追尾対象である被写体にフォーカスを合わせ続けて追尾するためのフォーカス制御情報を生成する。次にステップＳ２０７で、情報処理装置２００はフォーカス制御情報を撮像装置１００に送信する。
　そしてステップＳ２０８で、撮像装置１００は受信したフォーカス制御情報に基づき位相差ＡＦで被写体にフォーカスを合わせ続けることにより被写体を追尾する制御を行う。
　以上のようにして撮像システム１０における処理が行われる。なお、被写体追尾は例えばユーザが被写体にレンズを向けてシャッタボタン半押しなど、所定の追尾指示入力がなされている状態において継続して行われるため、その追尾指示が継続する間、図９のシーケンス図の処理が繰り返し行われることになる。
　なお、第２の実施の形態においては、第１の実施の形態と同様に色情報を用いたコントラストＡＦで追尾する被写体にフォーカスを合わせてもよい。
　なお、情報処理装置２００も被写体検出部を備え、撮像装置１００から情報処理装置２００に画像データを送信し、情報処理装置２００が追尾対象である被写体を検出するようにしてもよい。
　この第２の実施の形態によれば、別装置である情報処理装置２００を用いることで撮像装置１００において高速かつ高精度な被写体追尾制御を実現することができる。
　具体的な効果としては、例えば、子供の運動会で群衆の中から自分の子供だけを追尾してフォーカスを合わせ続けることができる。また、野鳥など素早く動く動物を追尾してフォーカスを合わせ続けることができる。さらに、スポーツの撮影において、長時間にわたって特定の選手を追尾してフォーカスを合わせ続けることができる。また、特定の位置における特定のシーン、例えばサッカーにおけるゴール付近で選手がシュートするシーンを狙ってフォーカスを正確に合わせるということも可能になる。
＜３．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　実施の形態では位相差情報をフォーカス関連情報として撮像装置１００から情報処理装置２００に送信したが、撮像装置１００はデフォーカス量をフォーカス関連情報として情報処理装置２００に送信してもよい。
　実施の形態では一の撮像装置１００に一の情報処理装置２００を接続したが、一の情報処理装置２００に対して複数の撮像装置１００を接続してもよい。
　この場合図１０に示すように、情報処理装置２００が複数の撮像装置１００のそれぞれからフォーカス関連情報を受信し、複数の撮像装置１００のそれぞれに応じたフォーカス制御情報を生成して各撮像装置１００に送信してもよい。
　また図１１に示すように、複数の撮像装置１００からそれぞれ受信したフォーカス関連情報に基づいてフォーカス制御情報を生成し、そのフォーカス制御情報を各撮像装置１００ではなく特定の撮像装置１００にのみ送信するようにしてもよい。
　また、撮像装置１００が複数である場合、情報処理装置２００は各撮像装置１００から撮影画像を受信してステレオ視を構成し、三角測量を用いて特定の被写体までの３次元距離の計測を行ってもよい。そして、その３次元距離に基づき複数の撮像装置１００の中から被写体に最も近い撮像装置１００を特定し、その被写体に最も近い撮像装置１００でオートフォーカスを行い撮影する、ということも可能になる。
　さらに、撮像装置１００が複数台である場合、１つの情報処理装置２００を介してそれら複数の撮像装置１００間で追尾対象である被写体の情報とフォーカス制御情報を共有することにより、単体の撮像装置１００の画角以上の範囲の撮影が可能となる。例えば、被写体が撮像装置１００の前を横切るような動きをする場合、撮像装置１００が一台だと、被写体が容易に画角外に外れてしまいフレームアウトしてしまう。しかし、複数台の撮像装置１００を連なるように配置し、情報処理装置２００を介して被写体の情報とフォーカス制御情報を共有することにより、被写体が一の撮像装置１００の画角から外れても他の撮像装置１００の画角内でその被写体を追尾して撮像装置１００単体以上の画角の撮影が可能となる。
　実施の形態では撮像装置１００と情報処理装置２００のいずれかでフォーカス制御情報の算出を行ったが、撮像装置１００と情報処理装置２００を併用してフォーカス制御情報の算出を行ってもよい。撮像装置１００と情報処理装置２００を併用する場合、情報処理装置２００のみでフォーカス制御情報を算出する場合に比べて情報処理装置２００における電力消費量を抑制することができる。
　また、サーバにおいて構成した情報処理装置２００と撮像装置１００とをネットワークで接続することにより、監視カメラなどに用いられるいわゆるネットワークカメラにも本技術を適用することができる。
　本技術は以下のような構成も取ることができる。
（１）
　撮像装置からフォーカス関連情報を受信し、前記フォーカス関連情報に基づいてフォーカス制御情報を生成し、前記フォーカス制御情報を前記撮像装置に送信する
情報処理装置。
（２）
　前記フォーカス関連情報は位相差情報である（１）に記載の情報処理装置。
（３）
　前記フォーカス関連情報は色情報である（１）または（２）に記載の情報処理装置。
（４）
　前記フォーカス関連情報は被写体検出情報である（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記フォーカス制御情報は、前記撮像装置においてオートフォーカス制御を行うための情報である（１）から（４）のいずれかに記載の情報処理装置。
（６）
　前記フォーカス制御情報は、前記撮像装置において被写体追尾制御を行うための情報である（１）から（５）のいずれかに記載の情報処理装置。
（７）
　複数の前記撮像装置から受信した前記フォーカス関連情報に基づいてそれぞれ生成した複数の前記フォーカス制御情報を複数の前記撮像装置に送信する（１）から（６）のいずれかに記載の情報処理装置。
（８）
　前記撮像装置に対して着脱可能に構成されている（１）から（７）のいずれかに記載の情報処理装置。
（９）
　撮像装置から受信したフォーカス関連情報に基づいてフォーカス制御情報を生成し、前記フォーカス制御情報を前記撮像装置に送信する
情報処理方法。
（１０）
　撮像装置から受信したフォーカス関連情報に基づいてフォーカス制御情報を生成し、前記フォーカス制御情報を前記撮像装置に送信する
情報処理方法をコンピュータに実行させる情報処理プログラム。
（１１）
　フォーカス関連情報を情報処理装置に送信し、前記情報処理装置において前記フォーカス関連情報に基づいて生成され、前記情報処理装置から送信されたフォーカス制御情報を受信する
撮像装置。
（１２）
　前記フォーカス関連情報は位相差情報である（１１）に記載の情報処理装置。
（１３）
　前記フォーカス関連情報は色情報である（１１）または（１２）に記載の情報処理装置。
（１４）
　前記フォーカス関連情報は被写体検出情報である（１１）から（１３）のいずれかに記載の情報処理装置。
（１５）
　前記フォーカス制御情報に基づいてオートフォーカス制御を行う（１１）から（１４）のいずれかに記載の撮像装置。
（１６）
　前記フォーカス制御情報に基づいて被写体追尾制御を行う（１１）から（１５）のいずれかに記載の撮像装置。
（１７）
　フォーカス関連情報を情報処理装置に送信し、前記情報処理装置において前記フォーカス関連情報に基づいて生成され、前記情報処理装置から送信されたフォーカス制御情報を受信する
撮像装置の制御方法。
（１８）
　フォーカス関連情報を情報処理装置に送信し、前記情報処理装置において前記フォーカス関連情報に基づいて生成され、前記情報処理装置から送信されたフォーカス制御情報を受信する
撮像装置の制御方法をコンピュータに実行させる制御プログラム。
（１９）
　フォーカス関連情報を情報処理装置に送信し、前記情報処理装置において前記フォーカス関連情報に基づいて生成され、前記情報処理装置から送信されたフォーカス制御情報を受信する撮像装置と、
　前記撮像装置からフォーカス関連情報を受信し、前記フォーカス関連情報に基づいてフォーカス制御情報を生成し、前記フォーカス制御情報を前記撮像装置に送信する
情報処理装置と、
からなる撮像システム。
１００・・・撮像装置
２００・・・情報処理装置

Claims (19)

  1. 　撮像装置からフォーカス関連情報を受信し、前記フォーカス関連情報に基づいてフォーカス制御情報を生成し、前記フォーカス制御情報を前記撮像装置に送信する
    情報処理装置。
  2. 　前記フォーカス関連情報は位相差情報である
    請求項１に記載の情報処理装置。
  3. 　前記フォーカス関連情報は色情報である
    請求項１に記載の情報処理装置。
  4. 　前記フォーカス関連情報は被写体検出情報である
    請求項１に記載の情報処理装置。
  5. 　前記フォーカス制御情報は、前記撮像装置においてオートフォーカス制御を行うための情報である
    請求項１に記載の情報処理装置。
  6. 　前記フォーカス制御情報は、前記撮像装置において被写体追尾制御を行うための情報である
    請求項１に記載の情報処理装置。
  7. 　複数の前記撮像装置から受信した前記フォーカス関連情報に基づいてそれぞれ生成した複数の前記フォーカス制御情報を複数の前記撮像装置に送信する
    請求項１に記載の情報処理装置。
  8. 　前記撮像装置に対して着脱可能に構成されている
    請求項１に記載の情報処理装置。
  9. 　撮像装置から受信したフォーカス関連情報に基づいてフォーカス制御情報を生成し、前記フォーカス制御情報を前記撮像装置に送信する
    情報処理方法。
  10. 　撮像装置から受信したフォーカス関連情報に基づいてフォーカス制御情報を生成し、前記フォーカス制御情報を前記撮像装置に送信する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
  11. 　フォーカス関連情報を情報処理装置に送信し、前記情報処理装置において前記フォーカス関連情報に基づいて生成され、前記情報処理装置から送信されたフォーカス制御情報を受信する
    撮像装置。
  12. 　前記フォーカス関連情報は位相差情報である
    請求項１１に記載の情報処理装置。
  13. 　前記フォーカス関連情報は色情報である
    請求項１１に記載の情報処理装置。
  14. 　前記フォーカス関連情報は被写体検出情報である
    請求項１１に記載の情報処理装置。
  15. 　前記フォーカス制御情報に基づいてオートフォーカス制御を行う
    請求項１１に記載の撮像装置。
  16. 　前記フォーカス制御情報に基づいて被写体追尾制御を行う
    請求項１１に記載の撮像装置。
  17. 　フォーカス関連情報を情報処理装置に送信し、前記情報処理装置において前記フォーカス関連情報に基づいて生成され、前記情報処理装置から送信されたフォーカス制御情報を受信する
    撮像装置の制御方法。
  18. 　フォーカス関連情報を情報処理装置に送信し、前記情報処理装置において前記フォーカス関連情報に基づいて生成され、前記情報処理装置から送信されたフォーカス制御情報を受信する
    撮像装置の制御方法をコンピュータに実行させる制御プログラム。
  19. 　フォーカス関連情報を情報処理装置に送信し、前記情報処理装置において前記フォーカス関連情報に基づいて生成され、前記情報処理装置から送信されたフォーカス制御情報を受信する撮像装置と、
    　前記撮像装置からフォーカス関連情報を受信し、前記フォーカス関連情報に基づいてフォーカス制御情報を生成し、前記フォーカス制御情報を前記撮像装置に送信する
    情報処理装置と、
    からなる撮像システム。
PCT/JP2021/004585 2020-02-14 2021-02-08 情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システム WO2021161959A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-023031 2020-02-14
JP2020023031 2020-02-14

Publications (1)

Publication Number Publication Date
WO2021161959A1 true WO2021161959A1 (ja) 2021-08-19

Family

ID=77292228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004585 WO2021161959A1 (ja) 2020-02-14 2021-02-08 情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システム

Country Status (1)

Country Link
WO (1) WO2021161959A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101849A (ja) * 2001-09-20 2003-04-04 Nikon Gijutsu Kobo:Kk デジタルカメラシステム、制御装置、およびデジタルカメラ
JP2007312297A (ja) * 2006-05-22 2007-11-29 Fujifilm Corp カメラ
JP2014206583A (ja) * 2013-04-11 2014-10-30 オリンパス株式会社 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム
JP2017194655A (ja) * 2016-04-22 2017-10-26 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2019033308A (ja) * 2017-08-04 2019-02-28 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP2019219529A (ja) * 2018-06-20 2019-12-26 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101849A (ja) * 2001-09-20 2003-04-04 Nikon Gijutsu Kobo:Kk デジタルカメラシステム、制御装置、およびデジタルカメラ
JP2007312297A (ja) * 2006-05-22 2007-11-29 Fujifilm Corp カメラ
JP2014206583A (ja) * 2013-04-11 2014-10-30 オリンパス株式会社 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム
JP2017194655A (ja) * 2016-04-22 2017-10-26 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2019033308A (ja) * 2017-08-04 2019-02-28 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP2019219529A (ja) * 2018-06-20 2019-12-26 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Similar Documents

Publication Publication Date Title
US9992421B2 (en) Image pickup apparatus having FA zoom function, method for controlling the apparatus, and recording medium
JP5394296B2 (ja) 撮像装置及び画像処理方法
US9667856B2 (en) Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
US8743270B2 (en) Focus adjustment apparatus and focus adjustment method
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
JP2008009263A (ja) 撮像装置及びそのプログラム
JP2012002951A (ja) 撮像装置、合焦位置検出方法および合焦位置検出プログラム
JP2010199694A (ja) 撮像装置、画角調節方法、及び、プログラム
JP2009169282A (ja) 撮像装置及びそのプログラム
JP6300076B2 (ja) 撮像装置、撮像方法及びプログラム
US10313602B2 (en) Image capture apparatus and method for controlling the same
JP7131541B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2021161959A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システム
JP6105917B2 (ja) 焦点調節装置及び方法、及び撮像装置
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP2013242408A (ja) 撮像装置およびその制御方法
JP6305016B2 (ja) フォーカス制御装置、フォーカス制御装置の制御方法及び撮像装置
JP5320937B2 (ja) 焦点検出装置および撮像装置
US11968445B2 (en) Control apparatus for detecting and displaying line-of-sight position, control method thereof, and recording medium
JP2019216398A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP2018113624A (ja) 撮像装置、及び撮像装置の制御方法
JP2013213875A (ja) 焦点調節装置、撮像装置、及び焦点調節プログラム
JP5938268B2 (ja) 撮像装置およびその制御方法
US20150156408A1 (en) Imaging apparatus, method for controlling the same, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21754003

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21754003

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP