WO2024057974A1 - 情報処理装置、情報処理方法 - Google Patents

情報処理装置、情報処理方法 Download PDF

Info

Publication number
WO2024057974A1
WO2024057974A1 PCT/JP2023/032083 JP2023032083W WO2024057974A1 WO 2024057974 A1 WO2024057974 A1 WO 2024057974A1 JP 2023032083 W JP2023032083 W JP 2023032083W WO 2024057974 A1 WO2024057974 A1 WO 2024057974A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
processing
control unit
phase difference
Prior art date
Application number
PCT/JP2023/032083
Other languages
English (en)
French (fr)
Inventor
慎介 米長
亮吾 伊藤
純 鈴木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024057974A1 publication Critical patent/WO2024057974A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present technology relates to an information processing device and an information processing method, and particularly relates to a technology for adding meta information to an image.
  • Patent Document 1 discloses that an image shift amount is calculated from a viewpoint image generated based on pixel signals output by a plurality of sub-pixels that receive light beams that have passed through a pupil partial region, and the image shift amount is converted into a defocus amount. It is described that a conversion coefficient is calculated, and at least two of the conversion coefficient, the amount of image shift, and the amount of defocus are associated with an image and recorded on a recording medium as metadata.
  • Patent Document 1 With the technology described in Patent Document 1, it is possible to perform various image processing using the conversion coefficient, image shift amount, or defocus amount recorded as metadata. However, if the amount of metadata added to an image is increased, problems may occur, such as the image not being able to be completely recorded on the recording medium while the image is being captured.
  • the present technology was developed in view of the above circumstances, and its purpose is to appropriately add meta information according to image processing performed on an image.
  • the information processing device generates phase difference information based on a signal output from a phase difference detection pixel and a movement of the imaging device, depending on the content of image processing performed on an image obtained by the imaging device.
  • the image forming apparatus includes a control unit that controls adding meta information including at least one of motion information related to the image to the image. Thereby, the information processing device can add meta information necessary for the image processing to be performed to the image.
  • FIG. 1 is a diagram showing the configuration of a meta information provision system as an embodiment of the present technology.
  • FIG. 2 is a diagram showing the configuration of the imaging device.
  • FIG. 3 is a block diagram showing the internal configuration of the imaging device and the interchangeable lens.
  • FIG. 4 is a diagram showing the configuration of the image sensor.
  • FIG. 5 is a functional block diagram of the body-side control section.
  • FIG. 6 is a block diagram showing the configuration of the computer.
  • FIG. 7 is a functional block diagram of the control section.
  • FIG. 8 is a diagram illustrating the data structure of an image obtained by the imaging device.
  • FIG. 9 is a diagram illustrating the relationship between meta information and image processing.
  • FIG. 10 is a diagram illustrating background composition processing.
  • FIG. 11 is a diagram illustrating the background composition process.
  • FIG. 10 is a diagram illustrating background composition processing.
  • FIG. 12 is a diagram illustrating background composition processing.
  • FIG. 13 is a diagram illustrating focus map generation processing.
  • FIG. 14 is a diagram illustrating background blurring processing.
  • FIG. 15 is a diagram illustrating an overview of the live distribution service.
  • FIG. 16 is a sequence chart showing the flow of the live distribution service.
  • FIG. 17 is a flowchart showing the flow of quality processing content determination processing.
  • FIG. 18 is a diagram showing an example of a UI screen.
  • FIG. 19 is a diagram illustrating the priority of image processing.
  • FIG. 20 is a diagram showing a sequence chart of the automatic editing service.
  • FIG. 21 is a sequence chart showing the flow of news service.
  • FIG. 22 is a diagram showing an example of a UI screen of a modified example.
  • Meta information adding system > ⁇ 2.
  • an "image” mainly refers to a moving image, but may also be a still image. Furthermore, the term “image” does not only refer to the state displayed on the display section, but also refers to image data that is not displayed on the display section.
  • FIG. 1 is a diagram showing the configuration of a meta information provision system 1 as an embodiment of the present technology. As shown in FIG. 1, the meta information provision system 1 includes an imaging device 2, a smartphone 4, and a computer 5.
  • the imaging device 2 can add meta information to an image obtained by capturing an incident subject image through the interchangeable lens 3 including the focus lens 16 (see FIG. 3).
  • “assigning” means making meta information usable when performing image processing on an image. Therefore, when meta information is added to an image, the image and meta information may be recorded on a recording medium as one file or the like, or may be transmitted to another device (computer 5). Furthermore, the image and meta information may be recorded on separate recording media (or separate recording areas on the same recording medium), or may be transmitted separately to another device (computer 5). Good too.
  • the smartphone 4 can communicate with the imaging device 2 and the computer 5 wirelessly or by wire.
  • the smartphone 4 functions as a relay device when the imaging device 2 and the computer 5 communicate. Therefore, the imaging device 2 and the computer 5 can communicate via the smartphone 4.
  • the computer 5 is, for example, a personal computer, a mobile terminal device, a tablet terminal device, or the like, and is capable of acquiring images and meta information from the imaging device 2 .
  • the computer 5 may be the imaging device 2 or the smartphone 4.
  • the computer 5 may be a server or the like that performs cloud computing. In this case, the computer 5 acquires the image and meta information transmitted from the imaging device 2 via the smartphone 4 via the network.
  • the computer 5 performs services such as performing predetermined image processing on the image and transmitting (distributing) the processed image to other devices based on meta information added to the image.
  • service means providing an image that has been subjected to image processing to a user or an unspecified number of others.
  • Examples of “services” include a live distribution service that distributes images captured by the imaging device 2 in real time, an automatic editing service that automatically edits images captured by the imaging device 2, and images captured by the imaging device 2. Examples include services for the press that allow the use of information in news reports.
  • FIG. 1 Although only one computer 5 is shown in FIG. 1, one computer 5 may be provided for each service provided.
  • FIG. 2 is a diagram showing the configuration of the imaging device 2.
  • the imaging device 2 (body) is configured as a digital camera device in which an interchangeable lens 3 is configured to be detachably attached.
  • the imaging device 2 has not only a still image imaging function but also a moving image imaging function.
  • the imaging device 2 includes an imaging device 55 that captures a subject image incident through the interchangeable lens 3, and a display capable of displaying the captured image obtained by the imaging device 55 and a GUI such as various operation screens. 61, an operation section 65 for the user to input various operations, and the like.
  • the imaging device 2 also includes, for example, a configuration for recording images captured by the image sensor 55, a configuration for performing image signal processing on images captured by the image sensor 55, a configuration for communicating with the interchangeable lens 3, etc. It is equipped with
  • the interchangeable lens 3 is a lens unit in which various lenses such as a focus lens and a zoom lens are provided. Further, the interchangeable lens 3 includes a drive unit that drives these lenses, a control unit that outputs a drive signal to the drive unit, a mount unit that has a connection function and a communication function with respect to the imaging device 2, and the like.
  • FIG. 3 is a block diagram showing the internal configuration of the imaging device 2 and the interchangeable lens 3.
  • the interchangeable lens 3 includes a mount section 11 that is detachably attached to a mount section 51 of the imaging device 2. As shown in FIG. The mount section 11 has a plurality of terminals for electrical connection to the imaging device 2.
  • the interchangeable lens 3 also includes a lens side control section 12, a zoom lens 13, an image stabilization lens 14, an aperture 15, a focus lens 16, a detection section 17, an operation section 31, a memory 32, and a power supply control section 33.
  • the interchangeable lens 3 includes a zoom lens drive section 21, a camera shake control section 22, an aperture control section 23, and a focus lens drive section 24.
  • the lens-side control unit 12 is configured to include, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc. Overall control of the interchangeable lens 3 is performed by reading a program stored in the storage device into the RAM and executing it.
  • a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the lens-side control unit 12 controls the position of the zoom lens 13 based on an instruction from the imaging device 2 supplied via a predetermined communication terminal of the mount unit 11 or a user operation received by the operation unit 31. Control. Specifically, the lens-side control unit 12 acquires the current position of the zoom lens 13 detected by the detection unit 17, which includes, for example, a magnetic sensor (MR sensor). Then, the lens-side control unit 12 determines a drive direction and a drive amount for moving the zoom lens 13 to a predetermined position based on the obtained result, and sends the determined drive direction and drive amount to the zoom lens drive unit along with a movement command. Output to 21. The zoom lens drive section 21 moves the zoom lens 13 in the optical axis direction based on the movement command supplied from the lens side control section 12 so as to achieve the instructed drive direction and drive amount.
  • the detection unit 17 includes, for example, a magnetic sensor (MR sensor).
  • the lens-side control unit 12 determines a drive direction and a drive amount for moving the zoom lens 13 to a predetermined
  • the detection unit 17 comprehensively represents the configuration for detecting the status of the interchangeable lens 3, such as the positions of the zoom lens 13, image stabilization lens 14, and focus lens 16, and the aperture diameter of the diaphragm 15. be.
  • the position of the lens can be detected using, for example, a magnetic sensor, a photodiode array, a potentiometer, a reflective encoder, or the like.
  • the detection unit 17 includes a motion sensor 17a.
  • the motion sensor 17a detects the motion of the imaging device 2.
  • the motion sensor 17a is an acceleration sensor that detects acceleration in three axes directions perpendicular to each other including the optical axis direction, and an acceleration sensor that detects acceleration in three axes directions perpendicular to each other, including the optical axis direction, and an angular velocity sensor around the three axes (pitch, yaw, roll). )) includes a gyro sensor that detects the The motion sensor 17a detects acceleration and angular velocity, for example, in synchronization with frames constituting a moving image obtained by the imaging device 2 (at the same intervals as the frames).
  • the lens-side control unit 12 performs a process of transmitting the acceleration and angular velocity detected by the motion sensor 17a to the imaging device 2 as motion information.
  • the lens-side control unit 12 controls the camera shake correction lens 14 to correct camera shake. Specifically, the lens-side control unit 12 determines the driving direction and drive amount of the image stabilization lens 14 in the direction of canceling the amount of camera shake based on the amount of movement (the amount of camera shake) of the imaging device 2 detected by the motion sensor 17a. Then, the determined drive direction and drive amount are output to the camera shake control unit 22 along with the movement command. The camera shake control unit 22 moves the camera shake correction lens 14 based on the movement command supplied from the lens side control unit 12 so as to achieve the instructed drive direction and drive amount.
  • the lens-side control unit 12 performs control to mechanically lock the image stabilization lens 14 when the power supply is turned off.
  • the camera shake correction lens 14 is maintained at a predetermined position under control via the camera shake control unit 22 while power is being supplied from the imaging device 2 to the interchangeable lens 3 .
  • the position control by the camera shake control section 22 is stopped, so the camera shake correction lens 14 falls by a predetermined amount in the direction of gravity. Therefore, the lens-side control section 12 mechanically locks the image stabilization lens 14 via the image stabilization control section 22 in accordance with the timing when the power supply is turned off, thereby preventing the lens from falling.
  • the camera shake control unit 22 mechanically locks the camera shake correction lens 14 based on the fixing command supplied from the lens side control unit 12 .
  • the lens-side control unit 12 controls (the aperture diameter of) the diaphragm 15 in accordance with instructions from the imaging device 2 supplied via a predetermined communication terminal of the mount unit 11 . Specifically, the lens side control unit 12 acquires the aperture diameter of the aperture 15 detected by the aperture detection sensor in the detection unit 17, and instructs the aperture control unit 23 to obtain the F value instructed by the imaging device 2. A command is issued to drive the aperture 15. The diaphragm control section 23 drives the diaphragm 15 to achieve the aperture diameter instructed by the lens-side control section 12.
  • the lens-side control section 12 controls the position of the focus lens 16 based on instructions from the imaging device 2 supplied via a predetermined communication terminal of the mount section 11 .
  • the imaging device 2 instructs the lens-side control unit 12 about the target focus lens position.
  • the lens-side control unit 12 acquires the current position of the focus lens 16 from the detection unit 17 and sets the focus lens 16 as a target based on the acquired current position and the target focus lens position instructed by the imaging device 2. Determine the drive direction and drive amount for moving to the position. Then, the lens-side control unit 12 outputs the determined drive direction and drive amount to the focus lens drive unit 24 along with a movement command.
  • the focus lens drive section 24 moves the focus lens 16 in the optical axis direction so as to achieve the instructed drive direction and drive amount.
  • the focus lens 16 is configured as a "focus lens group” including one or more optical elements.
  • these optical elements are integrally displaced during focus adjustment.
  • this also applies to the zoom lens 13. That is, the zoom lens 13 is configured as a "zoom lens group” including one or more optical elements, and when the zoom lens group includes a plurality of optical elements, these optical elements are integrated as a zoom adjustment. It becomes something that is displaced.
  • the zoom lens 13 and the focus lens 16 each include one zoom lens group and one focus lens group, but it is also possible to configure each of them to include a plurality of zoom lens groups and a plurality of focus lens groups. be.
  • the focus lens drive unit 24 can be configured to include, for example, an ultrasonic motor, a DC motor, a linear actuator, a stepping motor, a piezo element (piezoelectric element), etc. as a lens drive source.
  • the memory 32 is composed of a non-volatile memory such as an EEPROM (Electrically Erasable Programmable), and can be used to store operation programs for the lens-side control unit 12 and various data.
  • EEPROM Electrically Erasable Programmable
  • the power supply control unit 33 detects the amount of power of the power supply supplied from the imaging device 2, and controls the power to each part of the interchangeable lens 3 (the lens-side control unit 12 and various drive units) based on the detected amount of power. Supply power by optimally distributing the amount.
  • the imaging device 2 on the body side is provided with a mount portion 51 to which the interchangeable lens 3 is removably attached.
  • the mount portion 51 has a plurality of terminals for electrical connection to the mount portion 11 of the interchangeable lens 3.
  • the terminals to be connected include, for example, a terminal for supplying power (power supply terminal), a terminal for transmitting commands and data (communication terminal), a terminal for transmitting a synchronization signal (synchronization signal terminal), etc. be.
  • the imaging device 2 further includes a body-side control section 52, a shutter 53, a shutter control section 54, an image sensor 55, an ADC (Analog to Digital Converter) 56, a frame memory 57, an image signal processing section 58, a recording section 59, and a recording medium.
  • the power supply control section 63 supplies power supplied from the power supply section 64 to each section of the imaging device 2 including the body-side control section 52. Further, the power supply control unit 63 calculates the amount of power supply that can be supplied to the interchangeable lens 3 based on the operating state of the imaging device 2, and supplies power to the interchangeable lens 3 via the mount unit 51.
  • the power supply unit 64 includes, for example, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery. Note that the power supply section 64 can also be configured to be able to receive power supply from a commercial AC power source via an AC adapter or the like.
  • the body-side control unit 52 is configured with a microcomputer having a CPU, ROM, RAM, etc., and the CPU reads a program stored in a predetermined storage device such as the ROM or memory 62 into the RAM and executes the program. Performs overall control of the imaging device 2 and the interchangeable lens 3.
  • the memory 62 is composed of a non-volatile memory such as an EEPROM, and can be used to store operating programs for the body-side control section 52 and various data.
  • the body-side control unit 52 causes the image sensor 55 to perform imaging processing based on the operation signal representing the user's operation supplied from the operation unit 65. Furthermore, a predetermined command is transmitted to the interchangeable lens 3 side via the mount section 51 to drive the focus lens 16, zoom lens 13, etc.
  • the shutter 53 is arranged in front of the image sensor 55 (on the subject side), and opens and closes under the control of the shutter control section 54.
  • the shutter control section 54 detects the open/closed state of the shutter 53 and supplies information indicating the detection result to the body-side control section 52.
  • the shutter control section 54 drives the shutter 53 to an open state or a closed state based on the control of the body side control section 52.
  • the image sensor 55 is configured as an image sensor using, for example, a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor, and outputs a light reception signal obtained by imaging a subject.
  • a CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • an electronic shutter can be used, so the shutter 53 can be omitted.
  • the shutter control section 54 used for its control is also omitted.
  • FIG. 4 is a diagram showing the configuration of the image sensor 55. Note that in FIG. 4, for convenience of explanation, individual illustrations of the RGB pixels 55a are omitted.
  • the image sensor 55 includes a pixel 55a for image capturing (RGB pixel) and a pixel for acquiring detection information used for AF processing using the image plane phase difference method, that is, a pixel for acquiring detection information used for AF processing using the image plane phase difference method. It has a pair of photoelectric conversion units (diodes) into which the pupil-divided light enters, and a phase difference detection pixel 55b for detecting a phase difference between a pair of images generated by the pair of photoelectric conversion units.
  • the RGB pixels 55a are two-dimensionally arranged in the horizontal and vertical directions (horizontal and vertical directions in the figure) according to a predetermined arrangement pattern, such as a Bayer arrangement, for example.
  • the phase difference detection pixels 55b are arranged discretely in the horizontal and vertical directions on a pixel array surface in which RGB pixels 55a are two-dimensionally arrayed.
  • the light reception signal obtained by photoelectric conversion of the RGB pixel 55a in the image sensor 55 is converted into a digital signal by the ADC 56, temporarily stored in the frame memory 57, and then input to the image signal processing section 58.
  • the captured image signal obtained by digitally converting the light reception signal of the RGB pixel 55a as described above is referred to as the "captured image signal Si.”
  • phase difference pixel signal Sp a signal obtained by digitally converting the light reception signal of the phase difference detection pixel 55b in this manner.
  • the body-side control unit 52 detects the phase difference (phase shift amount) between the pair of images based on the phase difference pixel signal Sp supplied via the ADC 56, thereby detecting the focus shift of each phase difference detection pixel 55b.
  • the amount that is, the amount of defocus is calculated as phase difference information. Note that an existing method can be used to calculate the defocus amount, so a detailed explanation will be omitted.
  • the body-side control unit 52 can perform AF processing based on the phase difference information calculated in this way.
  • the phase difference detection pixel 55b obtains a light reception signal, for example, in synchronization with the RGB pixel 55a. That is, the body-side control unit 52 calculates the phase difference information in synchronization with the frames constituting the moving image obtained by the imaging device 2 (at the same intervals as the frames).
  • the image signal processing unit 58 performs predetermined image signal processing on the captured image based on the captured image signal Si input via the frame memory 57. Examples of the image signal processing here include demosaic processing, white balance (WB) adjustment, and gamma correction processing.
  • the image signal processing section 58 performs image signal processing on the captured image as a RAW image inputted via the frame memory 57, converts it into a predetermined file format, and records it on the recording medium 60 via the recording section 59. let At this time, the body-side control unit 52 adds meta information to the image recorded on the recording medium 60, as will be described in detail later.
  • the image signal processing unit 58 supplies the image after image signal processing to the display unit 61, and causes the display unit 61 to display the captured image.
  • the recording medium 60 is composed of a nonvolatile memory, and the recording unit 59 is configured to be able to write data to the recording medium 60 and read data recorded on the recording medium 60.
  • the recording medium 60 may be detachably attached to the imaging device 2.
  • the display unit 61 is configured with a display device such as a liquid crystal display or an organic EL display, and is capable of displaying images.
  • the display unit 61 is mounted on the back side of the imaging device 2 opposite to the front side where the mount unit 51 is arranged, and displays so-called through images, displays images read from the recording medium 60, various operation screens, etc. It is possible to display a GUI, etc.
  • the operation unit 65 allows the user to input operation inputs to the imaging device 2, such as various hardware keys such as a shutter button, mode dial, and zoom button, and a touch panel provided to be able to detect touch operations on the display screen of the display unit 61. It comprehensively represents the controls for performing the operations.
  • the operation section 65 receives a user's operation and supplies an operation signal corresponding to the operation to the body-side control section 52.
  • the communication unit 66 performs wired or wireless communication with the smartphone 4, for example. Note that the communication unit 66 may directly perform wired or wireless communication with the computer 5 without using the smartphone 4.
  • FIG. 5 is a functional block diagram of the body-side control section 52.
  • the body-side control section 52 includes functional sections such as a connection section 71, a decision control section 72, a meta information generation section 73, and a setting storage section 74.
  • connection unit 71 performs processing related to communication with the computer 5 via the smartphone 4. For example, the connection unit 71 establishes a network connection with the computer 5 via the smartphone 4, and transmits images and meta information to the computer 5.
  • the decision control unit 72 determines the image quality (bit rate) and the content of the image processing performed by the service.
  • the decision control unit 72 also controls the assignment of meta information according to the determined image quality and the content of the image processing performed by the service. Note that, although details will be explained later with specific examples, the control of the assignment of meta information includes determining at least one of the type of meta information, the frequency of assignment of meta information, the timing of assignment of meta information, the format of meta information, etc.
  • the meta information generation unit 73 generates meta information according to the decision made by the decision control unit 72.
  • the setting storage unit 74 stores in the memory 62 the image quality determined by the decision control unit 72 and meta information to be added to the image data. Note that the connection section 71, decision control section 72, meta information generation section 73, and setting storage section 74 will be described in detail later.
  • FIG. 6 is a block diagram showing the configuration of the computer 5.
  • the computer 5 includes a control section 81, a storage section 82, a display section 83, an operation section 84, a recording section 85, a recording medium 86, and a communication section 87.
  • the control unit 81 includes, for example, a microcomputer having a CPU, a ROM, a RAM, etc., and the CPU reads a program stored in a predetermined storage device such as the ROM or the storage unit 82 into the RAM and executes the program. Performs overall control of the computer 5.
  • the storage unit 82 is composed of a storage medium such as a solid-state memory. Various types of information can be stored in the storage unit 82.
  • the storage unit 82 can also be used to store program data for the control unit 81 to execute various processes.
  • the display section 83 is a liquid crystal display, an organic EL display, etc., and displays various images.
  • the operation unit 84 is an input device used by the user, and includes various operators and operation devices such as a keyboard, a mouse, a button, a dial, a touch pad, and a touch panel.
  • various operators and operation devices such as a keyboard, a mouse, a button, a dial, a touch pad, and a touch panel.
  • the recording medium 86 is composed of a nonvolatile memory, and the recording section 85 is configured to be able to write data to the recording medium 86 and read data recorded on the recording medium 86.
  • the recording medium 86 may be detachably attached to the computer 5.
  • the communication unit 87 performs wired or wireless communication with the imaging device 2 via the smartphone 4. Note that the communication unit 87 may directly perform wired or wireless communication with the imaging device 2 without going through the smartphone 4.
  • FIG. 7 is a functional block diagram of the control section 81. As shown in FIG. 7, the control section 81 has functional sections as a display control section 91, a data acquisition section 92, an image generation section 93, and a service provision section 94.
  • the display control unit 91 generates a UI screen to be displayed on the display unit 61 of the imaging device 2 or the display unit of the smartphone 4.
  • the display control unit 91 displays the UI screen on the display unit 61 of the imaging device 2 or the display unit of the smartphone 4 by transmitting the generated UI screen to the imaging device 2 or the smartphone 4.
  • On this UI screen it is possible to determine the image quality and the content of image processing, as will be described in detail later.
  • the data acquisition unit 92 acquires images and meta information transmitted from the imaging device 2.
  • the data acquisition unit 92 acquires images and meta information from the recording medium 86 via the recording unit 85 when the recording medium 60 of the imaging device 2 is attached to the computer 5 as the recording medium 86 . Further, the data acquisition unit 92 acquires images and meta information by communicating with the imaging device 2 via the communication unit 87.
  • the image generation unit 93 executes image processing according to the service to be provided, based on meta information added to the image.
  • the service providing unit 94 provides images subjected to image processing by the image generating unit 93 according to the service. Note that the display control section 91, data acquisition section 92, image generation section 93, and service provision section 94 will be described in detail later.
  • FIG. 8 is a diagram illustrating the data structure of an image (moving image) obtained by the imaging device 2.
  • a main line clip 101 including an image 111 of the image quality (high quality) determined by the determination control unit 72 is generated.
  • the imaging device 2 can generate a proxy clip 102 that includes an image 114 with a lower bit rate (lower quality) than the image 111.
  • Common audio data 112 and meta information 113 are added to the main line clip 101 and the proxy clip 102.
  • the meta information 113 can include phase difference information 121 based on the detection result of the phase difference detection pixel 55b and motion information 122 based on the detection result of the motion sensor 17a.
  • the meta information 113 may include one or both of phase difference information 121 and motion information 122, or may include neither of them, depending on the content of the service and image processing described later. good.
  • the phase difference information 121 includes the amount of defocus for each phase difference detection pixel 55b, and may also include additional information used when calculating the amount of defocus in addition to the amount of defocus. .
  • additional information used when calculating the amount of defocus in addition to the amount of defocus.
  • full phase difference information when the phase difference information 121 includes the defocus amount and attached information, it is referred to as full phase difference information, and when the phase difference information 121 includes only the defocus amount and the attached information is excluded, it is referred to as full phase difference information. is sometimes written as light phase difference information.
  • Full phase difference information has a larger amount of data than light phase difference information because it includes additional information.
  • the imaging device 2 generates at least the main line clip 101 when capturing a moving image, but it is possible to generate the proxy clip 102 together with the main line clip 101. Note that the following description will be made without considering audio having a low data amount (bit rate).
  • FIG. 9 is a diagram explaining the relationship between meta information and image processing.
  • the image processing performed by the computer 5 includes focus map generation processing, background blurring processing, camera shake correction processing, background composition processing, and the like. Note that these are only examples, and the computer 5 may perform other image processing as image processing using phase difference information or motion information, or even if some image processing is not performed. good.
  • phase difference information is used in the focus map generation process and background blurring process. Furthermore, motion information is used in the camera shake correction process. Furthermore, phase difference information and motion information are used in the background synthesis process.
  • phase difference information used here may be full phase difference information or light phase difference information, but full phase difference information has higher accuracy than light phase difference information. It is possible to perform image processing well.
  • FIG. 10 to 12 are diagrams illustrating background composition processing. For example, assume that an image 131 shown in FIG. 10 is obtained by the imaging device 2. Phase difference information and motion information are added to this image 131 as meta information.
  • the phase difference information indicates the amount of defocus at the position corresponding to the phase difference detection pixel 55b. Therefore, the image generation unit 93 calculates the amount of defocus for each subject in the image 131 based on the phase difference information. Note that the image generation unit 93 extracts the subject from the image using existing technology.
  • the image generation unit 93 extracts only subjects whose defocus amount is less than or equal to a predetermined value (persons in the figure), that is, subjects that are in focus.
  • the image generation unit 93 generates an image portion to be synthesized as a background based on movement information from a three-dimensional virtual image 132 of a hemispherical sphere stored in advance in the storage unit 82 or recording unit 85. Extract 133. Specifically, the image generation unit 93 estimates the position and orientation of the imaging device 2 when the image is obtained by the imaging device 2 based on the motion information. Then, an image portion 133 in the direction indicated by the estimated position and orientation is extracted.
  • the image generation unit 93 generates a background composite image 134 by combining the extracted image portion 133 with the subject extracted from the image 131.
  • the image generation unit 93 generates a background composite image 134 for each frame. Thereby, a background composite image 134 in which the background (image portion 133) is moved in accordance with the movement of the imaging device 2 can be generated as a moving image.
  • FIG. 13 is a diagram illustrating focus map generation processing. For example, assume that an image 131 shown in FIG. 10 is obtained by the imaging device 2. Phase difference information is added to this image 131 as meta information.
  • the phase difference information indicates the amount of defocus at the position corresponding to the phase difference detection pixel 55b. Therefore, as shown in FIG. 13, the image generation unit 93 displays the focus in different colors according to the amount of defocus for each area corresponding to the position of the phase difference detection pixel 55b in the image, based on the phase difference information. A map 135 is generated.
  • the image generation unit 93 generates a focus map 135 for each frame. As a result, by checking the focus map 135, the user can easily understand the degree of blur in each area in the moving image, which position is in focus, and the like.
  • the motion information includes three-axis accelerations and angular velocities around the three axes detected by the motion sensor 17a.
  • the image generation unit 93 calculates the movement (direction and amount of movement) of the imaging device 2 based on the acceleration of the three axes of the imaging device 2 and the angular velocity around the three axes detected by the motion sensor 17a. Then, the image generation unit 93 generates a moving image with reduced camera shake by cropping the image frame by frame according to the calculated movement of the imaging device 2.
  • FIG. 14 is a diagram illustrating background blurring processing. For example, assume that an image 131 shown in FIG. 10 is obtained by the imaging device 2. Phase difference information is added to this image 131 as meta information.
  • the phase difference information indicates the amount of defocus at the position corresponding to the phase difference detection pixel 55b. Therefore, the image generation unit 93 calculates the amount of defocus for each subject in the image 131 based on the phase difference information. Then, the image generation unit 93 leaves the subject whose defocus amount is less than a predetermined value (a person in the figure), that is, the in-focus subject, and performs a predetermined blurring process on the other subjects, and the background shown in FIG. A blurred image 136 is generated.
  • a predetermined value a person in the figure
  • the image generation unit 93 generates a background blurred image 136 for each frame. As a result, it is possible to generate a moving image in which the in-focus subject appears more clearly and the background is blurred. This is a moving image used for news reports, etc., and is particularly useful when protecting the privacy of people in the background.
  • FIG. 15 is a diagram illustrating an overview of the live distribution service.
  • FIG. 16 is a sequence chart showing the flow of the live distribution service.
  • FIG. 17 is a flowchart showing the flow of quality processing content determination processing.
  • the live distribution service is a service in which the computer 5 processes images captured by the imaging device 2 and distributes the processed images in real time. It is assumed that background synthesis processing, image blur correction processing, and focus map generation processing can be executed as image processing in the live distribution service. Further, in the live distribution service, only main clips (images and meta information) are recorded.
  • step S1 when a live distribution service is started in response to an operation on the operation unit 31 of the imaging device 2, for example, as shown in FIG. Account authentication and the like are performed, and communication via the smartphone 4 is established (step S1).
  • connection unit 71 transmits meta information that can be acquired by the imaging device 2 to the computer 5.
  • meta information indicating whether phase difference information and motion information can be acquired is transmitted to the computer 5.
  • the display control unit 91 In the computer 5, the display control unit 91 generates a UI screen to be displayed on the display unit 61 of the imaging device 2 or the display unit of the smartphone 4, and transmits data of the generated UI screen to the imaging device 2 or the smartphone 4. (Step S11). Note that the case where UI image data is transmitted to the imaging device 2 will be described below.
  • the imaging device 2 Upon receiving the UI screen data, the imaging device 2 displays the UI screen based on the data. Then, the decision control unit 72 performs a quality processing content decision process to decide the image quality (bit rate), the content of image processing, etc. in response to the user's operation on the UI screen (step S2).
  • the UI screen is composed of one or more screens, and the one or more screens are switched and displayed according to user operations, but during that time, the communication between the imaging device 2 and the computer 5 is Contents corresponding to user operations are communicated between them.
  • FIG. 18 is a diagram showing an example of the UI screen.
  • a mode setting screen 151 on the UI screen is displayed on the display unit 61 (step S101 in FIG. 17).
  • the mode setting screen 151 displays radio buttons (option buttons) for selecting the image quality priority mode or the image processing priority mode.
  • the image quality priority mode is a mode that prioritizes image quality over image processing, and when the line speed is low, even if the meta information to be added is reduced (even if image processing is not performed), the image quality is This is a mode that prevents quality loss.
  • Image processing priority mode is a mode that prioritizes image processing over image quality, and when the line speed is low, it does not reduce the added meta information (performs image processing) even if the image quality is reduced. It is.
  • the connection unit 71 transmits information indicating this to the computer 5.
  • the display control unit 91 generates the image quality priority image 152 and transmits the data of the image quality priority image 152 to the imaging device 2 .
  • the image quality priority image 152 is displayed on the display unit 61 (step S103).
  • the image quality priority image 152 includes a line speed display area 152a for displaying the current line speed, a quality selection area 152b for selecting image quality, and an image processing content area for displaying the details of executable image processing.
  • a display area 152c is provided.
  • the computer 5 measures the line speed from the imaging device 2 to the computer 5 by receiving a predetermined amount of data from the imaging device 2 at predetermined intervals and measuring the time it takes to receive the data. Then, the display control unit 91 displays the measured line speed ("62 Mbps" in the figure) in the line speed display area 152a. This allows the user to check the current line speed in real time.
  • image quality selection candidates are displayed, as well as radio buttons for selecting one of the selection candidates.
  • image quality selection candidates for example, "100 Mbps”, “50 Mbps”, “15 Mbps”, and "1 Mbps” are provided. The user selects the image quality while checking the line speed displayed in the line speed display area 152a. Note that selection candidates whose image quality is higher than the line speed displayed in the line speed display area 152a may not be selectable.
  • the connection unit 71 transmits information indicating the selected "50 Mbps" to the computer 5.
  • the display control unit 91 subtracts the selected image quality from the line speed to calculate the bit rate at which meta information can be transmitted.
  • “50 Mbps” is subtracted from “62 Mbps” to calculate "12 Mbps” as the bit rate at which meta information can be transmitted.
  • the display control unit 91 determines the content of executable image processing based on the calculated transmittable bit rate of the meta information.
  • the display control unit 91 determines the content of the image processing to be executed in accordance with the preset priority so that the image processing is executed in descending order of priority.
  • FIG. 19 is a diagram illustrating the priority of image processing.
  • the amount of meta information required to perform image stabilization processing is small, but the degree of impact on the appearance of the image can be The need to show is the highest.
  • the background synthesis process uses both phase difference information and motion information as meta information, the amount of meta information required to execute the background synthesis process is large, but the degree of necessity is lower than that of the image stabilization process.
  • Focus map generation processing uses only phase difference information as meta information, so the amount of meta information required when executing focus map generation processing is larger than image stabilization processing and smaller than background synthesis processing, and the degree of necessity is greater than image stabilization processing. Lower than correction processing and background composition processing.
  • the priority may be set according to the degree of influence on image quality, that is, the amount of data of meta information, as shown in (1) in FIG. 19, for example.
  • the smaller the amount of meta information the higher the priority is set. Therefore, the camera shake correction process has the highest priority, the focus map generation process has the next highest priority, and the background composition process has the lowest priority.
  • the priority may be set depending on the degree of necessity of image processing. In this case, the higher the necessity, the higher the priority is set. Therefore, the camera shake correction process has the highest priority, the background composition process has the next highest priority, and the focus map generation process has the lowest priority. Alternatively, the user may set the priority.
  • the display control unit 91 determines the content of executable image processing based on the priorities as shown in FIG. 19 (step S105). For example, if the priority is set higher as the degree of necessity is higher, the display control unit 91 first determines whether motion information necessary to execute the camera shake correction process with the highest priority can be transmitted. .
  • the bit rate of phase difference information is "10 Mbps” and the bit rate of motion information is "5 Mbps”. Since the bit rate at which the meta information can be transmitted is "12 Mbps,” it is determined that the motion information (5 Mbps) necessary for executing the image stabilization process can be transmitted. That is, the display control unit 91 determines that the camera shake correction process is executable.
  • the display control unit 91 determines whether the phase difference information and motion information necessary to execute the background synthesis process, which has the next highest priority after the camera shake correction process, can be transmitted. Then, since the bit rate at which the meta information can be transmitted is "12 Mbps", it is determined that the phase difference information and motion information (10 Mbps+5 Mbps) necessary for executing the background synthesis process cannot be transmitted.
  • the display control unit 91 identifies the content of the determined image processing in the image processing content display area 152c of the image quality priority image 152. Display as possible.
  • the display control unit 91 again determines the content of executable image processing and displays it in the image processing content display area 152c.
  • the display control unit 91 transmits the mode (image quality priority mode or image processing priority mode) decided on the mode setting screen 151, the image quality selected in the quality selection area 152b, and the image processing content displayed in the image processing content display area 152c as setting information to the imaging device 2.
  • the setting storage unit 74 records the received setting information in the memory 62. Further, the decision control unit 72 determines the type of meta information (phase difference information, motion information) to be added to the image according to the content of the image processing indicated in the setting information, and the setting storage unit 74 stores it as the setting information. 62. Thereby, the decision control unit 72 decides the mode, image quality, content of image processing, and type of meta information to be added to the image (step S107).
  • the type of meta information phase difference information, motion information
  • the connection unit 71 transmits information to the computer 5 to that effect.
  • the display control unit 91 generates the image processing priority image 153 shown in FIG. 18, and transmits the data of the image processing priority image 153 to the imaging device 2.
  • the imaging device 2 the image processing priority image 153 is displayed on the display unit 61.
  • the image processing priority image 153 includes a line speed display area 153a for displaying the current line speed, an image processing content display area 153b for selecting the content of image processing to be executed, and a line speed display area 153b for displaying the image quality and preview image.
  • An image quality selection area 153c is provided.
  • the display control unit 91 displays the measured line speed ("61 Mbps" in the figure) in the line speed display area 153a. This allows the user to check the current line speed in real time.
  • selection candidates for image processing content are displayed, as well as check boxes for selecting one or more selection candidates.
  • the user can select one or more image processing contents by checking the checkbox via the operation unit 65.
  • the connection unit 71 transmits information indicating the content of the checked image processing to the computer 5.
  • the display control unit 91 specifies the type of meta information necessary to execute the content of the checked image processing. For example, if camera shake correction processing and background composition processing are checked, the display control unit 91 specifies that the meta information necessary to execute these image processes is phase difference information and motion information.
  • the image signal processing unit 58 compresses and encodes the captured image so as to have the received image quality. Then, the decision control unit 72 displays the compressed and encoded image together with the image quality in the image quality selection area 153c (step S110).
  • the display control unit 91 selects the mode (image quality priority mode or image processing priority mode) determined on the mode setting screen 151. mode), the image quality displayed in the image quality selection area 153c, and the content of the image processing selected in the image processing content display area 153b are transmitted to the imaging device 2 as setting information.
  • the setting storage unit 74 records the received setting information in the memory 62. Further, the decision control unit 72 determines the type of meta information (phase difference information, motion information) to be added to the image according to the content of the image processing indicated in the setting information, and the setting storage unit 74 stores it as the setting information. 62. Thereby, the decision control unit 72 decides the mode, image quality, content of image processing, and type of meta information to be added to the image (step S107).
  • the type of meta information phase difference information, motion information
  • the determination control section 72 controls the image signal processing section 58 so that an image of the determined image quality is generated. Further, the decision control unit 72 controls the meta information generation unit 73 to generate meta information for making the determined image processing content executable.
  • step S3 when real-time distribution of images is started (step S3), the image signal processing unit 58 compresses and encodes the images so as to have the determined image quality. Further, the meta information generation unit 73 generates the determined meta information.
  • the connection unit 71 adds meta information to the generated image and transmits it to the computer 5 (step S4). As a result, images and meta information are transmitted to the computer 5 within the line speed.
  • the data acquisition unit 92 acquires the image and meta information transmitted from the imaging device 2 , the acquired image and meta information are stored in the recording medium 86 .
  • the image generation section 93 In order to execute the determined image processing contents, the image generation section 93 first analyzes the meta information stored in the recording medium 86, and stores the meta information for executing the determined image processing contents. determine whether it is. If meta information for executing the determined image processing content is stored, the image generation unit 93 reads the image stored in the recording medium 86 and determines the image using the meta information. The corrected image is generated by performing image processing on the corrected content (step S12).
  • the service providing unit 94 transmits the generated image after image processing to the providing device 141 (step S13).
  • the line speed between the imaging device 2 and the computer 5 may change while the live distribution service is being performed. For example, if the line speed decreases, it may become impossible to transmit the initially determined image quality or the meta information necessary to perform the determined image processing.
  • the decision control unit 72 constantly monitors the line speed between the imaging device 2 and the computer 5, and when the line speed has decreased and the image processing priority mode has been determined, the decision control unit 72 performs the following steps in order to give priority to image processing: To calculate the image quality that allows the image and meta information to be transmitted without reducing the meta information necessary to execute image processing of the determined content. The decision control unit 72 then controls the image signal processing unit 58 so that the image is compressed and encoded with the calculated image quality. This makes it possible for the computer 5 to execute the determined image processing even if the line speed decreases.
  • the decision control unit 72 can set the image and meta information without reducing the determined image quality in order to give priority to the image quality. Reduce meta information corresponding to image processing of low priority content so that it can be transmitted. Then, the decision control unit 72 controls the meta information generation unit 73 so as not to generate the reduced meta information.
  • the imaging device 2 can transmit images and meta information without delay while maintaining the image quality or image processing content according to the mode selected by the user. be able to.
  • FIG. 20 is a diagram showing a sequence chart of the automatic editing service.
  • the automatic editing service when the imaging device 2 starts imaging, an image and meta information are recorded on the recording medium 60. Then, after the imaging is completed, the image and meta information stored in the recording medium 60 are transmitted to the computer 5, and the computer 5 executes image processing on the image based on the meta information.
  • the content of the image processing to be executed may be determined in advance, or the content of the image processing to be executed may not be determined.
  • meta information necessary for executing the image processing is added to the image.
  • meta information selected by the user may be added to the image, or all types of meta information may be added to the image.
  • the meta information added to the image is phase difference information.
  • only main clips (images and meta information) are recorded.
  • the recording medium 60 has a different writing speed depending on the recording medium. For example, in the recording medium 60 with a high writing speed, it is possible to record all images and meta information in real time without reducing the amount of data (bit rate). On the other hand, if the recording medium 60 has a low writing speed, real-time recording may not be possible unless the amount of image and meta information data is reduced.
  • the determination control unit 72 determines the format of meta information (full phase difference information or write phase difference information) to be added to the image according to the writing speed of the recording medium 60. Further, the determination control unit 72 also determines the image quality according to the writing speed of the recording medium 60.
  • the decision control unit 72 of the imaging device 2 writes a predetermined amount of data to the recording medium 60, and the data is written. By measuring the time, the writing speed to the recording medium 60 is measured (step S21).
  • the decision control unit 72 causes the display unit 61 to display a mode setting screen 151 as shown in FIG. Let them choose.
  • the determination control unit 72 determines the image quality to be a predetermined bit rate, regardless of whether the image quality priority mode or the image processing priority mode is selected, and also sets the image quality to the full bit rate. A decision is made to provide phase difference information.
  • the predetermined value is set to a value that allows all the information to be recorded in real time even when an image is recorded at a predetermined bit rate and full phase difference information is recorded. Further, the predetermined bit rate may be set by the user in advance, or may be determined to be an arbitrary bit rate.
  • the decision control unit 72 makes a decision to add full phase difference information. Further, the decision control unit 72 calculates the image quality that can be written by subtracting the speed at which full phase difference information is written from the measured writing speed. Then, the determination control unit 72 determines the calculated image quality.
  • the decision control unit 72 decides to add the write phase difference information. Further, the decision control unit 72 calculates the image quality that can be written by subtracting the writing speed of the write phase difference information from the measured writing speed. Then, the determination control unit 72 determines the calculated image quality.
  • the decision control unit 72 decides the image quality and the format of the meta information (phase difference information) to be provided.
  • the setting storage unit 74 records the determined image quality and the format of the meta information (phase difference information) to be provided in the memory 62.
  • the content of the image processing to be performed in the automatic editing mode is selected, the decision is made to add meta information necessary to execute the image processing of the content, and the image quality is determined accordingly. You can.
  • the decision control unit 72 controls the image signal processing unit 58 so that an image is generated with the determined image quality. Further, the decision control unit 72 controls the meta information generation unit 73 to generate the determined meta information (step S22).
  • the image signal processing unit 58 compresses and encodes the image so as to have the determined image quality. Further, the meta information generation unit 73 generates the determined meta information.
  • the recording unit 59 adds meta information to the generated image and records it on the recording medium 60.
  • the recording medium 60 is removed from the imaging device 2 and attached to the computer 5 as the recording medium 86, so that the image and meta information are transmitted to the computer 5 (step S24).
  • the image and meta information may be transmitted to the computer 5 by transmitting the image and meta information recorded on the recording medium 60 to the computer 5 via the smartphone 4.
  • the data acquisition unit 92 acquires the transmitted image and meta information and records them on the recording medium 86.
  • the image generation unit 93 analyzes the meta information stored in the recording medium 86 and determines whether the determined image processing is executable. If meta information for executing image processing of the determined content is stored, the image generation unit 93 reads the image stored in the recording medium 86 and determines the image using the meta information. Executes image processing of the specified contents. The image after the image processing is recorded, for example, on the recording medium 86 and provided to the user (step S32).
  • FIG. 21 is a sequence chart showing the flow of news service.
  • news programs and the like there are cases where it is required to use images captured by the imaging device 2 in the news as soon as possible. In such a case, if image processing is performed after the main clip captured by the imaging device 2 is transmitted to the computer 5, there is a risk that data transmission will take time and the clip will not be able to be used for news reporting as soon as possible. .
  • a Proxy clip can be recorded on the recording medium 60 in addition to the main clip, and the Proxy clip with a low bit rate can be recorded on the computer 50 before the main clip.
  • the data transmission time is shortened and it is possible to use it in news reports as soon as possible.
  • background blurring processing will be performed as part of the image processing.
  • the decision control unit 72 allows the user to select (set) whether to simultaneously record a proxy clip in addition to the main clip (step S41).
  • the decision control unit 72 may display, for example, a UI screen on the display unit 61 that allows the user to select whether or not to perform simultaneous recording of Proxy clips, and the user may perform a selection via the operation unit 65.
  • the determination control unit 72 also allows the user to select (set ) (step S42).
  • the determination control unit 72 uses a UI that allows the user to select, for example, which of the main clip or the proxy clip should be sent to the computer 5 with priority, or whether to send the automatically determined clip with priority to the computer 5.
  • a screen may be displayed on the display section 61, and the selection may be made by a user operation via the operation section 65.
  • the determination control unit 72 allows the user to select the transmission time (how many minutes does the user want the transmission to be completed).
  • the setting storage unit 74 stores the setting information in the memory 62.
  • the image signal processing unit 58 compresses and encodes the image so that it has the predetermined image quality of the main clip. Furthermore, when settings are made to record a Proxy clip, the image signal processing unit 58 compresses and encodes the image so as to have the predetermined image quality of the Proxy clip.
  • the meta information generation unit 73 generates meta information including at least phase difference information required when performing background blurring processing. As a result, the imaging device 2 generates a main line clip and a Proxy clip.
  • the recording unit 59 records the generated main line clip and Proxy clip on the recording medium 60 (step S44).
  • the clip to be transmitted to the computer 5 is determined based on the transmission priority order (step S45). Specifically, if the main line clip is set to be transmitted preferentially, the connection unit 71 determines to transmit the main line clip. Further, if the setting is made to send Proxy clips preferentially, the connection unit 71 determines to send the Proxy clips.
  • the connection unit 71 measures the reading speed of the recording medium 60 and the line speed with the computer 5. Then, the amount of data that can be transmitted within the selected time is calculated using the measured reading speed and line speed. Then, if the main line clip is less than or equal to the calculated data amount, the connection unit 71 determines to transmit the main line clip. On the other hand, if the main line clip is larger than the calculated data amount, the connection unit 71 determines to transmit the Proxy clip.
  • connection unit 71 transmits the determined main line clip or proxy clip to the computer 5 (step S46).
  • the data acquisition unit 92 acquires the transmitted main line clip or proxy clip and records it on the recording medium 86.
  • the image generation unit 93 analyzes the meta information stored in the recording medium 86 and determines whether the determined image processing (background blurring processing) is executable. If meta information for executing image processing of the determined content is stored, the image generation unit 93 reads the image stored in the recording medium 86 and determines the image using the meta information. Image processing of the specified contents is executed (step S51). The image after image processing is then used for news reporting (step S52).
  • the connection unit 71 transmits the main line clip to the computer 5 when it is possible to transmit it (step S47). Then, in the computer 5, the data acquisition unit 92 receives the main line clip and records it on the recording medium 86. Further, the image generation unit 93 reads the image stored in the recording medium 86, and performs image processing on the image according to the content determined using the meta information (step S53). The processed image will then be used in subsequent reporting. Note that if the main line clip has been transmitted in step S46, the processes in steps S47 and S53 are omitted.
  • meta information is recorded on the recording medium 60 along with the image by controlling the type (phase difference information, motion information) or format (full phase difference information, light phase difference information) of meta information added to the image. If possible, meta information can be sent to the computer 5 along with the image.
  • the decision control unit 72 may control the addition by changing not only the type and format of meta information, but also the addition frequency, addition timing, data amount compression method, etc.
  • the phase difference information includes the amount of defocus for each phase difference detection pixel 55b. Therefore, the decision control unit 72 may regard the phase difference information as image data and compress the phase difference information using a method similar to the method for compressing image data.
  • irreversible compression or reversible compression may be performed on the phase difference information for each frame. Further, among consecutive frames, key frames that serve as keys may be left as they are, and data compression may be performed by taking the difference between the frames between the key frames. Furthermore, data compression may be performed by cutting out a characteristic part of the frame (for example, a part where the subject is a person). Alternatively, data compression may be performed by detecting the maximum value of the defocus amount for each fixed interval and expressing the defocus amount for each phase difference detection pixel 55b as a difference value from the maximum value.
  • the decision control unit 72 may thin out the frequency of adding phase difference information and motion information to an appropriate frequency instead of adding them to each frame of an image. Furthermore, regarding the timing of adding phase difference information and motion information, the decision control unit 72 may record or transmit meta information only in a necessary section, such as when the line speed is not decreasing. Further, the decision control unit 72 may carefully select necessary meta information and record or transmit it.
  • connection section 71 the decision control section 72, the meta information generation section 73, and the setting storage section 74 are provided in the imaging device 2.
  • these functional units may be provided in the smartphone 4 or the computer 5.
  • phase difference information and motion information are included as meta information.
  • the meta information may include at least one of phase difference information and motion information. That is, the decision control unit 72 determines the phase difference information based on the signal output from the phase difference detection pixel 55b and the image capture device 2, depending on the content of the image processing performed on the image obtained by the image capture device 2. It may also be possible to control the addition of meta information including at least one of motion information regarding motion to an image.
  • the image quality priority mode or the image processing priority mode is selected in the live distribution service, and the content of the selected mode is prioritized.
  • the user may be allowed to select the image quality and image processing details.
  • the display control section 91 causes the display section 61 to display a quality content setting screen 161.
  • the quality content setting screen 161 displays radio buttons for selecting the image quality setting screen 162 or the image processing content setting screen 163.
  • the quality content setting screen 161 is provided with a line speed display area 161a that displays the current line speed ("60 Mbps" in the figure).
  • the display control section 91 causes the display section 61 to display the image quality setting screen 162.
  • the image quality setting screen 162 is provided with a quality selection area 162a for selecting image quality.
  • the image quality is changed, for example, from "15 Mbps" to "50 Mbps" by a user operation on the quality selection area 162a, the bit rate for transmitting meta information decreases due to the increased image quality, and the image processing during setting is changed.
  • a pop-up 162b is displayed on the display unit 61 to notify that meta information for executing part of (for example, camera shake correction processing and background composition processing) cannot be transmitted.
  • the display control unit 91 causes the display unit 61 to display the image processing content setting screen 163.
  • the image processing content setting screen 163 is provided with an image processing content display area 163a for selecting the content of image processing. For example, when background compositing processing is added due to a user operation on the image processing content display area 163a, the bit rate of meta information increases and the image quality decreases, making it impossible to send an image with the currently set image quality. .
  • the display control unit 91 causes the display unit 61 to display a pop-up 163b notifying the transmittable image quality. With this, when either the image quality or the content of image processing is changed, it is possible to notify how to change the other.
  • the information processing device (imaging device 2) of the embodiment performs positioning based on the signal output from the phase difference detection pixel 55b, depending on the content of image processing performed on the image obtained by the imaging device 2. It includes a control unit (determination control unit 72) that controls the addition of meta information including at least one of phase difference information and motion information regarding the movement of the imaging device 2 to an image.
  • a control unit determination control unit 72
  • the imaging device 2 for example, it is possible to reduce the possibility that the image and meta information cannot be transmitted to the computer 5, and the possibility that the image and meta information cannot be recorded on the recording medium 60 can be reduced. In this way, the imaging device 2 can appropriately add meta information according to the image processing performed on the image.
  • control unit controls the addition of meta information to the image, depending on the service to which the image on which image processing has been performed is provided.
  • the content of the image processing to be executed differs depending on the service provided. Therefore, in the imaging device 2, by controlling the provision of meta information according to the service to be provided, it is possible to provide optimal meta information according to the content of image processing to be performed in that service.
  • control unit determines the image quality or the content of the image processing, and controls the addition of meta information to the image according to the determined image quality and the content of the image processing.
  • the imaging device 2 can determine the content of executable image processing while giving priority to the determined image quality, or determine the image quality while giving priority to the determined content of image processing. . That is, in the imaging device 2, one of the image quality and the content of image processing can be determined preferentially, and the other can be determined accordingly.
  • the control unit controls at least the type of meta information to be added to the image, the frequency of adding meta information, the timing of adding meta information, and the format of meta information, as control regarding the addition of meta information to the image. Decide on one. This makes it possible to reduce the amount of meta information added to the image.
  • Services include live distribution services that distribute images that have been subjected to image processing to other devices. Thereby, an image obtained by performing image processing on an image obtained by the imaging device 2 can be distributed to other devices 141 almost in real time.
  • the information processing device includes a display control unit 91 that causes a display unit to display a UI screen for determining image quality and the content of the image processing. This allows the user to determine the image quality and image processing content according to the UI screen. Therefore, the user can easily determine the image quality and the content of image processing.
  • the control unit determines image quality according to the determined content of image processing.
  • the imaging device 2 can add meta information necessary to perform image processing of the determined content to the image, and can also send the image to the computer 5 or record it on the recording medium 60 in time. quality can be determined.
  • the control unit determines the content of image processing to be executed according to a predetermined priority. Thereby, it is possible to add optimal meta information to an image depending on the degree of influence on image quality and the degree of necessity of image processing.
  • the services include an automatic editing service that performs image processing on images recorded on the recording medium 60. Thereby, image processing can be automatically performed on images obtained by the imaging device 2. That is, image processing can be printed without forcing the user to perform troublesome operations.
  • the control unit determines the image quality based on the writing speed of the recording medium 60. Thereby, it is possible to reduce the possibility that images and meta information cannot be recorded on the recording medium 60.
  • the control unit determines control unit 72.
  • the control unit controls the provision of meta information based on the writing speed of the recording medium 60. Thereby, it is possible to reduce the possibility that images and meta information cannot be recorded on the recording medium 60.
  • the format of meta information includes full meta information that includes all information, and light meta information that excludes some information. Thereby, the meta information can be recorded in time for transmission to the computer 5 or recording to the recording medium 60.
  • the format of the phase difference information includes full phase difference information including a focus shift amount for each phase difference detection pixel 55b and attached information used when calculating the shift amount, and a focus shift amount for each phase difference detection pixel 55b.
  • the write phase difference information including the shift amount and excluding the attached information is included.Thereby, the phase difference information can be recorded in time for transmission to the computer 5 or recording to the recording medium 60.
  • the service includes either a main clip in which the meta information is added to a high quality image of a predetermined image quality, or a proxy clip in which the meta information is added to a low quality image whose image quality is lower than the high quality image.
  • This also includes news services that perform the above image processing.
  • the information processing device includes a connection unit 71 that transmits Proxy clips to other devices with priority over main clips.Thereby, by transmitting Proxy clips to the computer 5, the transmission time is shortened, Images that have undergone image processing can be used for news reporting as soon as possible. In addition, in subsequent news reports, an image on which image processing has been performed on the image of the main line clip can be used.
  • the transmission speed is varied depending on whether or not the imaging device 2 is capturing an image. Thereby, images and meta information can be optimally read from the recording medium 60.
  • the control unit (decision control unit 72) outputs phase difference information when performing any of the following: background synthesis processing that combines another background with the image, background blurring processing that blurs the background of the image, and focus map generation processing that generates a focus map. be granted. Thereby, background synthesis processing, background blurring processing, and focus map generation processing can be performed based on the phase difference information.
  • the control unit uses motion information when performing any of the following: image stabilization processing that reduces camera shake in an image, horizontal correction processing that corrects the horizontality of an image, or background synthesis processing that combines another background with the image. As a result, it is possible to perform camera shake correction processing, horizontal correction processing, and background composition processing based on the motion information.
  • the phase difference information based on the signal output from the phase difference detection pixel 55b and the movement of the imaging device 2 are determined according to the content of the image processing performed on the image obtained by the imaging device 2.
  • the application of meta information including at least one of motion information related to the image to the image is performed.
  • Metadata that includes at least one of phase difference information based on the signal output from the phase difference detection pixel and motion information regarding the movement of the imaging device, depending on the content of image processing performed on the image obtained by the imaging device.
  • An information processing device comprising: a control unit that controls adding information to the image.
  • the information processing device according to (1) wherein the control unit controls addition of the meta information to the image according to a service to which the image on which the image processing has been performed is provided.
  • the control unit determines the image quality or the content of the image processing, and controls the addition of the meta information to the image according to the determined image quality or the content of the image processing.
  • the information processing device according to 2.
  • the control unit controls the type of meta information to be added to the image, the frequency of adding the meta information, the timing of adding the meta information, and the format of the meta information, as controls related to adding the meta information to the image.
  • the information processing device according to any one of (1) to (3).
  • the services include a live distribution service that distributes images subjected to the image processing to other devices.
  • the information processing device according to any one of (1) to (5), further comprising a display control unit that causes a display unit to display a UI screen for determining image quality and the content of the image processing.
  • the information processing device includes a main clip in which the meta information is added to a high quality image of a predetermined image quality, or a proxy clip in which the meta information is added to a low quality image whose image quality is lower than that of the high quality image.
  • the information processing device wherein either one includes a news service that executes the image processing.
  • the information processing device further comprising a connection unit that transmits the Proxy clip to another device with priority over the main line clip.
  • the information processing device according to (15) or (16), wherein the transmission speed is varied depending on whether or not the imaging device is capturing an image.
  • the control unit provides the phase difference information when performing any of the following: background composition processing for compositing another background with the image, background blurring processing for blurring the background of the image, and focus map generation processing for generating a focus map.
  • the information processing device according to any one of (1) to (17).
  • the control unit controls the motion information when performing any one of image stabilization processing that reduces camera shake in the image, horizontal correction processing that corrects the horizontality of the image, and background synthesis processing that synthesizes another background with the image.
  • the information processing device according to any one of (1) to (18).
  • Metadata that includes at least one of phase difference information based on the signal output from the phase difference detection pixel and motion information regarding the movement of the imaging device, depending on the content of image processing performed on the image obtained by the imaging device. An information processing method that controls adding information to the image.
  • Meta information provision system 17a Motion sensor 2 Imaging device 5 Computer 55 Image sensor 55a RGB pixel 55b Phase difference detection pixel 60 Recording medium 71 Connection section 72 Decision control section 73 Meta information generation section 74 Setting storage section 91 Display control section 92 Data acquisition Section 93 Image generation section 94 Service provision section

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

情報処理装置は、撮像装置により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素から出力した信号に基づく位相差情報、及び、撮像装置の動きに関する動き情報の少なくとも一方を含むメタ情報の画像への付与に関する制御を行う制御部を備える。

Description

情報処理装置、情報処理方法
　本技術は、情報処理装置及び情報処理方法に関するものであり、特には、メタ情報を画像に付与する技術に関する。
　特許文献１には、瞳部分領域を通過した光束を受光する複数の副画素が出力する画素信号に基づいて生成される視点画像から像ずれ量を算出するとともに、像ずれ量をデフォーカス量へ換算する換算係数を算出し、換算係数、像ずれ量及びデフォーカス量のうちの少なくとも２つを画像に関連付けてメタデータとして記録媒体に記録することが記載されている。
特開２０１８－１９３４８号公報
　特許文献１に記載の技術では、メタデータとして記録された換算係数、像ずれ量又はデフォーカス量を用いて各種の画像処理を実行することが可能となる。しかしながら、画像に付加するメタデータのデータ量を増やしていくと、画像の撮像中に画像が記録媒体に記録しきれなくなるなど、不具合が発生するおそれがある。
　本技術は上記事情に鑑み為されたものであり、画像に対して実行される画像処理に応じてメタ情報を適切に付与することを目的とする。
　本技術に係る情報処理装置は、撮像装置により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素から出力した信号に基づく位相差情報、及び、前記撮像装置の動きに関する動き情報の少なくとも一方を含むメタ情報の前記画像への付与に関する制御を行う制御部を備える。
　これにより、情報処理装置は、実行される画像処理で必要なメタ情報を画像に付加することができる。
図１は、本技術に係る実施形態としてのメタ情報付与システムの構成を示した図である。 図２は、撮像装置の構成を示した図である。 図３は、撮像装置及び交換レンズの内部構成を示したブロック図である。 図４は、撮像素子の構成を示した図である。 図５は、ボディ側制御部の機能ブロック図である。 図６は、コンピュータの構成を示したブロック図である。 図７は、制御部の機能ブロック図である。 図８は、撮像装置で得られる画像のデータ構造を説明する図である。 図９は、メタ情報と画像処理との関係を説明する図である。 図１０は、背景合成処理を説明する図である。 図１１は、背景合成処理を説明する図である。 図１２は、背景合成処理を説明する図である。 図１３は、フォーカスマップ生成処理を説明する図である。 図１４は、背景ぼかし処理を説明する図である。 図１５は、ライブ配信サービスの概要を説明する図である。 図１６は、ライブ配信サービスの流れを示したシーケンスチャートである。 図１７は、品質処理内容決定処理の流れを示したフローチャートである。 図１８は、ＵＩ画面の一例を示した図である。 図１９は、画像処理の優先度を説明する図である。 図２０は、自動編集サービスのシーケンスチャートを示した図である。 図２１は、報道向けサービスの流れを示したシーケンスチャートである。 図２２は、変形例のＵＩ画面の一例を示した図である。
　以下、実施の形態を次の順序で説明する。
＜１．メタ情報付与システム＞
＜２．データ構造＞
＜３．画像処理の具体例＞
＜４．サービスの具体例＞
＜５．メタ情報のデータ量削減＞
＜６．変形例＞
＜７．実施形態のまとめ＞
＜８．本技術＞
　なお、本技術において「画像」とは、主に動画像を示すものであるが、静止画像であってもよい。また「画像」とは、表示部に表示されている状態を指すだけでなく、表示部に表示されていない状態の画像データについても「画像」と表記することがある。
＜１．メタ情報付与システム＞
［１．１．メタ情報付与システムの構成］
　図１は、本技術に係る実施形態としてのメタ情報付与システム１の構成を示した図である。図１に示すように、メタ情報付与システム１は、撮像装置２、スマートフォン４
及びコンピュータ５を備える。
　撮像装置２は、フォーカスレンズ１６（図３参照）を含む交換レンズ３を介して入射する被写体像を撮像することで得られる画像にメタ情報を付与することが可能である。
　ここで、「付与」とは、画像に対して画像処理を実行する際にメタ情報を利用し得るようにすることを意味する。したがって、画像にメタ情報が付与される際に、画像及びメタ情報は、１つのファイル等として記録媒体に記録、又は、他の装置（コンピュータ５）に送信されるようにしてもよい。また、画像及びメタ情報は、別々の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよし、別々に他の装置（コンピュータ５）に送信されるようにしてもよい。
　スマートフォン４は、撮像装置２及びコンピュータ５と無線又は有線によって通信が可能である。例えば、スマートフォン４は、撮像装置２とコンピュータ５とが通信を行う際の中継装置として機能する。したがって、撮像装置２及びコンピュータ５は、スマートフォン４を介して通信を行うことが可能である。
　コンピュータ５は、例えばパーソナルコンピュータ、携帯端末装置又はタブレット端末装置等であり、撮像装置２から画像及びメタ情報を取得可能である。なお、コンピュータ５は、撮像装置２又はスマートフォン４であってもよい。
　また、コンピュータ５は、クラウドコンピューティングを行うサーバ等であってもよい。この場合、コンピュータ５は、撮像装置２からスマートフォン４を介して送信された画像及びメタ情報を、ネットワークを介して取得する。
　コンピュータ５は、画像に付与されているメタ情報に基づいて、画像に対して所定の画像処理を実行したり、画像処理を行った画像を他の装置に送信（配信）したりするサービスを行う。
　ここで「サービス」とは、画像処理を施した画像をユーザ又は不特定多数の他人に提供することを意味している。「サービス」としては、例えば、撮像装置２で撮像された画像をリアルタイムに配信するライブ配信サービス、撮像装置２で撮像された画像を自動で編集する自動編集サービス、撮像装置２で撮像された画像を報道に使用させる報道向けサービス等が挙げられる。
　なお、コンピュータ５は、図１では１個のみ記載しているが、提供するサービス毎に設けられていてもよい。
［１．２．撮像装置の構成］
　図２は、撮像装置２の構成を示した図である。
　撮像装置２（ボディ）は、交換レンズ３が着脱自在に構成されたデジタルカメラ装置として構成されている。撮像装置２は、静止画像の撮像機能のみではなく、動画像の撮像機能を有する。
　図２に示すように、撮像装置２は、交換レンズ３を介して入射する被写体像を撮像する撮像素子５５、撮像素子５５により得られる撮像画像や各種の操作画面等のＧＵＩを表示可能な表示部６１、ユーザが各種の操作入力を行うための操作部６５等を備えている。
　また、撮像装置２は、例えば撮像素子５５による撮像画像を記録するための構成や、撮像素子５５による撮像画像に対する画像信号処理を行うための構成、交換レンズ３との通信を行うための構成等を備えている。
　交換レンズ３は、フォーカスレンズ、ズームレンズ等、各種のレンズが内部に設けられたレンズユニットである。また、交換レンズ３は、これらのレンズを駆動する駆動部、駆動部に対する駆動信号を出力する制御部、撮像装置２に対する接続機能及び通信機能を備えたマウント部等を備えている。
　図３は、撮像装置２及び交換レンズ３の内部構成を示したブロック図である。
　図３に示すように、交換レンズ３は、撮像装置２のマウント部５１に対して着脱自在に取り付けられるマウント部１１を備えている。マウント部１１は、撮像装置２と電気的に接続するための複数の端子を有する。
　また、交換レンズ３は、レンズ側制御部１２、ズームレンズ１３、手振れ補正レンズ１４、絞り１５、フォーカスレンズ１６、検出部１７、操作部３１、メモリ３２、電源制御部３３を備えている。
　さらに、交換レンズ３は、ズームレンズ駆動部２１、手振れ制御部２２、絞り制御部２３、フォーカスレンズ駆動部２４を備えている。
　レンズ側制御部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、ＣＰＵがＲＯＭやメモリ３２等の所定の記憶装置に記憶されたプログラムをＲＡＭに読み出して実行することにより交換レンズ３の全体制御を行う。
　例えば、レンズ側制御部１２は、マウント部１１の所定の通信端子を介して供給された撮像装置２からの指示、又は、操作部３１が受け付けたユーザの操作に基づき、ズームレンズ１３の位置を制御する。
　具体的に、レンズ側制御部１２は、例えば磁気センサ（ＭＲセンサ）等で構成される検出部１７により検出されたズームレンズ１３の現在位置を取得する。そして、レンズ側制御部１２は、取得結果に基づいてズームレンズ１３を所定の位置に移動させるための駆動方向及び駆動量を決定し、決定した駆動方向及び駆動量を移動命令とともにズームレンズ駆動部２１に出力する。
　ズームレンズ駆動部２１は、レンズ側制御部１２から供給された移動命令に基づいて、指示された駆動方向及び駆動量となるようにズームレンズ１３を光軸方向に移動させる。
　ここで、検出部１７は、ズームレンズ１３、手振れ補正レンズ１４及びフォーカスレンズ１６の位置や、絞り１５の開口径等、交換レンズ３の状態を検出するための構成を包括的に表したものである。検出部１７において、レンズの位置の検出は、例えば、磁気センサ、フォトダイオードアレイ、ポテンショメータ、反射式エンコーダ等で行うことができる。
　また、検出部１７には、動きセンサ１７ａが含まれている。動きセンサ１７ａは、撮像装置２の動きを検出する。具体的には、動きセンサ１７ａは、光軸方向を含む互いに直交する３軸方向の加速度を検出する加速度センサ、及び、３軸周りの角速度（ピッチ（Pitch）、ヨー（Yaw）、ロール（Roll））を検出するジャイロセンサを含むものである。
　動きセンサ１７ａは、例えば、撮像装置２で得られる動画像を構成するフレームに同期して（フレームと同間隔で）加速度及び角速度を検出する。
　レンズ側制御部１２は、動きセンサ１７ａにより検出された加速度及び角速度を動き情報として撮像装置２に送信する処理を行う。
　レンズ側制御部１２は、手振れを補正するように手振れ補正レンズ１４を制御する。具体的に、レンズ側制御部１２は、動きセンサ１７ａによって検出された撮像装置２の動き量（手振れ量）に基づいて、手振れ量を打ち消す方向の手振れ補正レンズ１４の駆動方向及び駆動量を決定し、決定した駆動方向及び駆動量を移動命令とともに手振れ制御部２２に出力する。
　手振れ制御部２２は、レンズ側制御部１２から供給された移動命令に基づいて、指示された駆動方向及び駆動量となるように手振れ補正レンズ１４を移動させる。
　また、レンズ側制御部１２は、電源の供給がオフされた場合に、手振れ補正レンズ１４をメカニカルにロックする制御を行う。手振れ補正レンズ１４は、撮像装置２から交換レンズ３へ電源が供給されている状態では、手振れ制御部２２を介した制御によって、所定の位置に制御が保たれている。一方、電源の供給がオフされると、手振れ制御部２２による位置制御が停止するため、手振れ補正レンズ１４は重力方向に所定量だけ落下する。
　そこで、レンズ側制御部１２は、電源の供給がオフされるタイミングに応じて、手振れ制御部２２を介して、手振れ補正レンズ１４をメカニカルにロックさせ、落下を防止する。手振れ制御部２２は、レンズ側制御部１２から供給された固定命令に基づいて手振れ補正レンズ１４をメカニカルにロックする。
　また、レンズ側制御部１２は、マウント部１１の所定の通信端子を介して供給された撮像装置２からの指示等に応じて、絞り１５（の開口径）を制御する。具体的に、レンズ側制御部１２は、検出部１７における絞り検出センサによって検出された絞り１５の開口径を取得して、撮像装置２から指示されたＦ値となるように絞り制御部２３に指令を出し、絞り１５を駆動させる。絞り制御部２３は、レンズ側制御部１２から指示された開口径となるように絞り１５を駆動させる。
　さらに、レンズ側制御部１２は、マウント部１１の所定の通信端子を介して供給された撮像装置２からの指示に基づき、フォーカスレンズ１６の位置を制御する。
　ここで、例えばＡＦ（Auto Focus）処理においては、撮像装置２から目標とするフォーカスレンズ位置がレンズ側制御部１２に指示される。
　レンズ側制御部１２は、検出部１７からフォーカスレンズ１６の現在位置を取得し、取得した現在位置と撮像装置２から指示された目標とするフォーカスレンズ位置とに基づき、フォーカスレンズ１６を目標とする位置に移動させるための駆動方向及び駆動量を決定する。そして、レンズ側制御部１２は、決定した駆動方向及び駆動量を移動命令とともにフォーカスレンズ駆動部２４に出力する。
　フォーカスレンズ駆動部２４は、指示された駆動方向及び駆動量となるようにフォーカスレンズ１６を光軸方向に移動させる。
　ここで、フォーカスレンズ１６は、一又は複数の光学要素を含む「フォーカスレンズ群」として構成される。フォーカスレンズ群が複数の光学要素を含む場合、それらの光学要素は、フォーカス調整に伴い一体に変位されることになる。
　なお、この点はズームレンズ１３についても同様である。すなわち、ズームレンズ１３は、一又は複数の光学要素を含む「ズームレンズ群」として構成されるものであり、ズームレンズ群が複数の光学要素を含む場合、それら光学要素はズーム調整に伴い一体に変位されるものとなる。
　本例では、ズームレンズ１３、フォーカスレンズ１６はそれぞれ一つのズームレンズ群、フォーカスレンズ群で構成されるものとしているが、それぞれ複数のズームレンズ群、フォーカスレンズ群を備える構成とすることも可能である。
　フォーカスレンズ駆動部２４は、レンズの駆動源として、例えば超音波モータ、ＤＣモータ、リニアアクチュエータ、ステッピングモータ、ピエゾ素子（圧電素子）等を有する構成とすることができる。
　なお、フォーカス調整については、操作部３１が受け付けたユーザの操作に応じて行われるように構成することも可能である。
　メモリ３２は、例えばＥＥＰＲＯＭ（ＥＥＰ：Electrically Erasable Programmable）等の不揮発性メモリで構成され、レンズ側制御部１２の動作プログラムや各種データの記憶に用いることができる。
　電源制御部３３は、撮像装置２から供給された電源の電力量を検出し、検出した電力量に基づいて交換レンズ３内の各部（レンズ側制御部１２や各種の駆動部）に対して電力量を最適に配分して電源を供給する。
　ボディ側となる撮像装置２には、交換レンズ３が着脱可能に取り付けられるマウント部５１が設けられる。マウント部５１は、交換レンズ３のマウント部１１と電気的に接続するための複数の端子を有する。
　撮像装置２のマウント部５１に交換レンズ３が装着されると、マウント部５１と交換レンズ３におけるマウント部１１との間で、対応する端子同士が電気的かつ物理的に接続される。接続される端子には、例えば、電源供給のための端子（電源供給端子）、コマンドやデータを伝送するための端子（通信端子）、同期信号を伝送するための端子（同期信号端子）等がある。
　撮像装置２は、さらに、ボディ側制御部５２、シャッタ５３、シャッタ制御部５４、撮像素子５５、ＡＤＣ（Analog to Digital Converter）５６、フレームメモリ５７、画像信号処理部５８、記録部５９、記録媒体６０、表示部６１、メモリ６２、電源制御部６３、電源部６４、操作部６５及び通信部６６を備えている。
　電源制御部６３は、電源部６４から供給される電源を、ボディ側制御部５２を始めとした撮像装置２の各部へ供給する。また、電源制御部６３は、撮像装置２の動作状態に基づき、交換レンズ３に供給可能な電源電力量を算出し、マウント部５１を介して交換レンズ３に電源を供給する。
　電源部６４は、例えば、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池を有して構成される。なお、電源部６４としては、ＡＣアダプタ等を介して商用交流電源からの電源供給を受けることが可能に構成することもできる。
　ボディ側制御部５２は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を有するマイクロコンピュータを備えて構成され、ＣＰＵがＲＯＭやメモリ６２等の所定の記憶装置に記憶されたプログラムをＲＡＭに読み出して実行することにより、撮像装置２及び交換レンズ３の全体制御を行う。
　メモリ６２は、例えばＥＥＰＲＯＭ等の不揮発性メモリで構成され、ボディ側制御部５２の動作プログラムや各種データの記憶に用いることができる。
　ボディ側制御部５２は、操作部６５から供給されたユーザの操作を表す操作信号に基づいて、撮像素子５５による撮像処理を実行させる。さらに、所定のコマンドを、マウント部５１を介して交換レンズ３側に送信し、フォーカスレンズ１６やズームレンズ１３等を駆動させる。
　シャッタ５３は、撮像素子５５の前面（被写体側）に配置されており、シャッタ制御部５４の制御に従って開閉する。シャッタ５３が閉状態であるとき、交換レンズ３の光学系を通過してきた被写体の光が遮断される。シャッタ制御部５４は、シャッタ５３の開閉状態を検出し、検出結果を示す情報をボディ側制御部５２に供給する。シャッタ制御部５４は、ボディ側制御部５２の制御に基づいてシャッタ５３を開状態又は閉状態に駆動する。
　撮像素子５５は、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等によるイメージセンサとして構成され、被写体を撮像することで得られる受光信号を出力する。
　撮像素子５５がＣＣＤセンサやＣＭＯＳセンサで構成される場合には、電子シャッタを用いることができるため、シャッタ５３は省略することも可能である。シャッタ５３が省略された場合、その制御に用いられるシャッタ制御部５４も省略される。
　図４は、撮像素子５５の構成を示した図である。なお、図４においては、説明の便宜上、ＲＧＢ画素５５ａについて個々の図示を省略している。
　図４に示すように、撮像素子５５は、画像撮像用の画素（ＲＧＢ画素）５５ａと、像面位相差法によるＡＦ処理に用いる検波情報を取得するための画素、すなわち、１つの画素内に瞳分割した光が入射する一対の光電変換部（ダイオード）を有し一対の光電変換部が生成する一対の像間の位相差を検出するための位相差検出画素５５ｂとを有している。
　撮像素子５５においてＲＧＢ画素５５ａは、例えばベイヤ配列等の所定の配列パターンにより水平方向及び垂直方向（図中、横方向及び縦方向）に二次元配列されている。撮像素子５５において位相差検出画素５５ｂは、ＲＧＢ画素５５ａが二次元配列された画素配列面において水平方向及び垂直方向に離散的に配置されている。
　撮像素子５５においてＲＧＢ画素５５ａの光電変換で得られた受光信号は、ＡＤＣ５６でデジタル信号に変換され、フレームメモリ５７に一時保持された後、画像信号処理部５８に入力される。
　図３では、上記のようにＲＧＢ画素５５ａの受光信号がデジタル変換されて得られる撮像画像信号のことを「撮像画像信号Ｓｉ」と表記している。
　一方、撮像素子５５において位相差検出画素５５ｂの光電変換で得られた受光信号は、ＡＤＣ５６でデジタル信号に変換されてボディ側制御部５２に供給される。
　図３では、このように位相差検出画素５５ｂの受光信号がデジタル変換されて得られる信号を「位相差画素信号Ｓｐ」と表記している。
　ボディ側制御部５２は、ＡＤＣ５６を介して供給される位相差画素信号Ｓｐに基づき、一対の像間の位相差（位相シフト量）を検出することで、位相差検出画素５５ｂごとのフォーカスのずれ量、すなわちデフォーカス量を位相差情報として算出する。なお、デフォーカス量の算出方法は、既存の方法を利用することができるため、詳しい説明は省略する。
　ボディ側制御部５２は、このように算出された位相差情報に基づいてＡＦ処理を行うことができる。位相差検出画素５５ｂでは、例えばＲＧＢ画素５５ａと同期して受光信号が得られる。すなわち、ボディ側制御部５２は、撮像装置２で得られる動画像を構成するフレームに同期して（フレームと同間隔で）位相差情報を算出する。
　画像信号処理部５８は、フレームメモリ５７を介して入力される撮像画像信号Ｓｉに基づく撮像画像に対して所定の画像信号処理を施す。ここでの画像信号処理としては、例えばデモザイク処理やホワイトバランス（ＷＢ）調整、ガンマ補正の処理等を挙げることができる。
　画像信号処理部５８は、フレームメモリ５７を介して入力されるＲＡＷ画像としての撮像画像に画像信号処理を施した後、所定のファイル形式に変換し、記録部５９を介して記録媒体６０に記録させる。
　このとき、ボディ側制御部５２は、詳しくは後述するように、記録媒体６０に記録される画像にメタ情報を付与する。
　また、画像信号処理部５８は、画像信号処理を施した後の画像を表示部６１に供給し、撮像された画像を表示部６１に表示させる。
　記録媒体６０は、不揮発性メモリで構成され、記録部５９は、記録媒体６０に対するデータの書き込み、及び記録媒体６０に記録されたデータの読み出しを行うことが可能に構成されている。ここで、記録媒体６０は、撮像装置２に対して着脱自在とされてもよい。
　表示部６１は、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置で構成され、画像表示が可能とされる。
　表示部６１は、マウント部５１が配置された撮像装置２の正面とは反対側の背面に実装され、いわゆるスルー画像の表示や、記録媒体６０から読み出された画像の表示、各種操作画面等としてのＧＵＩの表示等を行うことができる。
　操作部６５は、例えばシャッタボタン、モードダイヤル、ズームボタン等の各種ハードウエアキーや、表示部６１の表示画面に対するタッチ操作を検出可能に設けられたタッチパネル等、ユーザが撮像装置２に対する操作入力を行うための操作子を包括的に表している。
　操作部６５は、ユーザの操作を受け付けて、操作に応じた操作信号をボディ側制御部５２に供給する。
　通信部６６は、例えばスマートフォン４との間で有線又は無線による通信を行う。なお、通信部６６は、スマートフォン４を介さずにコンピュータ５との間で有線又は無線による通信を直接行うようにしてもよい。
　図５は、ボディ側制御部５２の機能ブロック図である。図５に示すようにボディ側制御部５２は、接続部７１、決定制御部７２、メタ情報生成部７３及び設定保存部７４しての機能部を有する。
　接続部７１は、スマートフォン４を介したコンピュータ５との通信に関する処理を行う。例えば、接続部７１は、スマートフォン４を介したコンピュータ５とネットワーク接続を行ったり、画像及びメタ情報をコンピュータ５に送信したりする。
　決定制御部７２は、画像品質（ビットレート）、及び、サービスで実行される画像処理の内容を決定する。また、決定制御部７２は、決定した画像品質、及び、サービスで実行される画像処理の内容に応じて、メタ情報の付与に関する制御を行う。なお、詳しくは後に具体例を挙げて説明するが、メタ情報の付与に関する制御とは、メタ情報の種類、メタ情報の付与頻度、メタ情報の付与タイミング、メタ情報の形式等の少なくともいずれかを決定することを含む。
　メタ情報生成部７３は、決定制御部７２に決定に従ってメタ情報を生成する。
　設定保存部７４は、決定制御部７２により決定された画像品質、画像データに付与するメタ情報をメモリ６２に保存しておく。
　なお、接続部７１、決定制御部７２、メタ情報生成部７３及び設定保存部７４について、詳しくは後述する。
［１．３．コンピュータの構成］
　次に、撮像装置２によって取得された画像及びメタ情報に基づいて、各種サービスを行うコンピュータ５について説明する。
　図６は、コンピュータ５の構成を示したブロック図である。図６に示すように、コンピュータ５は、制御部８１、記憶部８２、表示部８３、操作部８４、記録部８５、記録媒体８６及び通信部８７を備える。
　制御部８１は、例えば、ＣＰＵ、ＲＯＭ及びＲＡＭ等を有するマイクロコンピュータを備えて構成され、ＣＰＵがＲＯＭや記憶部８２等の所定の記憶装置に記憶されたプログラムをＲＡＭに読み出して実行することによりコンピュータ５の全体制御を行う。
　記憶部８２は、例えば固体メモリなどの記憶媒体より構成される。記憶部８２には、各種情報を記憶可能とされる。また、記憶部８２は、制御部８１が各種処理を実行するためのプログラムデータの格納にも用いることが可能とされる。
　表示部８３は、液晶ディスプレイ、有機ＥＬディスプレイ等であり、各種画像を表示する。
　操作部８４は、ユーザが用いる入力デバイスであり、例えば、キーボード、マウス、ボタン、ダイヤル、タッチパッド、タッチパネル等の各種の操作子や操作デバイスである。操作部８４によりユーザ操作が検知されると、入力された操作に応じた信号が制御部８１に入力される。
　記録媒体８６は、不揮発性メモリで構成され、記録部８５は、記録媒体８６に対するデータの書き込み、及び記録媒体８６に記録されたデータの読み出しを行うことが可能に構成されている。ここで、記録媒体８６は、コンピュータ５に対して着脱自在とされてもよい。
　通信部８７は、スマートフォン４を介して撮像装置２との間で有線又は無線による通信を行う。なお、通信部８７は、スマートフォン４を介さずに撮像装置２との間で有線又は無線による通信を直接行うようにしてもよい。
　図７は、制御部８１の機能ブロック図である。図７に示すように、制御部８１は、表示制御部９１、データ取得部９２、画像生成部９３及びサービス提供部９４としての機能部を有する。
　表示制御部９１は、撮像装置２の表示部６１、又は、スマートフォン４の表示部に表示するＵＩ画面を生成する。そして、表示制御部９１は、生成したＵＩ画面を撮像装置２又はスマートフォン４に送信することで、撮像装置２の表示部６１、又は、スマートフォン４の表示部にＵＩ画面を表示させる。このＵＩ画面では、詳しくは後述するように、画像品質、画像処理の内容を決定することが可能である。
　データ取得部９２は、撮像装置２から送信された画像及びメタ情報を取得する。データ取得部９２は、撮像装置２の記録媒体６０が記録媒体８６としてコンピュータ５に装着された場合に記録媒体８６から記録部８５を介して画像及びメタ情報を取得する。また、データ取得部９２は、通信部８７を介して撮像装置２と通信することにより画像及びメタ情報を取得する。
　画像生成部９３は、画像に付与されたメタ情報に基づいて、提供するサービスに応じた画像処理を実行する。
　サービス提供部９４は、画像生成部９３により画像処理が実行された画像をサービスに応じて提供する。
　なお、表示制御部９１、データ取得部９２、画像生成部９３及びサービス提供部９４について、詳しくは後述する。
＜２．データ構造＞
　図８は、撮像装置２で得られる画像（動画像）のデータ構造を説明する図である。図８に示すように、撮像装置２では、動画像が撮像される場合、決定制御部７２により決定された画像品質（高品質）の画像１１１を含む本線クリップ１０１が生成される。
　また、撮像装置２では、本線クリップ１０１に加えて、画像１１１よりもビットレートの低い（低品質の）画像１１４を含むｐｒｏｘｙクリップ１０２を生成可能である。
　本線クリップ１０１及びｐｒｏｘｙクリップ１０２には、共通の音声データ１１２及びメタ情報１１３が付加される。
　メタ情報１１３には、位相差検出画素５５ｂの検出結果に基づく位相差情報１２１、及び、動きセンサ１７ａの検出結果に基づく動き情報１２２を含むことが可能となっている。
　メタ情報１１３には、後述するサービス及び画像処理の内容に応じて、位相差情報１２１及び動き情報１２２の一方又は双方が含まれるようにしてもよく、また、双方とも含まれないようにしてもよい。
　また、位相差情報１２１には、位相差検出画素５５ｂごとのデフォーカス量が含まれるとともに、デフォーカス量に加えて、デフォーカス量を算出する際に使用する付属情報とが含まれることがある。なお、位相差情報１２１にデフォーカス量及び付属情報が含まれている場合にはフル位相差情報と表記し、位相差情報１２１にデフォーカス量のみが含まれ付属情報が除かれている場合にはライト位相差情報と表記する場合がある。
　フル位相差情報は、付属情報が含まれている分だけライト位相差情報よりもデータ量が多くなる。
　このように、撮像装置２では、動画像を撮像する際に、少なくとも本線クリップ１０１が生成されることになるが、本線クリップ１０１とともにｐｒｏｘｙクリップ１０２を生成することが可能である。
　なお、以下の説明では、データ量（ビットレート）が低い音声については考慮することなく説明する。
＜３．画像処理の具体例＞
　次に、メタ情報に含まれる位相差情報及び動き情報の一方又は双方を用いてコンピュータ５で行われる画像処理について説明する。
　図９は、メタ情報と画像処理との関係を説明する図である。図９に示すように、コンピュータ５で行われる画像処理としては、フォーカスマップ生成処理、背景ぼかし処理、手振れ補正処理、背景合成処理等が挙げられる。なお、これらは一例に過ぎず、コンピュータ５では、位相差情報又は動き情報を用いた画像処理として他の画像処理が行われていてもよく、また、一部の画像処理が行われなくてもよい。
　そして、フォーカスマップ生成処理及び背景ぼかし処理では、位相差情報が用いられる。また、手振れ補正処理では、動き情報が用いられる。また、背景合成処理では、位相差情報及び動き情報が用いられる。
　なお、ここで用いられる位相差情報は、フル位相差情報であってもライト位相差情報であってもよいが、フル位相差情報である場合の方がライト位相差情報である場合よりも精度よく画像処理を行うことが可能である。
［３．１．背景合成処理］
　図１０～図１２は、背景合成処理を説明する図である。例えば図１０に示す画像１３１が撮像装置２で得られたとする。この画像１３１には位相差情報及び動き情報がメタ情報として付与されている。
　位相差情報には、位相差検出画素５５ｂに対応する位置におけるデフォーカス量が示されている。
　そこで、画像生成部９３は、位相差情報に基づいて、画像１３１における被写体ごとのデフォーカス量を算出する。なお、画像生成部９３は、既存の技術により画像から被写体を抽出する。
　そして、画像生成部９３は、デフォーカス量が所定値以下の被写体（図では人物）、すなわち、フォーカスが合っている被写体のみを抽出する。
　また、画像生成部９３は、図１１に示すように、予め記憶部８２又は記録部８５に記憶されている半天球の三次元のバーチャル画像１３２から、動き情報に基づいて背景として合成する画像部分１３３を抽出する。具体的には、画像生成部９３は、動き情報に基づいて、撮像装置２で画像が得られたときの撮像装置２の位置及び姿勢を推定する。そして、推定された位置及び姿勢によって示される方向の画像部分１３３を抽出する。
　その後、図１２に示すように、画像生成部９３は、抽出した画像部分１３３に、画像１３１から抽出した被写体を合成した背景合成画像１３４を生成する。
　画像生成部９３は、フレームごとに背景合成画像１３４を生成する。これにより、撮像装置２の動きに合わせて背景（画像部分１３３）を移動させた背景合成画像１３４を動画像として生成することができる。
［３．２．フォーカスマップ生成処理］
　図１３は、フォーカスマップ生成処理を説明する図である。例えば図１０に示す画像１３１が撮像装置２で得られたとする。この画像１３１には位相差情報がメタ情報として付与されている。
　そして、位相差情報には、位相差検出画素５５ｂに対応する位置におけるデフォーカス量が示されている。
　そこで、画像生成部９３は、図１３に示すように、位相差情報に基づいて、画像における位相差検出画素５５ｂの位置に対応する領域ごとのデフォーカス量に応じて異なる色で色分け表示したフォーカスマップ１３５を生成する。
　画像生成部９３は、フレームごとにフォーカスマップ１３５を生成する。これにより、フォーカスマップ１３５をユーザが確認することで、動画像における領域ごとのボケ具合いや、どの位置にフォーカスが合わされているか等をユーザに容易に把握させることが可能となる。
［３．３．手振れ補正処理］
　手振れ補正を実行する際には、画像に動き情報がメタ情報として付与されている。そして、動き情報には、動きセンサ１７ａで検出された３軸の加速度、及び、３軸周りの角速度が含まれている。
　そこで、画像生成部９３は、動きセンサ１７ａによって検出された撮像装置２の３軸の加速度、及び、３軸周りの角速度に基づいて、撮像装置２の動き（方向及び移動量）を算出する。そして、画像生成部９３は、算出した撮像装置２の動きに応じて画像をフレームごとにクロップしていくことで、手振れが低減された動画像を生成する。
［３．４．背景ぼかし処理］
　図１４は、背景ぼかし処理を説明する図である。例えば図１０に示す画像１３１が撮像装置２で得られたとする。この画像１３１には位相差情報がメタ情報として付与されている。
　そして、位相差情報には、位相差検出画素５５ｂに対応する位置におけるデフォーカス量が示されている。
　そこで、画像生成部９３は、位相差情報に基づいて、画像１３１における被写体ごとのデフォーカス量を算出する。そして、画像生成部９３は、デフォーカス量が所定値以下の被写体（図では人物）、すなわち、フォーカスが合っている被写体をそのままに、それ以外について所定のぼかし処理を施し、図１４に示す背景ぼかし画像１３６を生成する。
　画像生成部９３は、フレームごとに背景ぼかし画像１３６を生成する。これにより、フォーカスが合っている被写体がより鮮明に写り、背景がぼかされた動画像を生成することができる。これは、報道等に用いる動画像であって、背景として写る人物のプライバシーを守る際に特に有用である。
＜４．サービスの具体例＞
　次に、メタ情報付与システム１で提供されるサービスについて具体例を挙げて説明する。ここでは、ライブ配信サービス、自動編集サービス及び放送向けサービスを例に挙げて説明する。
［４．１．ライブ配信サービス］
　図１５は、ライブ配信サービスの概要を説明する図である。図１６は、ライブ配信サービスの流れを示したシーケンスチャートである。図１７は、品質処理内容決定処理の流れを示したフローチャートである。
　図１５に示すように、ライブ配信サービスでは、撮像装置２で撮像された画像及びメタ情報がスマートフォン４を介してコンピュータ５に送信される。そして、コンピュータ５では、メタ情報に基づいて受信した画像に対して画像処理が実行され、画像処理後の画像を不特定多数の装置１４１にリアルタイムで配信する。すなわち、ライブ配信サービスでは、コンピュータ５が、撮像装置２で撮像された画像を画像処理してリアルタイムで配信するサービスである。
　なお、ライブ配信サービスにおける画像処理としては、背景合成処理、像振れ補正処理及びフォーカスマップ生成処理が実行可能であるとする。また、ライブ配信サービスでは、本線クリップ（画像及びメタ情報）のみが記録されるものとする。
　まず、例えば撮像装置２の操作部３１に対する操作に応じてライブ配信サービスが開始されると、図１６に示すように、撮像装置２の接続部７１は、ライブ配信サービスを行うコンピュータ５に対してアカウント認証等を行い、スマートフォン４を介した通信を確立する（ステップＳ１）。
　また、接続部７１は、撮像装置２で取得可能なメタ情報をコンピュータ５に送信する。ここでは、例えば、位相差情報及び動き情報が取得可能であるか否かを示す情報がコンピュータ５に送信される。
　コンピュータ５では、表示制御部９１が、撮像装置２の表示部６１、又は、スマートフォン４の表示部に表示するＵＩ画面を生成し、生成したＵＩ画面のデータを撮像装置２又はスマートフォン４に送信する（ステップＳ１１）。なお、以下ではＵＩ画像のデータを撮像装置２に送信する場合について説明する。
　撮像装置２では、ＵＩ画面のデータを受信すると、そのデータに基づいてＵＩ画面を表示する。そして、決定制御部７２は、ＵＩ画面に対するユーザ操作に応じて、画像品質（ビットレート）及び画像処理の内容等を決定する品質処理内容決定処理を行う（ステップＳ２）。
　なお、ＵＩ画面は、１又は複数の画面によって構成されており、１又は複数の画面がユーザ操作に応じて切り替えられて表示されることになるが、その間には撮像装置２とコンピュータ５との間でユーザ操作に応じた内容が相互に通信される。
　図１８は、ＵＩ画面の一例を示した図である。まず、撮像装置２では、図１８に示すように、ＵＩ画面におけるモード設定画面１５１が表示部６１に表示される（図１７のステップＳ１０１）。モード設定画面１５１には、画像品質優先モード又は画像処理優先モードを選択するためのラジオボタン（オプションボタン）が表示される。
　ここで、画像品質優先モードとは、画像処理よりも画像品質を優先するモードであり、回線速度が低いときに、付加するメタ情報を減らしてでも（画像処理を行わないようにしても）画像品質を落とさないようにするモードである。
　画像処理優先モードとは、画像品質よりも画像処理を優先するモードであり、回線速度が低いときに、画像品質を落としてでも付加するメタ情報を減らさない（画像処理を行う）ようにするモードである。
　そして、操作部６５を介して「画像品質優先モード」が選択決定されると（ステップＳ１０２でＹｅｓ）、接続部７１は、その旨を示す情報をコンピュータ５に送信する。コンピュータ５では、表示制御部９１が画像品質優先画像１５２を生成し、その画像品質優先画像１５２のデータを撮像装置２に送信する。これにより、撮像装置２では、画像品質優先画像１５２が表示部６１に表示される（ステップＳ１０３）。
　画像品質優先画像１５２には、現在の回線速度を表示する回線速度表示領域１５２ａ、画像品質を選択するための品質選択領域１５２ｂ、及び、実行可能な画像処理の内容を表示するための画像処理内容表示領域１５２ｃが設けられている。
　コンピュータ５では、所定間隔毎に撮像装置２から所定量のデータを受信し、そのデータを受信する時間を測定することで、撮像装置２からコンピュータ５への回線速度を測定している。そして、表示制御部９１は、測定された回線速度（図では「６２Ｍｂｐｓ」）を回線速度表示領域１５２ａに表示させる。これにより、現在の回線速度をユーザにリアルタイムに確認させることができる。
　品質選択領域１５２ｂには、画像品質の選択候補が表示されるとともに、選択候補のいずれかを選択させるためのラジオボタンが表示される。画像品質の選択候補としては、例えば「１００Ｍｂｐｓ」、「５０Ｍｂｐｓ」、「１５Ｍｂｐｓ」、「１Ｍｂｐｓ」が設けられている。
　ユーザは、回線速度表示領域１５２ａに表示されている回線速度を確認しながら、画像品質を選択する。なお、回線速度表示領域１５２ａに表示されている回線速度よりも画像品質が高い選択候補は選択不可にしてもよい。
　そして、品質選択領域１５２ｂにおいて例えば「５０Ｍｂｐｓ」が選択されると（ステップＳ１０４でＹｅｓ）、接続部７１は、選択された「５０Ｍｂｐｓ」の示す情報をコンピュータ５に送信する。コンピュータ５では、表示制御部９１が、回線速度から選択されている画像品質を減算し、メタ情報の送信可能なビットレートを算出する。ここでは、例えば「６２Ｍｂｐｓ」から「５０Ｍｂｐｓ」を減算し、メタ情報の送信可能なビットレートとして「１２Ｍｂｐｓ」を算出する。
　そして、表示制御部９１は、算出したメタ情報の送信可能なビットレートに基づいて、実行可能な画像処理の内容を決定する。ここでは、表示制御部９１は、予め設定された優先度に応じて、優先度が高い画像処理から順に実行するされるように、実行する画像処理の内容を決定する。
　図１９は、画像処理の優先度を説明する図である。図１９に示すように、手振れ補正処理ではメタ情報として動き情報のみを利用するため、手振れ補正処理を実行する際に必要なメタ情報のデータ量は小さいが、画像の見え方に与える影響度合いを示す必要度が一番高い。
　背景合成処理ではメタ情報として位相差情報及び動き情報の双方を利用するため、背景合成処理を実行する際に必要なメタ情報のデータ量は大きいが、必要度は手振れ補正処理よりも低い。
　フォーカスマップ生成処理ではメタ情報として位相差情報のみを利用するため、フォーカスマップ生成処理を実行する際に必要なメタ情報のデータ量は手振れ補正処理より大きく背景合成処理よりも小さく、必要度は手振れ補正処理及び背景合成処理よりも低い。
　このような条件のもと、図１９における（１）に示すように、例えば画像品質への影響度、すなわち、メタ情報のデータ量に応じて優先度を設定するようにしてもよい。この場合、メタ情報のデータ量が少ないほど優先度が高く設定されることになる。そのため、手振れ補正処理の優先度が最も高くなり、フォーカスマップ生成処理の優先度が次に高くなり、背景合成処理の優先度が最も低くなる。
　また、図１９における（２）に示すように、画像処理の必要度に応じて優先度を設定するようにしてもよい。この場合、必要度が高いほど優先度が高く設定されることになる。そのため、手振れ補正処理の優先度が最も高くなり、背景合成処理の優先度が次に高くなり、フォーカスマップ生成処理の優先度が最も低くなる。
　また、ユーザが優先度を設定してもよい。
　表示制御部９１は、図１９に示したような優先度に基づいて、実行可能な画像処理の内容を決定する（ステップＳ１０５）。例えば必要度が高いほど優先度が高く設定されている場合、表示制御部９１は、まず、最も優先度の高い手振れ補正処理を実行するために必要な動き情報が送信可能であるかを判断する。
　ここで、例えば、位相差情報のビットレートが「１０Ｍｂｐｓ」で、動き情報のビットレートが「５Ｍｂｐｓ」であるとする。そして、メタ情報の送信可能なビットレートが「１２Ｍｂｐｓ」であるため、手振れ補正処理を実行するために必要な動き情報（５Ｍｂｐｓ）が送信可能であると判断する。すなわち、表示制御部９１は、手振れ補正処理が実行可能であると判断する。
　次に、表示制御部９１は、手振れ補正処理の次に優先度が高い背景合成処理を実行するために必要な位相差情報及び動き情報が送信可能であるかを判断する。そして、メタ情報の送信可能なビットレートが「１２Ｍｂｐｓ」であるため、背景合成処理を実行するために必要な位相差情報及び動き情報（１０Ｍｂｐｓ＋５Ｍｂｐｓ）が送信可能でないと判断する。
　このようにして、優先度に応じて実行する画像処理の内容が決定されると、表示制御部９１は、決定された画像処理の内容を画像品質優先画像１５２の画像処理内容表示領域１５２ｃに識別可能に表示させる。
　これにより、ユーザに選択された画像品質に対して実行可能な画像処理の内容をユーザに確認させることができる。そして、品質選択領域１５２ｂで新たな画像品質が選択されると、表示制御部９１は、再度、実行可能な画像処理の内容を決定して画像処理内容表示領域１５２ｃに表示させる。
　そして、画像品質優先画像１５２の決定ボタン１５２ｄが操作部６５を介したユーザ操作によって操作されると（ステップＳ１０６でＹｅｓ）、表示制御部９１は、モード設定画面１５１で決定されたモード（画像品質優先モード又は画像処理優先モード）、品質選択領域１５２ｂで選択されている画像品質、画像処理内容表示領域１５２ｃに表示されている画像処理の内容を設定情報として撮像装置２に送信する。
　接続部７１がコンピュータ５から設定情報を受信すると、設定保存部７４は、受信した設定情報をメモリ６２に記録する。また、決定制御部７２は、設定情報に示される画像処理の内容に応じて、画像に付加するメタ情報の種類（位相差情報、動き情報）を決定し、設定保存部７４が設定情報としてメモリ６２に記録する。これにより、決定制御部７２は、モード、画像品質、画像処理の内容、画像に付加するメタ情報の種類を決定することになる（ステップＳ１０７）。
　また、モード設定画面１５１において操作部６５を介して「画像処理優先モード」が選択決定されると（ステップＳ１０２でＮｏ）、接続部７１は、その旨を示す情報をコンピュータ５に送信する。コンピュータ５では、表示制御部９１が図１８に示した画像処理優先画像１５３を生成し、その画像処理優先画像１５３のデータを撮像装置２に送信する。これにより、撮像装置２では、画像処理優先画像１５３が表示部６１に表示される。
　画像処理優先画像１５３では、現在の回線速度を表示する回線速度表示領域１５３ａ、実行させる画像処理の内容を選択するための画像処理内容表示領域１５３ｂ、及び、画像品質及びプレビュー画像を表示するための画像品質選択領域１５３ｃが設けられている。
　表示制御部９１は、測定された回線速度（図では「６１Ｍｂｐｓ」）を回線速度表示領域１５３ａに表示させる。これにより、現在の回線速度をユーザにリアルタイムに確認させることができる。
　画像処理内容表示領域１５３ｂには、画像処理の内容の選択候補が表示されるとともに、選択候補を１又は複数選択させるためのチェックボックスが表示される。
　ユーザは、操作部６５を介してチェックボックス内にチェックを入れることで、１又は複数の画像処理の内容を選択することができる。
　チェックボックスにチェックが入れられると（ステップＳ１０９でＹｅｓ）、接続部７１は、チェックされた画像処理の内容を示す情報をコンピュータ５に送信する。コンピュータ５では、チェックされた画像処理の内容を示す情報を受信すると、表示制御部９１は、チェックされた画像処理の内容を実行するために必要なメタ情報の種類を特定する。例えば、手振れ補正処理及び背景合成処理がチェックされていた場合、表示制御部９１は、これらの画像処理を実行するために必要なメタ情報は位相差情報及び動き情報であると特定する。
　そして、表示制御部９１は、特定したメタ情報、すなわち、位相差情報及び動き情報を送信するために必要なビットレートを算出する。ここでは、「１０Ｍｂｐｓ」＋「５Ｍｂｐｓ」＝「１５Ｍｂｐｓ」と算出される。
　その後、表示制御部９１は、現在の回線速度から、特定したメタ情報を送信するために必要なビットレートを減算することで画像品質を算出する。ここでは、「６１Ｍｂｐｓ」－「１５Ｍｂｐｓ」＝「４６Ｍｂｐｓ」と算出される。表示制御部９１は、画像品質を算出すると、その旨を示す情報を撮像装置２に送信する。
　撮像装置２では、画像品質を示す情報を受信すると、画像信号処理部５８が、撮像画像に対して、受信した画像品質となるように圧縮符号化する。そして、決定制御部７２は、圧縮符号化された画像を、画像品質ともに画像品質選択領域１５３ｃに表示させる（ステップＳ１１０）。
　これにより、選択された画像処理を実行した際の画像品質をユーザに確認させることができる。
　そして、画像処理優先画像１５３の決定ボタン１５３ｄがユーザ操作によって操作されると（ステップＳ１０６でＹｅｓ）、表示制御部９１は、モード設定画面１５１で決定されたモード（画像品質優先モード又は画像処理優先モード）、画像品質選択領域１５３ｃに表示されている画像品質、画像処理内容表示領域１５３ｂで選択されている画像処理の内容を設定情報として撮像装置２に送信する。
　接続部７１がコンピュータ５から設定情報を受信すると、設定保存部７４は、受信した設定情報をメモリ６２に記録する。また、決定制御部７２は、設定情報に示される画像処理の内容に応じて、画像に付加するメタ情報の種類（位相差情報、動き情報）を決定し、設定保存部７４が設定情報としてメモリ６２に記録する。これにより、決定制御部７２は、モード、画像品質、画像処理の内容、画像に付加するメタ情報の種類を決定することになる（ステップＳ１０７）。
　このようにして、画像品質が決定されると、決定制御部７２は、決定された画像品質の画像が生成されるように画像信号処理部５８を制御する。また、決定制御部７２は、決定された画像処理の内容を実行可能とするためのメタ情報をメタ情報生成部７３に生成させるように制御する。
　そして、画像のリアルタイム配信が開始されると（ステップＳ３）、画像信号処理部５８は、決定された画像品質となるように画像を圧縮符号化する。また、メタ情報生成部７３は、決定されたメタ情報を生成する。
　接続部７１は、生成された画像にメタ情報を付加してコンピュータ５に送信する（ステップＳ４）。これにより、回線速度以内で画像及びメタ情報がコンピュータ５に送信されることになる。コンピュータ５では、データ取得部９２が撮像装置２から送信された画像及びメタ情報を取得すると、取得した画像及びメタ情報を記録媒体８６に記憶させる。
　画像生成部９３は、決定された画像処理の内容を実行するために、まず、記録媒体８６に記憶されたメタ情報を解析し、決定された画像処理の内容を実行するためのメタ情報が記憶されているかを判断する。
　そして、決定された画像処理の内容を実行するためのメタ情報が記憶されている場合、画像生成部９３は、記録媒体８６に記憶された画像を読み出し、画像に対してメタ情報を用いて決定された内容の画像処理を実行し、補正された画像を生成する（ステップＳ１２）。
　サービス提供部９４は、生成された画像処理後の画像を提供する装置１４１に送信する（ステップＳ１３）。
　なお、ライブ配信サービスが行われている途中で撮像装置２とコンピュータ５との回線速度が変化することがある。例えば回線速度が低下した場合、最初に決定された画像品質、又は、決定された内容の画像処理を実行するために必要なメタ情報を送信できないことが起こり得る。
　そこで、決定制御部７２は、撮像装置２とコンピュータ５との回線速度を常時監視し、回線速度が低下した場合であって画像処理優先モードが決定されていた場合、画像処理を優先させるべく、決定された内容の画像処理を実行するために必要なメタ情報を減らすことなく画像及びメタ情報を送信可能な画像品質を算出する。そして、決定制御部７２は、算出された画像品質で画像が圧縮符号化されるように画像信号処理部５８を制御する。
　これにより、コンピュータ５では、回線速度が低下したとしても、決定された内容の画像処理を実行することが可能となる。
　また、決定制御部７２は、回線速度が低下した場合であって画像品質優先モードが決定されていた場合、画像品質を優先させるべく、決定された画像品質を低下させることなく画像及びメタ情報を送信可能なように、優先度の低い内容の画像処理に対応するメタ情報を減らす。そして、決定制御部７２は、減らしたメタ情報を生成させないようにメタ情報生成部７３を制御する。
　これにより、撮像装置２では、回線速度が低下した場合であっても、ユーザに選択されたモードに応じて、画像品質又は画像処理の内容を維持させながら、画像及びメタ情報を遅延なく送信することができる。
［４．２．自動編集サービス］
　図２０は、自動編集サービスのシーケンスチャートを示した図である。自動編集サービスでは、撮像装置２により撮像が開始されると、画像及びメタ情報が記録媒体６０に記録される。そして、撮像終了後に記録媒体６０に記憶された画像及びメタ情報がコンピュータ５に伝送され、コンピュータ５でメタ情報に基づいて画像に対して画像処理が実行される。
　なお、自動編集サービスでは、実行される画像処理の内容が予め決められていてもよく、また、実行される画像処理の内容が決められていなくてもよい。実行される画像処理の内容が予め決められている場合、その画像処理を実行するために必要なメタ情報を画像に付与させる。また、実行される画像処理の内容が決められていない場合、ユーザが選択したメタ情報を画像に付与させたり、全ての種類のメタ情報を付与させたりするようにすればよい。以下では、画像に付与させるメタ情報が位相差情報である場合を例に挙げて説明する。また、自動編集サービスでは、本線クリップ（画像及びメタ情報）のみが記録されるものとする。
　ここで、記録媒体６０は、記録媒体毎に書き込み速度が異なる。例えば、書き込み速度が高速な記録媒体６０では、画像及びメタ情報のデータ量（ビットレート）を減らさなくてもリアルタイムに全てを記録することが可能である。一方で、書き込み速度が低速な記録媒体６０では、画像及びメタ情報のデータ量を減らさなくてはリアルタイムに記録することができない場合がある。
　そこで、自動編集サービスでは、決定制御部７２は、記録媒体６０の書き込み速度に応じて、画像に付加させるメタ情報の形式（フル位相差情報又はライト位相差情報）を決定する。また、決定制御部７２は、記録媒体６０の書き込み速度に応じて、画像品質も決定する。
　まず、例えば撮像装置２の操作部６５に対する操作に応じて自動編集サービスが開始されると、撮像装置２の決定制御部７２は、記録媒体６０に所定量のデータを書き込み、そのデータが書き込まれる時間を測定することで、記録媒体６０への書き込み速度を測定する（ステップＳ２１）。
　続いて、決定制御部７２は、図１５で示したようなモード設定画面１５１を表示部６１に表示させ、操作部６５を介したユーザ操作に応じて、画像品質優先モード又は画像処理優先モードを選択させる。
　決定制御部７２は、測定した書き込み速度が所定値以上である場合、画像品質優先モード又は画像処理優先モードのどちらが選択されたかに拘わらず、画像品質を所定のビットレートに決定するとともに、フル位相差情報を付与する決定を行う。なお、所定値は、所定のビットレートで画像を記録し、かつ、フル位相差情報を記録しても、リアルタイムに全て記録できる値に設定されている。また、所定のビットレートは、予めユーザに設定させていてもよいし、任意のビットレートに決定してもよい。
　一方、決定制御部７２は、測定した書き込み速度が所定値未満である場合であって、画像処理優先モードが選択されていれば、フル位相差情報を付与する決定を行う。また、決定制御部７２は、測定された書き込み速度から、フル位相差情報を書き込む速度を減算することで、書き込める画像品質を算出する。そして、決定制御部７２は、算出した画像品質を決定する。
　また、決定制御部７２は、測定した書き込み速度が所定値未満である場合であって、画像品質優先モードが選択されていれば、ライト位相差情報の付加を決定する。また、決定制御部７２は、測定された書き込み速度から、ライト位相差情報を書き込む速度を減算することで、書き込める画像品質を算出する。そして、決定制御部７２は、算出した画像品質を決定する。
　このように、記録媒体６０への書き込み速度、及び、ユーザに選択されたモードに基づいて、決定制御部７２は、画像品質、及び、付与するメタ情報（位相差情報）の形式を決定する。設定保存部７４は、決定された画像品質、及び、付与するメタ情報（位相差情報）の形式をメモリ６２に記録する。
　なお、ここでは、自動編集モードで行う画像処理の内容を選択させ、その内容の画像処理を実行するために必要なメタ情報を付与する決定を行うとともに、それに応じて画像品質を決定するようにしてもよい。
　その後、決定制御部７２は、決定された画像品質で画像が生成されるように画像信号処理部５８を制御する。また、決定制御部７２は、決定されたメタ情報をメタ情報生成部７３に生成させるように制御する（ステップＳ２２）。
　そして、撮像が開始されると（ステップＳ２３）、画像信号処理部５８は、決定された画像品質となるように画像を圧縮符号化する。また、メタ情報生成部７３は、決定されたメタ情報を生成する。
　そして、記録部５９は、生成された画像にメタ情報を付加して記録媒体６０に記録する。
　そして、撮像が終了すると、例えば記録媒体６０が撮像装置２から取り外され記録媒体８６としてコンピュータ５に装着されることで、画像及びメタ情報がコンピュータ５に伝送される（ステップＳ２４）。なお、記録媒体６０に記録された画像及びメタ情報がスマートフォン４を介してコンピュータ５に送信されることで、画像及びメタ情報がコンピュータ５に伝送されるようにしてもよい。
　その後、コンピュータ５では、データ取得部９２が伝送された画像及びメタ情報を取得して記録媒体８６に記録させる。その後、画像生成部９３は、決定されていた内容の画像処理が実行可能であるかを、記録媒体８６に記憶されたメタ情報を解析して判断する。そして、決定された内容の画像処理を実行するためのメタ情報が記憶されている場合、画像生成部９３は、記録媒体８６に記憶された画像を読み出し、画像に対してメタ情報を用いて決定された内容の画像処理を実行する。そして、画像処理後の画像は例えば記録媒体８６に記録されユーザに提供される（ステップＳ３２）。
［４．３．報道向けサービス］
　図２１は、報道向けサービスの流れを示したシーケンスチャートである。報道番組等では、撮像装置２で撮像された画像をいち早く報道で使用することが求められることがある。このような場合に、撮像装置２で撮像された本線クリップをコンピュータ５に送信した後に画像処理を実行するとなると、データ送信に時間がかかってしまい早くに報道で使用することができなくなるおそれがある。
　そこで、報道向けサービスでは、撮像装置２により撮像が開始されると、本線クリップに加えてＰｒｏｘｙクリップを記録媒体６０に記録することができ、本線クリップに先駆けてビットレートの低いＰｒｏｘｙクリップをコンピュータ５に送信することで、データ送信時間の短縮を図り、いち早く報道で使用することを可能としている。
　なお、報道向けサービスでは、画像処理の内容として背景ぼかし処理を実行するものとする。
　報道向けサービスが開始されると、決定制御部７２は、本線クリップに加えてＰｒｏｘｙクリップの同時記録を行うか否かをユーザに選択（設定）させる（ステップＳ４１）。ここでは、決定制御部７２は、例えばＰｒｏｘｙクリップの同時記録を行うか否かを選択させるＵＩ画面を表示部６１に表示し、操作部６５を介したユーザ操作により選択させるようにすればよい。
　また、決定制御部７２は、本線クリップ及びＰｒｏｘｙクリップのどちらを優先的にコンピュータ５に送信させるか、あるいは、自動的に決定したクリップを優先的にコンピュータ５に送信させるかをユーザに選択（設定）させる（ステップＳ４２）。ここでは、決定制御部７２は、例えば本線クリップ及びＰｒｏｘｙクリップのどちらを優先的にコンピュータ５に送信させるか、あるいは、自動的に決定したクリップを優先的にコンピュータ５に送信させるかを選択させるＵＩ画面を表示部６１に表示し、操作部６５を介したユーザ操作により選択させるようにすればよい。
　また、決定制御部７２は、自動的に決定したクリップを優先的にコンピュータ５に送信させる場合、送信する時間（何分以内に送信完了させたいか）をユーザに選択させる。
　このように、Ｐｒｏｘｙクリップの記録の有無、及び、本線クリップ及びＰｒｏｘｙクリップの送信優先順位が設定されると、設定保存部７４は、その設定情報をメモリ６２に保存する。
　その後、撮像が開始されると（ステップＳ４３）、画像信号処理部５８は、予め決定された本線クリップの画像品質となるように画像を圧縮符号化する。また、画像信号処理部５８は、Ｐｒｏｘｙクリップを記録する設定がなされている場合、予め決定されたＰｒｏｘｙクリップの画像品質となるように画像を圧縮符号化する。
　メタ情報生成部７３は、少なくとも背景ぼかし処理を実行する際に必要な位相差情報を含むメタ情報を生成する。
　これにより、撮像装置２では、本線クリップ及びＰｒｏｘｙクリップが生成される。
　記録部５９は、生成された本線クリップ及びＰｒｏｘｙクリップを記録媒体６０に記録する（ステップＳ４４）。
　その後、撮像が終了すると、送信優先順位に基づいてコンピュータ５に送信するクリップを決定する（ステップＳ４５）。具体的には、接続部７１は、本線クリップを優先的に送信する設定がなされていた場合、本線クリップを送信する決定を行う。また、接続部７１は、Ｐｒｏｘｙクリップを優先的に送信する設定がなされていた場合、Ｐｒｏｘｙクリップを送信する決定を行う。
　ここで、本線クリップ又はＰｒｏｘｙクリップをコンピュータ５に送信する際に、撮像装置２で新たに撮像が開始され本線クリップ及びＰｒｏｘｙクリップが新たに記録媒体６０に記録されるとなると、記録媒体６０から送信するための本線クリップ又はＰｒｏｘｙクリップを読み込む速度が低下する。
　そこで、接続部７１は、自動的に決定したクリップを優先的にコンピュータ５に送信させる場合、記録媒体６０の読み込み速度、及び、コンピュータ５との回線速度を測定する。そして、測定した読み込み速度及び回線速度で、選択された時間内に送信可能なデータ量を算出する。そして、接続部７１は、本線クリップが算出されたデータ量以下である場合には本線クリップを送信する決定を行う。一方、接続部７１は、本線クリップが算出されたデータ量より大きい場合にはＰｒｏｘｙクリップを送信する決定を行う。
　そして、接続部７１は、決定した本線クリップ又はＰｒｏｘｙクリップをコンピュータ５に送信する（ステップＳ４６）。
　その後、コンピュータ５では、データ取得部９２が送信された本線クリップ又はＰｒｏｘｙクリップを取得して記録媒体８６に記録させる。そして、画像生成部９３は、決定されていた内容の画像処理（背景ぼかし処理）が実行可能であるかを、記録媒体８６に記憶されたメタ情報を解析して判断する。そして、決定された内容の画像処理を実行するためのメタ情報が記憶されている場合、画像生成部９３は、記録媒体８６に記憶された画像を読み出し、画像に対してメタ情報を用いて決定された内容の画像処理を実行する（ステップＳ５１）。そして、画像処理後の画像は報道で使用される（ステップＳ５２）。
　また、ステップＳ４６でＰｒｏｘｙクリップを送信した場合、接続部７１は、本線クリップを送信可能なときにコンピュータ５に送信する（ステップＳ４７）。そして、コンピュータ５では、データ取得部９２が本線クリップを受信して記録媒体８６に記録させる。また、画像生成部９３は、記録媒体８６に記憶された画像を読み出し、画像に対してメタ情報を用いて決定された内容の画像処理を実行する（ステップＳ５３）。そして、画像処理後の画像は後の報道で使用される。
　なお、ステップＳ４６で本線クリップを送信していた場合、ステップＳ４７、Ｓ５３の処理は省略される。
＜５．メタ情報のデータ量削減＞
　上記したサービスでは、画像に付加するメタ情報の種類（位相差情報、動き情報）又は形式（フル位相差情報、ライト位相差情報）を制御することで、記録媒体６０に画像とともにメタ情報が記録可能であったり、画像とともにメタ情報をコンピュータ５に送信可能にした。
　しかしながら、決定制御部７２は、メタ情報の種類、形式だけでなく、付加頻度、付加タイミング、データ量圧縮方法等を変えることで付与に関する制御を行うようにしてもよい。
　例えば、位相差情報は、位相差検出画素５５ｂ毎のデフォーカス量が含まれている。そこで、決定制御部７２は、位相差情報を画像データと捉え、画像データの圧縮方法と同様の方法により位相差情報を圧縮するようにしてもよい。
　位相差情報の圧縮方法としては、１フレーム毎の位相差情報に対して非可逆圧縮又は可逆圧縮を行うようにしてもよい。
　また、連続するフレームのうち、キーとなるキーフレームはそのままにし、キーフレーム間のフレームについてはキーフレームとの差分を取ることでデータ圧縮を行うようにしてもよい。
　また、フレームの特徴的な一部（例えば被写体が人物である部分）を切り出すことでデータ圧縮を行うようにしてもよい。
　また、一定区間ごとにデフォーカス量の最大値を検出し、位相差検出画素５５ｂ毎のデフォーカス量を最大値との差分値で表すことでデータ圧縮を行うようにしてもよい。
　さらに、決定制御部７２は、位相差情報及び動き情報の付加頻度に関して、画像のフレーム毎に付加するのではなく、適切な頻度に間引きするようにしてもよい。
　また、決定制御部７２は、位相差情報及び動き情報の付加タイミングに関して、回線速度が低下していないとき等、必要な区間だけメタ情報を記録又は送信するようにしてもよい。
　また、決定制御部７２は、必要なメタ情報を厳選して記録又は送信するようにしてもよい。
＜６．変形例＞
　なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
　上記の実施形態では、接続部７１、決定制御部７２、メタ情報生成部７３、設定保存部７４が撮像装置２に設けられている場合について説明した。しかしながら、これらの機能部は、スマートフォン４又はコンピュータ５に設けられていてもよい。
　また、上記した実施形態では、表示制御部９１、データ取得部９２、画像生成部９３及びサービス提供部９４がコンピュータ５に設けられている場合について説明した。しかしながら、これらの機能部は、撮像装置２又はスマートフォン４に設けられていてもよい。
　また、上記した実施形態では、メタ情報として位相差情報及び動き情報を含むようにした。しかしながら、メタ情報は、位相差情報及び動き情報の少なくとも一方を含むようにしてもよい。すなわち、決定制御部７２は、撮像装置２により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素５５ｂから出力した信号に基づく位相差情報、及び、撮像装置２の動きに関する動き情報の少なくとも一方を含むメタ情報の画像への付与に関する制御を行うようにしてもよい。
　また、上記した実施形態では、ライブ配信サービスにおいて画像品質優先モード又は画像処理優先モードを選択させ、選択させたモードの内容を優先して決定するようにした。しかしながら、ライブ配信サービスにおいて、画像品質及び画像処理の内容をユーザにそれぞれ選択させるようにしてもよい。
　例えば図２２に示すように、表示制御部９１は、品質内容設定画面１６１を表示部６１に表示させる。品質内容設定画面１６１には、画像品質設定画面１６２又は画像処理内容設定画面１６３を選択させるラジオボタンが表示されている。また、品質内容設定画面１６１には、現在の回線速度（図では「６０Ｍｂｐｓ」）を表示する回線速度表示領域１６１ａが設けられている。
　品質内容設定画面１６１において画像品質設定画面１６２が選択されると、表示制御部９１は、画像品質設定画面１６２を表示部６１に表示させる。画像品質設定画面１６２には、画像品質を選択するための品質選択領域１６２ａが設けられている。品質選択領域１６２ａに対するユーザ操作により、画像品質が例えば「１５Ｍｂｐｓ」から「５０Ｍｂｐｓ」に変更された場合に、画像品質が上がったことによりメタ情報を送信するビットレートが低下し、設定中の画像処理の一部（例えば、手振れ補正処理及び背景合成処理）を実行するためのメタ情報が送信できなくなることを通知するポップアップ１６２ｂを表示部６１に表示させる。
　また、品質内容設定画面１６１において画像処理内容設定画面１６３が選択されると、表示制御部９１は、画像処理内容設定画面１６３を表示部６１に表示させる。画像処理内容設定画面１６３には、画像処理の内容を選択するための画像処理内容表示領域１６３ａが設けられている。画像処理内容表示領域１６３ａに対するユーザ操作により、例えば背景合成処理が追加された場合に、メタ情報のビットレートが上がって画像品質が低下し、設定中の画像品質の画像が送信できなくなることがある。この場合に、表示制御部９１は、送信可能な画像品質を通知するポップアップ１６３ｂを表示部６１に表示させる。
　これにより、画像品質又は画像処理の内容の一方が変更された場合に、他方をどのように変更したらよいかを通知することができる。
＜７．実施形態のまとめ＞
　上記のように実施形態の情報処理装置（撮像装置２）は、撮像装置２により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素５５ｂから出力した信号に基づく位相差情報、及び、撮像装置２の動きに関する動き情報の少なくとも一方を含むメタ情報の画像への付与に関する制御を行う制御部（決定制御部７２）を備える。
　これにより、撮像装置２では、例えば画像及びメタ情報をコンピュータ５に送信できなくなるおそれを低減したり、画像及びメタ情報を記録媒体６０に記録できなくなるおそれを低減することができる。
　かくして、撮像装置２は、画像に対して行われる画像処理に応じてメタ情報を適切に付与することが可能となる。
　また、制御部（決定制御部７２）は、画像処理が実行された画像が提供されるサービスに応じて、メタ情報の画像への付加に関する制御を行う。
　ここで、提供されるサービス毎に実行する画像処理の内容が異なる。そこで、撮像装置２では、提供されるサービスに応じてメタ情報の付与に関する制御を行うことで、そのサービスで実行される画像処理の内容に応じて最適なメタ情報を付与することができる。
　また、制御部（決定制御部７２）は、画像品質又は画像処理の内容を決定し、決定した画像品質及び画像処理の内容に応じて、メタ情報の画像への付加に関する制御を行う。
　これにより、撮像装置２では、決定された画像品質を優先しながら実行可能な画像処理の内容を決定したり、決定された画像処理の内容を優先しながら画像品質を決定したりすることができる。
　すなわち、撮像装置２では、画像品質又は画像処理の内容の一方を優先的に決定し、それに合わせて他方を決定することができる。
　制御部（決定制御部７２）は、メタ情報の画像への付加に関する制御として、画像に付与するメタ情報の種類、メタ情報の付加頻度、メタ情報の付加タイミング、及び、メタ情報の形式の少なくともいずれかを決定する。
　これにより、画像に付加するメタ情報のデータ量を削減することができる。
　サービスには、画像処理を施した画像を他の装置に配信するライブ配信サービスが含まれる。
　これにより、撮像装置２で得られた画像に画像処理が実行された画像を他の装置１４１にほぼリアルタイムに配信することができる。
　情報処理装置は、画像品質、及び、前記画像処理の内容を決定するためのＵＩ画面を表示部に表示させる表示制御部９１を備える。
　これにより、ユーザは、ＵＩ画面に従って画像品質及び画像処理の内容を決定することができる。したがって、ユーザは、画像品質及び画像処理の内容を容易に決定することができる。
　制御部（決定制御部７２）は、決定された画像処理の内容に応じて画像品質を決定する。
　これにより、撮像装置２では、決定された内容の画像処理を行うために必要なメタ情報を画像に付与させることができるとともに、コンピュータ５への送信又は記録媒体６０への記録が間に合うように画像品質を決定することができる。
　制御部（決定制御部７２）は、予め決められた優先度に応じて、実行する画像処理の内容を決定する。
　これにより、画像品質への影響度や画像処理の必要度に応じて最適なメタ情報を画像に付与することができる。
　サービスには、記録媒体６０に記録された画像に対して画像処理を実行する自動編集サービスが含まれる。
　これにより、撮像装置２で得られた画像に自動で画像処理を実行することができる。すなわち、ユーザに煩わしい操作を強いることなく画像処理を実行刷ることができる。
　制御部（決定制御部７２）は、記録媒体６０の書き込み速度に基づいて画像品質を決定する。
　これにより、画像及びメタ情報が記録媒体６０に記録できなくなってしまうおそれを低減することができる。
　制御部（決定制御部７２）は、記録媒体６０の書き込み速度に基づいてメタ情報の付与に関する制御を行う。
　これにより、画像及びメタ情報が記録媒体６０に記録できなくなってしまうおそれを低減することができる。
　メタ情報の形式には、全ての情報を含むフルメタ情報、及び、一部の情報が除かれたライトメタ情報が含まれる。
　これにより、コンピュータ５への送信又は記録媒体６０への記録が間に合うようにメタ情報を記録することができる。
　位相差情報の形式には、位相差検出画素５５ｂごとのフォーカスのずれ量とずれ量を算出する際に使用する付属情報とを含むフル位相差情報、及び、前記位相差検出画素ごとのフォーカスのずれ量を含み前記付属情報が除かれたライト位相差情報が含まれる
　これにより、コンピュータ５への送信又は記録媒体６０への記録が間に合うように位相差情報を記録することができる。
　サービスには、所定画像品質の高品質画像に前記メタ情報が付加された本線クリップ、又は、前記高品質画像より画像品質を低下させた低品質画像に前記メタ情報が付加されたＰｒｏｘｙクリップのいずれかに前記画像処理を実行する報道向けサービスが含まれる。
　これにより、Ｐｒｏｘｙクリップをコンピュータ５に送信することで送信時間を短縮させ、画像処理が実行された画像をいち早く報道に使用させることができる。
　情報処理装置（撮像装置２）は、Ｐｒｏｘｙクリップを本線クリップよりも優先して他の装置に送信する接続部７１を備える
　これにより、Ｐｒｏｘｙクリップをコンピュータ５に送信することで送信時間を短縮させ、画像処理が実行された画像をいち早く報道に使用させることができる。また、後の報道では、本線クリップの画像に画像処理が実行された画像を使用することができる。
　撮像装置２が撮像中であるか否かによって送信速度を異ならせる。
　これにより、画像及びメタ情報を最適に記録媒体６０から読み出すことができる。
　制御部（決定制御部７２）は、画像に他の背景を合成する背景合成処理、画像の背景をぼかす背景ぼかし処理、フォーカスマップを生成するフォーカスマップ生成処理のいずれかである場合、位相差情報を付与させる。
　これにより、位相差情報に基づいて、背景合成処理、背景ぼかし処理、フォーカスマップ生成処理を実行することができる。
　制御部（決定制御部７２）は、画像の手振れを低減する手振れ補正処理、画像の水平を補正する水平補正処理、画像に他の背景を合成する背景合成処理のいずれかである場合、動き情報を付与させる
　これにより、動き情報に基づいて、手振れ補正処理、水平補正処理、背景合成処理を実行することができる。
　また、情報処理方法では、撮像装置２により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素５５ｂから出力した信号に基づく位相差情報、及び、撮像装置２の動きに関する動き情報の少なくとも一方を含むメタ情報の画像への付与に関する制御を行う。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜８．本技術＞
　なお本技術は以下のような構成も採ることができる。
（１）
　撮像装置により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素から出力した信号に基づく位相差情報、及び、前記撮像装置の動きに関する動き情報の少なくとも一方を含むメタ情報の前記画像への付与に関する制御を行う制御部
　を備える情報処理装置。
（２）
　前記制御部は、前記画像処理が実行された画像が提供されるサービスに応じて、前記メタ情報の前記画像への付加に関する制御を行う
　（１）に記載の情報処理装置。
（３）
　前記制御部は、画像品質又は前記画像処理の内容を決定し、決定した前記画像品質又は前記画像処理の内容に応じて、前記メタ情報の前記画像への付加に関する制御を行う
　（１）又は（２）に記載の情報処理装置。
（４）
　前記制御部は、前記メタ情報の前記画像への付加に関する制御として、前記画像に付与する前記メタ情報の種類、前記メタ情報の付加頻度、前記メタ情報の付加タイミング、及び、前記メタ情報の形式の少なくともいずれかを決定する
　（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記サービスには、前記画像処理を施した画像を他の装置に配信するライブ配信サービスが含まれる
　（２）に記載の情報処理装置。
（６）
　画像品質、及び、前記画像処理の内容を決定するためのＵＩ画面を表示部に表示させる表示制御部を備える
　（１）から（５）のいずれかに記載の情報処理装置。
（７）
　前記制御部は、決定された前記画像処理の内容に応じて前記画像品質を決定する
　（６）に記載の情報処理装置。
（８）
　前記制御部は、予め決められた優先度に応じて、実行する前記画像処理の内容を決定する
　（１）から（７）のいずれかに記載の情報処理装置。
（９）
　前記優先度は、画像品質への影響度、又は、前記画像処理の必要度に応じて設定される
　（８）に記載の情報処理装置。
（１０）
　前記サービスには、記録媒体に記録された画像に対して前記画像処理を実行する自動編集サービスが含まれる
　（２）に記載の情報処理装置。
（１１）
　前記制御部は、前記記録媒体の書き込み速度に基づいて画像品質を決定する
　（１０）に記載の情報処理装置。
（１２）
　前記制御部は、前記記録媒体の書き込み速度に基づいて前記メタ情報の付与に関する制御を行う
　（１０）又は（１１）に記載の情報処理装置。
（１３）
　前記メタ情報の形式には、全ての情報を含むフルメタ情報、及び、一部の情報が除かれたライトメタ情報が含まれる
　（４）に記載の情報処理装置。
（１４）
　前記位相差情報の形式には、前記位相差検出画素ごとのフォーカスのずれ量と前記ずれ量を算出する際に使用する付属情報とを含むフル位相差情報、及び、前記位相差検出画素ごとのフォーカスのずれ量を含み前記付属情報が除かれたライト位相差情報が含まれる
　（１３）に記載の情報処理装置。
（１５）
　前記サービスには、所定画像品質の高品質画像に前記メタ情報が付加された本線クリップ、又は、前記高品質画像より画像品質を低下させた低品質画像に前記メタ情報が付加されたＰｒｏｘｙクリップのいずれかに前記画像処理を実行する報道向けサービスが含まれる
　（２）に記載の情報処理装置。
（１６）
　前記Ｐｒｏｘｙクリップを前記本線クリップよりも優先して他の装置に送信する接続部を備える
　（１５）に記載の情報処理装置。
（１７）
　前記撮像装置が撮像中であるか否かによって送信速度を異ならせる
　（１５）又は（１６）に記載の情報処理装置。
（１８）
　前記制御部は、前記画像に他の背景を合成する背景合成処理、前記画像の背景をぼかす背景ぼかし処理、フォーカスマップを生成するフォーカスマップ生成処理のいずれかである場合、前記位相差情報を付与させる
　（１）から（１７）のいずれかに記載の情報処理装置。
（１９）
　前記制御部は、前記画像の手振れを低減する手振れ補正処理、前記画像の水平を補正する水平補正処理、前記画像に他の背景を合成する背景合成処理のいずれかである場合、前記動き情報を付与させる
　（１）から（１８）のいずれかに記載の情報処理装置。
（２０）
　撮像装置により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素から出力した信号に基づく位相差情報、及び、前記撮像装置の動きに関する動き情報の少なくとも一方を含むメタ情報の前記画像への付与に関する制御を行う
　情報処理方法。
１　メタ情報付与システム
１７ａ　動きセンサ
２　撮像装置
５　コンピュータ
５５　撮像素子
５５ａ　ＲＧＢ画素
５５ｂ　位相差検出画素
６０　記録媒体
７１　接続部
７２　決定制御部
７３　メタ情報生成部
７４　設定保存部
９１　表示制御部
９２　データ取得部
９３　画像生成部
９４　サービス提供部

Claims (20)

  1. 　撮像装置により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素から出力した信号に基づく位相差情報、及び、前記撮像装置の動きに関する動き情報の少なくとも一方を含むメタ情報の前記画像への付与に関する制御を行う制御部
    　を備える情報処理装置。
  2. 　前記制御部は、前記画像処理が実行された画像が提供されるサービスに応じて、前記メタ情報の前記画像への付加に関する制御を行う
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、画像品質又は前記画像処理の内容を決定し、決定した前記画像品質又は前記画像処理の内容に応じて、前記メタ情報の前記画像への付加に関する制御を行う
    　請求項１に記載の情報処理装置。
  4. 　前記制御部は、前記メタ情報の前記画像への付加に関する制御として、前記画像に付与する前記メタ情報の種類、前記メタ情報の付加頻度、前記メタ情報の付加タイミング、及び、前記メタ情報の形式の少なくともいずれかを決定する
    　請求項１に記載の情報処理装置。
  5. 　前記サービスには、前記画像処理を施した画像を他の装置に配信するライブ配信サービスが含まれる
    　請求項２に記載の情報処理装置。
  6. 　画像品質、及び、前記画像処理の内容を決定するためのＵＩ画面を表示部に表示させる表示制御部を備える
    　請求項１に記載の情報処理装置。
  7. 　前記制御部は、決定された前記画像処理の内容に応じて前記画像品質を決定する
    　請求項６に記載の情報処理装置。
  8. 　前記制御部は、予め決められた優先度に応じて、実行する前記画像処理の内容を決定する
    　請求項１に記載の情報処理装置。
  9. 　前記優先度は、画像品質への影響度、又は、前記画像処理の必要度に応じて設定される
    　請求項８に記載の情報処理装置。
  10. 　前記サービスには、記録媒体に記録された画像に対して前記画像処理を実行する自動編集サービスが含まれる
    　請求項２に記載の情報処理装置。
  11. 　前記制御部は、前記記録媒体の書き込み速度に基づいて画像品質を決定する
    　請求項１０に記載の情報処理装置。
  12. 　前記制御部は、前記記録媒体の書き込み速度に基づいて前記メタ情報の付与に関する制御を行う
    　請求項１０に記載の情報処理装置。
  13. 　前記メタ情報の形式には、全ての情報を含むフルメタ情報、及び、一部の情報が除かれたライトメタ情報が含まれる
    　請求項４に記載の情報処理装置。
  14. 　前記位相差情報の形式には、前記位相差検出画素ごとのフォーカスのずれ量と前記ずれ量を算出する際に使用する付属情報とを含むフル位相差情報、及び、前記位相差検出画素ごとのフォーカスのずれ量を含み前記付属情報が除かれたライト位相差情報が含まれる
    　請求項１３に記載の情報処理装置。
  15. 　前記サービスには、所定画像品質の高品質画像に前記メタ情報が付加された本線クリップ、又は、前記高品質画像より画像品質を低下させた低品質画像に前記メタ情報が付加されたＰｒｏｘｙクリップのいずれかに前記画像処理を実行する報道向けサービスが含まれる
    　請求項２に記載の情報処理装置。
  16. 　前記Ｐｒｏｘｙクリップを前記本線クリップよりも優先して他の装置に送信する接続部を備える
    　請求項１５に記載の情報処理装置。
  17. 　前記撮像装置が撮像中であるか否かによって送信速度を異ならせる
    　請求項１５に記載の情報処理装置。
  18. 　前記制御部は、前記画像に他の背景を合成する背景合成処理、前記画像の背景をぼかす背景ぼかし処理、フォーカスマップを生成するフォーカスマップ生成処理のいずれかである場合、前記位相差情報を付与させる
    　請求項１に記載の情報処理装置。
  19. 　前記制御部は、前記画像の手振れを低減する手振れ補正処理、前記画像の水平を補正する水平補正処理、前記画像に他の背景を合成する背景合成処理のいずれかである場合、前記動き情報を付与させる
    　請求項１に記載の情報処理装置。
  20. 　撮像装置により得られる画像に対して実行される画像処理の内容に応じて、位相差検出画素から出力した信号に基づく位相差情報、及び、前記撮像装置の動きに関する動き情報の少なくとも一方を含むメタ情報の前記画像への付与に関する制御を行う
    　情報処理方法。
PCT/JP2023/032083 2022-09-13 2023-09-01 情報処理装置、情報処理方法 WO2024057974A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-145442 2022-09-13
JP2022145442 2022-09-13

Publications (1)

Publication Number Publication Date
WO2024057974A1 true WO2024057974A1 (ja) 2024-03-21

Family

ID=90275148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032083 WO2024057974A1 (ja) 2022-09-13 2023-09-01 情報処理装置、情報処理方法

Country Status (1)

Country Link
WO (1) WO2024057974A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312281A (ja) * 2003-04-04 2004-11-04 Sony Corp 映像編集装置，映像編集装置の処理方法
JP2005252499A (ja) * 2004-03-03 2005-09-15 Casio Comput Co Ltd 電子カメラ装置
WO2015097922A1 (ja) * 2013-12-26 2015-07-02 パナソニックＩｐマネジメント株式会社 映像編集装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312281A (ja) * 2003-04-04 2004-11-04 Sony Corp 映像編集装置，映像編集装置の処理方法
JP2005252499A (ja) * 2004-03-03 2005-09-15 Casio Comput Co Ltd 電子カメラ装置
WO2015097922A1 (ja) * 2013-12-26 2015-07-02 パナソニックＩｐマネジメント株式会社 映像編集装置

Similar Documents

Publication Publication Date Title
RU2415513C1 (ru) Устройство записи изображения, способ записи изображения, устройство обработки изображения, способ обработки изображения и программа
US7706674B2 (en) Device and method for controlling flash
US8730377B2 (en) Imaging apparatus adjusting autofocus position based on stored adjustment amount
CN109155815A (zh) 摄像装置及其设定画面
JP7086571B2 (ja) 撮像装置、レンズ装置およびこれらの制御方法
JP4764854B2 (ja) 撮像装置、画像再生装置、撮像方法、システム及びプログラム
EP2590421A1 (en) Single-lens stereoscopic image capture device
US11716537B2 (en) Image processing device, image processing method, and program
TW201208360A (en) Display control apparatus, display control method and storage medium
JP6752667B2 (ja) 画像処理装置と画像処理方法およびプログラム
KR102375688B1 (ko) 촬상 장치, 촬영 시스템 및 촬영 방법
JP6206542B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN105554372A (zh) 一种拍摄方法以及装置
KR101423432B1 (ko) 촬상 장치, 촬상 방법 및 기록 매체
CN104853066A (zh) 摄像装置、摄像方法
JP6721084B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
JP2015032910A (ja) 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム
JP5142614B2 (ja) 画像再生装置
KR20160137289A (ko) 촬영 장치 및 촬영 장치의 동작방법
WO2024057974A1 (ja) 情報処理装置、情報処理方法
JP2023100811A (ja) 画像処理装置
JP4767904B2 (ja) 撮像装置及び撮像方法
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
US8073319B2 (en) Photographing method and photographing apparatus based on face detection and photography conditions
JP4756005B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23865329

Country of ref document: EP

Kind code of ref document: A1