WO2022079989A1 - 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラム Download PDF

Info

Publication number
WO2022079989A1
WO2022079989A1 PCT/JP2021/029479 JP2021029479W WO2022079989A1 WO 2022079989 A1 WO2022079989 A1 WO 2022079989A1 JP 2021029479 W JP2021029479 W JP 2021029479W WO 2022079989 A1 WO2022079989 A1 WO 2022079989A1
Authority
WO
WIPO (PCT)
Prior art keywords
lut
information
scene
data
information processing
Prior art date
Application number
PCT/JP2021/029479
Other languages
English (en)
French (fr)
Inventor
壮一郎 舞田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/030,905 priority Critical patent/US20240007599A1/en
Publication of WO2022079989A1 publication Critical patent/WO2022079989A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature

Definitions

  • This technology relates to an information processing system, an information processing device, an information processing method, an information processing program, an image pickup device, a control method of the image pickup device, and a control program.
  • processing such as color grading has been performed on images and images taken by an image pickup device in order to emphasize the subject, adjust the atmosphere and hue, and express the world view and the creator's intention.
  • Color grading is a process that corrects the color of a video in a video work such as a movie, and is a process that is performed to determine the tone throughout the video, match the color of the front and back cuts, and emphasize the scene. be.
  • Imaging data including (environmental information) such as temperature and humidity at the time of shooting in a digital camera
  • the parameters for performing processing to give the imaged data an atmosphere and a sense of presence are compared with the environmental information.
  • This technology was made in view of these points, and is an information processing system, information processing device, information processing method, and information that can process a specific scene in an image with the optimum color for that scene. It is an object of the present invention to provide a processing program, an image pickup device, a control method for the image pickup device, and a control program.
  • the first technique comprises an image pickup device and an information processing device, and the information processing device includes video data captured by the image pickup device, scene identification information, and LUT setting information.
  • This is an information processing system that is acquired from the image pickup device, identifies a scene of video data based on the scene identification information, and sets LUT data to be applied to the scene based on the LUT setting information.
  • the second technique acquires video data, scene identification information, and LUT setting information, identifies a scene in the video data based on the scene identification information, and creates a scene based on the LUT setting information. It is an information processing device that sets the LUT data to be applied.
  • the third technique acquires video data, scene identification information, and LUT setting information, identifies a scene in the video data based on the scene identification information, and creates a scene based on the LUT setting information.
  • This is an information processing method that sets the LUT data to be applied.
  • the fourth technique acquires video data, scene identification information, and LUT setting information, identifies a scene in the video data based on the scene identification information, and creates a scene based on the LUT setting information. It is an information processing program that causes a computer to execute an information processing method that sets the LUT data to be applied.
  • the fifth technique is an imaging device that generates video data by shooting, extracts a scene from the video data based on the scene identification information, and sets the LUT data to be applied to the scene based on the LUT setting information. Is.
  • the sixth technique is an imaging device that generates video data by shooting, extracts a scene from the video data based on the scene identification information, and sets the LUT data to be applied to the scene based on the LUT setting information. It is a control method of.
  • the seventh technique is an imaging device that generates video data by shooting, extracts a scene from the video data based on the scene identification information, and sets the LUT data to be applied to the scene based on the LUT setting information. It is a control program that causes a computer to execute the control method of.
  • Embodiment> [1-1. Configuration of information processing system 10] [1-2. Configuration of image pickup device 100] [1-3. Configuration of information processing device 200] [1-4. Processing in the information processing device 100] [1-4-1. About recorded data] [1-4-2. About LUT application table] [1-4-3. Video data playback in LUT application playback mode] ⁇ 2. Modification example>
  • the information processing system 10 includes an image pickup device 100 and an information processing device 200.
  • the information processing device 200 may be configured as a single device, or may be configured to operate in a personal computer, a tablet terminal, a smartphone, a server device, or the like.
  • the fact that the device other than the image pickup device 200 functions as the information processing device 200 is particularly useful in post-production when color grading by LUT data is applied to the video data.
  • the configuration of the image pickup apparatus 100 will be described with reference to FIG.
  • the image pickup device 100 includes a control unit 101, an optical image pickup system 102, a lens drive driver 103, an image pickup element 104, a signal processing unit 105, a storage unit 106, an interface 107, an input unit 108, a display unit 109, a subject recognition unit 110, and environmental information.
  • the position information acquisition unit 112 and the sensor unit 113 included in the acquisition unit 111 are provided.
  • the control unit 101 is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the CPU executes various processes according to the program stored in the ROM and issues commands to control the entire image pickup apparatus 100 and each part thereof.
  • the optical image pickup system 102 includes an image pickup lens for concentrating light from a subject on an image pickup element 104, a drive mechanism for moving the image pickup lens to perform focusing and zooming, a shutter mechanism, an iris mechanism, and the like. There is. These are driven based on the control signals from the control unit 101 and the lens drive driver 103. The optical image of the subject obtained through the optical image pickup system 102 is imaged on the image pickup element 104.
  • the lens drive driver 103 is configured by, for example, a microcomputer or the like, and focuses on a target subject by moving the image pickup lens by a predetermined amount along the optical axis direction based on the focus control information supplied from the control unit 101 or the like. Perform autofocus and manual focus as you would. Further, according to the control from the control unit 101, the operation of the drive mechanism, the shutter mechanism, the iris mechanism, etc. of the optical imaging system 102 is controlled. As a result, the exposure is adjusted, the aperture value (F value), and the like are adjusted.
  • the image pickup element 104 photoelectrically converts the incident light from the subject obtained through the image pickup lens, converts it into an electric charge amount, and outputs an image pickup signal. Then, the image pickup device 104 outputs the image pickup signal to the signal processing unit 105.
  • a CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the signal processing unit 105 performs CDS (Correlated Double Sampling) processing, AGC (Auto Gain Control) processing, A / D (Analog / Digital) conversion, etc. on the image pickup signal output from the image pickup element 104, and outputs a video signal. create.
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control
  • a / D Analog / Digital
  • the signal processing unit 105 performs signal processing such as white balance adjustment processing, color correction processing, gamma correction processing, Y / C conversion processing, and AE (Auto Exposure) processing on the video signal.
  • signal processing such as white balance adjustment processing, color correction processing, gamma correction processing, Y / C conversion processing, and AE (Auto Exposure) processing on the video signal.
  • the storage unit 106 is a large-capacity storage medium such as a hard disk or a flash memory.
  • the video data processed by the signal processing unit 105 is stored in a compressed state or an uncompressed state based on a predetermined standard.
  • the interface 107 is an interface between the information processing device 200, other devices, the Internet, and the like.
  • Interface 107 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface includes cellular communication such as 3TTE, Wi-Fi, Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark), and SDI (Serial Digital Interface). ), HDMI (registered trademark) (High-Definition Multimedia Interface), USB (Universal Serial Bus), etc. may be included.
  • the interface 107 may include a connection terminal between the devices, a bus in the device, and the like (hereinafter, these are also referred to as an interface in the device). ).
  • the interface 107 may include different types of interfaces for each device.
  • the interface 107 may include both a communication interface and an in-device interface.
  • the image pickup device 100 can acquire various types of metadata such as weather information and time information by connecting to the Internet via an interface.
  • the input unit 108 is for the user to give various instructions to the image pickup apparatus 100.
  • a control signal corresponding to the input is generated and supplied to the control unit 101.
  • the control unit 101 performs various processes corresponding to the control signal.
  • the input unit 108 includes a shutter button for shutter input, a physical button for various operations, a touch panel, a touch screen integrally configured with a display as a display unit 109, and the like.
  • the display unit 109 displays video data, image data, through images, saved image / video data, GUI (Graphical User Interface), etc. that have been color-graded with LUT data, such as EVF (Electronic ViewFinder) and display. It is something to do.
  • the display unit 109 may be composed of, for example, an LCD, a PDP, an organic EL panel, or the like.
  • the subject recognition unit 110 recognizes a specific subject (a person's face, an object, etc.) from the video data generated by shooting by using a known subject recognition process.
  • a method by template matching, a matching method based on the luminance distribution information of the subject, a method based on the skin color part included in the image, the feature amount of the human face, etc., a method using artificial intelligence, etc. are used. You may. Further, these methods may be combined to improve the recognition accuracy.
  • the position information acquisition unit 112 included in the environment information acquisition unit 111 detects the position of the image pickup device 100 such as a GPS (Global Positioning System) module.
  • the position information is treated as metadata in the information processing apparatus.
  • the sensor unit 113 included in the environmental information acquisition unit 111 can acquire information on the surrounding environment of the image pickup device 100 at the time of shooting, which is treated as metadata such as a temperature sensor, a humidity sensor, a pressure sensor, a geomagnetic sensor, and an illuminance sensor. It is a sensor.
  • the image pickup device 100 includes an acceleration sensor, an angular velocity sensor, a LiDAR (Laser Imaging Detection and Ringing), an IMU (Inertial Measurement Unit) module, an altimeter, an azimuth meter, a biological sensor, and the like. May be provided. Information that can be acquired from these various sensors may also be treated as metadata.
  • the image pickup device 100 is configured as described above.
  • the image pickup device 100 may be a device specialized for a camera function such as a digital camera, a single-lens reflex camera, a cam coder, a professional camera, or a professional photography device, as well as a smartphone, a tablet terminal, a wearable device, or the like having a camera function.
  • the position information acquisition unit 112 and the sensor unit 113 may be included in the image pickup device 100, may be configured as another device different from the image pickup device 100, or may be provided by another device. You may.
  • the position information acquisition unit 112 and the sensor unit 113 are configured as other devices or are provided in the other device, the other device transfers the position information and the sensor information as metadata to the image pickup device 100 or the information processing device 200. Send.
  • the information processing apparatus 200 includes a control unit 250, a storage unit 260, an interface 270, and an input unit 280.
  • the control unit 250 is composed of a CPU, RAM, ROM, and the like.
  • the CPU controls the entire information processing apparatus 200 and each part by issuing commands by executing various processes according to a program stored in the ROM.
  • the storage unit 260 is a large-capacity storage medium such as a hard disk or a flash memory.
  • the interface 270 is an interface between the image pickup device 100, other devices, the Internet, and the like.
  • Interface 270 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface includes cellular communication such as 3TTE, Wi-Fi, Bluetooth (registered trademark), NFC, Ethernet (registered trademark), SDI (Serial Digital Interface), HDMI (registered). Trademark), USB, etc. may be included.
  • the interface 270 may include a connection terminal between the devices, a bus in the device, and the like (hereinafter, these are also referred to as an interface in the device). ).
  • the interface 270 may include different types of interfaces for each device.
  • the interface 270 may include both a communication interface and an in-device interface.
  • the information processing apparatus 200 may also include an input unit, a display unit, and the like.
  • the information processing apparatus 200 includes a metadata generation unit 201, a metadata storage unit 202, a video data storage unit 203, a recorded data generation unit 204, a recorded data storage unit 205, a video data extraction unit 206, and a meta. It is configured to include functional blocks such as a data extraction unit 207, a LUT data management unit 208, a LUT data storage unit 209, a table generation unit 210, a LUT application table storage unit 211, a LUT control unit 212, a LUT application unit 213, and a video data output unit 214. Has been done.
  • Metadata generation unit 201 recorded data generation unit 204, video data extraction unit 206, metadata extraction unit 207, LUT data management unit 208, table generation unit 210, LUT control unit 212, LUT application unit 213, video data output unit 214 Is a function realized by the control unit 250.
  • Each storage unit called the metadata storage unit 202, the video data storage unit 203, the recording data storage unit 205, the LUT data storage unit 209, and the LUT application table storage unit 211 is a function realized in the storage unit 260, and each storage unit has a function.
  • the control unit 250 gives instructions and controls for recording data and information. Further, video data, scene specification information, LUT setting information, and other data and information are transmitted and received between each functional block of the information processing device 200 and the image pickup device 100 by using the interface 270.
  • the metadata generation unit 201 acquires environment information, shooting information, and flag information from the control unit 101, the position information acquisition unit 112, the sensor unit 113, and the subject recognition unit 110 included in the image pickup device 100, and obtains information to be used as metadata. Extract and generate metadata.
  • the generated metadata is stored in the metadata storage unit 202.
  • metadata is used as scene identification information for specifying a scene in video data to which color grading is applied by applying LUT data, and LUT setting information for setting LUT data used for color grading. Be done.
  • the environment information includes weather information and time information acquired from the Internet, shooting position information acquired by the position information acquisition unit 112, temperature information acquired by the temperature sensor and humidity sensor as the sensor unit 113, and an environment for photographing humidity information. Information related to.
  • the shooting information includes lens information (iris, focus, zoom setting) and camera setting information (AE metering mode, white balance, gamma, parameters such as CDL (Color Decision List)) that can be supplied from the control unit 101 of the image pickup apparatus 100, etc. Further, it is information related to shooting such as face recognition information and object recognition information supplied from the subject recognition unit 110.
  • lens information iris, focus, zoom setting
  • camera setting information AE metering mode, white balance, gamma, parameters such as CDL (Color Decision List)
  • CDL Color Decision List
  • the flag information is the playback position information (start frame number and end frame number of the scene, start playback time of the scene, end playback time of the scene, etc.) for identifying the scene in the video data, input by the user, and the scene. It is composed of keywords related to.
  • the user can indicate, for example, a special scene in the video data, an important scene, a scene to be emphasized, a scene to be color graded with the LUT data, and the like with flag information.
  • the user can input the flag information by the input operation to the input unit 108 of the image pickup apparatus 100.
  • time information indicating the time / time when the information was acquired is added.
  • any or a combination of metadata such as environment information, shooting information, and flag information is used as scene identification information, and both or at least one of the environment information and shooting information may be used as LUT setting information.
  • the information processing device 200 acquires video data, scene identification information, and LUT setting information from the image pickup device 100.
  • the video data storage unit 203 stores video data captured and generated by the image pickup apparatus 100. Time information indicating the time / time of shooting is added to the video data in order to make it recorded data in association with the metadata.
  • the recorded data generation unit 204 generates recorded data by associating video data with metadata.
  • the mapping between the video data and the metadata is performed by associating the metadata having the time information corresponding to the time of the frame for each frame constituting the video data.
  • the generated recorded data is stored in the recorded data storage unit 205.
  • the video data extraction unit 206 applies LUT data when playing back the video data to perform color grading, and extracts the video data from the recorded data.
  • the metadata extraction unit 207 extracts metadata from the recorded data when the video data is reproduced.
  • the LUT data management unit 208 performs a process of associating metadata with the LUT data and storing it in the LUT data storage unit 209.
  • the LUT data storage unit 209 stores LUT data used for color grading.
  • the metadata associated with the LUT data functions as LUT setting information.
  • the association between the LUT data and the metadata may be performed based on the input instruction specifying the specific metadata and the LUT data by the user. Further, the LUT data management unit 208 may automatically perform the LUT data according to the characteristics of the LUT data, the intention and use of the creator who generated the LUT data, and the type of metadata.
  • LUT data created with the intention of complementing the bright blue sky is associated with the metadata "weather: sunny".
  • the LUT data and the metadata may be associated with each other based on a predetermined algorithm, rule, or the like. It should be noted that the association between the LUT data and the metadata is not limited to the association of one metadata with one LUT data, and a plurality of metadata may be associated with one LUT data, or one metadata may be plural. It may be associated with the LUT data of.
  • the table generation unit 210 generates a LUT application table in which the application conditions and the LUT data used for color grading are associated with each other based on the application conditions input by the user.
  • the generated LUT application table is stored in the LUT application table storage unit 211.
  • the LUT application table is a table in which the application conditions specified by the user for performing color grading on the video data are associated with the LUT data, and the information processing apparatus 200 refers to the LUT application table to perform color grading on the video data. Apply. Details of the LUT application table will be described later.
  • a LUT is a Look Up Table, which can change the hue of a video / image by performing color conversion by converting the three RGB values of the video / image to another RGB value.
  • the LUT data is preset data for color conversion by LUT, and the LUT data may be created by the user, or created by a general creator or manufacturer and sold or released free of charge. But it may be.
  • the LUT control unit 212 applies the LUT to the scene by determining and switching the LUT data to be used for color grading by referring to the LUT application table in response to the change in the scene of the video data during the reproduction of the video data. Set the data.
  • the LUT application unit 213 applies color grading, which is a color correction process, to the video data by applying the LUT data determined and switched by the LUT control unit 212 during playback of the video data.
  • the color-graded video data is supplied to the video data output unit 214.
  • the video data output unit 214 performs a process of outputting color-graded video data.
  • the output method includes display on the display unit 109, transmission to another device via an interface such as SDI or HDMI (registered trademark), and the like.
  • the information processing device 200 is configured as described above.
  • the processing in the information processing apparatus 200 may be realized by executing a program, and the execution of the program may cause a personal computer, a tablet terminal, a smartphone, a server apparatus, or the like to have a function as the information processing apparatus 200.
  • the program may be installed in the image pickup apparatus 100 or the like in advance, or may be distributed by download, storage medium, or the like so that the user can install the program by himself / herself.
  • the information processing device 200 may include a video data input unit for inputting video data via an interface such as SDI or HDMI (registered trademark). Further, the information processing apparatus 200 may include a recording medium control unit for storing color-graded video data and recording data on a recording medium such as a USB memory.
  • Each storage unit constituting the information processing apparatus 200 may be configured in the storage unit 106 of the image pickup apparatus 100.
  • step S101 the metadata generation unit 201 acquires various information to be metadata from the control unit 101, the position information acquisition unit 112, the sensor unit 113, and the like of the image pickup apparatus 100. Further, in step S102, the information processing device 200 acquires video data from the image pickup device 100 and stores it in the video data storage unit 203. Although it is described that step S102 is performed after step S101 for the convenience of the drawing, it does not necessarily mean that the video data is acquired later, and the video data may be acquired first. , Step S101 and step S102 are asynchronous, but may be performed at the same time.
  • step S103 the metadata generation unit 201 generates metadata from various acquired information and stores it in the metadata storage unit 202.
  • step S104 the recorded data generation unit 204 generates the recorded data by associating the video data with the metadata that functions as the scene identification information in frame units constituting the video data, and records the recorded data. It is stored in the storage unit 205.
  • the timing of output of shooting information and flag information from the control unit 101 of the image pickup apparatus 100, acquisition and output of position information by the position information acquisition unit 112, and acquisition and output of sensor information by the sensor unit 113 is not necessarily the time axis of video data. Not synchronized (asynchronous). Therefore, the recorded data generation unit 204 refers to the time information of the video data and the time information of the metadata, and generates the recorded data in association with each other on a common time axis. Therefore, the metadata that does not match the time axis of the video data (the timing does not match) cannot be associated with the video data.
  • the flag information which is the reproduction position information indicating the scene in the video data, is associated with the start frame and the end frame of the scene indicated by the flag information.
  • the recorded data generation unit 204 generates recorded data by associating video data with metadata while repeating this process on a frame-by-frame basis.
  • step S105 it is confirmed whether or not the remaining frames constituting the video data exist. If there are remaining frames, the process proceeds to step S103 (Yes in step S105). Then, by repeating steps S103 to S105, the recorded data generation unit 204 associates the video data and the metadata with each other on a common time axis to generate the recorded data.
  • FIG. 7 shows the structure of recorded data and an example of arrangement of video data and metadata in the recorded data.
  • a plurality of metadata are arranged in the area of horizontal auxiliary data for each type of metadata, and the video data is arranged in the area of valid video data.
  • user data is embedded in the SDI output according to the format of User Defined Acquisition Metadata Set defined in SMPTE RDD18 Acquisition Metadata.
  • FIG. 8 is an example of the configuration of data in the user data area.
  • FIG. 8A is a data format in the user data area, and is composed of an information identifier for determining the type of information, a size indicating the content of the data, and the data content itself.
  • FIG. 8B shows position information which is metadata as an example of specific data in the user data area.
  • the information identifier is position information (GPS)
  • the size is the number of bytes as the capacity of the data including the reserved area
  • the data content includes information such as time, latitude, north latitude / south latitude, and longitude in the agreed world time. Are included in a predetermined order and size.
  • FIG. 8C shows LUT data as an example of specific data in the user data area.
  • the information identifier is the LUT data name
  • the size is the number of bytes as the capacity of the data including the reserved area
  • the data content is composed of the LUT data identifier and the file name recorded when reading from the file.
  • Information such as LUT data name and checksum is included in a predetermined order and size.
  • a LUT application table as shown in FIG. 9 is stored in the user data area.
  • the LUT application table associates the application conditions input by the user with the LUT data that matches the application conditions, which is used to perform color grading on the scenes that match the application conditions.
  • the LUT control unit 212 determines / switches the LUT data to be used when the LUT application unit 213 performs color grading on the scene constituting the video data. Therefore, in order to reproduce the video data while applying the LUT data, it is necessary to generate a LUT application table for the video data in advance.
  • the LUT application table is also data according to the format shown in FIG. 8A, and as shown in FIG. 9A, the size is the number of bytes as the capacity of the data including the reserved area, and the data contents include the application condition, the LUT identifier, and the data content.
  • Checksums are included in a predetermined order and size.
  • the applicable conditions are assigned numbers (# 1, # 2, # 3, ...) To distinguish them, and the LUT identifiers corresponding to the applicable conditions are also the same numbers (# 1, # 2). , # 3, ...) Are attached, and one application condition and one LUT identifier form a set.
  • the application condition is a condition for specifying and setting the scene in the video data to which color grading is applied and the LUT data applied to the scene as color grading, which are specified by the input from the user.
  • the LUT data indicated by the LUT identifier with the same number as the satisfied applicable conditions is applied to the scene and color graded.
  • the LUT data indicated by the LUT identifier # 1 is applied to the scene satisfying the application condition # 1 and color grading is performed.
  • FIG. 9B shows the data format of the applicable conditions and the LUT identifier.
  • the applicable condition is composed of an identification flag, a condition identifier, and a condition content as one set.
  • the identification flag indicates whether the data is an application condition or a LUT identifier.
  • Individual conditions indicate the individual conditions that make up the applicable conditions.
  • the applicable condition when the applicable condition is composed of one individual condition, the individual condition includes only the identification flag # 1, the condition identifier # 1, and the subordinate condition # 1.
  • the applicable condition when the applicable condition is composed of two individual conditions, the applicable condition includes an identification flag # 1, a condition identifier # 1, a condition content # 1, and a second individual condition indicating the first individual condition # 1.
  • the identification flag # 2 indicating # 2, the condition identifier # 2, and the condition content # 2 are included.
  • the condition identifier indicates the type of metadata to be an individual condition, specifically, location information, weather information, etc. included in environmental information or shooting information.
  • the content of the condition has a different configuration for each condition identifier, and indicates a numerical value, a state, etc. that are specific conditions.
  • the applicable condition # 1 is configured as a combination of the individual condition # 1 and the individual condition # 2.
  • the individual condition # 1 is set as a condition for position information by GPS as indicated by the condition identifier # 1 and the condition identifier # 2, and the individual condition # 2 is set as a condition for the weather.
  • Condition content # 1 is a specific value of position information by GPS, and in the example of FIG. 9C, the condition content is 30 to 32 degrees north latitude. Further, the condition content # 2 is a specific state regarding the weather, and in the example of FIG. 9C, the condition content is that the weather is sunny.
  • a scene satisfying the application condition # 1 consisting of the individual condition # 1 for the position information and the individual condition # 2 for the weather is associated with the LUT setting information that matches the application condition in advance. It shows that color grading is performed by setting the LUT data as LUT data to be applied to the scene.
  • the application condition # 1 is composed of a combination of two individual conditions, but as shown in FIG. 9D, the application condition may be composed of one individual condition, and three or more. It may be composed of a combination of individual conditions. This is set by inputting conditions from the user.
  • FIG. 10 is a specific example of a user interface for generating a LUT application table.
  • the user interface is displayed on the device (imaging device 100 in this embodiment) in which the information processing device 200 operates.
  • the user interface includes a condition input unit 301, a scene display unit 302, a LUT data presentation unit 303, and a preview display unit 304.
  • the condition input unit 301 is for inputting individual conditions constituting the applicable conditions.
  • the position and the weather are input as conditions, but any information included in the environmental information, shooting information, and flag information can be input as conditions, and a plurality of conditions can be combined. You may enter it.
  • the scene display unit 302 displays and presents a scene consisting of one or a plurality of frames in the video data associated with the scene identification information that matches the application conditions to the user.
  • the user can use a method such as coloring or marking the scene associated with the scene identification information that matches the applicable conditions to determine what kind of scene the user has identified. It can be easily visually confirmed whether or not it exists.
  • the LUT data presentation unit 303 displays the name of the LUT data associated with the LUT setting information that matches the application conditions and presents it to the user.
  • the preview display unit 304 applies the LUT data displayed on the LUT data presentation unit 303 and displays the result of color grading the video data. By viewing this display, the user can confirm what the result of color grading using the LUT data is and determine the LUT data to be used for color grading.
  • step S201 the scene identification information, which is the metadata associated with the video data, is analyzed for the entire video data to be processed.
  • step S202 the scene associated with the metadata matching the applicable conditions input to the condition input unit 301 is specified from the video data. This identified scene is displayed on the scene display unit 302 of the user interface.
  • the metadata information for specifying a scene
  • One or more frames associated with the metadata that matches the individual conditions for the weather are specified as the scene.
  • the application conditions are matched by comparing the application conditions with the metadata associated with the video data. It is possible to specify the scene corresponding to the scene specification information.
  • step S203 as the LUT data used for color grading for the scene specified in step S202, the LUT data corresponding to the LUT setting information matching the application conditions is specified.
  • the application conditions are matched by comparing the application conditions with the metadata associated with the LUT data.
  • the LUT data corresponding to the LUT setting information can be specified.
  • the specified LUT data is displayed on the LUT data presentation unit 303 of the user interface.
  • the metadata (LUT setting information) that matches the individual condition for the position is obtained.
  • One or more LUT data associated with the metadata (LUT setting information) that matches the individual conditions for the weather is specified.
  • step S204 When the scene to be color graded and the LUT data used for color grading are determined by the user, the process proceeds from step S204 to step S205 (Yes in step S204).
  • the user interface can be provided with a decision button, or any button of the image pickup apparatus 100 can be used as a decision input button to accept the user's decision input.
  • the user needs to determine whether or not the one LUT data is used as the LUT data for color grading. Further, when there are a plurality of LUT data displayed on the LUT data presentation unit 303, the user needs to determine whether or not any one of the plurality of LUT data is used as the LUT data used for color grading. be. If there is only one LUT data displayed in the LUT data presentation unit 303, the table generation unit 210 automatically uses that one LUT data for color grading even if the user does not make a decision. May be determined as.
  • step S205 an LUT application table is generated by associating the application conditions with the LUT data applied to the scene.
  • the LUT data applied to the scene that is, the LUT data used for color grading is set.
  • FIG. 12 shows a scene consisting of one or a plurality of frames associated with metadata as scene identification information matching the applied conditions input as described above, and LUT setting information matching the applicable conditions. It is a schematic representation of the LUT data associated with the metadata.
  • the scene A (frames 1 to 3) specified by the scene identification information matching the application condition A and the scene B (frames 4 to frame 3) specified by the scene identification information matching the application condition B are used.
  • Scene C (frames 7 and 8) specified by the scene identification information matching the application condition C
  • scene D (frames 9 to 12) specified by the scene identification information matching the application condition A. It is assumed that a total of four scenes are identified.
  • color grading is performed by applying the LUT data 0001 set in the LUT setting information matching the application condition A to the scene A and the scene D specified by the application condition A. Further, the scene B specified by the application condition B is color-graded by applying the LUT data 0201 set by the LUT setting information matching the application condition B. Further, color grading is performed by applying the LUT data 1109 set in the LUT setting information matching the application condition C to the scene C specified by the application condition C.
  • the LUT setting information that matches the application condition A is specified for the plurality of scenes.
  • Color grading is performed by applying the same LUT data 0001 set in.
  • one LUT data name is displayed in the LUT data presentation unit 303 as shown in FIG.
  • the LUT data stored in the LUT data storage unit 209 shown in FIG. 5 when a plurality of LUT data are associated with one metadata (LUT setting information), the LUT is as shown in FIG.
  • the plurality of LUT data names may be displayed on the data presentation unit 303.
  • the plurality of LUT data names may be displayed on the LUT data presentation unit 303 as shown in FIG.
  • the LUT data corresponding to the LUT setting information that matches the application condition for location information and the application condition for weather match.
  • the name of the LUT data corresponding to the LUT setting information is displayed on the LUT data presentation unit 303.
  • the user selects one LUT data to be used for color grading from the presented plurality of LUT data.
  • a LUT application table is generated from the selected LUT data, and the LUT data to be applied to the scene is set.
  • step S301 the information processing apparatus 200 sets the LUT application playback mode in which the video data is reproduced while performing color grading with the LUT data by referring to the LUT application table in response to an input from the user.
  • the LUT application playback mode if there are multiple scenes to be color graded in the video, the LUT data applied to each scene is switched in real time, and the video data is played back with the color grading applied to each scene. do.
  • step S302 the metadata associated with the video data to be reproduced in step S302 is analyzed.
  • step S303 the scene associated with the scene identification information, which is the metadata that matches the application conditions in the LUT application table, is specified.
  • This scene is a scene where color grading is applied by applying LUT data.
  • step S304 it is confirmed whether the frame to be reproduced next is a frame constituting the scene to be color graded. If the frame to be reproduced next has a frame constituting the scene to be color graded, the process proceeds to step S305 (Yes in step S304).
  • step S305 the LUT control unit 212 determines the LUT data associated with the LUT setting information, which is the metadata matching the application conditions in the LUT application table, as the LUT data for color grading, and determines the LUT data storage unit. Read from 209.
  • step S306 the LUT application unit 213 applies the LUT data determined by the LUT control unit 212 to the frame constituting the scene to be color graded, and performs color grading. Then, in step S307, the video data output unit 214 reproduces the color-graded frame.
  • step S308 it is confirmed whether there is an unreproduced frame constituting the video data. If there is an unreproduced frame, the process proceeds to step 304 (Yes in step S308). Then, the frame is reproduced while performing color grading until the scene of performing color grading in steps S304 to S308 is completed.
  • step S304 if the frame does not constitute the scene to be color graded in step S304, the process proceeds to step S309 (No in step S304). In this case, in step S309, the video data output unit 214 reproduces a frame that is not color-graded.
  • step S308 the video data is reproduced by repeating the steps S303 to S309.
  • step S308 When there are no unreproduced frames constituting the video data in step S308, that is, when all the frames constituting the video data are reproduced, the process ends (No in step S308).
  • the processing in this technology is performed as described above. According to this technology, by associating video data with metadata (environmental information, shooting information, flag information) that functions as scene identification information and LUT setting information, color grading scene identification and LUT data The decision can be made automatically.
  • metadata environmental information, shooting information, flag information
  • the temperature information which is the environmental information
  • color grading is automatically performed using the optimum LUT data for the scene shot in the specific temperature environment in the video data. be able to.
  • color grading is automatically performed using the optimum LUT data for the scene shot at a specific zoom magnification in the video data. Can be applied with. Further, for example, when face recognition information, which is shooting information, functions as scene identification information and LUT setting information, color grading is automatically performed using the optimum LUT data for the scene in which a specific person appears in the image. be able to.
  • color grading may be automatically performed using the LUT data for a specific scene in the video data specified by the user. can.
  • color grading can be applied to various scenes.
  • color grading reflects the user's intention semi-automatically. Can be done with.
  • the video can be reproduced while dynamically switching the LUT data by referring to the LUT application table at the time of reproduction.
  • video reproduction and color grading can be performed only by adding the LUT application table, and the load on the system can be reduced.
  • the image pickup device 100 and the information processing device 200 have been described as separate devices, but as shown in FIG. 15, the image pickup device 100 has the function of the information processing device 200, and the information processing device 200 It may be configured to operate in the image pickup apparatus 100. In that case, for example, the control unit 101 and the storage unit 106 in the image pickup apparatus 100 have a function as the information processing apparatus 200.
  • the image pickup apparatus 100 may be provided with a function as the information processing apparatus 200 by executing the program.
  • the information processing device 200 associates video data with metadata, performs processing up to generating a LUT application table, and color grading the video data based on the LUT application table is performed by devices other than the information processing device 200. good.
  • the image pickup device 100 performs the correspondence between the video data and the metadata performed by the recorded data generation unit 204, and the information processing device acquires the recorded data in which the video data and the metadata are associated with each other. good.
  • the video data is not only the video data generated by shooting, but also video data generated without the process of shooting, for example, CG video, animation video, and continuous display by switching multiple images at a predetermined timing. But it may be.
  • the information processing apparatus 200 may be configured as a cloud system.
  • the cloud is one of the usage forms of a computer, and is built on the server of a cloud service provider. All necessary processing is basically done on the server side. Users store data on servers on the Internet rather than on their own devices. Therefore, it is possible to use services, use data, edit, upload, etc. even in various environments such as home, office, outing, shooting site, editing room, and the like. Further, in the cloud system, various data can be transferred between devices connected via a network.
  • the recorded data it is also possible to transmit the recorded data to another device different from the device in which the information processing device 200 operates (such as the image pickup device 100 shown in FIG. 1) and reproduce the video data while performing color grading in the other device. It is possible.
  • another device that has received the recorded data extracts the LUT application table stored in the user data area of the recorded data, performs color grading based on the LUT application table, and reproduces the video.
  • the transmission / reception of recorded data between the information processing device 200 and other devices is not limited to wired wireless communication, and may be performed via a storage medium such as a USB memory or an SD card.
  • the present technology can also take the following configurations.
  • (1) It consists of an image pickup device and an information processing device.
  • the information processing device acquires video data captured by the image pickup device, scene identification information, and LUT setting information from the image pickup device, and identifies a scene in the video data based on the scene identification information.
  • An information processing system that sets LUT data to be applied to the scene based on the LUT setting information.
  • the scene specifying information is any or a combination of information on the environment at the time of shooting by the image pickup device, information related to the shooting function by the image pickup device, and information on the reproduction position of the video data.
  • Information processing system is any or a combination of information on the environment at the time of shooting by the image pickup device, information related to the shooting function by the image pickup device, and information on the reproduction position of the video data.
  • the LUT setting information is at least one of information on the environment at the time of shooting by the image pickup device and information related to the shooting function by the image pickup device.
  • the video data is associated with the scene identification information for each frame constituting the video data.
  • the information processing device identifies one or a plurality of the frames associated with the scene identification information matching the conditions specified by the user as the scene.
  • the LUT data is associated with the LUT setting information.
  • the information processing system according to (6), wherein the information processing apparatus sets LUT data associated with the LUT setting information that matches the conditions specified by the user as LUT data to be applied to the scene.
  • the information processing apparatus includes a table generation unit that generates a LUT application table by associating the condition with the LUT data associated with the LUT setting information matching the condition.
  • Information processing device (9) The information processing apparatus according to (8), further comprising a LUT application unit that applies color grading to the video data by applying the LUT data set by referring to the LUT application table.
  • the information processing apparatus When the information processing apparatus has a plurality of the LUT data associated with the LUT setting information matching the conditions, the information processing apparatus presents the plurality of the LUT data to the user and selects one of the LUT data.
  • the information processing system is set in (6) as LUT data applied to the scene.
  • (11) When a plurality of scenes are specified from the video data based on the scene identification information, the same LUT data is set to be applied to the plurality of scenes based on the LUT setting information (1) to (1).
  • Information processing system in any of 10).
  • LUT data that acquires video data, scene identification information, and LUT setting information, identifies a scene in the video data based on the scene identification information, and applies it to the scene based on the LUT setting information. Information processing device to set.
  • LUT data that acquires video data, scene identification information, and LUT setting information, identifies a scene in the video data based on the scene identification information, and applies it to the scene based on the LUT setting information.
  • Information processing method to set (14)
  • An information processing program that causes a computer to execute an information processing method.
  • An imaging device that generates video data by shooting, extracts a scene from the video data based on the scene identification information, and sets LUT data to be applied to the scene based on the LUT setting information.
  • a control method of an imaging device that generates video data by shooting, extracts a scene from the video data based on the scene identification information, and sets LUT data to be applied to the scene based on the LUT setting information.
  • a computer is provided with a control method for an image pickup device that generates video data by shooting, extracts a scene from the video data based on the scene identification information, and sets LUT data to be applied to the scene based on the LUT setting information.
  • the control program to be executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

映像中の特定のシーンに対してそのシーンに最適な色の処理を施すことができる情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムを提供する。　撮像装置と情報処理装置とからなり、情報処理装置は、撮像装置が撮影した映像データと、シーン特定用情報と、LUT設定用情報を前記撮像装置から取得し、シーン特定用情報に基づいて映像データのシーンを特定し、LUT設定用情報に基づいてシーンに適用するLUTデータを設定する情報処理システムである。

Description

情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラム
　本技術は、情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムに関する。
　従来から撮像装置で撮影した映像や画像に対して被写体の強調、雰囲気や色合いの調整、世界観やクリエイターの意図の表現などの行うためにカラーグレーディングなどの処理を施すことが行われている。
　カラーグレーディングとは映画などの映像作品において映像の色を補正する処理であり、映像全体を通してトーンを決めたり、前後のカットの色味を合わせたり、シーンを強調したりするために行われる処理である。
　デジタルカメラにおいて、撮影時の温度や湿度などの（環境情報）を含む撮像データを再生表示する際に、撮像データに対して雰囲気や臨場感を付与する処理を施すためのパラメータを環境情報に照らし合わせて設定し、設定されたパラメータを用いて撮像データに処理を施す技術が提案されている（特許文献１）。
特開２０１５－２３３１８６号公報
　しかし、特許文献１に記載の技術では、パラメータを用いて処理を施す映像データのシーンを特定や抽出は行っておらず、パラメータを用いた処理をそのパラメータに合った最適なシーンに施すという点については十分ではない。
　本技術はこのような点に鑑みなされたものであり、映像中の特定のシーンに対してそのシーンに最適な色の処理を施すことができる情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、撮像装置と情報処理装置とからなり、情報処理装置は、撮像装置が撮影した映像データと、シーン特定用情報と、LUT設定用情報を前記撮像装置から取得し、シーン特定用情報に基づいて映像データのシーンを特定し、LUT設定用情報に基づいてシーンに適用するLUTデータを設定する情報処理システムである。
　また、第２の技術は、映像データと、シーン特定用情報と、LUT設定用情報を取得し、シーン特定用情報に基づいて映像データにおけるシーンを特定し、LUT設定用情報に基づいてシーンに適用するLUTデータを設定する情報処理装置である。
　また、第３の技術は、映像データと、シーン特定用情報と、LUT設定用情報を取得し、シーン特定用情報に基づいて映像データにおけるシーンを特定し、LUT設定用情報に基づいてシーンに適用するLUTデータを設定する情報処理方法である。
　また、第４の技術は、映像データと、シーン特定用情報と、LUT設定用情報を取得し、シーン特定用情報に基づいて映像データにおけるシーンを特定し、LUT設定用情報に基づいてシーンに適用するLUTデータを設定する情報処理方法をコンピュータに実行させる情報処理プログラムである。
　また、第５の技術は、撮影により映像データを生成し、シーン特定用情報に基づいて、映像データからシーンを抽出し、LUT設定用情報に基づいてシーンに適用するLUTデータを設定する撮像装置である。
　また、第６の技術は、撮影により映像データを生成し、シーン特定用情報に基づいて、映像データからシーンを抽出し、LUT設定用情報に基づいてシーンに適用するLUTデータを設定する撮像装置の制御方法である。
　さらに、第７の技術は、撮影により映像データを生成し、シーン特定用情報に基づいて、映像データからシーンを抽出し、LUT設定用情報に基づいてシーンに適用するLUTデータを設定する撮像装置の制御方法をコンピュータに実行させる制御プログラムである。
情報処理システムの構成を示すブロック図である。 撮像装置１００の構成を示すブロック図である。 情報処理装置２００の構成を示すブロック図である。 情報処理装置２００の処理ブロックの構成を示すブロック図である。 LUTデータとメタデータの対応づけの説明図である。 記録データ生成の処理を示すフローチャートである。 記録データにおける映像データおよびメタデータの配置を示す図である。 ユーザデータ領域内のデータの構成例である。 LUT適用テーブルのデータ構成を示す図である。 条件入力のためのユーザインターフェースの具体例である。 LUT適用テーブル生成の処理を示すフローチャートである。 映像データのシーンとLUTデータの対応付けの説明図である。 条件入力のためのユーザインターフェースの具体例である。 映像データの再生処理を示すフローチャートである。 撮像装置１００と情報処理装置２００の変形例を示すブロック図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１－１．情報処理システム１０の構成］
［１－２．撮像装置１００の構成］
［１－３．情報処理装置２００の構成］
［１－４．情報処理装置１００における処理］
［１－４－１．記録データについて］
［１－４－２．LUT適用テーブルについて］
［１－４－３．LUT適用再生モードによる映像データ再生］
＜２．変形例＞
＜１．実施の形態＞
［１－１．情報処理システム１０の構成］
　図１に示すように情報処理システム１０は撮像装置１００と情報処理装置２００により構成されている。情報処理装置２００は単体の装置として構成されてもよいし、パーソナルコンピュータ、タブレット端末、スマートフォン、サーバ装置などにおいて動作するものとして構成されてもよい。このように撮像装置２００以外の他の装置が情報処理装置２００として機能するのは、特にポストプロダクションにおいてLUTデータによるカラーグレーディングを映像データに施す場合に有用である。
［１－２．撮像装置１００の構成］
　図２を参照して撮像装置１００の構成について説明する。撮像装置１００は、制御部１０１、光学撮像系１０２、レンズ駆動ドライバ１０３、撮像素子１０４、信号処理部１０５、記憶部１０６、インターフェース１０７、入力部１０８、表示部１０９、被写体認識部１１０、環境情報取得部１１１に含まれる位置情報取得部１１２およびセンサ部１１３を備えて構成されている。
　制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１００の全体および各部の制御を行う。
　光学撮像系１０２は、被写体からの光を撮像素子１０４に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部１０１、レンズ駆動ドライバ１０３からの制御信号に基づいて駆動される。光学撮像系１０２を介して得られた被写体の光画像は、撮像素子１０４上に結像される。
　レンズ駆動ドライバ１０３は、例えばマイコンなどにより構成され、制御部１０１などから供給されたフォーカス制御情報に基づいて撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスやマニュアルフォーカスを行う。また、制御部１０１からの制御に従い、光学撮像系１０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより露出の調整、絞り値（Ｆ値）などの調整がなされる。
　撮像素子１０４は、撮像レンズを通して得られた被写体からの入射光を光電変換して電荷量に変換して撮像信号を出力する。そして、撮像素子１０４は撮像信号を信号処理部１０５に出力する。撮像素子１０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
　信号処理部１０５は撮像素子１０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、映像信号を作成する。
　また、信号処理部１０５は、映像信号に対してホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。
　記憶部１０６は、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。信号処理部１０５により処理が施された映像データは所定の規格に基づいて圧縮状態または非圧縮状態で保存される。
　インターフェース１０７は情報処理装置２００や他の装置、さらにインターネットなどとの間のインターフェースである。インターフェース１０７は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＴＴＥなどのセルラー通信、Wi-Fi、Bluetooth（登録商標）、ＮＦＣ（Near　Field　Communication）、イーサネット（登録商標）、ＳＤＩ（Serial Digital Interface）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、ＵＳＢ（Universal　Serial　Bus）などを含みうる。また、撮像装置１００と情報処理装置２００がハードウェア的に接続される場合、インターフェース１０７は、装置間の接続端子や、装置内のバスなどを含みうる（以下、これらを装置内のインターフェースともいう）。また、撮像装置１００と情報処理装置２００が複数の装置に分散して実現される場合、インターフェース１０７は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース１０７は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
　撮像装置１００はインターフェースを介してインターネットと接続することにより天気情報、時刻情報などメタデータとなる各種情報を取得することができる。
　入力部１０８は撮像装置１００に対してユーザが各種指示など行うためのものである。入力部１０８に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部１０１に供給される。そして、制御部１０１はその制御信号に対応した各種処理を行う。入力部１０８としてはシャッタ入力のためのシャッターボタン、各種操作のための物理ボタンの他、タッチパネル、表示部１０９としてのディスプレイと一体に構成されたタッチスクリーンなどがある。
　表示部１０９は、ＥＶＦ（Electronic View Finder）やディスプレイなど、LUTデータでカラーグレーディングが施された映像データ、画像データ、スルー画、保存された画像／映像データ、ＧＵＩ（Graphical User Interface）などを表示するものである。表示部１０９としては、例えば、ＬＣＤ、ＰＤＰ、有機ＥＬパネルなどにより構成されたものがある。
　被写体認識部１１０は、公知の被写体認識処理を用いて、撮影により生成された映像データから特定の被写体(人物の顔や物体など）を認識するものである。公知の被写体認識技術としては、テンプレートマッチングによる方法、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法、人工知能を用いる方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。
　環境情報取得部１１１に含まれる位置情報取得部１１２はＧＰＳ（Global Positioning System）モジュールなどの撮像装置１００の位置を検出するものである。位置情報は情報処理装置においてメタデータとして扱われるものである。
　環境情報取得部１１１に含まれるセンサ部１１３は、温度センサ、湿度センサ、気圧センサ、地磁気センサ、照度センサ、などメタデータとして扱われる撮影時における撮像装置１００の周囲の環境に関する情報を取得できる各種センサである。
　なお、撮像装置１００は位置情報取得部１１２とセンサ部１１３の他に、加速度センサ、角速度センサ、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）、ＩＭＵ（Inertial Measurement Unit）モジュール、高度計、方位計、生体センサなどを備えていてもよい。これらの各種センサから取得できる情報もメタデータとして扱ってもよい。
　撮像装置１００は以上のようにして構成されている。撮像装置１００としてはデジタルカメラ、一眼レフカメラ、カムコーダー、業務用カメラ、プロ仕様撮影機器などのカメラ機能に特化した装置の他、カメラ機能を備えるスマートフォン、タブレット端末、ウェアラブルデバイスなどでもよい。
　なお、位置情報取得部１１２、センサ部１１３は撮像装置１００が備えていてもよいし、撮像装置１００とは別の他の装置として構成されてもよいし、他の装置が備えるものを利用してもよい。位置情報取得部１１２、センサ部１１３が他の装置として構成、または他の装置が備えるものである場合、その他の装置がメタデータとなる位置情報、センサ情報を撮像装置１００または情報処理装置２００に送信する。
［１－３．情報処理装置２００の構成］
　次に図３および図４を参照して情報処理装置２００の構成について説明する。図３に示すように情報処理装置２００は制御部２５０、記憶部２６０、インターフェース２７０、入力部２８０を備えて構成されている。
　制御部２５０は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって情報処理装置２００の全体および各部の制御を行う。
　記憶部２６０は、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。
　インターフェース２７０は撮像装置１００や他の装置、さらにインターネットなどとの間のインターフェースである。インターフェース２７０は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＴＴＥなどのセルラー通信、Wi-Fi、Bluetooth（登録商標）、ＮＦＣ、イーサネット（登録商標）、ＳＤＩ（Serial Digital Interface）、ＨＤＭＩ（登録商標）、ＵＳＢなどを含みうる。また、撮像装置１００と情報処理装置２００がハードウェア的に接続される場合、インターフェース２７０は、装置間の接続端子や、装置内のバスなどを含みうる（以下、これらを装置内のインターフェースともいう）。また、撮像装置１００と情報処理装置２００が複数の装置に分散して実現される場合、インターフェース２７０は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース２７０は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
　図示は省略するが情報処理装置２００はその他に入力部、表示部などを備えていてもよい。
　図４に示すように、情報処理装置２００は、メタデータ生成部２０１、メタデータ格納部２０２、映像データ格納部２０３、記録データ生成部２０４、記録データ格納部２０５、映像データ抽出部２０６、メタデータ抽出部２０７、LUTデータ管理部２０８、LUTデータ格納部２０９、テーブル生成部２１０、LUT適用テーブル格納部２１１、LUT制御部２１２、LUT適用部２１３、映像データ出力部２１４という機能ブロック備えるよう構成されている。
　メタデータ生成部２０１、記録データ生成部２０４、映像データ抽出部２０６、メタデータ抽出部２０７、LUTデータ管理部２０８、テーブル生成部２１０、LUT制御部２１２、LUT適用部２１３、映像データ出力部２１４は制御部２５０により実現される機能である。メタデータ格納部２０２、映像データ格納部２０３、記録データ格納部２０５、LUTデータ格納部２０９、LUT適用テーブル格納部２１１という各格納部は記憶部２６０において実現される機能であり、各格納部に対してデータや情報を記録する指示や制御は制御部２５０により行われる。また、情報処理装置２００各機能ブロックと撮像装置１００間における映像データ、シーン特定用情報、LUT設定用情報、その他データや情報の送受信はインターフェース２７０を用いて行われる。
　メタデータ生成部２０１は、撮像装置１００が備える制御部１０１、位置情報取得部１１２、センサ部１１３、被写体認識部１１０から環境情報、撮影情報、フラグ情報を取得し、メタデータとして使用する情報を抽出してメタデータを生成する。生成されたメタデータはメタデータ格納部２０２に保存される。本技術においてメタデータはLUTデータを適用してカラーグレーディングを施す映像データ中のシーンを特定するためのシーン特定用情報と、カラーグレーディングに使用するLUTデータを設定するためのLUT設定用情報として用いられる。
　環境情報は、インターネットから取得する天気情報や時刻情報、位置情報取得部１１２が取得する撮影位置情報、センサ部１１３としての温度センサや湿度センサが取得する温度情報、湿度情報などの撮影を行う環境に関連する情報である。
　撮影情報は、撮像装置１００の制御部１０１などから供給できるレンズ情報（アイリス、フォーカス、ズーム設定）やカメラ設定情報（AE測光モード、ホワイトバランス、ガンマ、ＣＤＬ（Color Decision List）等のパラメータ）、さらに、被写体認識部１１０から供給される顔認識情報、物体認識情報など撮影に関連する情報である。
　フラグ情報は、ユーザにより入力された、映像データ中のシーンを識別するための再生位置情報（シーンの開始フレーム番号および終了フレーム番号、シーンの開始再生時間およびシーンの終了再生時間、など）、シーンと関連するキーワードなどから構成される。ユーザは例えば映像データ中における特別なシーン、重要なシーン、強調したいシーン、LUTデータでカラーグレーディングを施したいシーンなどをフラグ情報で示すことができる。ユーザは撮像装置１００の入力部１０８に対する入力操作でフラグ情報を入力することができる。
　メタデータである環境情報と撮影情報は映像データと対応付けるために、情報を取得した時刻／時間を示す時間情報が付加されている。
　なお、本技術においてはメタデータである環境情報、撮影情報、フラグ情報のいずれかまたは組み合わせをシーン特定用情報として用い、さらに環境情報、撮影情報の両方または少なくともいずれかをLUT設定用情報としても用いる。情報処理装置２００は映像データ、シーン特定用情報、LUT設定用情報を撮像装置１００から取得する。
　映像データ格納部２０３は撮像装置１００が撮影して生成した映像データを保存するものである。映像データにはメタデータと対応づけて記録データとするために撮影した時刻／時間を示す時間情報が付加されている。
　記録データ生成部２０４は映像データとメタデータを対応付けて記録データを生成するものである。映像データとメタデータの対応付けは映像データを構成するフレームごとに、フレームの時間とに一致する時間情報を有するメタデータを対応付けることにより行う。生成された記録データは記録データ格納部２０５に保存される。
　映像データ抽出部２０６は映像データの再生時にLUTデータを適用してカラーグレーディングを施す映像データを記録データから抽出する。
　メタデータ抽出部２０７は映像データの再生時に記録データからメタデータを抽出する。
　LUTデータ管理部２０８は、図５に示すようにLUTデータにメタデータを対応づけてLUTデータ格納部２０９に保存する処理を行う。LUTデータ格納部２０９はカラーグレーディングに使用するLUTデータを保存しておくものである。LUTデータに対応づけられたメタデータはLUT設定用情報として機能するものである。
　LUTデータとメタデータの対応づけは、ユーザによる具体的なメタデータとLUTデータを指定した入力指示に基づいて行われてもよい。また、LUTデータの特徴やLUTデータを生成したクリエイターの意図や用途とメタデータの種類に応じてLUTデータ管理部２０８が自動で行ってもよい。
　例えば明るい青空を引き立たせる意図で制作されたLUTデータには「天気：晴れ」というメタデータを対応付けるなどである。さらに所定のアルゴリズム、ルールなどに基づいてLUTデータとメタデータを対応づけてもよい。なお、LUTデータとメタデータの対応付けは１つのLUTデータに１つのメタデータを対応付けることに限らず、１つのLUTデータに複数のメタデータを対応づけてもよいし、１つのメタデータが複数のLUTデータに対応付けられてもよい。
　テーブル生成部２１０はユーザから入力される適用条件に基づいて適用条件とカラーグレーディングに使用するLUTデータを対応づけたLUT適用テーブルを生成する。生成されたLUT適用テーブルはLUT適用テーブル格納部２１１に保存される。LUT適用テーブルとは、映像データにカラーグレーディングを施すためのユーザが指定する適用条件とLUTデータを対応づけたテーブルであり、情報処理装置２００はLUT適用テーブルを参照して映像データにカラーグレーディングを施す。LUT適用テーブルの詳細は後述する。
　LUTとはLook Up Tableであり、映像／画像が備えるＲＧＢの３つの数値を別のＲＧＢの数値に変換することにより色変換を行い、映像／画像の色合いを変化させることができるものである。LUTデータはLUTにより色変換を行うためのプリセットデータであり、LUTデータはユーザが作成したものでもよいし、一般のクリエイターやメーカーが作成して販売や無償公開されているものなどどのようなものでもよい。
　LUT制御部２１２は映像データの再生中において、映像データのシーンの変化に対応して、LUT適用テーブルを参照してカラーグレーディングに使用するLUTデータの決定および切替を行うことによりシーンに適用するLUTデータを設定する。
　LUT適用部２１３は、映像データの再生中においてLUT制御部２１２により決定および切替がなされたLUTデータを適用して映像データに色補正処理であるカラーグレーディングを施す。カラーグレーディングが施された映像データは映像データ出力部２１４に供給される。
　映像データ出力部２１４はカラーグレーディングが施された映像データを出力する処理を行うものである。出力方法としては表示部１０９における表示、ＳＤＩやＨＤＭＩ（登録商標）などのインターフェースを介した他の装置への送信などがある。
　情報処理装置２００は以上のように構成されている。なお、情報処理装置２００における処理はプログラムの実行によって実現されてもよく、そのプログラムの実行によりパーソナルコンピュータ、タブレット端末、スマートフォン、サーバ装置などが情報処理装置２００として機能を備えるようにしてもよい。そのプログラムは予め撮像装置１００などにインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。
　なお、情報処理装置２００は、ＳＤＩやＨＤＭＩ（登録商標）などのインターフェースを介して映像データを入力する映像データ入力部を備えていてもよい。また、情報処理装置２００は、カラーグレーディングを施した映像データや記録データをＵＳＢメモリなどの記録媒体の保存する記録媒体制御部などを備えていてもよい。
　情報処理装置２００を構成する各格納部は撮像装置１００の記憶部１０６において構成されてもよい。
［１－４．情報処理装置における処理］
［１－４－１．記録データについて］
　次に情報処理装置２００における処理について説明する。まず図６を参照して記録データ生成について説明する。
　ステップＳ１０１で、メタデータ生成部２０１は撮像装置１００の制御部１０１、位置情報取得部１１２、センサ部１１３などからメタデータとなる各種情報を取得する。また、ステップＳ１０２で情報処理装置２００は撮像装置１００から映像データを取得して映像データ格納部２０３に保存する。なお、図面の都合上ステップＳ１０１の後にステップＳ１０２が行われるように記載しているが、必ずしも映像データの取得が後に行われるということではなく、映像データの取得が先に行われてもいいし、ステップＳ１０１とステップＳ１０２は非同期であるが同時に行われてもよい。
　次にステップＳ１０３で、メタデータ生成部２０１は取得した各種情報からメタデータを生成してメタデータ格納部２０２に保存する。
　次にステップＳ１０４で、記録データ生成部２０４は、映像データを構成するフレーム単位で映像データとシーン特定用情報として機能するメタデータの対応付けを行って記録データを生成し、記録データを記録データ格納部２０５に保存する。
　撮像装置１００の制御部１０１からの撮影情報やフラグ情報の出力、位置情報取得部１１２による位置情報の取得と出力、センサ部１１３によるセンサ情報の取得と出力のタイミングは必ずしも映像データの時間軸と同期していない（非同期である）。よって、記録データ生成部２０４は映像データの時間情報とメタデータの時間情報とを参照して、共通の時間軸で対応付けて記録データを生成する。よって、映像データの時間軸に合っていない（タイミングが合っていない）メタデータは映像データと対応づけられない。なお、映像データにおけるシーンを示す再生位置情報であるフラグ情報はそのフラグ情報が示すシーンの開始フレームおよび終了フレームに対応付けられる。
　記録データ生成部２０４はこの処理をフレーム単位で繰り返しながら映像データとメタデータを対応付けて記録データを生成する。
　次にステップＳ１０５で映像データを構成する残りのフレームが存在するかを確認する。残りのフレームが存在する場合、処理はステップＳ１０３に進む（ステップＳ１０５のＹｅｓ）。そしてステップＳ１０３乃至ステップＳ１０５を繰り返すことで記録データ生成部２０４は映像データとメタデータを共通の時間軸で対応付けて記録データを生成する。
　そして残りのフレームが存在しなくなった場合、すなわち全てのフレームに対して処理が完了した場合終了となる（ステップＳ１０５のＮｏ）。
　図７は記録データの構成と記録データにおける映像データおよびメタデータの配置例を示すものである。メタデータは水平補助データの領域にメタデータの種類ごとに複数配置され、映像データは有効映像データの領域に配置されている。また、メタデータ内にユーザデータ領域が存在する。図７の例では、SMPTE RDD18 Acquisition Metadataで定義されているUser Defined Acquisition Metadata Setの形式にそってユーザデータをSDI出力に埋め込んでいる。
　図８はユーザデータ領域内のデータの構成例である。図８Ａはユーザデータ領域におけるデータ形式であり、情報の種類を判別するための情報識別子と、データの内容量を示すサイズと、データ内容そのものとから構成されている。
　図８Ｂは、ユーザデータ領域における具体的なデータの一例として、メタデータである位置情報を示したものである。情報識別子は位置情報（ＧＰＳ）であり、サイズは予約領域を含めたデータの容量としてのバイト数であり、データ内容には、協定世界時での時刻、緯度、北緯／南緯、経度などの情報が予め定めてある順序、サイズで含まれている。
　図８Ｃは、ユーザデータ領域における具体的なデータの一例として、LUTデータを示したものである。情報識別子はLUTデータ名であり、サイズは予約領域を含めたデータの容量としてのバイト数であり、データ内容には、LUTデータの識別子とファイルから読み込んだ際に記録されたファイル名で構成されるLUTデータ名、チェックサムなどの情報が予め定めてある順序、サイズで含まれている。
［１－４－２．LUT適用テーブルについて］
　また、ユーザデータ領域内には図９に示すようなLUT適用テーブルが格納されている。LUT適用テーブルはユーザから入力された適用条件と、その適用条件に一致するシーンに対してカラーグレーディングを施すために使用する、適用条件に一致するLUTデータを対応づけたものである。LUT制御部２１２はこのLUT適用テーブルを参照することによりLUT適用部２１３が映像データを構成するシーンに対してカラーグレーディングを施す際に使用するLUTデータの決定／切替を行う。よって、LUTデータを適用しながら映像データを再生するためには事前にその映像データについてのLUT適用テーブルを生成しておく必要がある。
　LUT適用テーブルも図８Ａに示す形式に沿ったデータであり、図９Ａに示すようにサイズは予約領域を含めたデータの容量としてのバイト数であり、データ内容には、適用条件、LUT識別子、チェックサムが予め定めてある順序、サイズで含まれている。なお、適用条件には区別するための番号（＃１、＃２、＃３、・・・）が付されており、その適用条件に対応するLUT識別子にも同一の番号（＃１、＃２、＃３、・・・）が付され、一の適用条件と一のLUT識別子が組を成す構成となっている。適用条件とはユーザからの入力により指定される、カラーグレーディングが施される映像データ中のシーンと、カラーグレーディングとしてシーンに適用されるLUTデータを特定して設定するための条件である。
　適用条件が指定され、映像データ中のシーンが適用条件を満たす場合、その満たしている適用条件と同じ番号が付されたLUT識別子で示されるLUTデータがそのシーンに適用されてカラーグレーディングが施される。例えば、適用条件＃１を満たすシーンには、LUT識別子＃１で示されるLUTデータが適用されてカラーグレーディングが施される。
　図９Ｂは適用条件とLUT識別子のデータ形式である。適用条件は識別フラグ、条件識別子、条件内容を１つの組として構成されている。識別フラグはデータが適用条件であるかLUT識別子であるかを示すものである。
　個別条件とは適用条件を構成する個々の条件を示すものである。例えば、適用条件が１つの個別条件で構成される場合、その個別条件には識別フラグ＃１、条件識別子＃１、下位条件＃１のみが含まれることとなる。また、適用条件が２つの個別条件で構成される場合、その適用条件には１つ目の個別条件＃１を示す識別フラグ＃１、条件識別子＃１、条件内容＃１、２つめの個別条件＃２を示す識別フラグ＃２、条件識別子＃２、条件内容＃２が含まれることとなる。
　条件識別子は個別条件とするメタデータの種別を示すものであり、具体的には環境情報または撮影情報に含まれる位置情報、天気情報などである。条件内容は条件識別子ごとに構成が異なり、具体的な条件となる数値、状態、などを示すものである。
　図９Ｃの適用条件＃１の具体例ある。図９Ｃの例では適用条件＃１は個別条件＃１と個別条件＃２の組み合わせとして構成されている。個別条件＃１は条件識別子＃１と条件識別子＃２で示されるようにＧＰＳによる位置情報についての条件として設定され、個別条件＃２は天気についての条件として設定されている。
　条件内容＃１はＧＰＳによる位置情報の具体的な値であり、図９Ｃの例では北緯３０～３２度が条件内容となっている。また、条件内容＃２は天気についての具体的な状態であり、図９Ｃの例では天気が晴れであることが条件内容となっている。
　図９Ｃの例では位置情報についての個別条件＃１と天気についての個別条件＃２からなる適用条件＃１を満たすシーンに対してその適用条件に一致するLUT設定用情報に予め対応づけられたLUT0001というLUTデータをシーンに適用するLUTデータとして設定してカラーグレーディングを施すことを示している。
　なお、図９Ｃの例では適用条件＃１は２つの個別条件の組み合わせで構成されているが、図９Ｄに示すように適用条件が１つの個別条件で構成される場合もあるし、３つ以上の個別条件の組み合わせで構成される場合もある。これはユーザからの条件入力によって設定されるものである。
　次に図１０および図１１を参照して、テーブル生成部２１０により行われるLUT適用テーブルの生成について説明する。図１０はLUT適用テーブル生成用のユーザインターフェースの具体例である。ユーザインターフェースは情報処理装置２００が動作する装置（本実施例では撮像装置１００）において表示される。ユーザインターフェースは条件入力部３０１、シーン表示部３０２、LUTデータ提示部３０３、プレビュー表示部３０４を備えて構成されている。
　条件入力部３０１は、適用条件を構成する個別条件を入力するためのものである。図１０の例では位置と天気を条件として入力しているが、環境情報、撮影情報、フラグ情報に含まれる情報であればどのような情報でも条件として入力可能であし、複数の条件を組み合わせて入力してもよい。
　シーン表示部３０２は、適用条件に一致するシーン特定用情報に対応づけられた映像データ中の１または複数のフレームからなるシーンを表示してユーザに提示するものである。映像データを構成する複数のフレームのうち、適用条件に一致するシーン特定用情報に対応づけられたシーンに色をつける、目印をつけるなどの方法によりユーザは特定されたシーンがどのようなシーンであるかを目視で容易に確認することができる。
　LUTデータ提示部３０３は、適用条件に一致するLUT設定用情報に対応づけられているLUTデータの名称を表示してユーザに提示するものである。
　プレビュー表示部３０４は、LUTデータ提示部３０３に表示されたLUTデータを適用して映像データにカラーグレーディングを施した結果を表示するものである。この表示を見ることによりユーザはLUTデータを用いたカラーグレーディングの結果がどのようなものかを確認してカラーグレーディングに使用するLUTデータを決定することができる。
　LUT適用テーブルの生成では、図１１のフローチャートに示すように、まずステップＳ２０１で処理対象である映像データ全体についてその映像データに対応付けられたメタデータであるシーン特定用情報を解析する。
　次にステップＳ２０２で、条件入力部３０１に対して入力された適用条件に一致するメタデータに対応付けられているシーンを映像データから特定する。この特定されたシーンはユーザインターフェースのシーン表示部３０２に表示される。
　例えば、図１０に示すように、ユーザが位置についての個別条件と天気についての個別条件とからなる適用条件を入力した場合、その位置についての個別条件に一致するメタデータ（シーン特定用情報）と、天気についての個別条件に一致するメタデータ（シーン特定用情報）に対応づけられている１または複数のフレームがシーンとして特定される。図６に示したように映像データはメタデータ（シーン特定用情報）と対応付けられているため、適用条件と映像データに対応付けられているメタデータとを比較することで適用条件に一致するシーン特定用情報に対応するシーンを特定することができる。
　次にステップＳ２０３で、ステップＳ２０２で特定したシーンに対するカラーグレーディングに用いるLUTデータとして、適用条件に一致するLUT設定用情報に対応するLUTデータを特定する。図５に示したようにLUTデータはメタデータ（LUT設定用情報）と対応付けられているため、適用条件とLUTデータに対応付けられているメタデータとを比較することで適用条件に一致するLUT設定用情報に対応するLUTデータを特定することができる。この特定されたLUTデータはユーザインターフェースのLUTデータ提示部３０３に表示される。
　例えば、図１０に示すように、ユーザが位置についての個別条件と天気についての個別条件とからなる適用条件を入力した場合、その位置についての個別条件に一致するメタデータ（LUT設定用情報）と天気についての個別条件に一致するメタデータ（LUT設定用情報）に対応づけられている１または複数のLUTデータが特定される。
　カラーグレーディングを施すシーンとカラーグレーディングに用いるLUTデータがユーザにより決定された場合、処理はステップＳ２０４からステップＳ２０５に進む（ステップＳ２０４のＹｅｓ）。なお、ユーザインターフェースに決定ボタンを設けたり、撮像装置１００のいずれかのボタンを決定入力用ボタンとして機能させることによりユーザの決定入力を受け付けることができる。
　なお、LUTデータ提示部３０３に表示されるLUTデータが１つである場合、ユーザはその１つのLUTデータをカラーグレーディングに使用するLUTデータとするか否かの決定を行う必要がある。また、LUTデータ提示部３０３に表示されるLUTデータが複数である場合、ユーザはその複数のLUTデータのうちのいずれかをカラーグレーディングに使用するLUTデータとするか否かの決定を行う必要がある。なお、LUTデータ提示部３０３に表示されるLUTデータが１つである場合には、ユーザの決定がなくてもテーブル生成部２１０が自動的にその１つのLUTデータをカラーグレーディングに使用するLUTデータとして決定してもよい。
　次にステップＳ２０５で、適用条件と、シーンに適用するLUTデータとを対応付けてLUT適用テーブルを生成する。これによりシーンに適用するLUTデータ、すなわち、カラーグレーディングに使用するLUTデータが設定される。
　図１２は、上述のように入力された適用条件に一致するシーン特定用情報としてのメタデータに対応づけられた１または複数のフレームからなるシーンと、適用条件に一致するLUT設定用情報としてのメタデータに対応づけられたLUTデータを模式的に示したものである。
　図１２の例では適用条件Ａに一致するシーン特定用情報で特定されたシーンＡ（フレーム１～フレーム３）、適用条件Ｂに一致するシーン特定用情報で特定されたシーンＢ（フレーム４～フレーム６）、適用条件Ｃに一致するシーン特定用情報で特定されたシーンＣ（フレーム７、フレーム８）、適用条件Ａに一致するシーン特定用情報で特定されたシーンＤ（フレーム９～フレーム１２）の合計４個のシーンが特定されたとする。
　そして適用条件Ａで特定されたシーンＡとシーンＤには適用条件Ａに一致するLUT設定用情報で設定されたLUTデータ0001を適用してカラーグレーディングが施される。また、適用条件Ｂで特定されたシーンＢには適用条件Ｂに一致するLUT設定用情報で設定されたLUTデータ0201を適用してカラーグレーディングが施される。さらに、適用条件Ｃで特定されたシーンＣには適用条件Ｃに一致するLUT設定用情報で設定されたLUTデータ1１０９を適用してカラーグレーディングが施される。
　図１２に示すシーンＡとシーンＤのように共通の適用条件Ａに一致するシーン特定用情報で複数のシーンが特定された場合、その複数のシーンには適用条件Ａに一致するLUT設定用情報で設定された同一のLUTデータ0001を適用してカラーグレーディングを施す。
　なお、適用条件に一致するLUT設定用情報に対応づけられたLUTデータが１つの場合、図１０に示すようにLUTデータ提示部３０３には１つのLUTデータ名が表示されている。しかし、図５に示したLUTデータ格納部２０９に保存されたLUTデータにおいて、一つのメタデータ（LUT設定用情報）に複数のLUTデータが対応付けられている場合、図１３に示すようにLUTデータ提示部３０３にはその複数のLUTデータ名を表示してもよい。
　また、ユーザから複数の適用条件が入力された場合、図１３に示すようにLUTデータ提示部３０３にはその複数のLUTデータ名を表示してもよい。例えば、位置情報についての適用条件と天気についての適用条件がユーザから入力された場合、位置情報についての適用条件に一致するLUT設定用情報に対応するLUTデータと、天気についての適用条件に一致するLUT設定用情報に対応するLUTデータの名称をLUTデータ提示部３０３に表示する。複数のLUTデータ名が表示された場合、ユーザはその提示された複数のLUTデータの中からカラーグレーディングに使用する１つのLUTデータを選択する。その選択されたLUTデータでLUT適用テーブルが生成され、シーンに適用するLUTデータが設定される。
［１－４－３．LUT適用再生モードによる映像データ再生］
　次に図１４のフローチャートを参照して、映像データの出力の一態様である映像データの再生について説明する。
　まずステップＳ３０１で、ユーザからの入力などに応じて、情報処理装置２００でLUT適用テーブルを参照してLUTデータでカラーグレーディングを施しながら映像データを再生するLUT適用再生モードに設定する。LUT適用再生モードでは、映像中にカラーグレーディングを施すシーンが複数存在する場合、リアルタイムで各シーンに適用するLUTデータを切り替えて、各シーンにLUTデータでカラーグレーディングを施した状態で映像データを再生する。
　次にステップＳ３０２で再生する映像データに対応づけられたメタデータを解析する。
　次にステップＳ３０３で、LUT適用テーブルにおける適用条件に一致するメタデータであるシーン特定用情報に対応づけられたシーンを特定する。このシーンがLUTデータを適用してカラーグレーディングを施すシーンである。
　次にステップＳ３０４で、次に再生するフレームがカラーグレーディングを施すシーンを構成するフレームであるかを確認する。次に再生するフレームがカラーグレーディングを施すシーンを構成するフレームある場合、処理はステップＳ３０５に進む（ステップＳ３０４のＹｅｓ）。
　次にステップＳ３０５で、LUT制御部２１２はLUT適用テーブルにおける適用条件に一致するメタデータであるLUT設定用情報に対応づけられたLUTデータをカラーグレーディング用のLUTデータとして決定してLUTデータ格納部２０９から読み出す。
　次にステップＳ３０６で、LUT適用部２１３はカラーグレーディングを施すシーンを構成するフレームにLUT制御部２１２が決定したLUTデータを適用してカラーグレーディングを施す。そしてステップＳ３０７で、映像データ出力部２１４はカラーグレーディングが施されたフレームを再生する。
　ステップＳ３０８で、映像データを構成する未再生のフレームが存在するかを確認する。未再生のフレームが存在する場合、処理はステップ３０４に進む（ステップＳ３０８にＹｅｓ）。そしてステップＳ３０４乃至ステップＳ３０８でカラーグレーディングを施すシーンが終わるまでカラーグレーディングを施しながらフレームの再生を行う。
　一方、ステップＳ３０４でカラーグレーディングを施すシーンを構成するフレームではない場合、処理はステップＳ３０９に進む（ステップＳ３０４のＮｏ）。この場合、ステップＳ３０９で映像データ出力部２１４はカラーグレーディングを施されないフレームを再生する。
　そして、ステップＳ３０８で映像データを構成するフレームが存在する限り、ステップＳ３０３乃至ステップＳ３０９を繰り返してフレームの再生による映像データの再生が行われる。
　ステップＳ３０８で映像データを構成する未再生のフレームが存在しなくなった場合、すなわち、映像データを構成する全てのフレームを再生した場合、処理は終了となる（ステップＳ３０８のＮｏ）。
　以上のようにして本技術における処理が行われる。本技術によれば、映像データと、シーン特定用情報およびLUT設定用情報として機能するメタデータ（環境情報、撮影情報、フラグ情報）を対応づけることにより、カラーグレーディングを施すシーンの特定、LUTデータの決定を自動で行うことができる。
　例えば、環境情報である温度情報がシーン特定用情報およびLUT設定用情報として機能する場合、映像データ中における特定の温度環境で撮影されたシーンに最適なLUTデータを用いてカラーグレーディングを自動で施すことができる。
　また、例えば、撮影情報であるズーム設定がシーン特定用情報およびLUT設定用情報として機能する場合、映像データ中における特定のズーム倍率で撮影されたシーンに最適なLUTデータを用いてカラーグレーディングを自動で施すことができる。また、例えば、撮影情報である顔認識情報がシーン特定用情報およびLUT設定用情報として機能する場合、映像中の特定の人物が現れたシーンに最適なLUTデータを用いてカラーグレーディングを自動で施すことができる。
　さらに、例えば、フラグ情報である映像データ中の再生位置情報がシーン特定用情報として機能する場合、ユーザが指定する映像データ中における特定のシーンにLUTデータを用いてカラーグレーディングを自動で施すことができる。
　環境情報、撮影情報、フラグ情報という様々な情報をシーン特定用情報、LUT設定用情報とすることにより、様々なシーンにカラーグレーディングを施すことができる。
　また、ユーザが指定する適用条件に基づいてシーン特定用情報でシーンを特定し、適用条件に基づいてLUT設定用情報でLUTデータを決定することにより、カラーグレーディングをユーザの意図も反映させた半自動で行うことができる。
　また、映像データを含む記録データにLUT適用テーブルを記録しておくことにより、再生時にはそのLUT適用テーブルを参照することで動的にLUTデータを切り替えながら映像を再生することができる。これにより、LUT適用テーブルの追記のみで映像再生とカラーグレーディングを行えるようになり、システムの負荷を軽減することができる。
＜２．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　実施の形態では撮像装置１００と情報処理装置２００は別体の装置であるとして説明を行ったが、図１５に示すように撮像装置１００が情報処理装置２００の機能を備え、情報処理装置２００が撮像装置１００において動作するように構成してもよい。その場合、例えば、撮像装置１００内の制御部１０１や記憶部１０６が情報処理装置２００としての機能を備える。プログラムの実行により撮像装置１００が情報処理装置２００として機能を備えるようにしてもよい。
　情報処理装置２００は映像データとメタデータを対応づけ、LUT適用テーブルを生成する処理までを行い、LUT適用テーブルに基づいて映像データにカラーグレーディングを施すのは情報処理装置２００以外の他の装置でもよい。
　記録データ生成部２０４が行う映像データとメタデータの対応付けは撮像装置１００が行い、情報処理装置は映像データとメタデータの対応付けがなされた記録データを撮像装置１００が取得するようにしてもよい。
　映像データは撮影で生成した映像データだけでなく、撮影という処理を介さずに生成された映像データ、例えば、ＣＧ映像や、アニメ映像、複数の画像を所定のタイミングで切り替えて連続表示するものなどでもよい。
　また、情報処理装置２００はクラウドシステムとして構成されてもよい。クラウドとは、クラウドとはコンピュータの利用形態の１つであり、クラウドサービス提供会社のサーバに構築される。必要な処理は基本的に全てサーバ側で行われる。ユーザはデータを自分の装置などではなく、インターネット上のサーバに保存する。よって、自宅、会社、外出先、撮影現場、編集ルームなど、さまざまな環境においてもサービスの利用、データの使用、編集、アップロードなどを行うことができる。また、クラウドシステムではネットワークを介して接続する装置間における各種データの転送などを行うこともできる。
　また、情報処理装置２００が動作する装置（図１に示した撮像装置１００など）とは異なる他の装置に記録データを送信してその他の装置においてカラーグレーディングを施しながら映像データを再生することも可能である。この場合、記録データを受信した他の装置は記録データのユーザデータ領域に格納されているLUT適用テーブルを抽出してそのLUT適用テーブルに基づきカラーグレーディングを施して映像を再生する。なお、情報処理装置２００と他の装置間の記録データの送受信は有線無線通信に限らず、ＵＳＢメモリやＳＤカードなどの記憶媒体を介して行ってもよい。
　本技術は以下のような構成も取ることができる。
（１）
　撮像装置と情報処理装置とからなり、
　前記情報処理装置は、前記撮像装置が撮影した映像データと、シーン特定用情報と、LUT設定用情報を前記撮像装置から取得し、前記シーン特定用情報に基づいて前記映像データにおけるシーンを特定し、前記LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する情報処理システム。
（２）
　前記シーン特定用情報は、前記撮像装置による撮影時の環境に関する情報、前記撮像装置による撮影機能に関連する情報、前記映像データの再生位置に関する情報のいずれかまたは組み合わせである（１）に記載の情報処理システム。
（３）
　前記LUT設定用情報は、前記撮像装置による撮影時の環境に関する情報、前記撮像装置による撮影機能に関連する情報のうちの少なくともいずれかである（１）または（２）に記載の情報処理システム。
（４）
　前記映像データは、前記映像データを構成するフレームごとに前記シーン特定用情報と対応づけられている（１）から（３）のいずれかに記載の情報処理システム。
（５）
　前記情報処理装置は、ユーザから指定された条件に一致する前記シーン特定用情報に対応付けられた１または複数の前記フレームを前記シーンとして特定する（４）に記載の情報処理システム。
（６）
　前記LUTデータは、前記LUT設定用情報と対応づけられている（１）から（５）のいずれかに記載の情報処理装置。
（７）
　前記情報処理装置は、ユーザから指定された条件に一致する前記LUT設定用情報に対応付けられたLUTデータを前記シーンに適用するLUTデータとして設定する（６）に記載の情報処理システム。
（８）
　前記情報処理装置は、前記条件と、前記条件に一致する前記LUT設定用情報に対応づけられた前記LUTデータとを対応づけてLUT適用テーブルを生成するテーブル生成部を備える（７）に記載の情報処理装置。
（９）
　前記LUT適用テーブルを参照することにより設定された前記LUTデータを適用して前記映像データにカラーグレーディングを施すLUT適用部を備える（８）に記載の情報処理装置。
（１０）
　前記情報処理装置は、前記条件に一致する前記LUT設定用情報に対応づけられた前記LUTデータが複数存在する場合、複数の前記LUTデータをユーザに提示して選択された一の前記LUTデータを前記シーンに適用するLUTデータとして設定する（６）に情報処理システム。
（１１）
　前記シーン特定用情報に基づいて前記映像データから複数のシーンが特定された場合、前記LUT設定用情報に基づいて前記複数のシーンに同一のLUTデータを適用するように設定する（１）から（１０）のいずれかに情報処理システム。
（１２）
　映像データと、シーン特定用情報と、LUT設定用情報を取得し、前記シーン特定用情報に基づいて前記映像データにおけるシーンを特定し、前記LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する情報処理装置。
（１３）
　映像データと、シーン特定用情報と、LUT設定用情報を取得し、前記シーン特定用情報に基づいて前記映像データにおけるシーンを特定し、前記LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する情報処理方法。
（１４）
　映像データと、シーン特定用情報と、LUT設定用情報を取得し、前記シーン特定用情報に基づいて前記映像データにおけるシーンを特定し、前記LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する情報処理方法をコンピュータに実行させる情報処理プログラム。
（１５）
　撮影により映像データを生成し、シーン特定用情報に基づいて、前記映像データからシーンを抽出し、LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する撮像装置。
（１６）
　撮影により映像データを生成し、シーン特定用情報に基づいて、前記映像データからシーンを抽出し、LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する撮像装置の制御方法。
（１７）
　撮影により映像データを生成し、シーン特定用情報に基づいて、前記映像データからシーンを抽出し、LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する撮像装置の制御方法をコンピュータに実行させる制御プログラム。
１０・・・・情報処理システム
１００・・・撮像装置
２００・・・情報処理装置
２１３・・・LUT適用部
２１０・・・テーブル生成部

Claims (17)

  1. 　撮像装置と情報処理装置とからなり、
    　前記情報処理装置は、前記撮像装置が撮影した映像データと、シーン特定用情報と、LUT設定用情報を前記撮像装置から取得し、前記シーン特定用情報に基づいて前記映像データにおけるシーンを特定し、前記LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する
    情報処理システム。
  2. 　前記シーン特定用情報は、前記撮像装置による撮影時の環境に関する情報、前記撮像装置による撮影機能に関連する情報、前記映像データの再生位置に関する情報のいずれかまたは組み合わせである
    請求項１に記載の情報処理システム。
  3. 　前記LUT設定用情報は、前記撮像装置による撮影時の環境に関する情報、前記撮像装置による撮影機能に関連する情報のうちの少なくともいずれかである
    請求項１に記載の情報処理システム。
  4. 　前記映像データは、前記映像データを構成するフレームごとに前記シーン特定用情報と対応づけられている
    請求項１に記載の情報処理システム。
  5. 　前記情報処理装置は、ユーザから指定された条件に一致する前記シーン特定用情報に対応付けられた１または複数の前記フレームを前記シーンとして特定する
    請求項４に記載の情報処理システム。
  6. 　前記LUTデータは、前記LUT設定用情報と対応づけられている
    請求項１に記載の情報処理装置。
  7. 　前記情報処理装置は、ユーザから指定された条件に一致する前記LUT設定用情報に対応付けられたLUTデータを前記シーンに適用するLUTデータとして設定する
    請求項６に記載の情報処理システム。
  8. 　前記情報処理装置は、前記条件と、前記条件に一致する前記LUT設定用情報に対応づけられた前記LUTデータとを対応づけてLUT適用テーブルを生成するテーブル生成部を備える
    請求項７に記載の情報処理装置。
  9. 　前記LUT適用テーブルを参照することにより設定された前記LUTデータを適用して前記映像データにカラーグレーディングを施すLUT適用部を備える
    請求項８に記載の情報処理装置。
  10. 　前記情報処理装置は、前記条件に一致する前記LUT設定用情報に対応づけられた前記LUTデータが複数存在する場合、複数の前記LUTデータをユーザに提示して選択された一の前記LUTデータを前記シーンに適用するLUTデータとして設定する
    請求項６に情報処理システム。
  11. 　前記シーン特定用情報に基づいて前記映像データから複数のシーンが特定された場合、前記LUT設定用情報に基づいて前記複数のシーンに同一のLUTデータを適用するように設定する
    請求項１に情報処理システム。
  12. 　映像データと、シーン特定用情報と、LUT設定用情報を取得し、前記シーン特定用情報に基づいて前記映像データにおけるシーンを特定し、前記LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する
    情報処理装置。
  13. 　映像データと、シーン特定用情報と、LUT設定用情報を取得し、前記シーン特定用情報に基づいて前記映像データにおけるシーンを特定し、前記LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する
    情報処理方法。
  14. 　映像データと、シーン特定用情報と、LUT設定用情報を取得し、前記シーン特定用情報に基づいて前記映像データにおけるシーンを特定し、前記LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
  15. 　撮影により映像データを生成し、シーン特定用情報に基づいて、前記映像データからシーンを抽出し、LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する
    撮像装置。
  16. 　撮影により映像データを生成し、シーン特定用情報に基づいて、前記映像データからシーンを抽出し、LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する
    撮像装置の制御方法。
  17. 　撮影により映像データを生成し、シーン特定用情報に基づいて、前記映像データからシーンを抽出し、LUT設定用情報に基づいて前記シーンに適用するLUTデータを設定する
    撮像装置の制御方法をコンピュータに実行させる制御プログラム。
PCT/JP2021/029479 2020-10-16 2021-08-10 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラム WO2022079989A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/030,905 US20240007599A1 (en) 2020-10-16 2021-08-10 Information processing system, information processing device, information processing method, information processing program, imaging device, control method of imaging device, and control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020174572 2020-10-16
JP2020-174572 2020-10-16

Publications (1)

Publication Number Publication Date
WO2022079989A1 true WO2022079989A1 (ja) 2022-04-21

Family

ID=81207878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029479 WO2022079989A1 (ja) 2020-10-16 2021-08-10 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラム

Country Status (2)

Country Link
US (1) US20240007599A1 (ja)
WO (1) WO2022079989A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028108A1 (ja) * 2004-09-07 2006-03-16 Nec Corporation 画像処理システム及びその方法と、それに用いられる端末及びサーバ
JP2010171661A (ja) * 2009-01-21 2010-08-05 Nec Corp 画像補正システム、画像補正サーバ、画像補正方法、画像補正プログラム
JP2014131189A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置、撮像装置の制御方法、及びプログラム
JP2016119648A (ja) * 2014-12-18 2016-06-30 キヤノン株式会社 パラメータ記録制御装置及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028108A1 (ja) * 2004-09-07 2006-03-16 Nec Corporation 画像処理システム及びその方法と、それに用いられる端末及びサーバ
JP2010171661A (ja) * 2009-01-21 2010-08-05 Nec Corp 画像補正システム、画像補正サーバ、画像補正方法、画像補正プログラム
JP2014131189A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置、撮像装置の制御方法、及びプログラム
JP2016119648A (ja) * 2014-12-18 2016-06-30 キヤノン株式会社 パラメータ記録制御装置及びその制御方法

Also Published As

Publication number Publication date
US20240007599A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
US8189087B2 (en) Imaging device and photographed image display control method
CN101742336B (zh) 图像处理装置以及图像处理方法
CN103227902A (zh) 摄像装置、显示控制方法
KR101739379B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
CN108259757A (zh) 摄像装置、图像处理装置、以及记录方法
WO2017047012A1 (ja) 撮像装置および撮像装置とサーバとを含むシステム
JP2010130437A (ja) 撮像装置、及び、プログラム
WO2014141771A1 (ja) 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体
JP2006197243A (ja) 撮像装置及び撮像方法及びプログラム及び記憶媒体
US8780226B2 (en) Image recording device and method which generates multi-image file based on classification
KR101737086B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
CN100550990C (zh) 图像校正装置以及图像校正方法
US12010433B2 (en) Image processing apparatus, image processing method, and storage medium
JP6057705B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
EP3739875B1 (en) Image processing apparatus, image processing method, and storage medium
JP6008716B2 (ja) 撮像装置、画像処理装置、画像処理システム、及び制御方法
WO2022079989A1 (ja) 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラム
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP2017059121A (ja) 画像管理装置、画像管理方法及びプログラム
JP6765919B2 (ja) 画像処理装置、その制御方法、プログラム
JP6257319B2 (ja) 撮像装置および画像処理装置
JP2016131378A (ja) 撮像装置
JP2020188417A (ja) 画像処理装置、画像処理方法、及び、コンピュータプログラム
JP5013924B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2020150517A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21879731

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18030905

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21879731

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP