WO2022219985A1 - 情報処理方法、情報処理装置、プログラム - Google Patents

情報処理方法、情報処理装置、プログラム Download PDF

Info

Publication number
WO2022219985A1
WO2022219985A1 PCT/JP2022/011244 JP2022011244W WO2022219985A1 WO 2022219985 A1 WO2022219985 A1 WO 2022219985A1 JP 2022011244 W JP2022011244 W JP 2022011244W WO 2022219985 A1 WO2022219985 A1 WO 2022219985A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
processing
image data
imaging device
information processing
Prior art date
Application number
PCT/JP2022/011244
Other languages
English (en)
French (fr)
Inventor
和幸 奥池
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/551,947 priority Critical patent/US20240171867A1/en
Priority to CN202280025915.0A priority patent/CN117178563A/zh
Publication of WO2022219985A1 publication Critical patent/WO2022219985A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • This technology relates to an information processing method, an information processing device, and a program, and to a technology for handling RAW image data.
  • RAW image data which is image data at a stage before development processing, particularly image creation processing, is stored as image data captured by an imaging device.
  • Japanese Unexamined Patent Application Publication No. 2002-200000 discloses a technique for linking and storing RAW image data and geometric deformation parameters (distortion correction parameters) in order to develop RAW image data offline.
  • Patent Document 1 a geometric deformation parameter is added for each image (frame) for developing RAW image data, especially for distortion correction. This causes a problem of an increase in data size.
  • This disclosure proposes a technique that enables appropriate processing of RAW image data to be executed while suppressing an increase in data size in a situation where RAW image data is stored.
  • an information processing apparatus acquires individual information used for setting image processing parameters of RAW image data for an imaging device that captures RAW image data, and transmits the individual information to the imaging device.
  • a first process of correlating and storing is performed. Assuming an information processing apparatus that receives RAW image data from an external imaging device, individual information of the imaging device is managed in association with the imaging device.
  • FIG. 1 is an explanatory diagram of a system configuration including an imaging device and an information processing device according to an embodiment of the present technology
  • FIG. 1 is a block diagram of a sensor according to an embodiment
  • FIG. FIG. 2 is an explanatory diagram of a structural example of a sensor according to an embodiment
  • 1 is a block diagram of a configuration of an information processing device according to an embodiment
  • FIG. FIG. 4 is an explanatory diagram of processing in a setting stage and an operation stage according to the embodiment
  • FIG. 4 is an explanatory diagram of processing according to the first embodiment
  • 7 is a flowchart of optical center calculation processing of the information processing apparatus according to the embodiment
  • image data refers to image data as still images or moving images.
  • image data may be abbreviated to "image”.
  • RAW image data is image data obtained by imaging, before part or all of development processing is performed.
  • image sensor pixel array data for example, R (red) / G (green) / B (blue) format data
  • RAW image data image data obtained by imaging, before part or all of development processing is performed.
  • image sensor pixel array data for example, R (red) / G (green) / B (blue) format data
  • RAW image data image data at a stage where processing such as color reproduction/sharpness has not been performed.
  • FIG. 1 shows a system configuration example of the embodiment.
  • an imaging device 100 and an information processing apparatus 103 can communicate with each other via a network 104 .
  • the imaging device 100 includes an optical system 105, a sensor 101, and an application processor 102.
  • the optical system 105 has, for example, a zoom lens, a focus lens, an aperture, and the like, and allows external light to enter the sensor 101 .
  • the sensor 101 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor configured with one chip, performs an imaging operation of receiving and photoelectrically converting incident light from the optical system 105, and converts the incident light from the optical system 105 into Output the corresponding image data. Further, the sensor 101 performs, for example, recognition processing for recognizing a predetermined recognition target and other signal processing on image data obtained by imaging, and outputs a signal processing result of the signal processing.
  • CMOS Complementary Metal Oxide Semiconductor
  • the application processor 102 functions, for example, as an I/F (Interface) that performs data transmission with an external device, and performs data separation processing and the like related to the processing of the present disclosure.
  • I/F Interface
  • a relatively high-speed parallel I/F such as MIPI (Mobile Industry Processor Interface) can be used.
  • the information processing apparatus 103 functions as a cloud server that performs image processing by cloud computing, for example.
  • the information processing apparatus 103 can receive RAW image data from the imaging device 100 via the network 104 and perform various types of processing on the RAW image data.
  • the information processing device 103 is a device such as a computer device capable of information processing, particularly image processing. Specifically, the information processing device 103 is assumed to be a computer device having a processing capability to realize a server function. , a video playback device, etc., which has the processing function described in this embodiment.
  • the information processing apparatus 103 is an information processing apparatus separate from the imaging device 100, it is not necessarily limited to a computer apparatus using cloud computing.
  • the information processing device 103 may be used as a terminal device such as a smartphone at a position close to the imaging device 100 .
  • the sensor 101 and the information processing device 103 perform various analysis processes using machine learning by an AI (artificial intelligence) engine.
  • AI artificial intelligence
  • the AI engine performs image content determination, scene determination, object recognition (including face recognition, person recognition, etc.), individual identification, and posture estimation by image analysis as DNN (Deep Neural Network) processing of image data. It can be carried out.
  • DNN Deep Neural Network
  • the network 104 may be a network that forms a transmission path between remote locations using Ethernet, satellite communication lines, telephone lines, etc., or wireless transmission using Wi-Fi (registered trademark) communication, Bluetooth (registered trademark), etc.
  • a network of roads may also be used.
  • a network using a wired connection transmission line using a video cable, a USB (Universal Serial Bus) cable, a LAN (Local Area Network) cable, or the like may be used.
  • image capturing is performed by the sensor 101 and image data is output.
  • the image data output by the sensor 101 is transmitted to the information processing device 103 by the application processor 102 .
  • the information processing apparatus 103 can store the transmitted image data and perform various processes using the image data.
  • the image data transmitted from the imaging device 100 to the information processing apparatus 103 is RAW image data.
  • the information processing apparatus 103 stores RAW image data that is sequentially transmitted, and performs development processing, object recognition processing, analysis processing based on image and object recognition, etc. on the RAW image data as necessary, and outputs various information. Provide services to users.
  • the information processing apparatus 103 handles RAW image data in this way, information is provided with higher precision and an increase in the amount of necessary data is suppressed.
  • FIG. 2 shows an example configuration of the sensor 101 .
  • the sensor 101 has an imaging block 20 and a signal processing block 30 .
  • the imaging block 20 and the signal processing block 30 are electrically connected by connection lines (internal buses) CL1, CL2, and CL3.
  • the imaging block 20 has an imaging section 21 , an imaging processing section 22 , an output control section 23 , an output I/F (Interface) 24 , and an imaging control section 25 .
  • the imaging unit 21 is configured by arranging a plurality of pixels two-dimensionally.
  • the imaging unit 21 is driven by the imaging processing unit 22 to capture an image. That is, when light from the optical system 105 (FIG. 1) enters the imaging unit 21, each pixel in the imaging unit 21 receives the incident light and performs photoelectric conversion. An analog signal obtained by this photoelectric conversion is output as an image signal corresponding to the incident light.
  • the size of the image (signal) output by the imaging unit 21 can be selected from a plurality of sizes such as 12M (3968 ⁇ 2976) pixels and VGA (Video Graphics Array) size (640 ⁇ 480 pixels). can be done. Further, for the image output by the imaging unit 21, for example, it is possible to select whether it is an RGB (red, green, blue) color image or a black-and-white image with only luminance. These selections can be made as a kind of shooting mode setting.
  • the imaging processing unit 22 performs driving of the imaging unit 21, AD (Analog to Digital) conversion of analog image signals output by the imaging unit 21, imaging signal processing, etc. in the imaging unit 21 under the control of the imaging control unit 25. image capture-related processing.
  • AD Analog to Digital
  • the imaging signal processing includes, for example, processing for obtaining the brightness of each small area by calculating the average value of the pixel values for each predetermined small area in the image output by the imaging unit 21, processing to convert the image output by to HDR (High Dynamic Range) image, defect correction, development, etc.
  • HDR High Dynamic Range
  • the imaging processing unit 22 outputs a digital image signal obtained by AD conversion or the like of the analog image signal output by the imaging unit 21 as a captured image.
  • a captured image is output as RAW image data.
  • the captured image output by the imaging processing unit 22 is supplied to the output control unit 23 and also supplied to the image compression unit 35 of the signal processing block 30 via the connection line CL2.
  • the output control unit 23 is supplied with the picked-up image from the imaging processing unit 22, and also receives various kinds of information such as signal processing results of signal processing using the picked-up image from the signal processing block 30 via the connection line CL3. supplied. For example, recognition information and photographing information, which will be described later, are supplied.
  • the output control unit 23 performs output control to output the captured image from the imaging processing unit 22 and the signal processing result from the signal processing block 30 to the outside from the output I/F 24 . For example, it controls output to the application processor 102 in FIG.
  • the output control unit 23 selects a captured image from the imaging processing unit 22 or a signal processing result (recognition information or imaging information described later) from the signal processing block 30 and supplies it to the output I/F 24 .
  • the output I/F 24 is an I/F that outputs the captured image supplied from the output control unit 23 and the signal processing result to the outside.
  • the output I/F 24 for example, a relatively high-speed parallel I/F such as MIPI can be adopted.
  • the output I/F 24 outputs the captured image from the imaging processing unit 22 or the signal processing result from the signal processing block 30 to the outside according to the output control of the output control unit 23 . Therefore, for example, when only the signal processing result from the signal processing block 30 is required externally, and the captured image itself is not required, only the signal processing result can be output and output from the output I/F 24 to the outside. The amount of data to be output can be reduced. Further, in the signal processing block 30, signal processing is performed to obtain the required signal processing result externally, and the signal processing result is output from the output I/F 24, thereby eliminating the need for external signal processing. The load on external blocks can be reduced.
  • the imaging control unit 25 has a communication I/F 26 and a register group 27.
  • the communication I/F 26 is, for example, a first communication I/F such as a serial communication I/F such as I2C (Inter Integrated Circuit). Exchange information.
  • a serial communication I/F such as I2C (Inter Integrated Circuit).
  • the register group 27 has a plurality of registers, and stores shooting information related to image pickup by the image pickup unit 21 and other various information.
  • the register group 27 stores information received from the outside through the communication I/F 26 and the result of imaging signal processing in the imaging processing unit 22 .
  • Information related to the imaging process at the time of shooting is referred to as "shooting information" for the sake of explanation.
  • the shooting information stored in the register group 27 includes, for example, information indicating ISO sensitivity (analog gain during AD conversion in the imaging processing unit 22), exposure time (shutter speed), frame rate, focus, shooting mode, and the like. , cutting position information, horizontal/vertical rotation information, and the like.
  • Shooting modes include, for example, a manual mode in which the exposure time, frame rate, etc. are manually set, and an automatic mode in which they are automatically set according to the scene.
  • the automatic mode includes modes corresponding to various shooting scenes such as night scenes and people's faces.
  • the clipping position information is information representing a range to be clipped from the image output by the imaging unit 21 when the imaging processing unit 22 clips a part of the image output by the imaging unit 21 and outputs it as a captured image. be.
  • the cutout range for example, it is possible to cut out only the range in which a person is shown from the image output by the imaging unit 21 .
  • the imaging processing unit 22 may adjust the extraction range for each frame according to information from an angular velocity sensor and an acceleration sensor (not shown) provided in the imaging device 100 .
  • an image clipping method there is a method of clipping an image output by the imaging unit 21 , and a method of reading out only an image (signal) in the clipping range from the imaging unit 21 .
  • Horizontal and vertical rotation information is information about changes in the horizontal and vertical directions due to switching between vertical and horizontal orientations of an image, tilt correction, and the like.
  • the image capturing control unit 25 controls the image capturing processing unit 22 according to the image capturing information stored in the register group 27, thereby controlling image capturing processing in the image capturing unit 21.
  • the register group 27 can also store output control information related to output control in the output control unit 23 in addition to the result of the imaging signal processing in the imaging processing unit 22 as imaging information.
  • the output control unit 23 can perform output control for selectively outputting the captured image and the signal processing result according to the output control information stored in the register group 27 .
  • the imaging control unit 25 and the CPU 31 of the signal processing block 30 are connected via a connection line CL1, and the CPU 31 reads and writes information from/to the register group 27 via the connection line CL1. be able to.
  • reading and writing of information with respect to the register group 27 can be performed not only from the communication I/F 26 but also from the CPU 31 .
  • the signal processing block 30 has a CPU (Central Processing Unit) 31, an ISP (Image Signal Processor) 32, a DSP (Digital Signal Processor) 33, a communication I/F 34, an image compression unit 35, an input I/F 36, and a memory 37. Then, predetermined signal processing is performed using the captured image and the like obtained by the imaging block 20 .
  • CPU Central Processing Unit
  • ISP Image Signal Processor
  • DSP Digital Signal Processor
  • the above units from the CPU 31 to the memory 37 that constitute the signal processing block 30 are connected to each other via a bus 39, and can exchange information as necessary.
  • the CPU 31 executes a program stored in the memory 37 to control the signal processing block 30, read/write information from/to the register group 27 of the imaging control unit 25 via the connection line CL1, and perform various other processes. I do.
  • the CPU 31 functions as a calculation unit that calculates shooting information using the signal processing results obtained by signal processing in the DSP 33, and calculates new shooting information using the signal processing results. It can be fed back and stored in the register group 27 of the imaging control section 25 via the connection line CL1.
  • the CPU 31 can control the imaging operation in the imaging section 21 and the imaging signal processing in the imaging processing section 22 according to the signal processing result of the captured image.
  • the imaging information stored in the register group 27 by the CPU 31 can be provided (output) to the outside from the communication I/F 26 .
  • focus information in the shooting information stored in the register group 27 can be provided from the communication I/F 26 to a focus driver (not shown) that controls focus.
  • the ISP 32 By executing the program stored in the memory 37, the ISP 32 receives a captured image supplied to the signal processing block 30 from the imaging processing unit 22 via the connection line CL2, and information externally received by the input I/F 36. It functions as a signal processing unit that performs signal processing using Thereby, the ISP 32 generates an input image for recognition processing in the DSP 33 .
  • the DSP 33 executes a program stored in the memory 37 to obtain a captured image supplied from the imaging processing unit 22 to the signal processing block 30 via the connection line CL2, and information externally received by the input I/F 36. It functions as a signal processing unit that performs signal processing using Particularly, in this embodiment, object recognition processing such as DNN processing can be performed on an input image from the ISP 32 .
  • the memory 37 is composed of an SRAM (Static Random Access Memory), a DRAM (Dynamic RAM), or the like, and stores data and the like necessary for processing of the signal processing block 30 .
  • the memory 37 in the communication I / F34, the program received from the outside, the image compressed by the image compression unit 35, the captured image used in the signal processing in the ISP32 and the DSP33, the result of the recognition processing performed in the DSP33 , information on processing during shooting performed under the control of the CPU 31 or the imaging control unit 25 (shooting information), information received by the input I/F 36, and information stored in the register group 27, the output I / Stores information and the like output from F24.
  • SRAM Static Random Access Memory
  • DRAM Dynamic RAM
  • the shooting information includes cutout position information, horizontal/vertical rotation information, and the like.
  • Shooting information including recognition information, cutout position information, horizontal/vertical rotation information, etc. can be sequentially transferred from the memory 37 to the output control unit 23 and output from the output I/F 24 .
  • the communication I/F 34 is, for example, a second communication I/F such as a serial communication I/F such as SPI (Serial Peripheral Interface). Exchange information.
  • the communication I/F 34 downloads a program executed by the CPU 31 or DSP 33 from the outside, supplies the program to the memory 37, and stores the program. Therefore, various processes can be executed by the CPU 31 and the DSP 33 according to the programs downloaded by the communication I/F 34 .
  • the communication I/F 34 can exchange arbitrary data other than programs with the outside.
  • the communication I/F 34 can output signal processing results obtained by signal processing in the DSP 33 to the outside.
  • Communication I/F 34 outputs information according to instructions from CPU 31 to an external device, thereby controlling the external device according to instructions from CPU 31 .
  • a captured image is supplied to the image compression unit 35 from the imaging processing unit 22 via the connection line CL2.
  • the image compression unit 35 performs compression processing for compressing the captured image, and generates a compressed image having a smaller amount of data than the captured image.
  • the compressed image generated by the image compression section 35 is supplied to the memory 37 via the bus 39 and stored therein. Note that the image compression unit 35 may store the captured image in the memory 37 as it is without performing compression.
  • the compressed (or uncompressed) captured image stored in the memory 37 is subjected to processing by the ISP 32 and DSP 33 .
  • the signal processing in the ISP 32 and DSP 33 can be performed using the captured image itself, or can be performed using the compressed image generated from the captured image by the image compression unit 35 . Since the compressed image has a smaller amount of data than the captured image, it is possible to reduce the signal processing load on the ISP 32 and DSP 33 and save the storage capacity of the memory 37 for storing the compressed image.
  • scaling down can be performed by converting a captured image of 12M (3968 ⁇ 2976) pixels into an image of VGA size.
  • the compression processing may be YUV conversion for converting the RGB image into a YUV image, for example. can be done.
  • the image compression unit 35 can be realized by software, or by dedicated hardware.
  • An input I/F 36 is an I/F for receiving information from the outside.
  • the input I/F 36 receives the output of the external sensor (external sensor output) from, for example, an external sensor, and supplies it to the memory 37 via the bus for storage. Similar to the output I/F 24, for example, a parallel I/F such as MIPI can be used as the input I/F 36.
  • the external sensor for example, a distance sensor that senses information about distance can be used. Furthermore, as the external sensor, for example, an image sensor that senses light and outputs an image corresponding to the light, that is, an image sensor different from the sensor 101 can be used. Also, as an external sensor, an angular velocity sensor, an acceleration sensor, or the like that detects the behavior of the imaging device 100 can be employed.
  • the input I / F 36 receives from the above-described external sensor, and signal processing is performed using the external sensor output stored in the memory 37. It can be performed.
  • the ISP 32 and the DSP 33 perform signal processing using a captured image (a compressed image generated from the captured image) obtained by imaging in the imaging unit 21.
  • a signal processing result and a captured image are selectively output from the output I/F 24 .
  • the captured image as RAW image data, the above-described recognition information, shooting information, and the like are output from the output I/F 24 . Therefore, the sensor 101 that outputs information required by the user can be made compact.
  • FIG. 3 schematically shows an external configuration example of the sensor 101.
  • the sensor 101 can be configured as a one-chip semiconductor device having a laminated structure in which a plurality of dies are laminated, for example.
  • FIG. 3 shows an example in which the sensor 101 is configured by stacking two dies 51 and 52 .
  • an imaging unit 21 is mounted on the upper die 51, and each unit from the imaging processing unit 22 to the imaging control unit 25 and each unit from the CPU 31 to the memory 37 are mounted on the lower die 52. .
  • the upper die 51 and the lower die 52 are separated by, for example, forming a through hole penetrating the die 51 and reaching the die 52 , or by forming a Cu wiring exposed on the lower surface side of the die 51 and a Cu wiring exposed on the upper surface side of the die 52 . It is electrically connected by performing Cu--Cu bonding for directly connecting the exposed Cu wiring.
  • a column-parallel AD method or an area AD method can be adopted as a method for performing AD conversion of the image signal output by the imaging unit 21.
  • an ADC AD converter
  • each column ADC takes charge of AD conversion of the pixel signals of the pixels in that column.
  • AD conversion of image signals of pixels in each column of one row is performed in parallel.
  • part of the imaging processing unit 22 that performs AD conversion in the column-parallel AD method may be mounted on the upper die 51 .
  • the pixels forming the imaging unit 21 are divided into a plurality of blocks, and an ADC is provided for each block.
  • the ADC of each block takes charge of AD conversion of the pixel signals of the pixels of that block, so that the AD conversion of the image signals of the pixels of a plurality of blocks is performed in parallel.
  • AD conversion (readout and AD conversion) of an image signal can be performed on only necessary pixels among the pixels forming the imaging unit 21, using a block as the minimum unit.
  • the senor 101 can be composed of one die if the area of the sensor 101 is allowed to be large.
  • the one-chip sensor 101 can be configured by stacking three or more dies.
  • the memory 37 in FIG. 3 can be mounted on another die.
  • the thickness of the sensor 101 is greatly increased compared to the one-chip sensor 101 having a laminated structure.
  • the size of the equipment increases. Furthermore, in that case, it may be difficult to secure a sufficient rate for outputting the captured image from the imaging processing unit 22 to the output control unit 23 due to signal degradation at the connection portion of the bump.
  • the sensor 101 having a laminated structure as shown in FIG. can be prevented. Therefore, according to the sensor 101 having a laminated structure, it is possible to realize a compact configuration of an imaging device that outputs information required by a user.
  • the sensor 101 can output the captured image. Further, when the information required by the user can be obtained by signal processing using the captured image, the sensor 101 performs the signal processing in the DSP 33 or the like, such as recognition processing for recognizing a predetermined recognition target from the captured image. By doing so, it is possible to obtain and output the signal processing result as the information required by the user.
  • the CPU 71 of the information processing device 103 executes various programs according to a program stored in a non-volatile memory unit 74 such as a ROM 72 or an EEP-ROM (Electrically Erasable Programmable Read-Only Memory), or a program loaded from the storage unit 79 to the RAM 73. process.
  • the RAM 73 also appropriately stores data necessary for the CPU 71 to execute various processes.
  • the CPU 71 , ROM 72 , RAM 73 and nonvolatile memory section 74 are interconnected via a bus 83 .
  • An input/output interface 75 is also connected to this bus 83 .
  • the information processing device 103 when the information processing device 103 is to perform image processing or DNN processing, instead of or together with the CPU 71, a GPU (Graphics Processing Unit), a GPGPU (General-purpose computing on graphics processing units), an AI dedicated processor etc. may be provided.
  • a GPU Graphics Processing Unit
  • GPGPU General-purpose computing on graphics processing units
  • AI dedicated processor etc.
  • the input/output interface 75 is connected to an input section 76 including operators and operating devices.
  • various operators and operation devices such as a keyboard, mouse, key, dial, touch panel, touch pad, remote controller, etc. are assumed.
  • a user's operation is detected by the input unit 76 , and a signal corresponding to the input operation is interpreted by the CPU 71 .
  • a microphone is also envisioned as input 76 .
  • a voice uttered by the user can also be input as operation information.
  • the input/output interface 75 is connected integrally or separately with a display unit 77 such as an LCD or an organic EL panel, and an audio output unit 78 such as a speaker.
  • the display unit 77 is a display unit that performs various displays, and is configured by, for example, a display device provided in the housing of the information processing apparatus 103, a separate display device connected to the information processing apparatus 103, or the like.
  • the display unit 77 displays images for various types of image processing, moving images to be processed, etc. on the display screen based on instructions from the CPU 71 . Further, the display unit 77 can display various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) based on instructions from the CPU 71 .
  • GUI Graphic User Interface
  • the input/output interface 75 may be connected to a storage unit 79 made up of a hard disk, a solid-state memory, etc., and a communication unit 80 made up of a modem or the like.
  • the storage unit 79 is used for storing various kinds of information.
  • an image storage DB 42, an information storage DB 44, a DB 47, or the like, which will be described later, can be configured in the storage unit 79.
  • the communication unit 80 performs communication processing via transmission paths such as the network 104, wired/wireless communication with various devices, bus communication, and the like.
  • a drive 81 is also connected to the input/output interface 75 as required, and a removable recording medium 82 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory is appropriately loaded.
  • Data files such as image files and various computer programs can be read from the removable recording medium 82 by the drive 81 .
  • the read data file is stored in the storage unit 79 , and the image and sound contained in the data file are output by the display unit 77 and the sound output unit 78 .
  • Computer programs and the like read from the removable recording medium 82 are installed in the storage unit 79 as required.
  • software for the processing of this embodiment can be installed via network communication by the communication unit 80 or via the removable recording medium 82.
  • the software may be stored in advance in the ROM 72, the storage unit 79, or the like.
  • Image data captured by the sensor 101 is sequentially uploaded to the information processing device 103, which is a cloud server.
  • the information processing device 103 provides the uploaded image to the user, and information of detection results and analysis results from the images, such as recognition information of a specific person, information on the number of people per unit time, congestion information, weather information, and the like. can be provided to the user.
  • the imaging device 100 is used as a product monitor camera in a store, and the information processing apparatus 103 generates product sales status, out-of-stock information, etc., based on the image, and provides the information to the user.
  • the imaging device 100 is used as a monitor camera for a production line in a factory, and the information processing device 103 generates information such as the state of products, defective product information, and line operation status information based on images, and provides the information to the user. is also assumed.
  • an image to be uploaded from the imaging device 100 on the edge side to the information processing apparatus 103 on the cloud side is RAW image data.
  • the information processing apparatus 103 performs development processing on the RAW image data as necessary, analysis processing of a subject, analysis processing of target information from an image, and the like. This generates the information necessary for the service and provides it to the user.
  • the information processing apparatus 103 appropriately performs image distortion correction and image processing.
  • the RAW image data and geometric deformation parameters that is, distortion correction parameters must be linked.
  • the information processing apparatus 103 manages the distortion correction parameters in association with each frame of the RAW image data, the amount of necessary data increases.
  • the information processing apparatus 103 separately manages the RAW image data and the distortion correction parameters. Specifically, the optical center information of the lens in the imaging device 100 that captured the RAW image data is linked to the device and managed. This eliminates the need to store and manage geometric deformation parameters and the like for each frame of RAW image data, thereby suppressing expansion of data size.
  • the information processing apparatus 103 is configured to create geometric deformation parameters for each imaging device 100 .
  • the imaging information includes cutout position information, horizontal/vertical rotation information, and the like.
  • the recognition information is information on the result of object recognition performed in the DSP 33, such as DNN result information.
  • FIG. 5 shows the procedure in the setting stage and the procedure in the operation stage, respectively.
  • An operation procedure on the imaging device 100 side is shown on the edge side in the lower part of the figure, and an operation procedure on the information processing apparatus 103 side is shown on the cloud side in the upper part of the figure.
  • the processing and operations at the setting stage will be described as steps ST1 to ST6.
  • a predetermined image for setting is captured, for example, when the imaging device 100 is installed at a site where imaging is to be performed. For example, an image called a grid image or Macbeth is prepared and photographed.
  • the image captured by the imaging device 100 in step ST1 and other necessary device information of the imaging device 100 are uploaded to the information processing apparatus 103 .
  • the device information referred to here includes identification information of the imaging device 100, lens data indicating the type and characteristics of the lens, and information such as characteristics unique to the imaging device 100, such as RGB sensitivity of the image sensor (imaging unit 21). including.
  • the information processing apparatus 103 calculates an adjustment value (hereinafter referred to as an “individual adjustment value”) according to the optical center of the imaging device 100 and the characteristics of the imaging device 100 .
  • the individual adjustment value is an adjustment value suitable for use in image processing of image data captured by the imaging device 100, such as a color tone adjustment parameter or a shading correction parameter according to the characteristics of the imaging device 100. is.
  • information, such as the optical center and individual adjustment value, that is used as a basis for calculating correction parameters used for image processing of RAW image data according to the individual imaging device 100 is collectively referred to as individual information. All or part of the above device information may be individual information, and the device information may not be individual information.
  • the information processing apparatus 103 creates setting values to be fed back to the imaging device 100 .
  • the information processing apparatus 103 saves the optical center and the individual adjustment value calculated in step ST3 in a DB (database) together with the device information specifying the device.
  • the information processing apparatus 103 is in a state of being able to manage individual information corresponding to the imaging device 100, that is, information on the optical center and individual adjustment values. For this purpose, at least steps ST1, ST2, ST3, and ST6 should be performed.
  • the imaging device 100 performs imaging in an actual installation environment.
  • ⁇ Procedure ST12 The image captured by the imaging device 100 in step ST11 and information associated with the capturing are uploaded to the information processing apparatus 103 .
  • RAW image data as a captured image is uploaded to the information processing apparatus 103, and recognition information and shooting information corresponding to frames of the RAW image data are uploaded as information associated with shooting.
  • the recognition information is recognition information as a result of performing image signal processing and object recognition processing in the sensor 101 on captured RAW image data.
  • the shooting information is cutout position information when the RAW image data was cut out when the RAW image data was shot, and horizontal/vertical rotation information by horizontal-vertical conversion and rotation adjustment.
  • the information processing apparatus 103 performs parameter calculation for development processing on the RAW image data loaded into the DB.
  • information on the optical center and individual adjustment values stored in association with the imaging device 100 at the setting stage is used.
  • Recognition information and shooting information stored in association with frames of RAW image data are also used.
  • distortion correction is performed in development processing, and the optical center, recognition information, and photographing information can be used when calculating distortion correction parameters for distortion correction.
  • the information processing apparatus 103 performs development processing using the calculated parameters on the RAW image data loaded into the DB. For example, in development processing, various types of processing including distortion correction, color processing, shading correction, and the like are performed.
  • the distortion correction parameters calculated in step ST14 are used for distortion correction. Individual adjustment values can also be used for color processing, shading correction, and the like.
  • the information processing apparatus 103 can perform DNN processing and the like on the developed image data. This is to perform person recognition, class determination, object recognition, etc. for object recognition required for the service being operated.
  • the information processing device 103 analyzes the result of the recognition processing, and generates information to be provided to the user of the service being operated, for example. It is also possible to generate information to be fed back to the imaging device.
  • ⁇ Procedure ST18 When the information processing apparatus 103 generates information to be fed back to the imaging device 100, it can be transmitted to the imaging device 100 and used for imaging control and DNN processing in the imaging device 100.
  • FIG. For example, it is assumed that parameters for imaging operation control and recognition processing are changed.
  • the information processing apparatus 103 uses the optical center information and the individual adjustment value for the RAW image data uploaded from the imaging device 100, and also uses the simultaneously uploaded recognition information and shooting information. , development processing can be performed appropriately. In particular, by performing steps ST13 and ST14, the information processing apparatus 103 can appropriately develop the RAW image data in step ST15.
  • FIG. 6 is a block diagram showing functions (parts exhibiting functions) or processes of the sensor 101, the application processor 102, and the information processing device 103. As shown in FIG.
  • the imaging unit 21 in this case is shown as a functional unit that outputs RAW image data and shooting information.
  • the ISP 32 is shown as a functional unit that performs development processing on the captured image obtained by the imaging unit 21 and generates an input image for recognition processing.
  • the DSP 33 is shown as a functional unit that performs DNN object recognition processing on input image data from the ISP 32 .
  • the data separation processing 41 is processing for separating information from the sensor 101, particularly separating RAW image data from recognition information and shooting information.
  • an image storage DB 42 As for the information processing apparatus 103, an image storage DB 42, calculation processing 43, information storage DB 44, distortion correction parameter calculation processing 45, and development processing 46 are shown.
  • the image storage DB 42 is a DB for storing RAW image data.
  • Calculation processing 43 is processing for calculating the optical center and the individual adjustment value.
  • the information storage DB 44 is a DB for storing shooting information and recognition information.
  • the distortion correction parameter calculation process 45 is a process of calculating distortion correction parameters.
  • Development processing 46 is processing for developing RAW image data.
  • the processing in the setting stage of FIG. 5, particularly the flow of procedures ST1, ST2, ST3, and ST6 will be described.
  • the imaging unit 21 captures a predetermined image such as a grid image, and the sensor 101 outputs RAW image data of the grid image as a subject, for example.
  • This RAW image data is uploaded to the information processing apparatus 103 via the application processor 102 as step ST2.
  • device information about the imaging device 100 is also transmitted to the information processing apparatus 103 in these procedures ST1 and ST2.
  • the RAW image data is used to perform calculation processing 43 as step ST3. That is, in the calculation process 43, the optical center and the individual adjustment value are calculated. Only one of these may be calculated.
  • FIG. 7 shows an example of calculation processing of the optical center.
  • the CPU 71 (see FIG. 4) of the information processing apparatus 103 acquires RAW image data, that is, a grid image as a processing target in step S201.
  • step S202 the CPU 71 temporarily sets the optical center.
  • step S203 the CPU 71 creates distortion correction parameters using the temporarily set optical center.
  • step S204 the CPU 71 performs development processing including distortion correction using the created distortion correction parameters.
  • step S205 the CPU 71 analyzes grid information for the developed image. For example, it analyzes whether the grid is straight or whether the grid intersects perpendicularly. This is to confirm the degree of distortion correction when using the optical center provisionally set in step S202.
  • step S206 the CPU 71 compares the numerical value of the degree of linearity and vertical crossing as the analysis result with the threshold value set corresponding to them, and confirms whether the threshold condition is satisfied. This means that it is confirmed whether or not the distortion correction has been performed correctly based on the optical center provisionally set in step S202.
  • step S202 the CPU 71 returns to step S202 to temporarily set the optical center. That is, a different optical center is set. Then, the processing after step S203 is performed. That is, the CPU 71 repeats the processing from step S202 to step S205 while changing the temporary setting of the optical center until the threshold condition is satisfied.
  • the optical center provisionally set at that time becomes an appropriate optical center for the RAW image data to be processed. In other words, it becomes the optical center of the imaging device 100 that captured the RAW image data.
  • the calculation is performed using, for example, RGB sensitivity information in the device information.
  • RGB sensitivity information for example, color adjustment parameters, shading correction parameters, and the like can be calculated as individual adjustment values.
  • the calculated optical center and individual adjustment value are stored in the information storage DB 44 together with the device information of the imaging device 100 .
  • the calculated optical center and individual adjustment value may be stored in association with the identification information of the imaging device 100 .
  • setting values for the imaging device 100 may be calculated based on the RAW image data at the stage of calculation processing 43, and may be fed back as parameters for processing of the sensor 101, for example, the ISP 32. be.
  • Image capturing as image capturing in step ST11 in FIG. 5 is performed by the image capturing unit 21 in FIG.
  • step ST12 the RAW image data, recognition information, and shooting information are uploaded to the information processing apparatus 103 via the application processor 102.
  • FIG. The operation in this case is performed as follows. It should be noted that processing corresponding to the following procedures ST11 and ST12 is performed for each frame of the captured image.
  • RAW image data and imaging information are obtained by imaging by the imaging unit 21 in FIG.
  • the shooting information is actually cutout position information and horizontal/vertical conversion information stored in the register group 27 under the control of the imaging control unit 25 in FIG.
  • RAW image data obtained by imaging is processed in the ISP 32 .
  • the ISP 32 performs shading correction 60, color mixture correction 61, digital gain 62, white balance gain 63, demosaicing 64, gamma correction 65, normalization 66, and distortion correction 67 as shown in FIG. Generate image data.
  • detection 68 is performed on the image data that has undergone the processing of the digital gain 62, and the detection result is used for focus control, iris control, etc. by the imaging control unit 25, for example.
  • Input image data for recognition processing obtained by the ISP 32 is sent to the DSP 33 as shown in FIG. 6 and subjected to DNN processing. DNN processing is then performed by the DSP 33 to generate recognition information.
  • the imaging unit 21 outputs RAW image data and shooting information
  • the DSP 33 outputs recognition information, and these are sent to the application processor 102 by MIPI, for example.
  • the application processor 102 performs data separation processing 41 on the RAW image data, shooting information, and recognition information, and then transmits them to the information processing device 103 .
  • step S101 the application processor 102 looks at the VC/DT of the header of the data received by MIPI and separates the data.
  • VC/DT indicates the data type by the values of VC (Virtual Channel Id) and DT (Data Type).
  • the application processor 102 transmits data to the information processing apparatus 103 as data to be stored in the image storage DB 42 in step S102. That is, in this case, the RAW image data transmitted from the sensor 101 is transmitted to the information processing apparatus 103 . In response to this, the information processing apparatus 103 stores the RAW image data in the image storage DB 42 .
  • the information transmitted from the sensor 101 is shooting information or recognition information.
  • the application processor 102 confirms whether or not the information has changed in step S103. For example, if there is no change in the contents of the current shooting information or recognition information compared with the shooting information or recognition information in the frame of the RAW image data transmitted most recently before the previous time, the process proceeds to step S105 and does not transmit. , the process of FIG. 9 ends.
  • step S ⁇ b>104 to transmit the current shooting information or recognition information to the information processing apparatus 103 as data to be stored in the information storage DB 44 .
  • the information processing apparatus 103 saves the photographing information or the recognition information in the information saving DB 44 .
  • the application processor 102 transmits the imaging information and the recognition information for the frames that have changed. As a result, the amount of communication data and the amount of data managed by the information processing apparatus 103 can be reduced.
  • FIG. 10 shows another processing example as the data separation processing 41.
  • the application processor 102 sees the VC/DT of the header of the data received by MIPI and separates the data. If VC/DT is a value for RAW image data, the application processor 102 transmits RAW image data to the information processing apparatus 103 as data to be stored in the image storage DB 42 in step S102.
  • step S101 If the VC/DT determined in step S101 is a value for metadata, the information transmitted from the sensor 101 is shooting information or recognition information. In this case, the application processor 102 determines in step S110 whether the information is cutout position information or horizontal/vertical transformation information.
  • the application processor 102 transmits the shooting information and the recognition information to the information processing apparatus 103 as data to be stored in the information storage DB 44 in step S111.
  • the information processing device 103 stores the shooting information and the recognition information in the information storage DB 44 .
  • the application processor 102 transmits the recognition information of the current frame to the information processing device 103 as data to be stored in the information storage DB 44 in step S112. In response to this, the information processing device 103 saves the recognition information in the information saving DB 44 .
  • the application processor 102 transmits the shooting information and the recognition information of the frame only when the sensor 101 particularly transmits cut-out position information or horizontal/vertical conversion information as shooting information. Send to In other frames, only recognition information is transmitted to the information processing device 103 .
  • recognition information is managed by the information processing apparatus 103 for each frame, and photographing information is managed by the information processing apparatus 103 only when clipping processing or horizontal/vertical conversion processing is performed. The amount of data managed by the processing device 103 can be reduced.
  • FIG. 11 shows information transmitted in procedures ST11 and ST12.
  • RAW image data, shooting information, and recognition information are transmitted as MIPI data from the sensor 101 to the application processor 102 .
  • RAW image data, shooting information, and recognition information are transmitted as file data from the application processor 102 to the information processing apparatus 103 . These may be transmitted as one file, or may be divided and transmitted as individual files.
  • the processing in FIGS. 8 and 9 is an example of dividing and transmitting.
  • step ST13 RAW image data is stored in the image storage DB 42 of FIG. Memorize information.
  • the information processing device 103 can perform the distortion correction parameter calculation process 45 of FIG. 6 as the procedure ST14 at any time. This calculates the distortion correction parameter for the RAW image data using the optical center information stored in the information storage DB 44 .
  • the information processing apparatus 103 can perform the developing process 46 as the procedure ST15 at any time.
  • This is development processing of the RAW image data stored in the image storage DB 42 .
  • As the development processing it is conceivable that substantially the same processing as the processing described with reference to FIG. 8 is performed. For example, processing from shading correction 60 to distortion correction 67 is performed.
  • the distortion correction parameters and the like calculated in the distortion correction parameter calculation processing 45 are used.
  • the optical center information and the individual adjustment value are associated with the device information about the imaging device 100 that captured the RAW image data, It is stored in the information storage DB 44 . Further, photographing information and/or recognition information are stored in the information storage DB 44 in association with each frame of the RAW image data.
  • distortion correction parameters are calculated using the lens data, optical center information and individual adjustment values in the device information, shooting information, and recognition information.
  • FIG. 12 shows an example of processing for calculating distortion correction parameters.
  • the CPU 71 of the information processing device 103 calculates a distortion correction parameter based on the lens data and information on the optical center.
  • This calculated distortion correction parameter becomes a distortion correction parameter for edges, that is, a distortion correction parameter used in the imaging device 100 .
  • the information processing apparatus 103 can feed back this edge distortion correction parameter to the imaging device 100 as a distortion correction parameter used in the distortion correction 67 in the ISP 32 .
  • step S302 the CPU 71 creates distortion correction parameters for RAW image data using shooting information (cutting position information, horizontal/vertical conversion information) in addition to lens data and optical center information. This is a parameter used for distortion correction of RAW image data on the information processing apparatus 103 side.
  • step S304 the CPU 71 uses the recognition information, for example, the DNN result from the DSP 33, to create a distortion correction parameter for RAW image data that includes wide-angle distortion correction. For example, when a three-dimensional object is located in a corner of the image and distortion correction is performed, the shape of the three-dimensional object is deformed into a shape that is not the original shape. In particular, when distortion correction is performed precisely, wide-angle distortion may occur. Therefore, in step S304, the processing is switched according to the recognition result of the subject.
  • FIG. 13 shows a processing example of this step S304.
  • the CPU 71 of the information processing device 103 performs determination processing on the recognition information in step S340. For example, the type (class) of the recognized object, the position of the object in the image, and the like are determined.
  • step S341 the CPU 71 determines whether or not a subject as a three-dimensional object exists at a high image height position in the image. If it exists, the CPU 71 proceeds to step S343 to generate distortion correction parameters for performing correction only in the horizontal direction so as not to cause wide-angle distortion. If a subject as a three-dimensional object does not exist at a position with a high image height, a distortion correction parameter is generated for performing distortion correction both horizontally and vertically.
  • the information processing apparatus 103 can perform the development process 46 using the distortion correction parameters after generating the distortion correction parameters as the distortion correction parameter calculation process 45 in FIG. 6 . As a result, the information processing apparatus 103 can also perform appropriate distortion correction on the RAW image data.
  • processing such as shading correction and color adjustment can be performed using the information on the individual adjustment values read from the information storage DB 44.
  • FIG. it is possible to perform development processing suitable for the individual imaging device 100 that is the imaging source of the RAW image data to be processed.
  • individual adjustment values may be used to calculate parameters used in development processing. For example, when the individual adjustment values read from the information storage DB 44 are the parameters used in the development process, there is no need to additionally calculate the parameters, but it is assumed that the parameters used in the development process are calculated based on the individual adjustment values. good too.
  • Image data after development such as JPEG image data and bitmap image data
  • the information processing apparatus 103 may perform the processes of steps ST16, ST17, and ST18 shown in FIG. 5 as necessary and according to the service content to be provided.
  • the distortion correction parameters calculated in the distortion correction parameter calculation process may be stored in the information storage DB 44 and fed back to the sensor 101 at some point so that they can be applied to the distortion correction process in the ISP 32. .
  • FIG. 14 shows the flow of processing according to the second embodiment.
  • FIG. 14 shows the flow of processing in a format similar to that of FIG. In FIG. 6, data is stored separately in the image storage DB 42 and the information storage DB 44, but FIG.
  • the information of the optical center and the individual adjustment value are stored in association with the device information of the imaging device 100.
  • FIG. In addition to storing the RAW image data, shooting information and recognition information are stored for each frame of the RAW image data.
  • the optical center is calculated as shown in FIG.
  • Information on the optical center and individual adjustment values are stored in association with the device information of the imaging device 100 .
  • distortion correction parameter calculation processing 45 is performed using lens data, optical center, shooting information, and recognition information for each frame of RAW image data read from the DB 47, as shown in FIG. Then, development processing 46 is performed using the calculated distortion correction parameters and individual adjustment values read from the DB 47 .
  • the information processing apparatus 103 acquires information used for setting image processing parameters of RAW image data, such as optical center information and individual adjustment values, as individual information of the imaging device 100 that captures RAW image data. , a first process of storing the individual information in association with the imaging device 100 is performed. That is, it is the processing of step ST6 in FIG. Assuming an information processing apparatus 103 that receives RAW image data from an external imaging device 100 , the individual information of the imaging device 100 is managed in association with the imaging device 100 . This eliminates the need to store and manage geometric deformation parameters and the like for each frame of RAW image data, thereby suppressing an increase in data size.
  • the individual information is the information of the optical center of the imaging device 100 as an example.
  • the lens distortion correction parameter corresponding to the individual imaging device 100 can be calculated.
  • the information on the optical center of the imaging device 100 is obtained by calculating using the image data received from the imaging device 100 (see FIG. 7).
  • image data of an image captured by the imaging device 100 in the setting stage for example, a grid image
  • information of the optical center of the imaging device 100 can be calculated and obtained.
  • the information processing apparatus 103 can set parameters for performing image processing according to the individual imaging device 100 .
  • parameters related to color correction, shading correction, and the like are exemplified, but information other than these is also conceivable.
  • parameters such as white balance gain and gamma curve are also conceivable.
  • the example of performing the second process of saving the shooting information for each frame of the RAW image data has been given. That is, this is the process of saving the photographing information in step ST13 of FIG.
  • processing information at the time of shooting can be used for various image processing such as distortion correction parameter calculation, color adjustment processing, shading correction processing, and brightness adjustment processing.
  • the shooting information is cutout position information of RAW image data.
  • an appropriate correction parameter for each frame For example, when the optical center and the image center are misaligned due to circumstances such as the inexpensive imaging device 100, a highly accurate distortion correction parameter can be calculated by performing a calculation that takes into account the cutout position of the imaged image data. Also, in the case where the image capture device 100 adjusts the clipping position for each frame using a blur correction function or the like, the center of the optical axis and the center of the image are shifted for each frame. Accurate distortion correction parameters can be calculated.
  • the shooting information is the horizontal/vertical rotation information of the RAW image data.
  • the example of performing the third process of saving the recognition information of the image for each frame of the RAW image data has been given. That is, this is the process of saving the recognition information in step ST13 of FIG.
  • the recognition information of the captured image for each frame such as the type of subject, the type of scene, and the composition, can be managed and used for subsequent processing.
  • the recognition information can be used for various image processing such as distortion correction parameter calculation, color adjustment processing, shading correction processing, and brightness adjustment processing.
  • the recognition information is information indicating the result of object recognition for the subject of the image.
  • the example of performing the fourth process of calculating the distortion correction parameter using the individual information was given. That is, it is the processing of step ST14 in FIG. As described with reference to FIG. 12, information on the optical center as individual information is used to calculate distortion correction parameters (for edge and for RAW). With this, it is possible to calculate the distortion correction parameter for the RAW image according to the imaging device 100 that is the source of the image.
  • step S302 of FIG. 12 distortion correction parameters (for RAW) reflecting the shooting information are calculated.
  • the distortion correction that reflects the shooting information for each frame can be performed on the cloud side.
  • step S304 of FIG. 12 distortion correction parameters (for RAW) reflecting recognition information are calculated.
  • the distortion correction that reflects the recognition information of the image for each frame can be performed on the cloud side. For example, it is possible to calculate a distortion correction parameter that does not cause wide-angle distortion due to the presence of a three-dimensional object at a high image height.
  • step ST15 in FIG.
  • the development processing 46 in FIGS. 6 and 14 is performed.
  • image data visible on the cloud side such as JPEG image data and bitmap image data, can be generated from the RAW image captured on the edge side and provided to the user.
  • the processing on the cloud side described with reference to FIGS. 6 and 14 may be performed by one information processing device 103 or may be distributed and performed by a plurality of information processing devices 103 .
  • the first process (procedure ST6), the second process (storage of photographing information in procedure ST13), the third process (storage of recognition information in procedure ST13), the fourth process (procedure ST14), and the fifth process (procedure ST15) are , each or part of which may be executed by a separate information processing device 103 .
  • the second to fifth processes in the operation stage may or may not be performed continuously in chronological order.
  • the technology of the present disclosure is not limited to cloud computing, and can be widely applied when handling RAW images in an information processing apparatus separate from an imaging apparatus (camera).
  • an information processing device, an image processing device, an image editing device, or the like connected to a digital camera for wired or wireless data communication performs the same processing as the information processing device 103 on the cloud side described in the above-described embodiment. be able to.
  • the program of the embodiment is a program that causes a CPU, DSP, GPU, GPGPU, AI processor, etc., or a device including these to execute the processing for realizing the information processing method described in FIGS. is. That is, the program of the embodiment acquires the individual information used for setting the image processing parameters of the RAW image data for the imaging device 100 that captures the RAW image data, and stores the individual information in association with the imaging device 100. It is a program to be executed by the information processing apparatus 103 . With such a program, the information processing device 103 referred to in the present disclosure can be realized by various computer devices.
  • a HDD as a recording medium built in equipment such as a computer device, or in a ROM or the like in a microcomputer having a CPU.
  • a flexible disc a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a Blu-ray disc (Blu-ray Disc (registered trademark)), a magnetic disc, a semiconductor memory
  • a removable recording medium such as a memory card.
  • Such removable recording media can be provided as so-called package software.
  • a program from a removable recording medium to a personal computer or the like, it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • Such a program is suitable for widely providing the information processing apparatus of the present disclosure.
  • a mobile terminal device such as a smartphone or tablet, a mobile phone, a personal computer, a game device, a video device, a PDA (Personal Digital Assistant), etc.
  • these devices function as the information processing device of the present disclosure. be able to.
  • the information processing device An information processing method for performing a first process of acquiring individual information used for setting image processing parameters of RAW image data for an imaging device that captures RAW image data, and storing the individual information in association with the imaging device.
  • the recognition information is information indicating a result of object recognition for a subject of an image.
  • An information processing apparatus comprising: a processing unit that acquires individual information used for setting image processing parameters of RAW image data for an imaging device that captures RAW image data, and stores the individual information in association with the imaging device.
  • Imaging block 21 imaging unit 22
  • imaging processing unit 23 output control unit 25
  • imaging control unit 30 signal processing block 31
  • CPU 32 ISPs 33
  • DSPs 37
  • memory 41
  • data separation processing 42
  • DB for image storage 43
  • Calculation process 44
  • DB for information storage 45
  • distortion correction parameter calculation processing 46
  • development processing 47
  • DB 71
  • CPUs 100 imaging device 101 sensor 102 application processor 103 information processing device 104 network 105 optical system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

情報処理装置が、ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、その個体情報を撮像デバイスに関連づけて記憶する処理を行うようにする。

Description

情報処理方法、情報処理装置、プログラム
　本技術は情報処理方法、情報処理装置、プログラムに関し、ＲＡＷ画像データを扱う場合の技術に関する。
　撮像装置によって撮像された画像データとして、現像処理、特に画作りの処理が施される前の段階の画像データであるＲＡＷ画像データを保存するケースがある。
　下記特許文献１には、ＲＡＷ画像データをオフラインで現像するために、ＲＡＷ画像データと幾何変形パラメータ（歪補正パラメータ）を紐づけて保存する技術が開示されている。
特開２０１６－１３４６３１号公報
　特許文献１の場合、ＲＡＷ画像データの現像、特に歪補正のために、幾何変形パラメータを１枚（１フレーム）毎に付加する。これによってデータサイズの増大という問題が発生している。
　本開示では、ＲＡＷ画像データを保存する状況において、データサイズの増大を抑えつつ、ＲＡＷ画像データに対する適切な処理が実行できるようにする技術を提案する。
　本技術に係る情報処理方法は、情報処理装置が、ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する第１処理を行うようにする。
　外部の撮像デバイスからＲＡＷ画像データを受信する情報処理装置を想定した場合に、撮像デバイスの個体情報を、撮像デバイスに関連づけて管理する。
本技術の実施の形態の撮像デバイスと情報処理装置によるシステム構成の説明図である。 実施の形態のセンサのブロック図である。 実施の形態のセンサの構造例の説明図である。 実施の形態の情報処理装置の構成のブロック図である。 実施の形態の設定段階及び運用段階の処理の説明図である。 第１の実施の形態の処理の説明図である。 実施の形態の情報処理装置の光学中心算出処理のフローチャートである。 実施の形態のセンサにおけるＩＳＰ処理の説明図である。 実施の形態のアプリケーションプロセッサにおけるデータ分離のフローチャートである。 実施の形態のアプリケーションプロセッサにおけるデータ分離のフローチャートである。 実施の形態の送信されるデータ内容の説明図である。 実施の形態の情報処理装置の歪補正パラメータ算出処理のフローチャートである。 実施の形態の情報処理装置の歪補正パラメータ算出の際の広角歪に対応する処理のフローチャートである。 第２の実施の形態の処理の説明図である。
　以下、実施の形態を次の順序で説明する。
＜１．システム構成＞
＜２．装置構成＞
＜３．設定段階及び運用段階の処理例＞
＜４．第１の実施の形態＞
＜５．第２の実施の形態＞
＜６．まとめ及び変形例＞
　なお本開示では、「画像データ」とは静止画や動画としての画像データを指す。また図面の表記において「画像データ」を省略して「画像」とする場合がある。
　また、ＲＡＷ画像データとは、撮像により得られた画像データにおいて、現像処理の一部又は全部を行う前の画像データである。例えば画作りが行われる前の、イメージセンサの画素配列のままのデータ（例えばＲ（赤）／Ｇ（緑）／Ｂ（青）形式のデータ）、或いはそれを輝度信号と色信号に分離した段階のデータなどをＲＡＷ画像データと呼ぶことができる。さらには例えば色再現／シャープネス等の処理が施されていない段階の画像データをＲＡＷ画像データと呼ぶことができる。
＜１．システム構成＞
　図１に実施の形態のシステム構成例を示している。このシステムは撮像デバイス１００と情報処理装置１０３がネットワーク１０４により通信可能とされる。
　撮像デバイス１００は、光学系１０５、センサ１０１、アプリケーションプロセッサ１０２を備える。
　光学系１０５は、例えばズームレンズ、フォーカスレンズ、絞り等を有し、外部からの光をセンサ１０１に入射させる。
　センサ１０１は、例えば１チップで構成されるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、光学系１０５からの入射光の受光及び光電変換という撮像動作を行って、光学系１０５からの入射光に対応する画像データを出力する。
　またセンサ１０１は、撮像により得た画像データに対して、例えば所定の認識対象を認識する認識処理、その他の信号処理を行い、その信号処理の信号処理結果を出力する。
　アプリケーションプロセッサ１０２は、例えば外部の装置との間でデータ伝送を行うＩ／Ｆ（Interface）として機能するとともに、本開示の処理に関連するデータ分離処理などを行う。
　センサ１０１とアプリケーションプロセッサ１０２の通信は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）等の比較的高速なパラレルＩ／Ｆ等を採用することができる。
　情報処理装置１０３は、例えばクラウドコンピューティングによる画像処理を行うクラウドサーバとして機能する。
　本実施の形態では、情報処理装置１０３は、撮像デバイス１００からネットワーク１０４を介してＲＡＷ画像データを受信し、ＲＡＷ画像データに対する各種処理を行うことができるものとする。
　情報処理装置１０３はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置１０３としては、具体的には、サーバ機能を実現する処理の能力を有するコンピュータ装置が想定されるが、例えばパーソナルコンピュータ、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等などであって本実施の形態で説明する処理機能を備えるものでもよい。
　なお、情報処理装置１０３は、撮像デバイス１００と別体の情報処理装置であるが、必ずしもクラウドコンピューティングによるコンピュータ装置に限られない。例えば情報処理装置１０３は、スマートフォン等の端末装置などとして、撮像デバイス１００の近距離の位置で使用されるものであってもよい。
　また、センサ１０１や情報処理装置１０３は、ＡＩ（artificial intelligence）エンジンによる機械学習を用いた各種の解析処理を行うことも想定される。例えばＡＩエンジンは、画像データについてＤＮＮ（Deep Neural Network）処理としての画像解析により、画像内容判定、シーン判定、物体認識（顔認識、人物認識等を含む）、個人識別、姿勢推定の処理などを行うことができる。
　ネットワーク１０４は、イーサネット、衛星通信回線、電話回線等を用いた遠隔地間の伝送路を形成するネットワークでもよいし、Ｗｉ－Ｆｉ（登録商標）通信、ブルートゥース（Bluetooth：登録商標）等による無線伝送路によるネットワークでもよい。さらにビデオケーブル、ＵＳＢ（Universal Serial Bus）ケーブル、ＬＡＮ（Local Area Network）ケーブル等を用いた有線接続の伝送路によるネットワークでもよい。
　このようなシステムにおいて、センサ１０１によって画像撮像が行われ、画像データが出力される。このセンサ１０１が出力する画像データは、アプリケーションプロセッサ１０２によって情報処理装置１０３に送信される。情報処理装置１０３では、送信されてきた画像データを記憶するとともに、画像データを用いた各種処理を行うことができる。
　ここで、撮像デバイス１００から情報処理装置１０３に送信される画像データはＲＡＷ画像データであるとする。情報処理装置１０３は、逐次送信されてくるＲＡＷ画像データを記憶するとともに、必要に応じてＲＡＷ画像データに対する現像処理、物体認識処理、画像や物体認識に基づく解析処理などを行って、各種情報をユーザに提供するサービスを行う。
　本実施の形態では、このように情報処理装置１０３でＲＡＷ画像データを扱うことを想定して、より精度の高い情報提供を行うとともに、必要なデータ量の増大を抑制する。
＜２．装置構成＞
　以下、センサ１０１及び情報処理装置１０３の構成例を説明する。
　図２はセンサ１０１の構成例を示している。
　センサ１０１は撮像ブロック２０及び信号処理ブロック３０を有する。
　撮像ブロック２０と信号処理ブロック３０とは、接続線（内部バス）ＣＬ１，ＣＬ２、及び、ＣＬ３によって電気的に接続されている。
　撮像ブロック２０は、撮像部２１、撮像処理部２２、出力制御部２３、出力Ｉ／Ｆ（Interface）２４、及び撮像制御部２５を有している。
　撮像部２１は複数の画素が２次元に並んで構成される。撮像部２１は、撮像処理部２２によって駆動され、画像を撮像する。
　すなわち撮像部２１に光学系１０５（図１）からの光が入射すると、撮像部２１における各画素がその入射光を受光し、光電変換を行う。この光電変換により得られるアナログ信号が入射光に対応する画像信号として出力される。
　なお撮像部２１が出力する画像（信号）のサイズは、例えば、１２Ｍ（３９６８×２９７６）ピクセルや、ＶＧＡ（Video Graphics Array）サイズ（６４０×４８０ピクセル）等の複数のサイズの中から選択することができる。
　また、撮像部２１が出力する画像については、例えば、ＲＧＢ（赤、緑、青）のカラー画像とするか、又は、輝度のみの白黒画像とするかを選択することができる。
　これらの選択は、撮影モードの設定の一種として行うことができる。
　撮像処理部２２は、撮像制御部２５の制御に従い、撮像部２１の駆動や、撮像部２１が出力するアナログの画像信号のＡＤ（Analog to Digital）変換、撮像信号処理等の、撮像部２１での画像撮像に関連する処理を行う。
　ここで撮像信号処理としては、例えば撮像部２１が出力する画像について、所定の小領域ごとに画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理や、撮像部２１が出力する画像をＨＤＲ（High Dynamic Range）画像に変換する処理、欠陥補正、現像等がある。
　撮像処理部２２は、撮像部２１が出力するアナログの画像信号のＡＤ変換等によって得られるデジタルの画像信号を撮像画像として出力する。
　本実施の形態の場合、少なくともＲＡＷ画像データとして撮像画像を出力する。
　撮像処理部２２が出力する撮像画像は、出力制御部２３に供給されるとともに、接続線ＣＬ２を介して、信号処理ブロック３０の画像圧縮部３５に供給される。
　出力制御部２３には、撮像処理部２２から撮像画像が供給される他、信号処理ブロック３０から、接続線ＣＬ３を介して、撮像画像等を用いた信号処理の信号処理結果などの各種情報が供給される。例えば後述する認識情報や撮影情報が供給される。
　出力制御部２３は、撮像処理部２２からの撮像画像、及び信号処理ブロック３０からの信号処理結果を、出力Ｉ／Ｆ２４から外部に出力させる出力制御を行う。例えば図１のアプリケーションプロセッサ１０２に出力する制御を行う。
　例えば出力制御部２３は、撮像処理部２２からの撮像画像、又は信号処理ブロック３０からの信号処理結果（後述する認識情報や撮影情報）を選択し、出力Ｉ／Ｆ２４に供給する。
　出力Ｉ／Ｆ２４は、出力制御部２３から供給される撮像画像、及び、信号処理結果を外部に出力するＩ／Ｆである。
　出力Ｉ／Ｆ２４としては、例えばＭＩＰＩ等の比較的高速なパラレルＩ／Ｆ等を採用することができる。
　出力Ｉ／Ｆ２４は、出力制御部２３の出力制御に応じて、撮像処理部２２からの撮像画像、又は信号処理ブロック３０からの信号処理結果を外部に出力する。
　したがって、例えば、外部において、信号処理ブロック３０からの信号処理結果だけが必要であり、撮像画像そのものが必要でない場合には、信号処理結果だけを出力することができ、出力Ｉ／Ｆ２４から外部に出力するデータ量を削減することができる。
　また、信号処理ブロック３０において、外部で必要とする信号処理結果が得られる信号処理を行い、その信号処理結果を、出力Ｉ／Ｆ２４から出力することにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。
　撮像制御部２５は、通信Ｉ／Ｆ２６及びレジスタ群２７を有する。
　通信Ｉ／Ｆ２６は、例えば、Ｉ２Ｃ（Inter Integrated Circuit）等のシリアル通信Ｉ／Ｆ等の第１の通信Ｉ／Ｆであり、外部との間で、レジスタ群２７に読み書きする情報等の必要な情報のやりとりを行う。
　レジスタ群２７は、複数のレジスタを有し、撮像部２１での画像の撮像に関連する撮影情報、その他の各種情報を記憶する。
　例えば、レジスタ群２７は、通信Ｉ／Ｆ２６において外部から受信された情報や、撮像処理部２２での撮像信号処理の結果を記憶する。これら撮影時の撮像処理に関連する情報を、説明上「撮影情報」と呼ぶ。
　レジスタ群２７に記憶される撮影情報としては、例えば、ＩＳＯ感度（撮像処理部２２でのＡＤ変換時のアナログゲイン）、露光時間（シャッタスピード）、フレームレート、フォーカス、撮影モード等を示す情報や、切り出し位置情報、水平垂直回転情報などがある。
　撮影モードには、例えば、露光時間やフレームレート等が手動で設定される手動モードと、シーンに応じて自動的に設定される自動モードとがある。自動モードには、例えば、夜景や、人の顔等の各種の撮影シーンに応じたモードがある。
　また、切り出し位置情報とは、撮像処理部２２において、撮像部２１が出力する画像の一部を切り出して、撮像画像として出力する場合に、撮像部２１が出力する画像から切り出す範囲を表す情報である。切り出し範囲の指定によって、例えば、撮像部２１が出力する画像から、人が映っている範囲だけを切り出すこと等が可能になる。
　またいわゆる手ブレ補正のために、撮像デバイス１００に設けられた不図示の角速度センサや加速度センサの情報に応じて、撮像処理部２２がフレーム毎に切り出し範囲を調整することもある。
　なお、画像の切り出しとしては、撮像部２１が出力する画像から切り出す方法の他、撮像部２１から、切り出し範囲の画像（信号）だけを読み出す方法がある。
　水平垂直回転情報とは、画像の縦横の切り替え、傾き補正などによる、水平方向、垂直方向の変化の情報である。
　撮像制御部２５は、レジスタ群２７に記憶された撮影情報に従って、撮像処理部２２を制御し、これにより、撮像部２１での画像の撮像処理を制御する。
　なおレジスタ群２７は、撮影情報として、撮像処理部２２での撮像信号処理の結果の他、出力制御部２３での出力制御に関する出力制御情報も記憶することができる。
　出力制御部２３は、レジスタ群２７に記憶された出力制御情報に従って、撮像画像及び信号処理結果を選択的に出力させる出力制御を行うことができる。
　またセンサ１０１では、撮像制御部２５と、信号処理ブロック３０のＣＰＵ３１とは、接続線ＣＬ１を介して接続されており、ＣＰＵ３１は接続線ＣＬ１を介してレジスタ群２７に対して情報の読み書きを行うことができる。
　すなわちセンサ１０１では、レジスタ群２７に対する情報の読み書きは通信Ｉ／Ｆ２６から行う他、ＣＰＵ３１からも行うことができる。
　信号処理ブロック３０は、ＣＰＵ（Central Processing Unit）３１、ＩＳＰ（Image Signal Processor）３２、ＤＳＰ（Digital Signal Processor）３３、通信Ｉ／Ｆ３４、画像圧縮部３５、入力Ｉ／Ｆ３６、及びメモリ３７を有し、撮像ブロック２０で得られた撮像画像等を用いて所定の信号処理を行う。
　信号処理ブロック３０を構成するＣＰＵ３１からメモリ３７までの上記各部は、相互にバス３９を介して接続され、必要に応じて情報のやりとりを行うことができる。
　ＣＰＵ３１は、メモリ３７に記憶されたプログラムを実行することで、信号処理ブロック３０の制御、接続線ＣＬ１を介しての、撮像制御部２５のレジスタ群２７への情報の読み書き、その他の各種の処理を行う。
　例えばＣＰＵ３１は、プログラムを実行することにより、ＤＳＰ３３での信号処理により得られる信号処理結果を用いて撮影情報を算出する算出部として機能し、信号処理結果を用いて算出した新たな撮影情報を、接続線ＣＬ１を介して撮像制御部２５のレジスタ群２７にフィードバックして記憶させることができる。
　したがってＣＰＵ３１は、撮像画像の信号処理結果に応じて撮像部２１での撮像動作や撮像処理部２２での撮像信号処理を制御することができる。
　またＣＰＵ３１がレジスタ群２７に記憶させた撮影情報は、通信Ｉ／Ｆ２６から外部に提供（出力）することができる。例えば、レジスタ群２７に記憶された撮影情報のうちのフォーカスの情報は、通信Ｉ／Ｆ２６から、フォーカスを制御するフォーカスドライバ（図示せず）に提供することができる。
　ＩＳＰ３２は、メモリ３７に記憶されたプログラムを実行することで、撮像処理部２２から、接続線ＣＬ２を介して、信号処理ブロック３０に供給される撮像画像や、入力Ｉ／Ｆ３６が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。
　これによりＩＳＰ３２は、ＤＳＰ３３における認識処理の入力画像を生成する。
　ＤＳＰ３３は、メモリ３７に記憶されたプログラムを実行することで、撮像処理部２２から、接続線ＣＬ２を介して、信号処理ブロック３０に供給される撮像画像や、入力Ｉ／Ｆ３６が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。
　特に本実施の形態では、ＩＳＰ３２からの入力画像についてＤＮＮ処理等の物体認識処理を行うことができる。
　メモリ３７は、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic RAM）等で構成され、信号処理ブロック３０の処理上必要なデータ等を記憶する。
　例えば、メモリ３７は、通信Ｉ／Ｆ３４において、外部から受信されたプログラムや、画像圧縮部３５で圧縮され、ＩＳＰ３２やＤＳＰ３３での信号処理で用いられる撮像画像、ＤＳＰ３３で行われた認識処理の結果である認識情報、ＣＰＵ３１や撮像制御部２５の制御で行われた撮影時の処理の情報（撮影情報）、入力Ｉ／Ｆ３６が受け取った情報、レジスタ群２７に記憶された情報のうちで出力Ｉ／Ｆ２４から出力する情報等を記憶する。上述のように撮影情報としては、切り出し位置情報や、水平垂直回転情報などがある。
　認識情報や、切り出し位置情報、水平垂直回転情報などを含む撮影情報などは、逐次メモリ３７から出力制御部２３転送されて出力Ｉ／Ｆ２４から出力されるようにすることができる。
　通信Ｉ／Ｆ３４は、例えば、ＳＰＩ（Serial Peripheral Interface）等のシリアル通信Ｉ／Ｆ等の第２の通信Ｉ／Ｆであり、外部との間で、ＣＰＵ３１やＤＳＰ３３が実行するプログラム等の必要な情報のやりとりを行う。
　例えば、通信Ｉ／Ｆ３４は、ＣＰＵ３１やＤＳＰ３３が実行するプログラムを外部からダウンロードし、メモリ３７に供給して記憶させる。
　したがって、通信Ｉ／Ｆ３４がダウンロードするプログラムによって、ＣＰＵ３１やＤＳＰ３３で様々な処理を実行することができる。
　なお通信Ｉ／Ｆ３４は、外部との間で、プログラムの他、任意のデータのやりとりを行うことができる。
　例えば通信Ｉ／Ｆ３４は、ＤＳＰ３３での信号処理により得られる信号処理結果を外部に出力することができる。
　また通信Ｉ／Ｆ３４は、ＣＰＵ３１の指示に従った情報を外部の装置に出力し、これによりＣＰＵ３１の指示に従って、外部の装置を制御することができる。
　画像圧縮部３５には、撮像処理部２２から接続線ＣＬ２を介して撮像画像が供給される。画像圧縮部３５は、撮像画像を圧縮する圧縮処理を行い、その撮像画像よりもデータ量が少ない圧縮画像を生成する。画像圧縮部３５で生成された圧縮画像は、バス３９を介してメモリ３７に供給されて記憶される。
　なお画像圧縮部３５は、圧縮を行わずに撮像画像をそのままメモリ３７に記憶させることもある。
　メモリ３７に記憶された圧縮された（又は非圧縮の）撮像画像は、ＩＳＰ３２やＤＳＰ３３の処理に供される。
　即ちＩＳＰ３２やＤＳＰ３３での信号処理は、撮像画像そのものを用いて行う他、画像圧縮部３５で撮像画像から生成された圧縮画像を用いて行うことができる。圧縮画像は、撮像画像よりもデータ量が少ないため、ＩＳＰ３２やＤＳＰ３３での信号処理の負荷の軽減や、圧縮画像を記憶するメモリ３７の記憶容量の節約を図ることができる。
　画像圧縮部３５での圧縮処理としては、例えば１２Ｍ（３９６８×２９７６）ピクセルの撮像画像をＶＧＡサイズの画像に変換するスケールダウンを行うことができる。またＩＳＰ３２やＤＳＰ３３での信号処理が輝度を対象として行われ、かつ撮像画像がＲＧＢの画像である場合には、圧縮処理としては、ＲＧＢの画像を例えばＹＵＶの画像に変換するＹＵＶ変換を行うことができる。
　なお画像圧縮部３５はソフトウェアにより実現することもできるし、専用のハードウエアにより実現することもできる。
　入力Ｉ／Ｆ３６は外部から情報を受け取るＩ／Ｆである。入力Ｉ／Ｆ３６は、例えば外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介してメモリ３７に供給して記憶させる。
　入力Ｉ／Ｆ３６としては、例えば出力Ｉ／Ｆ２４と同様に、ＭＩＰＩ等のパラレルＩ／Ｆ等を採用することができる。
　また外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる。
　さらに外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわちセンサ１０１とは別のイメージセンサを採用することができる。
　また外部のセンサとしては、撮像デバイス１００の挙動を検出する角速度センサ、加速度センサなどを採用することもできる。
　ＣＰＵ３１、ＩＳＰ３２、ＤＳＰ３３では、撮像画像（から生成された圧縮画像）を用いる他、入力Ｉ／Ｆ３６が上述のような外部のセンサから受け取り、メモリ３７に記憶される外部センサ出力を用いて信号処理を行うことができる。
　以上のように構成される１チップのセンサ１０１では、撮像部２１での撮像により得られる撮像画像（から生成される圧縮画像）を用いた信号処理がＩＳＰ３２、ＤＳＰ３３で行われ、その信号処理の信号処理結果、及び、撮像画像が、出力Ｉ／Ｆ２４から選択的に出力される。特に本実施の形態では、ＲＡＷ画像データとしての撮像画像や、上述した認識情報、撮影情報などが出力Ｉ／Ｆ２４から出力される。
　従ってユーザが必要とする情報を出力するセンサ１０１を小型に構成することができる。
　図３にセンサ１０１の外観構成例を模式的に示している。
　センサ１０１は、例えば複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。
　図３では、センサ１０１は、ダイ５１、５２の２枚のダイが積層されて構成される例を示している。
　図示のように上側のダイ５１には撮像部２１が搭載され、下側のダイ５２には撮像処理部２２から撮像制御部２５までの各部や、ＣＰＵ３１からメモリ３７までの各部が搭載されている。
　上側のダイ５１と下側のダイ５２とは、例えばダイ５１を貫きダイ５２にまで到達する貫通孔を形成することにより、又はダイ５１の下面側に露出したＣｕ配線と、ダイ５２の上面側に露出したＣｕ配線とを直接接続するＣｕ－Ｃｕ接合を行うこと等により、電気的に接続される。
　ここで、撮像処理部２２において、撮像部２１が出力する画像信号のＡＤ変換を行う方式としては、例えば、列並列ＡＤ方式やエリアＡＤ方式を採用することができる。
　列並列ＡＤ方式では、例えば撮像部２１を構成する画素の列に対してＡＤＣ（AD Converter）が設けられ、各列のＡＤＣが、その列の画素の画素信号のＡＤ変換を担当することで、１行の各列の画素の画像信号のＡＤ変換が並列に行われる。列並列ＡＤ方式を採用する場合には、その列並列ＡＤ方式のＡＤ変換を行う撮像処理部２２の一部が、上側のダイ５１に搭載されることがある。
　エリアＡＤ方式では、撮像部２１を構成する画素が複数のブロックに区分され、各ブロックに対してＡＤＣが設けられる。そして各ブロックのＡＤＣが、そのブロックの画素の画素信号のＡＤ変換を担当することで、複数のブロックの画素の画像信号のＡＤ変換が並列に行われる。エリアＡＤ方式では、ブロックを最小単位として、撮像部２１を構成する画素のうちの必要な画素についてだけ、画像信号のＡＤ変換（読み出し及びＡＤ変換）を行うことができる。
　なお、センサ１０１の面積が大になることが許容されるのであれば、センサ１０１は１枚のダイで構成することができる。
　また、図３では２枚のダイ５１、５２を積層して１チップのセンサ１０１を構成することとしたが、１チップのセンサ１０１は３枚以上のダイを積層して構成することができる。例えば３枚のダイを積層して１チップのセンサ１０１を構成する場合には、図３のメモリ３７を別のダイに搭載することができる。
　ところでセンサチップ、メモリチップ、ＤＳＰチップ等のチップどうしを、複数のバンプで並列に接続してセンサ１０１を構成する場合、積層構造に構成された１チップのセンサ１０１に比較して厚みが大きく増加し装置が大型化する。
　さらにその場合、バンプの接続部分での信号劣化等により、撮像処理部２２から出力制御部２３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。
　図３のような積層構造のセンサ１０１によれば、以上のような装置の大型化や、撮像処理部２２と出力制御部２３との間のレートとして、十分なレートを確保することができなくなることを防止することができる。
　従って積層構造のセンサ１０１によれば、ユーザが必要とする情報を出力する撮像装置を小型に構成することを実現することができる。
　ユーザが必要とする情報が撮像画像である場合には、センサ１０１は撮像画像を出力することができる。
　また、ユーザが必要とする情報が、撮像画像を用いた信号処理により得られる場合には、センサ１０１は、ＤＳＰ３３等において、その信号処理、例えば撮像画像から所定の認識対象を認識する認識処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。
　次に図１に示したように、例えばクラウドサーバ等として機能する情報処理装置１０３の構成例を図４で説明する。
　情報処理装置１０３のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。
　なお情報処理装置１０３を、画像処理やＤＮＮ処理を行うものとする場合、ＣＰＵ７１に代えて、或いはＣＰＵ７１と共に、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ専用プロセッサ等が設けられてもよい。
　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
　また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置１０３の筐体に設けられるディスプレイデバイスや、情報処理装置１０３に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行うことができる。
　入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
　記憶部７９は各種の情報の格納に用いられる。本実施の形態の場合、例えば後述する画像保存用ＤＢ４２、情報保存用ＤＢ４４、或いはＤＢ４７等を記憶部７９において構成することができる。
　通信部８０は、ネットワーク１０４等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
　この情報処理装置１０３では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
＜３．実施の形態の概要、及び設定段階と運用段階の処理例＞
　実施の形態の処理の概要について説明する。
　実施の形態では、センサ１０１で撮像したＲＡＷ画像データを、クラウド側の情報処理装置１０３にアップロードし、当該画像や画像に基づく情報を各種サービスに用いることを想定している。
　サービスの例を挙げる。
　例えば撮像デバイス１００を監視カメラや定点カメラとして監視システムや観測システムを構成することが考えられる。
　センサ１０１で撮像した画像データをクラウドサーバである情報処理装置１０３に逐次アップロードしていく。情報処理装置１０３は、アップロードされた画像をユーザに提供したり、画像からの検出結果、分析結果の情報、例えば特定の人物の認識情報、単位時間での人数情報、混雑情報、気象情報などをユーザに提供したりすることができる。
　また撮像デバイス１００を店舗の商品のモニタカメラとする用途とし、情報処理装置１０３が画像に基づいて商品の販売状況、欠品情報などを生成し、ユーザに提供するというケースも想定される。
　また撮像デバイス１００を工場の製造ラインのモニタカメラとする用途とし、情報処理装置１０３が画像に基づいて生産品の状態、不良品情報、ライン稼働状況情報などを生成し、ユーザに提供するというケースも想定される。
　これら多様なユースケースが想定されるが、本実施の形態では、エッジ側である撮像デバイス１００から、クラウド側である情報処理装置１０３にアップロードする画像はＲＡＷ画像データであるとする。
　情報処理装置１０３では、ＲＡＷ画像データを必要に応じて現像処理を行い、また或いは被写体の解析処理や、画像から目的の情報の分析処理等を行う。これによりサービスに必要な情報を生成し、ユーザに提供する。
　このような場合に、画像の歪補正や画像処理を、情報処理装置１０３において適切に行うようにすることを考える。
　例えばＲＡＷ画像データについて歪補正を行うには、そのＲＡＷ画像データと幾何変形パラメータ、即ち歪補正パラメータが紐づけられている必要がある。ところが、情報処理装置１０３側で、ＲＡＷ画像データのフレーム毎に歪補正パラメータを紐づけて管理することは、必要なデータ量の増大を招く。
　そこで情報処理装置１０３は、ＲＡＷ画像データと歪補正パラメータを別管理するものとする。
　具体的には、ＲＡＷ画像データの撮像を行った撮像デバイス１００におけるレンズの光学中心情報をデバイスに紐づけて管理する。これにより、ＲＡＷ画像データのフレーム毎に幾何変形パラメータ等を記憶・管理する必要をなくし、データサイズの拡大を抑える。
　歪補正のために幾何変形パラメータを作成する際に、撮像デバイス１００における光軸中心と、ＲＡＷ画像データの画像中心がずれている場合、歪補正が適切にできないという事情がある。例えば撮像デバイス１００において安価なレンズを用いる場合、ピント合わせのためにレンズをねじ込むが、この動作によって、光軸中心と画像中心の位置が回転してしまう。例えばこのような状況に対応するために、情報処理装置１０３において撮像デバイス１００の個体ごとに幾何変形パラメータを作成できるようにする。
　またＲＡＷ画像データのフレーム毎に関連づけて管理する情報として、撮影情報と認識情報を用いる。
　撮影情報とは、切り出し位置情報、水平垂直回転情報などである。
　認識情報は、ＤＳＰ３３において行われる例えばＤＮＮ結果情報など、被写体の認識結果の情報である。
　これらを用いることで、情報処理装置１０３側で生成する歪補正パラメータの精度を向上させる。
　図５は設定段階の手順、及び運用段階の手順をそれぞれ示している。
　図の下部のエッジ側として撮像デバイス１００側の動作手順、図の上部のクラウド側として情報処理装置１０３側の動作手順を示している。
　まず手順ＳＴ１から手順ＳＴ６として設定段階の処理や動作を説明する。
・手順ＳＴ１
　撮像デバイス１００において、例えば撮像を行う現場での設置時などに設定用の所定の画像の撮影を行う。例えば格子画像、マクベスなどと呼ばれる画像を用意して撮影する。
・手順ＳＴ２
　撮像デバイス１００において手順ＳＴ１の撮影による撮像画像や、その他必要な撮像デバイス１００のデバイス情報を情報処理装置１０３にアップロードする。ここでいうデバイス情報としては、撮像デバイス１００の識別情報や、レンズの種別、特性等を示すレンズデータ、イメージセンサ（撮像部２１）のＲＧＢ感度など、その撮像デバイス１００の固有の特性等の情報を含む。
・手順ＳＴ３
　情報処理装置１０３が、撮像デバイス１００における光学中心や、撮像デバイス１００の特性に応じた調整値（以下「個体調整値」という）を計算する。
　個体調整値とは、例えばその撮像デバイス１００の特性に応じた色味調整のパラメータや、シェーディング補正のパラメータなど、その撮像デバイス１００で撮像された画像データに対する画像処理に用いることに適した調整値である。
　なお本開示では、光学中心や個体調整値など、撮像デバイス１００の個体に応じたＲＡＷ画像データの画像処理に用いる補正パラメータの算出の元になる情報を総称して個体情報と呼んでいる。上記のデバイス情報の全部又は一部が個体情報となる場合もあるし、デバイス情報は個体情報とはならないこともある。
・手順ＳＴ４
　情報処理装置１０３が、撮像デバイス１００にフィードバックする設定値を作成する。
・手順ＳＴ５
　情報処理装置１０３が作成した設定値に基づいて、パラメータやプログラムが撮像デバイス１００にデプロイされる。
・手順ＳＴ６
　情報処理装置１０３は、デバイスを特定するデバイス情報と共に、手順ＳＴ３で計算した光学中心や個体調整値を、ＤＢ（データベース）に保存する。
　以上の手順で、情報処理装置１０３は、撮像デバイス１００に応じた個体情報、即ち光学中心の情報や個体調整値を管理できる状態になる。なお、このためには少なくとも手順ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ６が行われればよい。
　続いて、運用段階の処理又は動作として、手順ＳＴ１１から手順ＳＴ１６までを説明する。
・手順ＳＴ１１
　撮像デバイス１００において、実際の設置環境における撮影を行う。
・手順ＳＴ１２
　撮像デバイス１００において手順ＳＴ１１として行われた撮影による撮像画像や、その撮影に付随する情報を情報処理装置１０３にアップロードする。この場合、撮像画像としてのＲＡＷ画像データが情報処理装置１０３にアップロードされるとともに、撮影に付随する情報として、ＲＡＷ画像データのフレームに対応する認識情報や撮影情報がアップロードされる。
　認識情報は撮像したＲＡＷ画像データに対するセンサ１０１内での画像信号処理、物体認識処理が行われた結果としての認識情報である。撮影情報は、そのＲＡＷ画像データの撮影の際の切り出しを行った場合の切り出し位置情報や、水平－垂直変換や回転調整による水平垂直回転情報である。
・手順ＳＴ１３
　アップロードされるＲＡＷ画像データのフレームや、認識情報、撮影情報が関連づけられて情報処理装置１０３側のＤＢに保存される。
・手順ＳＴ１４
　情報処理装置１０３は、ＤＢに取り込んだＲＡＷ画像データに対して現像処理のためのパラメータ算出を行う。この場合に、設定段階で撮像デバイス１００に関連づけて保存した光学中心や個体調整値の情報を用いる。
　またＲＡＷ画像データのフレームに関連づけて保存されている認識情報、撮影情報も用いられる。具体的には、現像処理では歪補正が行われるが、歪補正のための歪補正パラメータを計算する際に、光学中心、認識情報、撮影情報を用いることができる。
・手順ＳＴ１５
　情報処理装置１０３は、ＤＢに取り込んだＲＡＷ画像データに対して、算出したパラメータを用いた現像処理を行う。
　例えば現像処理では、歪補正、色処理、シェーディング補正などを含む各種処理が行われる。歪補正には手順ＳＴ１４で計算した歪補正パラメータを用いる。また色処理、シェーディング補正などに個体調整値を用いることができる。
・手順ＳＴ１６
　情報処理装置１０３は、現像した画像データについてＤＮＮ処理等を行うことができる。これは、運用しているサービスにとって要求される被写体の認識のための人物認識、クラス判定、物体認識などを行うものである。
・手順ＳＴ１７
　情報処理装置１０３は、認識処理の結果を解析し、例えば運用しているサービスのユーザに対して提供する情報を生成する。また撮像デバイスに対してフィードバックする情報を生成することもできる。
・手順ＳＴ１８
　情報処理装置１０３が撮像デバイス１００にフィードバックする情報を生成した場合、それを撮像デバイス１００に送信し、撮像デバイス１００において撮像制御やＤＮＮ処理に用いられるようにすることができる。例えば撮像動作制御や認識処理のパラメータの変更などが行われることが想定される。
　以上の手順で、運用段階において情報処理装置１０３は、撮像デバイス１００からアップロードされたＲＡＷ画像データについて、光学中心の情報や個体調整値を用い、また同時にアップロードされる認識情報や撮影情報を用いて、適切に現像処理を行うことができる。
特に、手順ＳＴ１３，ＳＴ１４が行われることで、情報処理装置１０３において手順ＳＴ１５でＲＡＷ画像データを適切に現像処理できることになる。
＜４．第１の実施の形態＞
　第１の実施の形態としての図５の設定段階及び運用段階の処理の流れを図６のブロック図で説明する。図６は、センサ１０１、アプリケーションプロセッサ１０２、情報処理装置１０３の機能（機能を発揮する部位）又は処理などをブロック化したものである。
　センサ１０１における構成として撮像部２１、ＩＳＰ３２、ＤＳＰ３３を抽出して示している。
　この場合の撮像部２１は、ＲＡＷ画像データや撮影情報を出力する機能部としての意味で示している。
　ＩＳＰ３２は、撮像部２１で得られた撮像画像について現像処理を行い、認識処理のための入力画像を生成する機能部としての意味で示している。
　ＤＳＰ３３は、ＩＳＰ３２からの入力画像データを対象としてＤＮＮによる物体認識処理を行う機能部としての意味で示している。
　アプリケーションプロセッサ１０２については、データ分離処理４１を行うことを示している。データ分離処理４１は、センサ１０１からの情報の分離、特にＲＡＷ画像データと、認識情報及び撮影情報の分離を行う処理である。
　情報処理装置１０３については、画像保存用ＤＢ４２、算出処理４３、情報保存用ＤＢ４４、歪補正パラメータ算出処理４５、現像処理４６を示している。
　画像保存用ＤＢ４２はＲＡＷ画像データを保存するＤＢである。
　算出処理４３は、光学中心や個体調整値を算出する処理である。
　情報保存用ＤＢ４４は、撮影情報や認識情報を保存するＤＢである。
　歪補正パラメータ算出処理４５は、歪補正パラメータを算出する処理である。
　現像処理４６は、ＲＡＷ画像データに対して現像を行う処理である。
　この図６を用いて、図５の設定段階の処理、特に手順ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ６の流れを説明する。
　手順ＳＴ１の画像撮影として、格子画像などの所定の画像の撮像が撮像部２１で行われ、例えば格子画像を被写体としたＲＡＷ画像データがセンサ１０１から出力される。
　このＲＡＷ画像データが、手順ＳＴ２として、アプリケーションプロセッサ１０２を介して情報処理装置１０３にアップロードされる。
　なお、この手順ＳＴ１，ＳＴ２では撮像デバイス１００についてのデバイス情報も情報処理装置１０３に送信される。
　情報処理装置においては送信されてきたＲＡＷ画像データを画像保存用ＤＢ４２に取り込んだ後、そのＲＡＷ画像データを用いて、手順ＳＴ３としての算出処理４３を行う。
　すなわち算出処理４３では、光学中心や個体調整値を算出する。これらのいずれか一方のみの算出を行う場合もある。
　光学中心の算出処理の例を図７に示す。
　情報処理装置１０３のＣＰＵ７１（図４参照）は、ステップＳ２０１でＲＡＷ画像データ、つまり格子画像を処理対象として取得する。
　ステップＳ２０２でＣＰＵ７１は、光学中心の仮設定を行う。
　ステップＳ２０３でＣＰＵ７１は、仮設定した光学中心を用いて歪補正パラメータを作成する。
　ステップＳ２０４でＣＰＵ７１は、作成した歪補正パラメータを用いて歪補正を含む現像処理を行う。
　ステップＳ２０５でＣＰＵ７１は、現像した画像について格子情報の解析を行う。例えば格子が直線になっているかであるとか、格子が垂直に交差しているかなどを解析する。これはステップＳ２０２で仮設定した光学中心を用いた場合の歪補正の具合を確認するためである。
　ステップＳ２０６でＣＰＵ７１は、解析結果としての直線性や垂直交差の度合いを数値化した値と、それらに対応して設定されている閾値を比較し、閾値条件を満たすか否かを確認する。これはステップＳ２０２で仮設定した光学中心により、正しく歪補正が行われたか否かの確認を行うことを意味する。
　閾値を満たさなければＣＰＵ７１はステップＳ２０２に戻って光学中心の仮設定を行う。すなわち、それまでとは異なる光学中心の設定を行う。そしてステップＳ２０３以降の処理を行う。
　つまりＣＰＵ７１は、光学中心の仮設定を変更しながら、閾値条件を満たすまで、ステップＳ２０２からステップＳ２０５の処理を繰り返す。
　閾値条件を満たした時点で、そのとき仮設定されている光学中心は、処理対象としたＲＡＷ画像データにとって適切な光学中心となる。つまり、そのＲＡＷ画像データを撮像した撮像デバイス１００についての光学中心となる。
　算出処理４３として個体調整値を算出する場合は、例えばデバイス情報におけるＲＧＢ感度の情報などを用いて算出を行う。例えば色味調整のパラメータや、シェーディング補正のパラメータなどが個体調整値として算出できる。
　手順ＳＴ６に相当する処理として、算出された光学中心や個体調整値は、撮像デバイス１００のデバイス情報とともに情報保存用ＤＢ４４に記憶される。
　例えば算出された光学中心や個体調整値は、撮像デバイス１００の識別情報と関連づけられて保存されればよい。
　なお、手順ＳＴ４，ＳＴ５に相当する処理として、算出処理４３の段階でＲＡＷ画像データに基づいて撮像デバイス１００に関する設定値が算出され、センサ１０１の例えばＩＳＰ３２の処理のパラメータなどとしてフィードバックされる場合もある。
　続いて運用段階の処理の流れを説明する。
　図５の手順ＳＴ１１の画像撮影としての撮像が、図６の撮像部２１で行われる。
　また手順ＳＴ１２としてＲＡＷ画像データ、認識情報、撮影情報がアプリケーションプロセッサ１０２を介して情報処理装置１０３にアップロードされる。この場合の動作が以下のように行われる。
　なお、以下の手順ＳＴ１１，ＳＴ１２に相当する処理は、撮像される画像のフレーム毎に行われる。
　図６の撮像部２１による撮像によりＲＡＷ画像データと撮影情報が得られる。撮影情報は、実際には図２の撮像制御部２５の制御などによりレジスタ群２７に記憶される切り出し位置情報や水平垂直変換情報である。
　撮像により得られたＲＡＷ画像データはＩＳＰ３２において処理される。
　例えばＩＳＰ３２では図８のように、シェーディング補正６０、混色補正６１、デジタルゲイン６２、ホワイトバランスゲイン６３、デモザイク６４、ガンマ補正６５、正規化６６、歪補正６７を行って、認識処理のための入力画像データを生成する。
　またデジタルゲイン６２の処理を経た画像データについて検波６８を行い、検波結果を例えば撮像制御部２５によるフォーカス制御、アイリス制御等に用いるようにする。
　ＩＳＰ３２によって得られた認識処理のための入力画像データは、図６のようにＤＳＰ３３に送られてＤＮＮ処理対象とされる。
　そしてＤＳＰ３３によってＤＮＮ処理が行われ、認識情報が生成される。
　以上のように、撮像部２１からＲＡＷ画像データや撮影情報が出力され、ＤＳＰ３３から認識情報が出力され、これらは例えばＭＩＰＩによりアプリケーションプロセッサ１０２に送信される。
　アプリケーションプロセッサ１０２はＲＡＷ画像データ、撮影情報、認識情報についてデータ分離処理４１を行ったうえで情報処理装置１０３に送信する。
　データ分離処理４１の処理例を図９，図１０に示す。
　図９の処理例では、アプリケーションプロセッサ１０２は、ステップＳ１０１で、ＭＩＰＩで受信したデータのヘッダーのＶＣ／ＤＴを見てデータを分離する。ＶＣ／ＤＴは、ＶＣ（Virtual Channel Id)及びＤＴ（Data Type）の値によりデータ種別を示している。
　ＶＣ／ＤＴがＲＡＷ画像データ用の値であれば、アプリケーションプロセッサ１０２はステップＳ１０２で、画像保存用ＤＢ４２に保存するデータとして情報処理装置１０３へのデータ送信を行う。すなわちこの場合は、センサ１０１から送信されてきたＲＡＷ画像データを情報処理装置１０３に送信することになる。
　これに応じて情報処理装置１０３はＲＡＷ画像データを画像保存用ＤＢ４２に保存する。
　ステップＳ１０１で判定するＶＣ／ＤＴがメタデータ用の値であれば、センサ１０１から送信されてきた情報は撮影情報又は認識情報である。
　この場合、アプリケーションプロセッサ１０２はステップＳ１０３で、情報の変化の有無を確認する。例えば前回以前の直近に送信したＲＡＷ画像データのフレームにおける撮影情報、認識情報と比較して、今回の撮影情報又は認識情報の内容に変化がなければ、ステップＳ１０５に進んで、特に送信を行わずに図９の処理を終える。
　一方、前回以前の直近に送信したＲＡＷ画像データのフレームにおける撮影情報、認識情報と比較して、今回の撮影情報又は認識情報の内容に変化があった場合は。アプリケーションプロセッサ１０２はステップＳ１０４に進んで、今回の撮影情報又は認識情報を、情報保存用ＤＢ４４に保存するデータとして情報処理装置１０３に送信する。
　これに応じて情報処理装置１０３は撮影情報又は認識情報を情報保存用ＤＢ４４に保存する。
　図９の処理例によれば、アプリケーションプロセッサ１０２は、撮影情報や認識情報として変化があったフレームについて、これらを送信する。これにより、通信データ量や、情報処理装置１０３で管理するデータ量を削減できる。
　図１０はデータ分離処理４１としての他の処理例である。
　アプリケーションプロセッサ１０２は、ステップＳ１０１で、ＭＩＰＩで受信したデータのヘッダーのＶＣ／ＤＴを見てデータを分離する。
　ＶＣ／ＤＴがＲＡＷ画像データ用の値であれば、アプリケーションプロセッサ１０２はステップＳ１０２で、画像保存用ＤＢ４２に保存するデータとして情報処理装置１０３へＲＡＷ画像データの送信を行う。
　ステップＳ１０１で判定するＶＣ／ＤＴがメタデータ用の値であれば、センサ１０１から送信されてきた情報は撮影情報又は認識情報である。
　この場合、アプリケーションプロセッサ１０２はステップＳ１１０で、当該情報が切り出し位置情報又は水平垂直変換情報であるか否かを判定する。
　切り出し位置情報又は水平垂直変換情報であったら、アプリケーションプロセッサ１０２は、ステップＳ１１１で、これらの撮影情報と、認識情報とを、情報保存用ＤＢ４４に保存するデータとして情報処理装置１０３に送信する。
　これに応じて情報処理装置１０３は撮影情報と認識情報を情報保存用ＤＢ４４に保存する。
　切り出し位置情報又は水平垂直変換情報でなかった場合は、アプリケーションプロセッサ１０２は、ステップＳ１１２で、今回のフレームの認識情報を、情報保存用ＤＢ４４に保存するデータとして情報処理装置１０３に送信する。
　これに応じて情報処理装置１０３は認識情報を情報保存用ＤＢ４４に保存する。
　図１０の処理例によれば、アプリケーションプロセッサ１０２は、撮影情報として特に切り出し位置情報又は水平垂直変換情報がセンサ１０１から送信されてきた場合のみ、そのフレームについて撮影情報と認識情報を情報処理装置１０３に送信する。それ以外のフレームでは認識情報のみ情報処理装置１０３に送信する。これにより、フレーム毎に認識情報が情報処理装置１０３で管理されるとともに、撮影情報については、切り出し処理又は水平垂直変換処理が行われた場合のみ情報処理装置１０３で管理されるようになり、情報処理装置１０３で管理するデータ量を削減できる。
　運用段階の手順ＳＴ１１，ＳＴ１２として、撮像されるフレーム毎に、ここまでの説明のように処理が行われる。
　図１１に、手順ＳＴ１１，ＳＴ１２で送信される情報を示している。
　センサ１０１からアプリケーションプロセッサ１０２に対しては、ＭＩＰＩデータとしてＲＡＷ画像データ、撮影情報、認識情報が送信される。
　アプリケーションプロセッサ１０２から情報処理装置１０３に対しては、ファイルデータとしてＲＡＷ画像データ、撮影情報、認識情報が送信される。これらは１つのファイルとして送信されてもよいが、分割してそれぞれのファイルとして送信してもよい。図８，図９の処理は分割して送信する例の処理である。
　情報処理装置１０３では、上述のように撮像デバイス１００からの送信に応じて、手順ＳＴ１３として、図６の画像保存用ＤＢ４２へのＲＡＷ画像データの記憶や、情報保存用ＤＢ４４への撮影情報や認識情報の記憶を行う。
　その後、情報処理装置１０３は任意の時点で手順ＳＴ１４としての図６の歪補正パラメータ算出処理４５を行うことができる。これは情報保存用ＤＢ４４に保存された光学中心の情報を用いてＲＡＷ画像データに対する歪補正パラメータを算出する。
　また情報処理装置１０３は任意の時点で手順ＳＴ１５としての現像処理４６を行うことができる。これは、画像保存用ＤＢ４２に保存されたＲＡＷ画像データの現像処理である。なお現像処理としては図８で説明した処理内容とほぼ同様の処理が行われることが考えられる。例えばシェーディング補正６０から歪補正６７までの処理が行われる。
　このような処理を図６の現像処理４６として行う際に、歪補正パラメータ算出処理４５で算出された歪補正パラメータ等を用いる。
　現像処理４６の対象となるＲＡＷ画像データが画像保存用ＤＢ４２に保存されている場合、そのＲＡＷ画像データを撮像した撮像デバイス１００についてのデバイス情報に関連づけられて光学中心の情報及び個体調整値が、情報保存用ＤＢ４４に保存されている。またＲＡＷ画像データのフレーム毎に関連づけられて、撮影情報と認識情報又はその一方が情報保存用ＤＢ４４に保存されている。
　歪補正パラメータ算出処理４５では、デバイス情報におけるレンズデータ、光学中心の情報及び個体調整値、撮影情報、認識情報を用いて歪補正パラメータを算出する。
　図１２に歪補正パラメータの算出処理例を示す。
　情報処理装置１０３のＣＰＵ７１はステップＳ３０１で、レンズデータと、光学中心の情報を基にして歪補正パラメータを算出する。
　この算出された歪補正パラメータは、エッジ用、つまり撮像デバイス１００で用いられる歪補正パラメータとなる。例えば情報処理装置１０３は、このエッジ用の歪補正パラメータを、ＩＳＰ３２における歪補正６７で用いる歪補正パラメータとして撮像デバイス１００にフィードバックすることができる。
　ステップＳ３０２でＣＰＵ７１は、レンズデータと光学中心の情報に加えて、撮影情報（切り出し位置情報、水平垂直変換情報）を用いてＲＡＷ画像データ用の歪補正パラメータを作成する。これは情報処理装置１０３側でのＲＡＷ画像データに対する歪補正に用いるパラメータである。
　ステップＳ３０４でＣＰＵ７１は、認識情報、例えばＤＳＰ３３によるＤＮＮ結果を用いて、広角歪み補正を加味したＲＡＷ画像データ用の歪補正パラメータを作成する。
　例えば立体物の被写体が画像の隅に或る場合に歪補正を行うと、その立体物の形状が、本来の形ではない状態に変形される。特に歪補正を精密に行うと広角歪みが出ることがある。
　そこでステップＳ３０４では、被写体の認識結果に応じて処理を切り替える。
　このステップＳ３０４の処理例を図１３に示す。
　情報処理装置１０３のＣＰＵ７１は、ステップＳ３４０で認識情報について判定処理を行う。例えば認識された物体の種別（クラス）や、物体の画像内での位置などを判定する。
　ステップＳ３４１でＣＰＵ７１は、画像における像高の高い位置に立体物としての被写体が存在するか否かを判定する。
　存在する場合は、ＣＰＵ７１はステップＳ３４３に進み、広角歪みを発生させないために水平方向のみの補正を行う歪補正パラメータを生成する。
　像高の高い位置に立体物としての被写体が存在しない場合は、水平・垂直の両方に対して歪補正を行う歪補正パラメータを生成する。
　このように認識情報に応じて処理を切り替えることで、広角歪みが発生しない歪補正を行うことができるようにする。
　情報処理装置１０３は、図６の歪補正パラメータ算出処理４５として、以上のような処理で歪補正パラメータを生成したら、その歪補正パラメータを用いて現像処理４６を行うことができる。これにより、情報処理装置１０３側でも、ＲＡＷ画像データに対して適切な歪補正ができるようになる。
　さらに現像処理４６では、情報保存用ＤＢ４４から読み出した個体調整値の情報を用いて、シェーディング補正や色調整等の処理を行うことができる。つまり、処理対象のＲＡＷ画像データの撮像元である撮像デバイス１００の個体に合わせた現像処理を行うことができる。
　なお、歪補正パラメータ算出処理４５では、歪補正パラメータの算出に加えて、例えば個体調整値を用いて現像処理で用いるパラメータを算出してもよい。例えば情報保存用ＤＢ４４から読み出した個体調整値が現像処理に用いるパラメータそのものであるときは、加えてパラメータ算出を行う必要は無いが、個体調整値に基づいて現像処理に用いるパラメータを算出するものとしてもよい。
　現像処理４６により，現像後の画像データ、例えばＪＰＥＧ画像データやビットマップ画像データなどが得られる。
　このような画像データに対して、必要に応じて、また提供するサービス内容に応じて、情報処理装置１０３が図５に示した手順ＳＴ１６，ＳＴ１７，ＳＴ１８の処理を行う場合がある。
　また、手順ＳＴ１８に関しては、歪補正パラメータ算出処理で算出した歪補正パラメータを、情報保存用ＤＢ４４に記憶し、何らかの時点でセンサ１０１にフィードバックしてＩＳＰ３２における歪補正処理に適用できるようにしてもよい。
＜５．第２の実施の形態＞
　第２の実施の形態の処理の流れを図１４に示す。図１４は図６と同様の形式で処理の流れを示している。
　図６では画像保存用ＤＢ４２と情報保存用ＤＢ４４を分けてデータ保存を行ったが、図１４は、情報処理装置１０３における手順ＳＴ６や手順ＳＴ１３においてＤＢ４７にまとめてデータ保存を行う例である。
　すなわち、ＤＢ４７において、撮像デバイス１００のデバイス情報に関連づけて、その光学中心の情報や個体調整値が記憶される。
　またＲＡＷ画像データが記憶されるとともに、ＲＡＷ画像データのフレーム毎に、撮影情報、認識情報が記憶される。
　設定段階では、算出処理４３として撮像デバイス１００によって撮像された格子画像などの画像データから図７のように光学中心が算出される。そして撮像デバイス１００のデバイス情報に関連づけて、その光学中心の情報や個体調整値が記憶される。
　運用段階では、ＤＢ４７から読み出されるＲＡＷ画像データのフレーム毎に、図１２のように、レンズデータ、光学中心、撮影情報、認識情報を用いて歪補正パラメータ算出処理４５が行われる。そして算出された歪補正パラメータや、ＤＢ４７から読み出された個体調整値を用いた現像処理４６が行われる。
＜６．まとめ及び変形例＞
　実施の形態で説明した技術によれば、以下のような効果が得られる。
　実施の形態の情報処理装置１０３は、ＲＡＷ画像データの撮像を行う撮像デバイス１００の個体情報として例えば光学中心の情報や個体調整値等、ＲＡＷ画像データの画像処理パラメータの設定に用いる情報を取得し、これらの個体情報を撮像デバイス１００に関連づけて記憶する第１処理を行う。つまり図５の手順ＳＴ６の処理である。
　外部の撮像デバイス１００からＲＡＷ画像データを受信する情報処理装置１０３を想定した場合に、撮像デバイス１００の個体情報を、撮像デバイス１００に関連づけて管理する。
　これにより、ＲＡＷ画像データのフレーム毎に幾何変形パラメータ等を記憶・管理する必要をなくし、データサイズの拡大を抑えることができる。
　実施の形態では、個体情報は撮像デバイス１００の光学中心の情報である例を挙げた。
　これにより撮像デバイス１００の個体に応じたレンズ歪補正パラメータを算出できる。ＲＡＷ画像データのフレーム毎ではなく、撮像デバイス１００の個体に関連づけて光学中心の情報を管理することで、現像処理に用いるために記憶しておく情報の情報量を削減できる。即ちフレーム毎に幾何変形パラメータを記憶しておく必要は無い。
　実施の形態では、撮像デバイス１００の光学中心の情報を、撮像デバイス１００から受信した画像データを用いて算出して取得する例を挙げた（図７参照）。
　設定段階における撮像デバイス１００により撮像された画像、例えば格子画像の画像データを用いて、その撮像デバイス１００の光学中心の情報を算出して取得することができる。
　実施の形態では、個体情報は撮像デバイス１００の個体調整値の情報である例を挙げた。
　これにより情報処理装置１０３側で撮像デバイス１００の個体に応じた画像処理を行うためのパラメータを設定できる。
　例えば撮像デバイス１００の個体に応じた画像処理としての色味補正やシェーディング補正などに関するパラメータを算出できる。従ってクラウド側で撮像デバイス１００に応じた画像処理を行うことができる。またエッジ側にパラメータをフィードバックすることも可能である。
　個体調整値としては色味調整のパラメータや、シェーディング補正のパラメータを例示したが、これら以外の情報も考えられる。例えばホワイトバランスゲイン、ガンマカーブなどのパラメータも考えられる。
　実施の形態では、ＲＡＷ画像データのフレーム毎の撮影情報を保存する第２処理を行う例を挙げた。つまり図５の手順ＳＴ１３における撮影情報の保存の処理である。
　これによりフレーム毎の撮影時の処理に関する情報を管理でき、その後の処理に利用できるようになる。例えば歪補正パラメータの算出や色調整処理、シェーディング補正処理、輝度調整処理、などの各種画像処理に、撮影時の処理の情報を利用できる。
　実施の形態では、撮影情報は、ＲＡＷ画像データの切り出し位置情報である例を挙げた。
　撮像デバイス１００側からのＲＡＷ画像データに関して切り出し位置情報がフレーム毎に管理されることで、フレーム毎に適切な補正パラメータを算出できる。
　例えば安価な撮像デバイス１００などの事情で光学中心と画像中心がずれている場合において、撮像された画像データの切り出し位置を加味した計算を行うことで精度の高い歪補正パラメータを算出できる。また撮像デバイス１００においてブレ補正機能などでフレーム毎に切り出し位置を調整するような場合も、光軸中心と画像中心がフレーム毎にずれるため、各フレームの切り出し位置情報が管理されることで、高精度な歪補正パラメータを算出できるようになる。
　実施の形態では、撮影情報は、ＲＡＷ画像データの水平垂直回転情報である例を挙げた。
　撮像デバイス１００側で撮像されたＲＡＷ画像データについての水平－垂直の回転処理の情報がフレーム毎に管理されることで、フレーム毎に、その水平垂直回転処理を反映した適切な補正パラメータを算出できる。
　実施の形態では、ＲＡＷ画像データのフレーム毎の画像の認識情報を保存する第３処理を行う例を挙げた。つまり図５の手順ＳＴ１３における認識情報の保存の処理である。
　これによりフレーム毎の撮像画像の認識情報、例えば被写体の種別、シーン種別、構図などに関する情報を管理でき、その後の処理に利用できるようになる。例えば歪補正パラメータの算出や色調整処理、シェーディング補正処理、輝度調整処理、などの各種画像処理に認識情報を利用できる。
　実施の形態では、認識情報は画像の被写体についての物体認識の結果を示す情報である例を挙げた。
　撮像デバイス１００側で撮像されたＲＡＷ画像の被写体の物体認識結果、例えばＤＮＮ処理の結果がフレーム毎に管理されることで、フレーム毎に、その認識結果に応じた適切な歪補正パラメータを算出できる。例えば図１２，図１３で述べたように立体物に応じて歪補正パラメータの算出方式を切り替えることで、広角ひずみが生じないような歪補正パラメータを算出できるようになる。
　実施の形態では、個体情報を用いて歪補正パラメータを算出する第４処理を行う例を挙げた。つまり図５の手順ＳＴ１４の処理である。
　図１２で説明したように、個体情報としての光学中心の情報を用いて歪補正パラメータ（エッジ用、ＲＡＷ用）を算出する。これによりＲＡＷ画像について、その撮影元である撮像デバイス１００に応じた歪補正パラメータを算出できる。
　実施の形態では、個体情報及び撮影情報を用いて歪補正パラメータを算出する例を挙げた。
　図１２のステップＳ３０２で撮影情報を反映した歪補正パラメータ（ＲＡＷ用）を算出している。これによりクラウド側で、フレーム毎の撮影情報を反映させた歪補正ができるようになる。
　実施の形態では、個体情報及び認識情報を用いて歪補正パラメータ算出する例を挙げた。
　図１２のステップＳ３０４で認識情報を反映した歪補正パラメータ（ＲＡＷ用）を算出している。これによりクラウド側で、フレーム毎の画像の認識情報を反映させた歪補正ができるようになる。例えば像高の高い箇所に立体物の存在によって広角歪みが生じないような歪補正パラメータを算出することができる。
　実施の形態では、第４処理で算出した歪補正パラメータを用いてＲＡＷ画像データを現像する第５処理を行う例を挙げた。つまり図５の手順ＳＴ１５の処理である。
　即ちクラウド側の情報処理装置１０３において、図６や図１４における現像処理４６を行う。これによりエッジ側で撮像したＲＡＷ画像について、クラウド側で視認可能な画像データ、例えばＪＰＥＧ画像データやビットマップ画像データなどを生成し、ユーザに提供することができる。
　なお図６や図１４で説明したクラウド側の処理は、１つの情報処理装置１０３で行われてもよいし、複数の情報処理装置１０３によって分散されて実行されてもよい。
　第１処理（手順ＳＴ６）、第２処理（手順ＳＴ１３の撮影情報の保存）、第３処理（手順ＳＴ１３の認識情報の保存）、第４処理（手順ＳＴ１４）、第５処理（手順ＳＴ１５）は、それぞれが、もしくは一部が、別体の情報処理装置１０３によって実行されてもよい。
　運用段階の第２処理から第５処理は、時系列的に連続して行われるものでもよいし、連続的に行われなくてもよい。
　本開示の技術は、クラウドコンピューティングに限らず、撮像装置（カメラ）と別体の情報処理装置でＲＡＷ画像を扱う場合に広く適用できる。
　例えばデジタルカメラと有線又は無線でデータ通信可能に接続される情報処理装置、画像処理装置、画像編集装置などにおいて、上述の実施の形態で説明したクラウド側の情報処理装置１０３と同様の処理を行うことができる。この場合も、ＲＡＷ画像データに対して適切に歪補正や画像処理を行うことができるとともに、幾何変形パラメータ等をフレーム毎に記憶しなくてもよく、データ量の削減効果を得ることができる。
　実施の形態のプログラムは、上述の図５，図６，図１４で説明した情報処理方法を実現する処理を例えばＣＰＵ、ＤＳＰ、ＧＰＵ、ＧＰＧＰＵ、ＡＩプロセッサ等、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、ＲＡＷ画像データの撮像を行う撮像デバイス１００について、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、個体情報を撮像デバイス１００に関連づけて記憶する処理を情報処理装置１０３に実行させるプログラムである。
　このようなプログラムにより本開示でいう情報処理装置１０３を各種のコンピュータ装置により実現できる。
　これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
　またこのようなプログラムによれば、本開示の情報処理装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの機器を本開示の情報処理装置として機能させることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
　なお本技術は以下のような構成も採ることができる。
　（１）
　情報処理装置が、
　ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する第１処理を行う
　情報処理方法。
　（２）
　前記個体情報は、前記撮像デバイスの光学中心の情報である
　上記（１）に記載の情報処理方法。
　（３）
　撮像デバイスの光学中心の情報を、撮像デバイスから受信した画像データを用いて算出して取得する
　上記（２）に記載の情報処理方法。
　（４）
　前記個体情報は、前記撮像デバイスの画像処理に調整値の情報である
　上記（１）から（３）のいずれかに記載の情報処理方法。
　（５）
　ＲＡＷ画像データのフレーム毎の撮影情報を保存する第２処理を、さらに行う
　上記（１）から（４）のいずれかに記載の情報処理方法。
　（６）
　前記撮影情報は、ＲＡＷ画像データの切り出し位置情報である
　上記（５）に記載の情報処理方法。
　（７）
　前記撮影情報は、ＲＡＷ画像データの水平垂直回転情報である
　上記（５）又は（６）に記載の情報処理方法。
　（８）
　ＲＡＷ画像データのフレーム毎の画像の認識情報を保存する第３処理を、さらに行う
　上記（１）から（７）のいずれかに記載の情報処理方法。
　（９）
　前記認識情報は画像の被写体についての物体認識の結果を示す情報である
　上記（８）に記載の情報処理方法。
　（１０）
　前記個体情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
　上記（１）から（９）のいずれかに記載の情報処理方法。
　（１１）
　前記個体情報及び前記撮影情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
　上記（５）から（７）のいずれかに記載の情報処理方法。
　（１２）
　前記個体情報及び前記認識情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
　上記（８）又は（９）に記載の情報処理方法。
　（１３）
　前記第４処理で算出した歪補正パラメータを用いてＲＡＷ画像データを現像する第５処理を、さらに行う
　上記（１０）から（１２）のいずれかに記載の情報処理方法。
　（１４）
　ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理部を備えた
　情報処理装置。
　（１５）
　ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理を
　情報処理装置に実行させるプログラム。
２０　撮像ブロック
２１　撮像部
２２　撮像処理部
２３　出力制御部
２５　撮像制御部
３０　信号処理ブロック
３１　ＣＰＵ
３２　ＩＳＰ
３３　ＤＳＰ
３７　メモリ
４１　データ分離処理
４２　画像保存用ＤＢ
４３　算出処理
４４　情報保存用ＤＢ
４５　歪補正パラメータ算出処理
４６　現像処理
４７　ＤＢ
７１　ＣＰＵ
１００　撮像デバイス
１０１　センサ
１０２　アプリケーションプロセッサ
１０３　情報処理装置
１０４　ネットワーク
１０５ 光学系

Claims (15)

  1. 　情報処理装置が、
    　ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する第１処理を行う
    　情報処理方法。
  2. 　前記個体情報は、前記撮像デバイスの光学中心の情報である
    　請求項１に記載の情報処理方法。
  3. 　撮像デバイスの光学中心の情報を、撮像デバイスから受信した画像データを用いて算出して取得する
    　請求項２に記載の情報処理方法。
  4. 　前記個体情報は、前記撮像デバイスの画像処理に調整値の情報である
    　請求項１に記載の情報処理方法。
  5. 　ＲＡＷ画像データのフレーム毎の撮影情報を保存する第２処理を、さらに行う
    　請求項１に記載の情報処理方法。
  6. 　前記撮影情報は、ＲＡＷ画像データの切り出し位置情報である
    　請求項５に記載の情報処理方法。
  7. 　前記撮影情報は、ＲＡＷ画像データの水平垂直回転情報である
    　請求項５に記載の情報処理方法。
  8. 　ＲＡＷ画像データのフレーム毎の画像の認識情報を保存する第３処理を、さらに行う
    　請求項１に記載の情報処理方法。
  9. 　前記認識情報は画像の被写体についての物体認識の結果を示す情報である
    　請求項８に記載の情報処理方法。
  10. 　前記個体情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
    　請求項１に記載の情報処理方法。
  11. 　前記個体情報及び前記撮影情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
    　請求項５に記載の情報処理方法。
  12. 　前記個体情報及び前記認識情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
    　請求項８に記載の情報処理方法。
  13. 　前記第４処理で算出した歪補正パラメータを用いてＲＡＷ画像データを現像する第５処理を、さらに行う
    　請求項１０に記載の情報処理方法。
  14. 　ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理部を備えた
    　情報処理装置。
  15. 　ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理を
    　情報処理装置に実行させるプログラム。
PCT/JP2022/011244 2021-04-12 2022-03-14 情報処理方法、情報処理装置、プログラム WO2022219985A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/551,947 US20240171867A1 (en) 2021-04-12 2022-03-14 Information processing apparatus, information processing method, and program
CN202280025915.0A CN117178563A (zh) 2021-04-12 2022-03-14 信息处理方法、信息处理装置和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-067271 2021-04-12
JP2021067271A JP2022162426A (ja) 2021-04-12 2021-04-12 情報処理方法、情報処理装置、プログラム

Publications (1)

Publication Number Publication Date
WO2022219985A1 true WO2022219985A1 (ja) 2022-10-20

Family

ID=83640334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011244 WO2022219985A1 (ja) 2021-04-12 2022-03-14 情報処理方法、情報処理装置、プログラム

Country Status (4)

Country Link
US (1) US20240171867A1 (ja)
JP (1) JP2022162426A (ja)
CN (1) CN117178563A (ja)
WO (1) WO2022219985A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121837A1 (ja) * 2010-03-29 2011-10-06 富士フイルム株式会社 立体撮像装置、画像再生装置及び編集ソフトウエア
JP2017126352A (ja) * 2012-01-31 2017-07-20 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
US20170301060A1 (en) * 2016-04-19 2017-10-19 Avisonic Technology Corporation Image processing method and portable electronic apparatus
WO2018211780A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121837A1 (ja) * 2010-03-29 2011-10-06 富士フイルム株式会社 立体撮像装置、画像再生装置及び編集ソフトウエア
JP2017126352A (ja) * 2012-01-31 2017-07-20 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
US20170301060A1 (en) * 2016-04-19 2017-10-19 Avisonic Technology Corporation Image processing method and portable electronic apparatus
WO2018211780A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 撮像装置

Also Published As

Publication number Publication date
US20240171867A1 (en) 2024-05-23
CN117178563A (zh) 2023-12-05
JP2022162426A (ja) 2022-10-24

Similar Documents

Publication Publication Date Title
JP4943721B2 (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
US20140244858A1 (en) Communication system and relaying device
US20230171414A1 (en) Video compression apparatus, electronic apparatus, and video compression program
US20100149367A1 (en) Digital image signal processing apparatus and method of displaying scene recognition
WO2020170606A1 (ja) 画像処理装置、画像処理方法、プログラム
US8063956B2 (en) Image pickup device, image pickup method and integrated circuit
CN102547086B (zh) 摄像装置、摄像控制方法及程序产品
WO2022004353A1 (ja) 撮像装置、送出方法、送出装置、クラウドサーバ及び撮像システム
US11831995B2 (en) Image capturing apparatus, image capturing method, and carrier means
WO2022219985A1 (ja) 情報処理方法、情報処理装置、プログラム
EP3963877A1 (en) Removal of image capture device from omnidirectional image created by stitching partial images
JP5083181B2 (ja) デジタルカメラ
JP2007202050A (ja) 画像生成装置および画像生成プログラム
WO2021187121A1 (ja) 固体撮像装置
US20040021789A1 (en) Photographing system
JP4429148B2 (ja) 画像撮影記録装置及び方法
JPH11177868A (ja) 撮像方法及び再生方法とその装置
CN115280760A (zh) 固态成像装置
JP5906846B2 (ja) 電子カメラ
WO2022195909A1 (ja) 画像処理装置、画像処理方法、プログラム
WO2022244351A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2010183254A (ja) 撮像装置および被写体検出プログラム
JP2006217111A (ja) 動画撮影装置、及び動画撮影方法
JP2006186796A (ja) 撮影装置、撮影方法および撮影プログラム
JP4185780B2 (ja) サムネイル画像作成装置及びサムネイル画像作成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22787911

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18551947

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22787911

Country of ref document: EP

Kind code of ref document: A1