WO2017168949A1 - 情報処理装置、撮像装置、画像再生装置、および方法とプログラム - Google Patents

情報処理装置、撮像装置、画像再生装置、および方法とプログラム Download PDF

Info

Publication number
WO2017168949A1
WO2017168949A1 PCT/JP2017/001197 JP2017001197W WO2017168949A1 WO 2017168949 A1 WO2017168949 A1 WO 2017168949A1 JP 2017001197 W JP2017001197 W JP 2017001197W WO 2017168949 A1 WO2017168949 A1 WO 2017168949A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
imaging
specific area
specific
Prior art date
Application number
PCT/JP2017/001197
Other languages
English (en)
French (fr)
Inventor
小川　浩司
充 勝股
博文 島田
雄太 村田
中野　雄彦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17773499.3A priority Critical patent/EP3439281A4/en
Priority to CN201780019393.2A priority patent/CN108886580A/zh
Priority to JP2018508413A priority patent/JP7056554B2/ja
Priority to US16/078,745 priority patent/US10878545B2/en
Publication of WO2017168949A1 publication Critical patent/WO2017168949A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • This technology is in an information processing device, an imaging device, an image reproducing device, a method, and a program, and can easily process an image of a desired imaging region in a composite image obtained by connecting captured images acquired by a plurality of imaging units.
  • a wide-angle image is generated using a plurality of images having different imaging directions.
  • a plurality of image pickup units are picked up in different directions, and the obtained picked-up images are connected using the technique disclosed in Patent Document 1, so that the picked-up images are continuous without causing image shift.
  • a composite image is being generated.
  • the omnidirectional image which shows an omnidirectional sphere is produced
  • JP 2000-215317 A Japanese Patent Laid-Open No. 2001-298652
  • an image in a part of the imaging region may be deleted or replaced.
  • an unintended subject such as a photographer or equipment used at the time of imaging
  • a specific area that is a target area for image deletion or replacement is determined based on an image
  • the specific area is determined based on the image from the composite image, the specific area must be determined based on the image for each frame if the composite image is a moving image. become longer.
  • an information processing apparatus an imaging apparatus, an image reproduction apparatus, and a method that can easily process an image of a desired imaging area in a composite image obtained by connecting captured images acquired by a plurality of imaging units, and The purpose is to provide a program.
  • a first aspect of the technology is information including a specific area information generation unit that generates specific area information indicating a specific area corresponding to a specific imaging area in a composite image obtained by connecting captured images acquired by a plurality of imaging units.
  • a specific area information generation unit that generates specific area information indicating a specific area corresponding to a specific imaging area in a composite image obtained by connecting captured images acquired by a plurality of imaging units.
  • specific area information indicating a specific area corresponding to a specific imaging area in a composite image obtained by connecting captured images acquired by a plurality of imaging units is generated by a specific area information generation unit.
  • the imaging information generation unit generates imaging information indicating imaging position information, imaging direction, imaging range, and time information of the imaging unit.
  • the specific area information includes not only the specific area in the composite image but also the application time of image processing for the specific area or the imaging position to which the image processing is applied, including the application range information.
  • the specific imaging region is, for example, a region captured by a specific imaging unit in a plurality of imaging units, a specified imaging region indicated by an azimuth and an elevation angle, or an imaging region specified by an apex angle and a sitting angle. .
  • a composite setting information generation unit that generates composite setting information for continuously connecting the captured images acquired by the plurality of imaging units without causing image shift is provided.
  • the captured image composition unit that generates the composite image generates a composite image based on a predetermined imaging direction based on the composite setting information generated by the composite setting information generation unit.
  • an output unit is provided that outputs the synthesized image in association with the specific area information.
  • the specific area information generation unit generates specific area information for each restriction level when reproducing the composite image, specific area information with the specific image area including the predetermined captured image as a specific area, and voice data. It is also possible to generate specific area information based on text data, specific area information based on acquired command information, or specific area information based on imaging information and subject position information.
  • the information processing method includes generating specific area information indicating a specific area of the composite image corresponding to the specific imaging area by a specific area information generation unit.
  • a third aspect of the technology is a program that generates information related to a composite image obtained by connecting captured images acquired by a plurality of imaging units, using a computer, The program for realizing the function of generating the specific area information indicating the specific area of the composite image corresponding to the specific imaging area by the computer.
  • the fourth aspect of this technology is A plurality of imaging units; A captured image combining unit that combines the captured images acquired by the plurality of imaging units to generate a combined image;
  • the imaging apparatus includes a specific area information generation unit that generates specific area information indicating a specific area of the composite image corresponding to the specific imaging area.
  • a composite image is generated by stitching together captured images with different imaging directions acquired by a plurality of imaging units. Further, specific area information indicating a specific area corresponding to the specific imaging area in the composite image is generated. Furthermore, the captured image composition unit performs image processing of a specific area in the composite image based on the generated specific area information. Alternatively, the composite image and the specific area information are output in association with each other.
  • the fifth aspect of this technology is An image reading unit for reading a composite image generated by connecting a plurality of captured images; An information reading unit that reads specific area information indicating a specific area corresponding to a specific imaging area in the composite image;
  • the image reproduction apparatus includes a reproduction control unit that performs reproduction control on a specific area indicated by the specific area information read by the information reading unit in the composite image read by the image reading unit.
  • a composite image generated by connecting a plurality of captured images and specific area information indicating a specific area corresponding to the specific image capture area in the composite image are acquired.
  • invalidation processing or enhancement processing is performed on the specific area indicated by the specific area information in the acquired composite image.
  • the invalidation process for example, a process of synthesizing the texture indicated by the specific area information with the image of the specific area, or a process of stopping or replacing output of the image of the specific area with invalid data is performed.
  • FIG. 1 exemplifies a configuration of an imaging apparatus using the information processing apparatus of the present technology.
  • the imaging device 10 includes a captured image acquisition unit 11, an imaging information generation unit 12, a combination setting information generation unit 13, and a specific area information generation unit 14.
  • the imaging apparatus 10 includes a captured image composition unit 21, an encoding processing unit 22, and an output unit 23.
  • the imaging device 10 may be provided with a storage unit (for example, a recording medium) 31 that is fixed or detachable. The case where the storage unit 31 is used will be described later.
  • the captured image acquisition unit 11 includes a plurality of imaging units 11-1 to 11-n.
  • the image capturing units 11-1 to 11-n combine the captured images acquired by the image capturing units 11-1 to 11-n so that the captured images are continuous without causing image shift.
  • the imaging range and the physical layout of the imaging units 11-1 to 11-n are set so that an image can be generated.
  • the captured image acquisition unit 11 includes the time code supplied from the time code generation unit 121 of the imaging information generation unit 12 in the image data of the captured images acquired by the imaging units 11-1 to 11-n. To 21. Note that the composite image may be an image having a wider angle of view than the captured image obtained by one imaging unit.
  • an omnidirectional image an image in which the imaging range is narrower than the omnidirectional image (eg, a hemispherical image), an image in which the imaging range in one or both of the horizontal direction and the vertical direction is expanded, and the like.
  • the imaging information generation unit 12 generates imaging information including an imaging position, an imaging direction, an imaging range, and time information.
  • the imaging information generation unit 12 includes a time code generation unit 121, a clock unit 122, a sensor unit 123, and an information generation processing unit 124.
  • the time code generation unit 121 generates a time code and outputs the time code to the captured image acquisition unit 11 and the information generation processing unit 124.
  • the clock unit 122 generates time information and outputs the time information to the information generation processing unit 124.
  • the sensor unit 123 is configured using a position sensor, an altitude sensor, an azimuth sensor, an elevation angle sensor, and the like.
  • the sensor unit 123 includes, for example, imaging position information indicating the latitude, longitude, and altitude of the imaging device 10 (or the captured image acquisition unit 11 when the captured image acquisition unit 11 is separable from the main body of the imaging device 10), and the imaging device 10. Attitude information indicating the azimuth and the elevation angle to which (or, for example, any one reference imaging unit of the imaging image acquisition unit 11) is generated is generated.
  • the sensor unit 123 outputs imaging position information and posture information to the information generation processing unit 124.
  • the information generation processing unit 124 uses a time code, time information, imaging position information, and orientation information, and will be described later, which is generated by the captured image acquired by the captured image acquisition unit 11 or the captured image combining unit 21.
  • Imaging information that is meta-information related to the composite image is generated.
  • the imaging information has common data and time series data.
  • the common data is information that does not depend on time, and is generated, for example, at the start of imaging or before the start of imaging.
  • the time-series data is information that depends on time, and is generated using imaging position information and posture information that may change with the passage of time together with a time code that is time information. Further, the time series data is periodically generated at predetermined time intervals.
  • the imaging information generation unit 12 outputs the generated imaging information to the output unit 23.
  • the combination setting information generation unit 13 generates combination setting information for connecting the captured images so as to be continuous without causing image shift in the stitching process of images performed by the captured image combining unit 21.
  • the combination setting information generation unit 13 includes physical layout information of the imaging units 11-1 to 11-n used in the captured image acquisition unit 11, and the focal point of the lens used in the imaging units 11-1 to 11-n. Based on lens information indicating distance, information on a projection method for projecting a wide-angle image such as an omnidirectional image on a two-dimensional plane, image size information of an image projected on a two-dimensional plane, etc., as described later, composition setting information Is generated.
  • Information used for generating the synthesis setting information may be input by the user, or may be automatically acquired by the synthesis setting information generation unit 13. For example, communication with the imaging units 11-1 to 11-n may be performed, and lens information may be automatically acquired and used to generate synthesis setting information.
  • the composition setting information generation unit 13 outputs the composition setting information to the captured image composition unit 21 and the specific area information generation unit 14.
  • the specific area information generation unit 14 generates specific area information indicating a specific area corresponding to the specific imaging area in the composite image obtained by connecting the captured images acquired by the imaging units 11-1 to 11-n.
  • the specific imaging area is, for example, an imaging area of a subject that is not intended.
  • the specific imaging region is identified by any specific imaging unit in the imaging units 11-1 to 11-n by specifying identification information individually assigned to the imaging units 11-1 to 11-n in advance.
  • Area is an imaging area specified by an apex angle and a sitting angle of a coordinate system based on an imaging position (hereinafter referred to as “camera coordinate system”), or an imaging area specified by a real world azimuth and elevation angle. It is good.
  • the specific area information generation unit 14 sets a set of coordinates indicating the specific area corresponding to the specific imaging area in the composite image as the area setting information.
  • the specific area information generation unit 14 synthesizes the imaging areas when the specific imaging area is an area captured by the imaging section specified by the identification information or an imaging area specified by the apex angle and the sitting angle of the camera coordinate system. Using setting information, it is converted into two-dimensional coordinates of a specific area in the composite image.
  • the specific area information generation unit 14 acquires imaging information from the imaging information generation unit 12 (not shown) and acquires the acquired imaging Using the information, the imaging area specified by the azimuth and the elevation angle is converted into the imaging area of the camera coordinate system. Further, the specific area information generation unit 14 converts the imaged area of the camera coordinate system after the conversion into two-dimensional coordinates of the specific area in the composite image using the composite setting information.
  • the specific area information generation unit 14 generates application range information indicating the application range of the image processing for the specific area indicated by the area setting information.
  • the specific area information generation unit 14 outputs specific area information including area setting information and application range information to the captured image synthesis unit 21 or the output unit 23.
  • the specific area information is meta information related to a captured image acquired by the captured image acquisition unit 11 or a composite image (described later) generated by the captured image composition unit 21.
  • the captured image combining unit 21 is acquired by the imaging units 11-1 to 11-n based on the image data of the captured image output from the captured image acquisition unit 11 and the composite setting information output from the composite setting information generation unit 13.
  • the synthesized images are connected to generate a two-dimensional plane composite image.
  • the captured image combining unit 21 outputs the generated image data of the combined image to the encoding processing unit 22.
  • the captured image composition unit 21 outputs the generated composite image from the specific area information generation unit 14.
  • the image processing of the specific area is performed based on the specific area information.
  • the captured image combining unit 21 outputs the image data of the combined image that has been subjected to the image processing of the specific area to the encoding processing unit 22.
  • the encoding processing unit 22 performs image encoding processing and generates encoded data in which the data amount is compressed. For example, when the composite image is a moving image, the encoding processing unit 22 performs the H.264 encoding process. H.265 (ISO / IEC 23008-2 HEVC) and H.264. Processing for generating encoded data in accordance with a standard such as H.264 / AVC is performed. The encoding processing unit 22 outputs the generated encoded data to the output unit 23.
  • the output unit 23 outputs the encoded data of the composite image and the meta information in association with each other.
  • the output unit 23 for example, the imaging information generated by the imaging information generation unit 12 or the specification generated by the specific region information generation unit 14
  • the region information is multiplexed with the encoded data to generate multiplexed data.
  • the output unit 23 multiplexes the imaging information generated by the imaging information generation unit 12 with the encoded data, for example, when the encoded data of the composite image is subjected to image processing on a specific area. Data may be generated.
  • the output unit 23 outputs the generated multiplexed data and the encoded data of the composite image in which the image processing is performed on the specific region to an external device or the like via the transmission path.
  • the storage unit 31 may store the image data of the captured image acquired by the captured image acquisition unit 11, and the composite image image data generated by the captured image combining unit 21.
  • the encoded data generated by the encoding processing unit 22 may be stored.
  • the storage unit 31 includes meta information such as imaging information generated by the imaging information generation unit 12, synthesis setting information generated by the synthesis setting information generation unit 13, and specific area information generated by the specific area information generation unit 14.
  • Information may be stored in association with image data of a captured image or a composite image. Note that the association includes the case of adding meta information to image data, recording imaging information and the like in the same file as the image data, and recording image data and imaging information and the like on the same recording medium.
  • the association includes a case where image data and imaging information are multiplexed as described above. Further, by associating image data or encoded data with meta information or the like and storing them in the storage unit 31, the image data or encoded data and meta information or the like can be output in association with each other via the storage unit 31.
  • the storage unit 31 includes, for example, image data of a captured image acquired by the captured image acquisition unit 11, imaging information generated by the imaging information generation unit 12, synthesis setting information generated by the synthesis setting information generation unit 13, and a specific area.
  • the specific area information generated by the information generation unit 14 is stored in association with each other.
  • the external device reads information associated with the image data from the storage unit 31 to generate a synthesized image or a synthesized image.
  • Image processing or the like can be performed on a specific area. For this reason, for example, the image processing of the specific area in the composite image can be efficiently performed by distributing the processing to the imaging device and the external device according to the processing capability of the imaging device and the external device.
  • the image data of the captured image acquired by the captured image acquisition unit 11, the composite setting information, and the like are stored in the storage unit 31, and then the image data of the captured image and the composite setting information are stored from the storage unit 31. It is also possible to read out and generate a composite image in the captured image composition unit 21. In this case, the imaging operation can be prioritized even when it takes time to synthesize the captured image.
  • the amount of data stored compared to storing the captured image acquired by the captured image acquisition unit 11 by storing the composite image generated by the captured image combining unit 21 is stored. Can be reduced. Furthermore, by storing the encoded data generated by the encoding processing unit 22, the amount of data can be further reduced. In addition, if a decoding process part and a display part are provided in the imaging device 10, the content of encoded data can be confirmed.
  • the imaging apparatus 10 performs imaging processing and composition / specific area processing.
  • FIG. 2 is a flowchart showing the imaging process.
  • the imaging units 11-1 to 11-n of the captured image acquisition unit 11 and the information generation processing unit 124 of the imaging information generation unit 12 use the time code generated by the time code generation unit 121 together. Acquisition of captured images and generation of imaging information are performed.
  • step ST1 the imaging device 10 generates composition setting information.
  • the composite setting information generation unit 13 of the imaging apparatus 10 generates composite setting information for connecting the captured images acquired by the imaging units 11-1 to 11-n so as to be continuous without causing image shift. .
  • the composition setting information generation unit 13 uses physical layout information of the imaging units 11-1 to 11-n in the generation of composition setting information.
  • the physical layout information is information that makes it possible to determine the imaging direction of the imaging units 11-1 to 11-n, and is input by the user, for example, according to the physical layout. Further, when the physical layout of the imaging units 11-1 to 11-n has a predetermined positional relationship, for example, when the imaging unit is attached to a mounting jig (camera rig, etc.) and has a predetermined positional relationship, Physical layout information may be automatically generated based on the position. In the captured image acquisition unit 11, physical layout information corresponding to the physical layout of the imaging units 11-1 to 11-n may be stored in advance.
  • the synthesis setting information generation unit 13 uses the lens information of the imaging units 11-1 to 11-n in the generation of the synthesis setting information.
  • the lens information is information that enables the imaging regions of the imaging units 11-1 to 11-n to be distinguished, for example, information such as a focal length.
  • the lens information may be input by the user according to the lens state used in the imaging units 11-1 to 11-n, or may be acquired from the imaging units 11-1 to 11-n. Good.
  • the physical layout information is information that can determine the imaging direction of the imaging units 11-1 to 11-n
  • the lens information is information that can determine the imaging area of the imaging units 11-1 to 11-n. Therefore, by using the physical layout information and the lens information, the composite setting information generation unit 13 can determine which region of the omnidirectional sphere is captured by which imaging unit, for example.
  • the composition setting information generation unit 13 uses information related to a projection method for projecting a wide image such as an omnidirectional image on a two-dimensional plane in generating the composition setting information.
  • a projection formula used when converting an omnidirectional image into a two-dimensional planar image using an equirectangular projection, an equal product cylindrical projection, or the like is used as information relating to the projection method.
  • the composite setting information generation unit 13 uses the image size information in generating the composite setting information.
  • the composition setting information generation unit 13 sets the image size of the two-dimensional plane using the image size information.
  • the information regarding the projection method indicates the correspondence between the position on the omnidirectional image and the position on the two-dimensional plane image
  • the image size information indicates the image size of the two-dimensional plane image. Therefore, the correspondence between the position on the omnidirectional image and the position on the two-dimensional plane image of the image size indicated by the image size information becomes clear based on the information on the projection method and the image size information.
  • the synthesis setting information generation unit 13 captures each captured image (part of the omnidirectional image) acquired by the imaging units 11-1 to 11-n. (Corresponding to the image of the region) each pixel in the composite image that is a two-dimensional plane of the image size indicated by the image size information is determined, and each pixel of the captured image and the composite image Composite setting information indicating the correspondence is generated. If a composite image is generated using the composite setting information, pixels indicating the same position of the omnidirectional sphere in a plurality of captured images are mapped to positions on the composite image corresponding to the position of the omnidirectional sphere. . Therefore, if the imaging range is set so that the desired imaging range is captured by any of the imaging units, a composite image of the desired imaging range in which the captured images are continuous can be generated without causing image shift.
  • FIG. 3 exemplifies a correspondence relationship between an imaging region and a region on a two-dimensional plane when six imaging units are used.
  • the four imaging units are arranged so that the imaging direction is the horizontal direction and has an angle difference of 90 ° from each other.
  • One of the two imaging units is arranged so that the imaging direction is the celestial direction (the zenith direction) and the other imaging direction is the ground direction (the nadir direction).
  • the horizontal regions Pa, Pb, Pc, Pd, the celestial region Pe, and the ground region Pf (not shown) shown in FIG. Note that the horizontal areas Pa, Pb, Pc, and Pd shown in FIG. 3A are apparent from the physical layout information and the lens information.
  • the correspondence between the regions Pa, Pb, Pc, Pd, Pe, and Pf and the region on the two-dimensional plane of the image size indicated by the image size information becomes clear.
  • the region Ga in the two-dimensional plane (composite image) GP having the image size indicated by the image size information corresponds to the region Pa.
  • Gb, Gc, Gd, Ge, and Gf correspond to the regions Pb, Pc, Pd, Pe, and Pf.
  • the imaging direction that is the reference is the center position of the two-dimensional plane.
  • the composition setting information generation unit 13 generates composition setting information for connecting the captured images acquired by the plurality of imaging units so as to be continuous without causing image shift, and proceeds to step ST2.
  • step ST2 the imaging device 10 performs imaging.
  • image data of the captured image is generated by the imaging units 11-1 to 11-n.
  • the captured image acquisition unit 11 adds the time code supplied from the time code generation unit 121 of the imaging information generation unit 12 to the generated image data.
  • the captured image acquisition unit 11 generates image data to which a time code is added, and proceeds to step ST3.
  • the imaging apparatus 10 generates imaging information.
  • the imaging information generation unit 12 of the imaging apparatus 10 generates imaging information that is meta information related to the captured image.
  • the imaging information includes common data that does not depend on time and time-series data that depends on time.
  • the imaging information generation unit 12 generates data indicating the imaging start time using time information output from the clock unit 122, for example, as common data independent of time.
  • the time-series data depending on time is data generated at predetermined time intervals.
  • the time-series data includes time code generated during imaging by the time code generation unit 121, imaging position information indicating the latitude, longitude, and altitude of the imaging device 10 (captured image acquisition unit 11) generated by the sensor unit 123, and Posture information indicating the azimuth and elevation angle that the imaging units 11-1 to 11-n are facing is used. Note that the posture information does not need to use information on each of the imaging units 11-1 to 11-n. If the posture information of the imaging unit as any one of the reference information is obtained, other information is obtained based on the physical layout information. The attitude information of the imaging unit can be calculated.
  • FIG. 4 illustrates time series data of imaging information.
  • the time code generated by the time code generation unit 121 the information indicating the latitude, longitude, and altitude of the imaging device 10 generated by the sensor unit 123, and the posture information of one imaging unit specified in advance (For example, azimuth and elevation).
  • the abbreviation which shows a direction is also described.
  • the imaging apparatus 10 When the imaging apparatus 10 generates imaging information and determines that there is no user operation indicating the end of imaging or an external instruction (hereinafter referred to as “user operation etc.”), the imaging apparatus 10 returns to step ST2 and issues an instruction indicating the end of imaging. If it is determined that there is, the imaging process is terminated.
  • FIG. 5 is a flowchart showing captured image composition / specific area processing.
  • the image capturing process shown in FIG. 2 is performed, and the image capturing units 11-1 to 11-n of the captured image acquiring unit 11 capture the image data of the captured image and the capturing information generating unit 12.
  • the imaging information and synthesis setting information generation unit 13 synthesis setting information is generated.
  • the imaging apparatus 10 sets a specific imaging area and an applicable range.
  • the specific area information generation unit 14 of the imaging device 10 sets, for example, an imaging area that includes an unintended subject as the specific imaging area.
  • the specific area information generation unit 14 sets the imaging area of the imaging unit specified by the user operation or the like as the specific imaging area.
  • the specific area information generation unit 14 sets the imaging region of the specified imaging unit as the specific imaging region when the imaging unit is specified by a user operation or the like using the identification information assigned to the imaging unit. For example, when the identification information of the imaging unit specified by the user operation or the like indicates the imaging unit that images the sky in FIG. 3, the region Pe is set as the specific imaging region.
  • the specific area information generation unit 14 sets the area surrounded by the specified apex angle and the sitting angle as the specific imaging area. For example, in a coordinate system based on the imaging position, coordinates (vertical angle: 45 °, sitting angle: 45 °) (vertical angle: 90 °, sitting angle: 45 °) (vertical angle: 45 °, sitting angle: 90 °) (vertical angle: 90 °, seating angle: 90 °) is specified, the specified coordinate area is set as the specific imaging area.
  • FIG. 6 is a diagram for explaining the setting of the specific imaging region.
  • the range of the direction specified by the user or the like in accordance with the direction setting instruction is set as the specific imaging region.
  • an elevation angle range specified by a user or the like in accordance with an elevation angle setting instruction is set as a specific imaging region.
  • FIG. 7 exemplifies a specific imaging region when the range of the azimuth and the elevation angle is specified.
  • a region indicated by oblique lines with the imaging position as the center is the specific imaging region.
  • FIG. 8 illustrates the specific imaging region when the coordinates are specified. For example, coordinates (azimuth: 0 °, elevation angle: 45 °) (azimuth: 0 °, elevation angle: 0 °) (azimuth: 90 °, sitting angle: 0 °) (azimuth: 90 °, elevation angle: 45 °) are specified. In this case, an area indicated by oblique lines with the imaging position as the center is the specific imaging area.
  • the specific area information generation unit 14 sets an application range.
  • the application range in which image processing is performed on an image in a specific area corresponding to the specific imaging area in the composite image is specified using, for example, time information or an imaging position.
  • the specific area information generation unit 14 specifies a time for performing image processing on an image in the specific area based on a user operation or the like.
  • the time may be specified using an absolute time such as UTC, or may be specified using a relative time such as an elapsed time from the start of imaging.
  • the specification of the time may specify either the start time or the end time of the application range, or may specify the start time and the end time.
  • the specific area information generation unit 14 specifies the imaging position of the application range for performing image processing on the image of the specific area based on a user operation or the like.
  • the imaging position one or more of latitude, longitude, and altitude is specified. For example, by specifying three coordinates (latitude: N35, longitude: E139) (latitude: N35, longitude: E140) (latitude: N40, longitude: E139), an area surrounded by the three coordinates is set as an application range. .
  • the height for example, 30 m or less
  • the range of the specified height as an application range.
  • the imaging apparatus 10 sets the specific imaging area and the application range as described above, proceeds to step ST12 in FIG. 5, and generates specific area information.
  • the specific area information generation unit 14 of the imaging device 10 generates specific area information based on the setting of the specific imaging area and the application range.
  • Specified area information has area setting information and application range information.
  • the area setting information is information indicating a specific area in the composite image
  • the application range information is information indicating an application range of image processing for the specific area indicated by the area setting information.
  • the specific area information generation unit 14 generates, as area setting information, a set of coordinates indicating a specific area corresponding to the specific imaging area in the combined image obtained by connecting the captured images.
  • the specific area information generation unit 14 is acquired by the imaging unit corresponding to the identification information based on the synthesis setting information generated by the synthesis setting information generation unit 13.
  • the coordinate group of the composite image of the captured image is calculated.
  • the specific area information generation unit 14 sets information indicating the calculated coordinate group as area setting information.
  • the specific area information generating unit 14 indicates the apex angle and the sitting angle based on the composite setting information generated by the composite setting information generating unit 13.
  • the coordinate group of the composite image corresponding to the specified specific imaging region is calculated.
  • the specific area information generation unit 14 sets information indicating the calculated coordinate group as area setting information.
  • the specific area information generation unit 14 when the specific imaging area is set by the azimuth and the elevation angle, the specific area information generation unit 14 combines the captured image acquired by each imaging unit based on the synthesis setting information generated by the synthesis setting information generation unit 13. Correlate with an image. In addition, the specific area information generation unit 14 determines, for each time code, which azimuth and elevation angle each imaging unit is facing from the imaging information generated by the imaging information generation unit. Further, the specific area information generation unit 14 determines which area of the captured image the specific imaging area corresponds to based on the determined orientation of the imaging unit.
  • the specific area information generation unit 14 indicates the azimuth and the elevation angle based on the correspondence between the captured image acquired by the imaging unit and the composite image and the correspondence between the specific imaging region and the captured image acquired by the imaging unit.
  • the coordinate group of the composite image corresponding to the specified specific imaging region is calculated.
  • the specific area information generation unit 14 sets information indicating the calculated coordinate group as area setting information.
  • the specific area information generation unit 14 generates specific area information including area setting information indicating a specific area corresponding to the specific imaging area in the composite image and application range information indicating setting of the application range.
  • FIG. 9 illustrates specific area information.
  • the specific area information for example, latitude, longitude, and altitude when image processing for a specific area is performed as application range information for each time code.
  • the area setting information the coordinate group of the specific area corresponding to the specific imaging area in the composite image is indicated for each time code.
  • FIG. 9 illustrates a case where two specific areas AR1 and AR2 are provided, and coordinate groups are calculated for the two specific areas.
  • coordinate group information coordinate values (horizontal pixel position, vertical pixel position) of four corners indicating the area of the coordinate group are shown.
  • the application range information may include the start time and the end time as described above.
  • the imaging device 10 generates specific area information as described above, proceeds to step ST13 in FIG. 5, and performs a captured image composition process.
  • the captured image composition unit 21 of the imaging apparatus 10 connects the captured images acquired by the imaging units 11-1 to 11-n of the captured image acquisition unit 11 based on the composite setting information generated by the composite setting information generation unit 13.
  • a matching process is performed.
  • stitching process captured images having the same time code are stitched together to generate a single composite image.
  • the imaging device 10 generates a composite image and proceeds to step ST14.
  • step ST14 the imaging apparatus 10 determines whether a specific area is set.
  • the captured image composition unit 21 determines whether a specific region is set for the composite image based on the specific region information.
  • the captured image composition unit 21 determines that the specific region is set, and proceeds to step ST15.
  • the captured image composition unit 21 determines that the specific area is not set, and proceeds to step ST16.
  • step ST15 the imaging apparatus 10 performs image processing on a specific area.
  • the captured image composition unit 21 invalidates the image in the specific area, for example, by deleting or replacing the image data in the specific area with invalid image data, and proceeds to step ST16.
  • step ST16 the imaging apparatus 10 performs an encoding process.
  • the encoding processing unit 22 of the imaging apparatus 10 reduces the amount of data by performing encoding processing using the composite image generated by the captured image combining unit 21 or the composite image that has been subjected to the image processing of the specific region. Return to step ST13.
  • the imaging apparatus 10 repeats the processing from step ST13 to step ST16 until the end of imaging.
  • the processing from step ST13 to step ST16 is performed for each frame.
  • the processing from step ST13 to step ST16 is not limited to the order processing in which the processing is performed in the order of steps, but may be performed by pipeline processing or parallel processing.
  • the encoded data after the encoding process may be output to an external device.
  • the information processing apparatus of the present technology it is possible to generate specific area information indicating a specific area corresponding to a specific imaging area in a composite image obtained by connecting captured images acquired by a plurality of imaging units. Therefore, by using the generated specific area information, it is possible to easily process the image of the specific area in the combined image obtained by connecting the captured images acquired by the plurality of imaging units. For example, when an information processing apparatus of this technique is applied to an imaging apparatus, a composite image in which an image of an unintended subject is invalidated can be output from the imaging apparatus.
  • the specific imaging area can be set based on the identification information of the imaging apparatus, the apex angle and the sitting angle, the azimuth, the elevation angle, and the like, for example, an imaging area of an unintended subject can be easily set as the specific imaging area.
  • the application area information is included in the specific area information, it is possible to set a time range in which image processing for the specific area is performed, and processing with a high degree of freedom can be performed.
  • the imaging information associated with the composite image includes imaging position information including latitude, longitude, and altitude
  • the application range information can include imaging position information. It is possible to control image processing for the area. For example, if the imaging position is low, the object to be invalidated does not appear in the captured image behind a building or the like, and if the imaging position is high, the subject to be invalidated may appear in the captured image. .
  • the image processing of the specific region is not limited to being performed by the imaging apparatus, but may be performed by an external device.
  • specific area information or the like is associated with image data of a composite image that has not been subjected to image processing of the specific area, or encoded data generated by encoding the image data, and is output to an external device.
  • image data or encoded data may be output by multiplexing specific area information or the like.
  • image data or encoded data and specific area information or the like are stored in a removable storage unit 31. And may be output via the storage unit 31.
  • the image reproduction apparatus exemplifies a case where a reproduction operation is performed using, for example, encoded data of a composite image and specific area information.
  • the specific area information includes texture generation information for generating a texture. The texture generation information is generated in advance, for example, at the composite image provider.
  • FIG. 10 illustrates the first configuration of the image reproducing device.
  • the image reproduction device 50 includes an image reading unit 51, a decoding processing unit 52, a meta information reading unit 53, a texture generation unit 54, a texture storage unit 55, and a synthesis processing unit 56.
  • the image reading unit 51 takes in encoded data, for example.
  • the image reading unit 51 reads encoded data from multiplexed data, a storage unit, and the like, and outputs the read encoded data to the decoding processing unit 52.
  • the decoding processing unit 52 performs decoding processing of the encoded data read by the image reading unit 51, and generates image data of a composite image.
  • the decode processing unit 52 outputs the generated image data to the composition processing unit 56.
  • the meta information reading unit 53 reads meta information.
  • the meta information reading unit 53 reads meta information associated with the encoded data from the multiplexed data, the storage unit, and the like, and outputs the meta information to the texture generation unit 54.
  • the texture generation unit 54 generates a texture.
  • the texture generation unit 54 generates a texture based on the texture generation information included in the specific area information read by the meta information reading unit 53, for example.
  • the texture generation unit 54 stores the generated texture in the texture storage unit 55.
  • the composition processing unit 56 is a reproduction control unit that performs reproduction control on a specific area of the composite image.
  • the composition processing unit 56 reads the texture corresponding to the composite image from the texture storage unit 55 and combines the read texture with the specific region in the composite image of the image data generated by the decode processing unit 52. Control is performed so that the image is not reproduced as it is.
  • the composition processing unit 56 outputs image data of a composite image that has been subjected to reproduction control for the specific area.
  • FIG. 11 is a flowchart showing the operation of the first configuration of the image reproduction apparatus. Note that the following description will be given on the assumption that the image reproduction device 50 can acquire the encoded data of the composite image and the specific area information.
  • step ST21 the image reproducing device 50 reads the encoded data.
  • the image reading unit 51 of the image reproducing device 50 reads the encoded data from the multiplexed data, the storage unit, etc., and proceeds to step ST22.
  • step ST22 the image reproduction device 50 performs a decoding process.
  • the decoding processing unit 52 of the image reproducing device 50 performs decoding processing of the encoded data read in step ST21, generates image data of a composite image, and proceeds to step ST25.
  • step ST23 the image playback device reads the meta information.
  • the meta information reading unit 53 of the image reproducing device 50 reads meta information related to the encoded data from the multiplexed data, the storage unit, etc., and proceeds to step ST24.
  • step ST24 the image reproduction device 50 generates a texture.
  • the texture generation unit 54 of the image reproduction device 50 generates a texture based on the texture generation information included in the meta information read in step ST23.
  • the texture generation unit 54 stores the generated texture in the texture storage unit 55 and proceeds to step ST25.
  • step ST25 the image reproduction device 50 determines whether there is a corresponding texture.
  • the composition processing unit 56 of the image reproduction device 50 determines whether the texture corresponding to the composite image generated in step ST22 is stored in the texture storage unit 55. For example, when a texture having a time code equal to the generated synthesized image is stored in the texture storage unit 55, the synthesis processing unit 56 determines that there is a corresponding texture, and proceeds to step ST26. If the texture with the same time code is not stored in the texture storage unit 55, the synthesis processing unit 56 determines that there is no corresponding texture, and proceeds to step ST27.
  • step ST26 the image reproduction device 50 performs image composition.
  • the composition processing unit 56 of the image playback device 50 combines the texture of the time code equal to the composite image with the image of the specific area, and proceeds to step ST27.
  • step ST27 the image reproduction device 50 performs image output processing.
  • the composition processing unit 56 of the image reproduction device 50 outputs the image data of the composite image in which the texture is synthesized in the specific area, or the image data of the composite image to the display device or the like if there is no corresponding texture.
  • texture generation information for generating a texture is included in the specific area information, but texture generation information for generating various textures may be included in the imaging information.
  • the imaging information and the specific area information are output to the image reproduction device 50 together, and the specific area information includes information for specifying the texture to be synthesized, thereby specifying the texture selected from various textures in the synthesized image. Can be combined with the area image.
  • FIG. 12 illustrates the second configuration of the image playback device.
  • the image reproduction device 50 a includes an image reading unit 51, a decoding processing unit 52, a meta information reading unit 53, a meta information storage unit 57, and an output control unit 58.
  • the image reading unit 51 reads encoded data.
  • the image reading unit 51 reads encoded data from multiplexed data, a storage unit, and the like, and outputs the acquired encoded data to the decoding processing unit 52.
  • the decoding processing unit 52 performs decoding processing of the encoded data read by the image reading unit 51, and generates image data of a composite image.
  • the decode processing unit 52 outputs the generated image data to the output control unit 58.
  • the meta information reading unit 53 reads meta information.
  • the meta information reading unit 53 reads the meta information corresponding to the encoded data from the multiplexed data, the storage unit, etc., and outputs it to the meta information storage unit 57.
  • the meta information storage unit 57 stores the meta information read by the meta information reading unit 53.
  • the output control unit 58 is a reproduction control unit that performs reproduction control on a specific area of the composite image.
  • the output control unit 58 outputs the image data generated by the decode processing unit 52, whether or not the pixel of the image data to be output is a pixel in a specific region is stored in the meta information storage unit 57. The determination is made based on the area information.
  • the output control unit 58 outputs the image data generated by the decoding processing unit 52 when the pixel of the image data to be output is not a pixel in the specific area.
  • the output control unit 58 stops outputting pixel data generated by the decoding processing unit 52 or replaces it with preset pixel data. Control is performed so that the image of the specific area is not reproduced.
  • the output control unit 58 outputs image data of a composite image that has been subjected to reproduction control for the specific area.
  • FIG. 13 is a flowchart showing the operation of the second configuration of the image reproduction apparatus. Note that the following description will be given on the assumption that the image reproduction device 50a can acquire the encoded data of the composite image and the specific area information.
  • step ST31 the image playback device reads meta information.
  • the meta information reading unit 53 of the image reproducing device 50a reads meta information related to the encoded data from the multiplexed data, the storage unit, and the like, the read meta information is stored in the meta information storage unit 57, and the process proceeds to step ST32.
  • step ST32 the image reproduction device 50a reads the encoded data.
  • the image reading unit 51 of the image reproducing device 50a reads the encoded data from the multiplexed data, the storage unit, etc., and proceeds to step ST33.
  • step ST33 the image reproduction device 50a performs a decoding process.
  • the decoding processing unit 52 of the image reproducing device 50a performs decoding processing of the encoded data read in step ST32, generates image data of a composite image, and proceeds to step ST34.
  • step ST34 the image reproduction device 50a determines whether the output pixel is a specific area.
  • the output control unit 58 of the image reproducing device 50a is specific area information stored in the meta information storage unit 57, and the pixel of the output image data is based on the specific area information having the same time code as the output image data. It is determined whether or not the pixel is in a specific area, and the process proceeds to step ST35.
  • step ST35 the image reproduction device 50a performs output control.
  • the output control unit 58 of the image reproduction device 50a outputs the image data generated by the decoding process.
  • the output control unit 58 stops outputting the image data or replaces the image data generated by the decoding processing unit 52 with preset image data and outputs it. To do.
  • the output control unit 58 can output the image data of the composite image in which the output control is performed on the image of the specific region from the image reproduction device.
  • the image reproduction device can perform reproduction control of the image of the specific area in the composite image based on the specific area information.
  • the above-described specific area information generation unit 14 sets the area of the composite image corresponding to the specific image pickup area set based on the identification information of the image pickup unit or the like as the specific area, but the specific area information is used when reproducing the composite image. It may be generated for each restriction level.
  • the provider of the composite image uses the specific area information in the specific area information generation unit 14 according to, for example, a billing contract with the user of the composite image. Is generated.
  • the specific area information for the free user is information that invalidates “AR1 percent” of the composite image as the specific area.
  • the specific area information for the free user may include information for displaying texture information such as guidance information for recommending a pay contract, guidance information for other image contents, and advertisement information in the invalid specific area.
  • the specific area information for the paying general user is information that invalidates “AR2 ( ⁇ AR1) percent” of the composite image as the specific area.
  • the specific area information for the paying general user may include information to be displayed in the specific area where the texture is invalidated, such as guidance information recommending a premier contract, guidance information of other image contents, and advertisement information.
  • the specific area information for the paid premium user is information that does not set the specific area.
  • a captured image acquired by a plurality of imaging units a composite image is generated using a plurality of content images and display information related to the content, and the content is invalidated according to a billing contract with the user of the composite image
  • specific area information for specifying display information may be generated.
  • the reproduction of the composite image can be restricted according to the selected specific area information by selectively using the specific area information.
  • imaging information and specific area information are generated based on an imaged object and its position, audio text data, command information, and the like.
  • the imaging information generation unit 12 includes the captured object and position information on the captured image of each object in the time-series data of the imaging information. Further, the photographed object may be classified by type (for example, person, building, animal, plant, symbol, etc.), and the classification result may be included in the time series data. Note that the process of classifying objects by type may be performed automatically using image recognition technology, or the user may specify the type for each object.
  • type for example, person, building, animal, plant, symbol, etc.
  • FIG. 14 illustrates time-series data of imaging information.
  • the time series data is generated for each time code, for example.
  • it is assumed that captured images are acquired using the imaging units 11-1 to 11-5.
  • the coordinates (x, y) and (x ′, y ′) indicate the coordinates of the smallest rectangular area including the object.
  • the imaging unit 11-1 has captured the person A, and the image area of the person A has coordinates (x1, y1), (x1 ′, y1 ′).
  • the imaging unit 11-2 captures the person B, and the image area of the person B indicates the coordinates (x2, y2) and (x2 ', y2') on the image.
  • the imaging unit 11-3 captures the building A, and shows that the image area of the building A is the coordinates (x5, y5) and (x5 ', y5') on the image.
  • the imaging unit 11-4 images the dog A, and shows that the image area of the dog A is the coordinates (x8, y8) and (x8 ', y8') on the image.
  • the specific area information generation unit 14 sets the area of the composite image including the predetermined object as the specific area. For example, when the person A imaged by the imaging unit 11-1 in FIG. 14 is detected by subject recognition processing or the like, a specific area is set according to the person A as shown in FIG. For example, the rectangular area indicated by the coordinates (xg1, yg1) and (xg1 ', yg1') of the person A in the composite image GP is set as the specific area.
  • the imaging information and the specific area information may be generated based on audio data.
  • the imaging information generation unit 12 converts voice data indicating the voice picked up by the microphone into text data, and uses the text data as time series data of the imaging information.
  • FIG. 16 exemplifies time series data of imaging information generated based on voice data, and shows time code and text data of voice picked up by microphones A to C at the timing indicated by the time code. .
  • the specific area information generation unit 15 defines the relationship between the text data and the specific area in advance, and generates specific area information based on the recognized text data.
  • the text data “A ON” is an instruction to set the imaging range of the imaging unit A as the specific area.
  • the text data “A OFF” is an instruction to cancel the setting of the specific area that is the imaging range of the imaging unit A.
  • the imaging range of all imaging units is set as an instruction for the specific area.
  • the text data of “all off” is an instruction to cancel all the settings of the specific area.
  • the specific area information generation unit 15 sets or cancels the specific area in accordance with an instruction corresponding to text data based on the voice picked up by the microphone.
  • the imaging information and the specific area information may be generated based on command information from an external device (for example, a remote control device).
  • the imaging information generation unit 12 uses command information from an external device or a remote control device as imaging information.
  • the specific area information generation unit 15 defines an area corresponding to the command information in advance, and generates specific area information with the area corresponding to the command information supplied from the external device as the specific area.
  • the specific area information may be generated based on the subject position information and the imaging information.
  • the position range information of the subject indicates the latitude range, longitude range, and altitude of the subject as the specific area of the composite image.
  • the imaging information indicates the latitude, longitude, and altitude of the imaging position.
  • the imaging direction of the subject with respect to the imaging position can be determined from the relationship between the position of the subject as the specific region and the imaging position.
  • the angle of view range corresponding to the latitude range and longitude range of the subject can be calculated.
  • the image of the specific area is invalidated as the image processing for the specific area.
  • the process of emphasizing the specific area may be performed so that the specific area is noted.
  • the specific area is emphasized by performing image processing for displaying a symbol such as an arrow or a message around the specific area, or performing image processing such as surrounding the specific area with a frame.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the information processing apparatus may have the following configuration.
  • An information processing apparatus including a specific area information generation unit that generates specific area information indicating a specific area corresponding to a specific imaging area in a composite image obtained by connecting captured images acquired by a plurality of imaging units.
  • the information processing apparatus further including an imaging information generation unit that generates imaging information indicating an imaging position, an imaging direction, an imaging range, and time information of the imaging unit.
  • the specific area information generation unit includes, in the specific area information, application range information indicating an application time of image processing for the specific area or an imaging position to which image processing is applied. .
  • the specific area information generation unit is specified by an area picked up by a specific image pickup unit in the plurality of image pickup parts, an image pickup area specified by an azimuth and an elevation angle, or an apex angle and a sitting angle.
  • a combination setting information generation unit that generates combination setting information for continuously connecting the captured images acquired by the plurality of imaging units without causing image shift;
  • the information processing apparatus according to any one of (1) to (5), further including a captured image combining unit that generates the combined image based on the combination setting information generated by the combination setting information generation unit.
  • the information processing apparatus according to any one of (1) to (6), wherein the specific area information generation unit generates each restriction level when reproducing the composite image.
  • the specific area information generation unit generates the specific area information using the area of the composite image including the captured predetermined object as the specific area. Processing equipment.
  • specific area information indicating a specific area corresponding to a specific imaging area in a composite image obtained by connecting captured images acquired by a plurality of imaging units Is generated. Further, reproduction control of the composite image is performed based on the specific area information. Therefore, based on the specific area information, it is possible to easily perform processing on the image of the specific area corresponding to the desired imaging area in the composite image. Therefore, it is suitable for generating and reproducing panoramic images and omnidirectional images.
  • DESCRIPTION OF SYMBOLS 10 ... Imaging device 11 ... Captured image acquisition part 11-1 to 11-n ... Imaging part 12 ... Imaging information generation part 13 ... Composition setting information generation part 14 ... Specific area information Generating unit 21 ... Captured image combining unit 22 ... Encoding processing unit 23 ... Output unit 31 ... Storage unit 50, 50a ... Image reproduction device 51 ... Image reading unit 52 ... Decoding Processing unit 53 ... Meta information reading unit 54 ... Texture generation unit 55 ... Texture storage unit 56 ... Synthesis processing unit 57 ... Meta information storage unit 58 ... Output control unit 121 ... Time code generator 122 ... Clock unit 123 ... Sensor unit 124 ... Information generation processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

複数の撮像部１１-1～１１-nで取得された撮像画を撮像画合成部２１へ出力して、撮像画合成部２１は、合成設定情報生成部１３で生成された合成設定情報に基づき撮像画をつなぎ合わせて合成画像を生成する。特定領域情報生成部１４は、合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を生成する。撮像画合成部２１は、特定領域情報に基づき、特定撮像領域に対応する画像に対して例えば無効化や強調処理を容易に行える。また、撮像画合成部２１で生成された合成画像に関連付けて特定領域情報を出力して、合成画像の再生時等において、合成画像における特定撮像領域に対応する特定領域の再生制御を行える。このように、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における所望の撮像領域の画像を容易に処理できるようになる。

Description

情報処理装置、撮像装置、画像再生装置、および方法とプログラム
　この技術は、情報処理装置、撮像装置、画像再生装置および方法とプログラムにあり、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における所望の撮像領域の画像を容易に処理できるようにする。
　従来、撮像方向が異なる複数の画像を用いて広画角画像を生成することが行われている。例えば複数の撮像部を異なる方向に向けて撮像を行い、得られた撮像画を特許文献１で開示されている手法を用いてつなぎ合わせることで、画像のずれを生じることなく撮像画が連続している合成画像を生成することが行われている。
　また、特許文献２では、撮像方向が異なる複数の撮像部を用いて全天球の撮像を行い、各撮像部で生成された画像をつなぎ合わせることにより全天球を示す全天球画像が生成されている。
特開２０００－２１５３１７号公報 特開２００１－２９８６５２号公報
　ところで、全天球画像のような合成画像を生成する場合、一部の撮像領域の画像を削除または置き換える場合がある。例えば撮像者や撮像時に用いられている機材等のように目的としていない被写体が写り込んでしまう場合、目的としていない被写体の撮像領域の画像に対して削除や置き換えが必要となる。また、画像の削除や置き換え等の対象領域である特定領域を画像に基づいて判別する場合、合成画像では撮像範囲が広いため合成画像から特定領域を判別することは容易でない。また、合成画像から画像に基づいて特定領域を判別する場合、合成画像が動画であるとフレーム毎に画像に基づいて特定領域を判別しなければならないため、特定領域の画像に対する処理に要する時間が長くなる。
　そこで、この技術では、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における所望の撮像領域の画像を容易に処理できるようにした情報処理装置、撮像装置、画像再生装置および方法とプログラムを提供することを目的とする。
　この技術の第１の側面は、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成する特定領域情報生成部を備える情報処理装置にある。
　この技術においては、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報が特定領域情報生成部で生成される。また、撮像部の撮像位置情報と撮像方向と撮像範囲および時間情報を示す撮像情報が撮像情報生成部で生成される。特定領域情報には、適用範囲情報を含めて、合成画像における特定領域だけでなく、特定領域に対する画像処理の適用時間または画像処理を適用する撮像位置が示される。特定撮像領域は、例えば複数の撮像部における特定の撮像部で撮像される領域、または方位および仰角で示された特定された撮像領域、あるいは頂角と座角で特定された撮像領域とされる。
　また、複数の撮像部で取得された撮像画を、画像のずれを生じることなく連続してつなぎ合わせるための合成設定情報を生成する合成設定情報生成部が設けられる。合成画像を生成する撮像画合成部では、合成設定情報生成部で生成された合成設定情報に基づき、所定の撮像方向を基準とした合成画像が生成される。さらに、合成画像に特定領域情報を関連付けて出力する出力部が設けられる。
　また、特定領域情報生成部は、合成画像を再生する際の制限レベル毎の特定領域情報、撮像された所定の物体を含む合成画像の領域を特定領域とした特定領域情報、音声データから生成したテキストデータに基づく特定領域情報、取得したコマンド情報に基づく特定領域情報、または撮像情報と被写体の位置情報に基づく特定領域情報を生成することも可能とされている。
　この技術の第２の側面は、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像に関連した情報を生成する情報処理方法において、
　特定撮像領域に対応する前記合成画像の特定領域を示す特定領域情報を特定領域情報生成部で生成することを含む情報処理方法にある。
　この技術の第３の側面は、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像に関連した情報をコンピュータで生成するプログラムであって、
　特定撮像領域に対応する前記合成画像の特定領域を示す特定領域情報を生成する機能を
前記コンピュータで実現させるプログラムにある。
　この技術の第４の側面は、
　複数の撮像部と、
　前記複数の撮像部で取得された撮像画をつなぎ合わせて合成画像を生成する撮像画合成部と、
　特定撮像領域に対応する前記合成画像の特定領域を示す特定領域情報を生成する特定領域情報生成部と
を備える撮像装置にある。
　この技術においては、複数の撮像部で取得された撮像方向が異なる撮像画をつなぎ合わせて合成画像が生成される。また、合成画像における特定撮像領域に対応する特定領域を示す特定領域情報が生成される。さらに、撮像画合成部では、生成された特定領域情報に基づき、合成画像における特定領域の画像処理が行われる。または、合成画像と特定領域情報が関連付けて出力される。
　この技術の第５の側面は、
　複数の撮像画をつなぎ合わせて生成された合成画像を読み込む画像読込部と、
　前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を読み込む情報読込部と、
　前記画像読込部で読み込まれた合成画像における前記情報読込部で読み込まれた特定領域情報によって示された特定領域に対して、再生制御を行う再生制御部と
を備える画像再生装置にある。
　この技術においては、複数の撮像画をつなぎ合わせて生成された合成画像と、合成画像における特定撮像領域に対応する特定領域を示す特定領域情報が取得される。また、取得された合成画像における特定領域情報によって示された特定領域に対して無効化処理または強調処理が行われる。無効化処理では、例えば特定領域の画像に特定領域情報で示されたテクスチャを合成する処理、または特定領域の画像の出力を停止または無効データに置き換える処理が行われる。
　この技術によれば、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報が生成される。このため、特定領域情報に基づき、合成画像における所望の撮像領域の画像に対する特定領域を容易に処理できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像装置の構成を例示した図である。 撮像処理を示すフローチャートである。 ６つ撮像部を用いた場合の撮像領域と二次元平面上の領域の対応関係を例示した図である。 撮像情報の時系列データを例示した図である。 撮像画合成・特定領域処理を示すフローチャートである。 特定撮像領域の設定を説明するための図である。 方位と仰角の範囲が特定された場合の特定撮像領域を例示した図である。 座標が特定された場合の特定撮像領域を例示した図である。 特定領域情報を例示した図である。 画像再生装置の第１の構成を例示した図である。 画像再生装置の第１の構成の動作を示すフローチャートである。 画像再生装置の第２の構成を例示した図である。 画像再生装置の第２の構成の動作を示すフローチャートである。 撮像情報の時系列データを例示した図である。 人物Ａに応じた特定領域を例示した図である。 音声データに基づいて生成した撮像情報の時系列データを例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．撮像装置の構成と動作
　　１－１．撮像装置の構成
　　１－２．撮像装置の動作
　２．画像再生装置の構成と動作
　　２－１．画像再生装置の第１の構成と動作
　　２－２．画像再生装置の第２の構成と動作
　３．撮像情報や特定領域情報の変形例
　＜１．撮像装置の構成と動作＞
　＜１－１．撮像装置の構成＞
　図１は本技術の情報処理装置を用いた撮像装置の構成を例示している。撮像装置１０は、撮像画取得部１１、撮像情報生成部１２、合成設定情報生成部１３、特定領域情報生成部１４を有している。また、撮像装置１０は、撮像画合成部２１、エンコード処理部２２、出力部２３を有している。さらに、撮像装置１０には、記憶部（例えば記録媒体）３１が固定または着脱可能に設けられていてもよい。なお、記憶部３１を用いた場合については後述する。
　撮像画取得部１１は、複数の撮像部１１-1～１１-nで構成されている。撮像部１１-1～１１-nは、撮像部１１-1～１１-nで取得された撮像画のつなぎ合わせを行ったときに、画像のずれを生じることなく撮像画が連続している合成画像を生成できるように撮像範囲と撮像部１１-1～１１-nの物理レイアウトが設定されている。撮像画取得部１１は、撮像部１１-1～１１-nで取得した撮像画の画像データに、撮像情報生成部１２のタイムコード生成部１２１から供給されたタイムコードを含めて撮像画合成部２１へ出力する。なお、合成画像は、１つの撮像部で得られる撮像画よりも広画角の画像であればよい。例えば全天球画像や全天球画像よりも撮像範囲を狭めた画像（例えば半球画像）、水平方向と垂直方向のいずれか一方または両方向の撮像範囲を広げた画像等である。
　撮像情報生成部１２は、撮像位置と撮像方向と撮像範囲および時間情報を含む撮像情報を生成する。撮像情報生成部１２は、タイムコード生成部１２１、時計部１２２、センサ部１２３および情報生成処理部１２４を有している。タイムコード生成部１２１は、タイムコードを生成して撮像画取得部１１と情報生成処理部１２４へ出力する。時計部１２２は時刻情報を生成して情報生成処理部１２４へ出力する。センサ部１２３は、位置センサ，高度センサ，方位センサ，仰角センサ等を用いて構成されている。センサ部１２３は、例えば撮像装置１０（撮像画取得部１１が撮像装置１０の本体から分離可能である場合は撮像画取得部１１）の緯度や経度および高度を示す撮像位置情報、および撮像装置１０（または撮像画取得部１１の例えばいずれか１つの基準とする撮像部）が向いている方位や仰角を示す姿勢情報を生成する。センサ部１２３は、撮像位置情報や姿勢情報を情報生成処理部１２４へ出力する。情報生成処理部１２４は、後述するようにタイムコードと時刻情報および撮像位置情報や姿勢情報を用いて、撮像画取得部１１で取得された撮像画または撮像画合成部２１で生成された後述する合成画像に関連したメタ情報である撮像情報を生成する。撮像情報は、共通データと時系列データを有している。共通データは、時間に依存しない情報であり例えば撮像開始時または予め撮像開始前に生成される。時系列データは、時間に依存する情報であり、時間経過と共に変化する場合がある撮像位置情報や姿勢情報が時間情報であるタイムコードと共に用いて生成される。また、時系列データは、所定時間間隔で定期的に生成される。撮像情報生成部１２は、生成した撮像情報を出力部２３へ出力する。
　合成設定情報生成部１３は、撮像画合成部２１で行う画像のつなぎ合わせ処理（スティッチ処理）において、撮像画を画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成する。合成設定情報生成部１３は、例えば撮像画取得部１１で用いられている撮像部１１-1～１１-nの物理レイアウト情報、撮像部１１-1～１１-nで用いられているレンズの焦点距離等を示すレンズ情報、全天球画像のような広角画像を二次元平面に投影する投影方式に関する情報、二次元平面に投影した画像の画サイズ情報等に基づいて後述するように合成設定情報を生成する。合成設定情報の生成に用いる情報は、ユーザが入力してもよく、合成設定情報生成部１３で自動的に取得してもよい。例えば撮像部１１-1～１１-nと通信を行い、レンズ情報を自動的に取得して合成設定情報の生成に用いるようにしてもよい。合成設定情報生成部１３は、合成設定情報を撮像画合成部２１と特定領域情報生成部１４へ出力する。
　特定領域情報生成部１４は、撮像部１１-1～１１-nで取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成する。特定撮像領域は例えば目的としていない被写体の撮像領域である。特定撮像領域は、撮像部１１-1～１１-nに対して予め個々に割り当てられている識別情報を特定することで、撮像部１１-1～１１-nにおけるいずれか特定した撮像部で撮像される領域とする。また、特定撮像領域は、撮像位置を基準とした座標系（以下「カメラ座標系」という）の頂角と座角で特定された撮像領域、あるいは実世界の方位および仰角で特定された撮像領域としてもよい。
　また、特定領域情報生成部１４は、合成画像における特定撮像領域に対応した特定領域を示す座標の集合を領域設定情報とする。特定領域情報生成部１４は、特定撮像領域が識別情報で特定された撮像部で撮像される領域またはカメラ座標系の頂角と座角で特定された撮像領域である場合、撮像領域を、合成設定情報を利用して合成画像における特定領域の二次元座標へ変換する。また、特定領域情報生成部１４は、特定撮像領域が実世界の方位および仰角で特定された撮像領域である場合、図示せずも撮像情報生成部１２から撮像情報を取得して、取得した撮像情報を利用して方位および仰角で特定された撮像領域をカメラ座標系の撮像領域に変換する。さらに、特定領域情報生成部１４は、変換後であるカメラ座標系の撮像領域を、合成設定情報を利用して合成画像における特定領域の二次元座標へ変換する。
　また、特定領域情報生成部１４は、領域設定情報で示された特定領域に対する画像処理の適用範囲を示す適用範囲情報を生成する。特定領域情報生成部１４は、領域設定情報と適用範囲情報を含む特定領域情報を撮像画合成部２１または出力部２３へ出力する。なお、特定領域情報は、撮像画取得部１１で取得された撮像画または撮像画合成部２１で生成された後述する合成画像に関連したメタ情報である。
　撮像画合成部２１は、撮像画取得部１１から出力された撮像画の画像データと、合成設定情報生成部１３から出力された合成設定情報に基づき、撮像部１１-1～１１-nで取得された画像をつなぎ合わせて、二次元平面の合成画像を生成する。撮像画合成部２１は、生成した合成画像の画像データをエンコード処理部２２へ出力する。また、撮像装置１０から合成画像の特定領域に対して画像処理が行われた画像データを出力する場合、撮像画合成部２１は、生成した合成画像に対して特定領域情報生成部１４から出力された特定領域情報に基づき特定領域の画像処理を行う。撮像画合成部２１は、特定領域の画像処理が行われた合成画像の画像データをエンコード処理部２２へ出力する。
　エンコード処理部２２は、画像の符号化処理を行いデータ量が圧縮された符号化データを生成する。エンコード処理部２２は、例えば合成画像が動画である場合、Ｈ．２６５（ＩＳＯ／ＩＥＣ　２３００８－２　ＨＥＶＣ）やＨ．２６４／ＡＶＣ等の規格に応じた符号化データを生成する処理を行う。エンコード処理部２２は、生成した符号化データを出力部２３へ出力する。
　出力部２３は、合成画像の符号化データとメタ情報を関連付けて出力する。出力部２３は、合成画像の符号化データが特定領域に対して画像処理が行われていない場合、例えば撮像情報生成部１２で生成された撮像情報や特定領域情報生成部１４で生成された特定領域情報を符号化データと多重化して多重化データを生成する。また、出力部２３は、合成画像の符号化データが特定領域に対して画像処理が行われている場合、例えば撮像情報生成部１２で生成された撮像情報を符号化データと多重化して多重化データを生成してもよい。出力部２３は、生成した多重化データや特定領域に対して画像処理が行われている合成画像の符号化データを、伝送路を介して外部機器等へ出力する。
　また、記憶部３１を設けた場合、記憶部３１には、撮像画取得部１１で取得した撮像画の画像データを記憶してもよく、撮像画合成部２１で生成された合成画像の画像データ、またはエンコード処理部２２で生成された符号化データ等を記憶してもよい。さらに、記憶部３１には、撮像情報生成部１２で生成された撮像情報、合成設定情報生成部１３で生成された合成設定情報、特定領域情報生成部１４で生成された特定領域情報等のメタ情報を撮像画または合成画像の画像データに関連付けて記憶してもよい。なお、関連付けでは、画像データに対してメタ情報の付与、画像データと同じファイルに撮像情報等を記録、同じ記録媒体に画像データと撮像情報等を記録する場合を含む。また、関連付けでは上述のように画像データと撮像情報等を多重化する場合等も含む。また、画像データや符号化データとメタ情報等を関連付けて記憶部３１に記憶させることで、記憶部３１を介して画像データや符号化データとメタ情報等を関連付けて出力できる。
　記憶部３１には、例えば撮像画取得部１１で取得した撮像画の画像データと、撮像情報生成部１２で生成された撮像情報、合成設定情報生成部１３で生成された合成設定情報、特定領域情報生成部１４で生成された特定領域情報を関連付けて記憶させる。この場合、撮像装置１０に撮像画合成部２１やエンコード処理部２２を設けていなくとも、外部機器は記憶部３１から画像データと関連付けられている情報を読み出すことで、合成画像の生成や合成画像における特定領域に対する画像処理等を行える。このため、例えば撮像装置と外部機器の処理能力等に応じて、撮像装置と外部機器に対する処理の振り分けを行うことで、合成画像における特定領域の画像処理を効率よく行うことができる。
　また、撮像装置１０では、記憶部３１に撮像画取得部１１で取得した撮像画の画像データや合成設定情報等を記憶させて、その後、記憶部３１から撮像画の画像データと合成設定情報を読み出して撮像画合成部２１で合成画像を生成してもよい。この場合、撮像画の合成処理に時間を要する場合であっても、撮像動作を優先できる。
　また、記憶部３１に画像を記憶する場合、撮像画合成部２１で生成された合成画像を記憶することで、撮像画取得部１１で取得した撮像画を記憶する場合に比べで記憶するデータ量を削減できる。さらに、エンコード処理部２２で生成された符号化データを記憶することで、データ量をさらに削減できる。なお、撮像装置１０にデコード処理部や表示部を設ければ、符号化データの内容を確認することができる。
　＜１－２．撮像装置の動作＞
　次に撮像装置の動作について説明する。撮像装置１０では撮像処理と合成・特定領域処理を行う。
　図２は撮像処理を示すフローチャートである。撮像装置１０において、撮像画取得部１１の撮像部１１-1～１１-nと撮像情報生成部１２の情報生成処理部１２４は、タイムコード生成部１２１で生成されたタイムコードを共に用いて、撮像画の取得と撮像情報の生成を行っている。
　ステップＳＴ１で撮像装置１０は合成設定情報を生成する。撮像装置１０の合成設定情報生成部１３は、撮像部１１-1～１１-nで取得された撮像画を、画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成する。
　合成設定情報生成部１３は、合成設定情報の生成において、撮像部１１-1～１１-nの物理レイアウト情報を用いる。物理レイアウト情報は、撮像部１１-1～１１-nの撮像方向を判別可能とする情報であり、物理レイアウトに応じて例えばユーザが入力する。また、撮像部１１-1～１１-nの物理レイアウトが所定の位置関係とされている場合、例えば取付ジグ（カメラリグ等）に撮像部が取り付けられて所定の位置関係とされている場合、取付位置に基づき物理レイアウト情報を自動的に生成してもよい。また、撮像画取得部１１では、撮像部１１-1～１１-nの物理レイアウトに応じた物理レイアウト情報が予め記憶されていてもよい。
　また、合成設定情報生成部１３は、合成設定情報の生成において、撮像部１１-1～１１-nのレンズ情報を用いる。レンズ情報は、撮像部１１-1～１１-nの撮像領域を判別可能とする情報例えば焦点距離等の情報である。レンズ情報は、撮像部１１-1～１１-nで用いられているレンズ状態に応じてユーザがレンズ情報を入力してもよく撮像部１１-1～１１-nからレンズ情報を取得してもよい。
　物理レイアウト情報は、撮像部１１-1～１１-nの撮像方向を判別可能とする情報であり、レンズ情報は撮像部１１-1～１１-nの撮像領域を判別可能とする情報である。したがって、物理レイアウト情報とレンズ情報を用いることで、合成設定情報生成部１３は、例えば全天球の何れの領域が何れの撮像部で撮像されているかを判別できる。
　また、合成設定情報生成部１３は、合成設定情報の生成において、全天球画像のような広画画像を二次元平面に投影する投影方式に関する情報を用いる。例えば正距円筒図法や正積円筒図法等を用いて全天球画像を二次元平面画像に変換する場合の投影式を投影方式に関する情報として用いる。
　さらに、合成設定情報生成部１３は、合成設定情報の生成において、画サイズ情報を用いる。合成設定情報生成部１３は、画サイズ情報を用いて二次元平面の画サイズを設定する。
　投影方式に関する情報は、全天球画像上の位置と二次元平面画像上の位置の対応関係を示しており、画サイズ情報は二次元平面画像の画サイズを示している。したがって、投影方式に関する情報と画サイズ情報に基づき、全天球画像上の位置と画サイズ情報で示された画サイズの二次元平面画像上の位置との対応関係が明らかとなる。
　合成設定情報生成部１３は、物理レイアウト情報とレンズ情報と投影方式に関する情報および画サイズ情報に基づき、撮像部１１-1～１１-nで取得される各撮像画（全天球画像の一部領域の画像に相当）の各画素が画サイズ情報で示された画サイズの二次元平面である合成画像上の何れの領域に対応するか判別して、撮像画の各画素と合成画像上の対応関係を示す合成設定情報を生成する。この合成設定情報を用いて合成画像を生成すれば、複数の撮像画において、全天球の同一の位置を示す画素は、この全天球の位置に対応する合成画像上の位置にマッピングされる。したがって、所望の撮像範囲がいずれかの撮像部で撮像されるように撮像範囲を設定すれば、画像のずれを生じることなく撮像画が連続している所望の撮像範囲の合成画像を生成できる。
　図３は、６つ撮像部を用いた場合の撮像領域と二次元平面上の領域の対応関係を例示している。例えば４つの撮像部は撮像方向が水平方向で互いに９０°の角度差を有するように配置されている。また、２つの撮像部の一方は撮像方向が天方向（天頂方向）、他方の撮像方向が地方向（天底方向）なるように配置されている。また、６つ撮像部によって例えば図３の（ａ）に示す水平方向の領域Ｐａ，Ｐｂ，Ｐｃ，Ｐｄと天方向の領域Ｐｅおよび図示していない地方向の領域Ｐｆの撮像が行われている。なお、図３の（ａ）に示す水平方向の領域Ｐａ，Ｐｂ，Ｐｃ，Ｐｄは、物理レイアウト情報とレンズ情報から明らかである。また、投影方式に関する情報および画サイズ情報に基づき、領域Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆと画サイズ情報で示された画サイズの二次元平面上の領域との対応関係が明らかとなる。例えば図３の（ｂ）において、画サイズ情報で示された画サイズの二次元平面（合成画像）ＧＰにおける領域Ｇａは領域Ｐａと対応している。同様にＧｂ，Ｇｃ，Ｇｄ，Ｇｅ，Ｇｆは、領域Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆと対応している。なお、図３の（ｂ）では、領域Ｐｃの中心となる撮像方向を基準として、この基準とした撮像方向が二次元平面の中心位置とされている。
　合成設定情報生成部１３は、複数の撮像部で取得された撮像画を、画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成してステップＳＴ２に進む。
　ステップＳＴ２で撮像装置１０は撮像を行う。撮像装置１０の撮像画取得部１１では撮像部１１-1～１１-nで撮像画の画像データを生成する。また、撮像画取得部１１は、撮像情報生成部１２のタイムコード生成部１２１から供給されたタイムコードを、生成された画像データに付加する。撮像画取得部１１は、タイムコードが付加された画像データを生成してステップＳＴ３に進む。
　ステップＳＴ３で撮像装置１０は、撮像情報を生成する。撮像装置１０の撮像情報生成部１２は、撮像画に関連したメタ情報である撮像情報を生成する。撮像情報は、時間に依存しない共通データと時間に依存する時系列データを有している。
　撮像情報生成部１２は、時間に依存しない共通データとしては、例えば時計部１２２から出力された時刻情報を利用して撮像開始時刻を示すデータを生成する。時間に依存する時系列データは、所定時間間隔で生成されるデータである。時系列データは、タイムコード生成部１２１で撮像中に生成されたタイムコード、センサ部１２３で生成された撮像装置１０（撮像画取得部１１）の緯度や経度および高度を示す撮像位置情報、および撮像部１１-1～１１-nが向いている方位や仰角を示す姿勢情報を用いる。なお、姿勢情報は、撮像部１１-1～１１-nのそれぞれについての情報を用いる必要はなく、いずれか１つの基準とする撮像部の姿勢情報が得られれば、物理レイアウト情報に基づき他の撮像部の姿勢情報を算出できる。
　図４は、撮像情報の時系列データを例示している。時系列データでは、タイムコード生成部１２１で生成されたタイムコード、センサ部１２３で生成された撮像装置１０の緯度と経度および高度を示す情報、および予め特定されている１つの撮像部の姿勢情報（例えば方位と仰角）を有している。なお、図４では、方位を示す略字も記載している。
　撮像装置１０は、撮像情報を生成したのち、撮像終了を示すユーザ操作や外部からの指示（以下「ユーザ操作等」という）がないと判別した場合にステップＳＴ２に戻り、撮像終了を示す指示があると判別した場合に撮像処理を終了する。
　次に、撮像画合成・特定領域処理について説明する。図５は、撮像画合成・特定領域処理を示すフローチャートである。撮像画合成・特定領域処理を開始する場合、図２に示す撮像処理が行われて、撮像画取得部１１の撮像部１１-1～１１-nでは撮像画の画像データ、撮像情報生成部１２では撮像情報、合成設定情報生成部１３では合成設定情報がそれぞれ生成されている。
　ステップＳＴ１１で撮像装置１０は、特定撮像領域と適用範囲を設定する。撮像装置１０の特定領域情報生成部１４は、例えば目的としない被写体を含む撮像領域を特定撮像領域に設定する。
　特定領域情報生成部１４は、ユーザ操作等によって特定された撮像部の撮像領域を特定撮像領域とする。特定領域情報生成部１４は、撮像部に割り当てられている識別情報を用いてユーザ操作等によって撮像部が特定された場合、特定された撮像部の撮像領域を特定撮像領域とする。例えば、ユーザ操作等によって特定された撮像部の識別情報が図３において天方向を撮像する撮像部を示している場合、領域Ｐｅを特定撮像領域とする。
　また、特定領域情報生成部１４は、ユーザ操作等によって撮像領域を示す頂角と座角が特定された場合、特定された頂角と座角で囲まれる領域を特定撮像領域とする。例えば、撮像位置を基準とした座標系において、座標（頂角：４５°，座角：４５°）（頂角：９０°，座角：４５°）（頂角：４５°，座角：９０°）（頂角：９０°，座角：９０°）が特定された場合、特定された座標領域を特定撮像領域とする。
　また、特定領域情報生成部１４は、ユーザ操作等によって実世界の方位と仰角が特定された場合、特定された方位や仰角で示される領域を特定撮像領域とする。図６は、特定撮像領域の設定を説明するための図である。例えば図６の（ａ）に示すように、方位設定指示に応じてユーザ等によって特定された方位の範囲を特定撮像領域とする。また、図６の（ｂ）に示すように、仰角設定指示に応じてユーザ等によって特定された仰角の範囲を特定撮像領域とする。
　図７は、方位と仰角の範囲が特定された場合の特定撮像領域を例示している。例えば、方位範囲（０°～３６０°）と仰角範囲（０°～４５°）が特定された場合、撮像位置を中心として、斜線で示す領域が特定撮像領域となる。図８は、座標が特定された場合の特定撮像領域を例示している。例えば座標（方位：０°，仰角：４５°）（方位：０°，仰角：０°）（方位：９０°，座角：０°）（方位：９０°，仰角：４５°）が特定された場合、撮像位置を中心として、斜線で示す領域が特定撮像領域となる。
　また、特定領域情報生成部１４は、適用範囲の設定を行う。適用範囲の設定では、合成画像における特定撮像領域に対応した特定領域の画像に対して、画像処理を行う適用範囲を例えば時間情報や撮像位置を用いて特定する。特定領域情報生成部１４は、ユーザ操作等に基づき、特定領域の画像に対する画像処理を行う時間を特定する。時間の特定は、絶対時間例えばＵＴＣ等を用いて時間を特定してもよく、相対時間例えば撮像開始時からの経過時間等を用いて特定してもよい。さらに、時間の特定は、適用範囲の開始時間または終了時間のいずれかを特定してもよく、開始時間と終了時間を特定してもよい。
　また、特定領域情報生成部１４は、ユーザ操作等に基づき、特定領域の画像に対する画像処理を行う適用範囲の撮像位置を特定する。撮像位置の特定では、緯度や経度および高度のいずれかまたは複数を特定する。例えば３つの座標（緯度：Ｎ３５，経度：Ｅ１３９）（緯度：Ｎ３５，経度：Ｅ１４０）（緯度：Ｎ４０，経度：Ｅ１３９）を特定することで、３つの座標で囲まれた領域を適用範囲とする。また、高度（例えば３０ｍ以下）を特定すること、特定された高度の範囲を適用範囲としてもよい。
　撮像装置１０は、上述のように特定撮像領域と適用範囲の設定を行って図５のステップＳＴ１２に進み、特定領域情報を生成する。撮像装置１０の特定領域情報生成部１４は、特定撮像領域と適用範囲の設定に基づいて特定領域情報を生成する。
　特定領域情報は、領域設定情報と適用範囲情報を有している。領域設定情報は合成画像における特定領域を示す情報であり、適用範囲情報は領域設定情報で示された特定領域に対する画像処理の適用範囲を示す情報である。
　特定領域情報生成部１４は、撮像画をつなぎ合わせた合成画像において特定撮像領域に対応した特定領域を示す座標の集合を領域設定情報として生成する。
　特定領域情報生成部１４は、撮像部の識別情報によって特定撮像領域が特定されている場合、合成設定情報生成部１３で生成された合成設定情報に基づき、識別情報に対応する撮像部で取得される撮像画の合成画像の座標群を算出する。特定領域情報生成部１４は、算出した座標群を示す情報を領域設定情報とする。
　また、特定領域情報生成部１４は、頂角と座角を用いて特定撮像領域が設定された場合、合成設定情報生成部１３で生成された合成設定情報に基づき、頂角と座角で示された特定撮像領域に対応する合成画像の座標群を算出する。特定領域情報生成部１４は、算出した座標群を示す情報を領域設定情報とする。
　また、特定領域情報生成部１４は、方位と仰角で特定撮像領域が設定された場合、合成設定情報生成部１３で生成された合成設定情報に基づき、各撮像部で取得された撮像画と合成画像との対応付けを行う。また、特定領域情報生成部１４は、撮像情報生成部で生成された撮像情報から、各撮像部がどの方位および仰角を向いていたかをタイムコード毎に判別する。また、特定領域情報生成部１４は、判別した撮像部の向きに基づき特定撮像領域が、何れの撮像部で取得された撮像画の何れの領域に対応するか判別する。さらに、特定領域情報生成部１４は、撮像部で取得された撮像画と合成画像との対応付けと、特定撮像領域と撮像部で取得された撮像画の対応関係に基づき、方位と仰角で示された特定撮像領域に対応する合成画像の座標群を算出する。特定領域情報生成部１４は、算出した座標群を示す情報を領域設定情報とする。
　また、特定領域情報生成部１４は、合成画像における特定撮像領域に対応する特定領域を示す領域設定情報と適用範囲の設定を示す適用範囲情報を含む特定領域情報を生成する。
　図９は特定領域情報を例示している。特定領域情報では、例えば適用範囲情報として特定領域に対する画像処理を行う場合の緯度と経度および高度がタイムコード毎に示されている。また、領域設定情報では、合成画像における特定撮像領域に対応する特定領域の座標群がタイムコード毎に示されている。なお、図９では２つの特定領域ＡＲ１，ＡＲ２が設けられており、２つの特定領域について座標群が算出されている場合を例示している。また、座標群の情報として、座標群の領域を示す四隅の座標値（水平方向画素位置，垂直方向画素位置）が示されている。なお、適用範囲情報には、上述のように開始時間や終了時間を含めてもよい。
　撮像装置１０は、上述のように特定領域情報を生成して図５のステップＳＴ１３に進み、撮像画合成処理を行う。撮像装置１０の撮像画合成部２１は、合成設定情報生成部１３で生成された合成設定情報に基づき、撮像画取得部１１の撮像部１１-1～１１-nで取得された撮像画のつなぎ合わせ処理（スティッチ処理）を行う。つなぎ合わせ処理では、タイムコードが等しい撮像画をつなぎ合わせて１枚の合成画像を生成する。撮像装置１０は、合成画像を生成してステップＳＴ１４に進む。
　ステップＳＴ１４で撮像装置１０は特定領域が設定されているか判別する。撮像画合成部２１は、特定領域情報に基づき、合成画像に対して特定領域が設定されているか判別する。撮像画合成部２１は、合成画像と等しいタイムコードの特定領域情報で特定領域の座標群が示されている場合、特定領域が設定されていると判別してステップＳＴ１５に進む。また、撮像画合成部２１は、合成画像と等しいタイムコードの特定領域情報で特定領域の座標群が示されていない場合、特定領域が設定されていない判別してステップＳＴ１６に進む。
　ステップＳＴ１５で撮像装置１０は特定領域の画像処理を行う。撮像画合成部２１は、例えば特定領域の画像データを削除または無効画像データに置き換えることで、特定領域の画像を無効化してステップＳＴ１６に進む。
　ステップＳＴ１６で撮像装置１０はエンコード処理を行う。撮像装置１０のエンコード処理部２２は、撮像画合成部２１で生成された合成画像または特定領域の画像処理が行われた合成画像の画像データを用いてエンコード処理を行うことでデータ量を削減してステップＳＴ１３に戻る。
　なお、撮像装置１０は、ステップＳＴ１３からステップＳＴ１６までの処理を撮像終了まで繰り返す。また、ステップＳＴ１３からステップＳＴ１６までの処理はフレーム毎に行う。さらに、ステップＳＴ１３からステップＳＴ１６までの処理は、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理で行うようにしてもよい。また、エンコード処理後の符号化データは外部機器に出力してもよい。
　このように、本技術の情報処理装置では、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成できる。したがって、生成された特定領域情報を用いることで、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定領域の画像の処理を容易に行うことができる。例えば、この技術の情報処理装置を撮像装置に適用すれば、目的としない被写体の画像を無効化した合成画像を撮像装置から出力できる。
　また、特定撮像領域は、撮像装置の識別情報、頂角と座角、方位や仰角等によって設定できるので、例えば目的としない被写体の撮像領域等を簡単に特定撮像領域として設定できる。
　また、特定領域情報に適用範囲情報が含まれるので、特定領域に対する画像処理が行われる時間範囲を設定することが可能となり、自由度の高い処理を行える。さらに、合成画像に関連付けられた撮像情報には、緯度や経度および高度を含む撮像位置情報が含まれており、適用範囲情報には撮像位置情報を含めることができるので、撮像位置に応じて特定領域に対する画像処理の制御を行うことができる。例えば、撮像位置が低いと、建物等の陰になって無効化対象の被写体が撮像画に写り込むことがなく、撮像位置が高くなると、無効化対象の被写体が撮像画に写り込む場合がある。この場合、適用範囲情報に高度の情報を含めて所定の高度以下である場合に特定領域に対する画像処理を行わないとすれば、撮像位置が低い位置であるため特定撮像領域に無効化対象の被写体が含まれていなくとも特定領域に対する画像処理が行われてしまうことを防止できる。
　＜２．画像再生装置の構成と動作＞
　ところで、特定領域の画像処理は、撮像装置で行う場合に限らず外部機器で行うようにしてもよい。この場合、特定領域の画像処理が行われていない合成画像の画像データや、この画像データをエンコード処理して生成した符号化データに特定領域情報等を関連付けて外部機器へ出力する。外部機器に対する出力は、画像データまたは符号化データに特定領域情報等を多重化して出力してもよく、例えば着脱可能な記憶部３１に、画像データまたは符号化データと、特定領域情報等を記憶させて、記憶部３１を介して出力してもよい。
　＜２－１．画像再生装置の第１の構成と動作＞
　次に、外部機器として画像再生装置を用いて、特定領域の画像処理を画像再生時に行う場合について説明する。画像再生装置の第１の構成と動作では、合成画像における特定領域に対してテクスチャを合成する場合について説明する。なお、画像再生装置では、例えば合成画像の符号化データと特定領域情報を用いて再生動作を行う場合を例示している。また、例えば特定領域情報にはテクスチャを生成するテクスチャ生成情報が含められている。テクスチャ生成情報は、例えば合成画像の提供先等で予め生成されている。
　図１０は、画像再生装置の第１の構成を例示している。画像再生装置５０は、画像読込部５１、デコード処理部５２、メタ情報読込部５３、テクスチャ生成部５４、テクスチャ記憶部５５、合成処理部５６を有している。
　画像読込部５１は、例えば符号化データを取り込む。画像読込部５１は、多重化データや記憶部等から符号化データを読み込み、読み込んだ符号化データをデコード処理部５２へ出力する。
　デコード処理部５２は、画像読込部５１で読み込まれた符号化データのデコード処理を行い、合成画像の画像データを生成する。デコード処理部５２は、生成した画像データを合成処理部５６へ出力する。
　メタ情報読込部５３はメタ情報を読み込む。メタ情報読込部５３は、多重化データや記憶部等から符号化データに関連付けられているメタ情報を読み込んでテクスチャ生成部５４へ出力する。
　テクスチャ生成部５４はテクスチャを生成する。テクスチャ生成部５４は、メタ情報読込部５３で読み込まれた例えば特定領域情報に含まれたテクスチャ生成情報に基づきテクスチャを生成する。テクスチャ生成部５４は、生成したテクスチャをテクスチャ記憶部５５に記憶させる。
　合成処理部５６は、合成画像の特定領域に対して再生制御を行う再生制御部である。合成処理部５６は、合成画像に対応するテクスチャをテクスチャ記憶部５５から読み出して、読み出したテクスチャをデコード処理部５２で生成された画像データの合成画像における特定領域に合成することで、特定領域の画像がそのまま再生されることがないように制御する。合成処理部５６は、特定領域に対する再生制御が行われた合成画像の画像データを出力する。
　図１１は、画像再生装置の第１の構成の動作を示すフローチャートである。なお、画像再生装置５０では、合成画像の符号化データと特定領域情報が取得できるとして以下の説明を行う。
　ステップＳＴ２１で画像再生装置５０は符号化データの読込を行う。画像再生装置５０の画像読込部５１は、多重化データや記憶部等から符号化データを読み込んでステップＳＴ２２に進む。
　ステップＳＴ２２で画像再生装置５０はデコード処理を行う。画像再生装置５０のデコード処理部５２は、ステップＳＴ２１で読み込んだ符号化データのデコード処理を行い、合成画像の画像データを生成してステップＳＴ２５に進む。
　ステップＳＴ２３で画像再生装置はメタ情報の読込を行う。画像再生装置５０のメタ情報読込部５３は、多重化データや記憶部等から符号化データに関連したメタ情報を読み込んでステップＳＴ２４に進む。
　ステップＳＴ２４で画像再生装置５０はテクスチャを生成する。画像再生装置５０のテクスチャ生成部５４は、ステップＳＴ２３で読み込まれたメタ情報に含まれているテクスチャ生成情報に基づきテクスチャを生成する。また、テクスチャ生成部５４は、生成したテクスチャをテクスチャ記憶部５５に記憶してステップＳＴ２５に進む。
　ステップＳＴ２５で画像再生装置５０は対応するテクスチャがあるか判別する。画像再生装置５０の合成処理部５６は、ステップＳＴ２２で生成した合成画像に対応するテクスチャがテクスチャ記憶部５５に記憶されているか判別する。合成処理部５６は、例えば生成した合成画像と等しいタイムコードのテクスチャがテクスチャ記憶部５５に記憶されている場合、対応するテクスチャがあると判別してステップＳＴ２６に進む。また、合成処理部５６は、等しいタイムコードのテクスチャがテクスチャ記憶部５５に記憶されていない場合、対応するテクスチャがないと判別してステップＳＴ２７に進む。
　ステップＳＴ２６で画像再生装置５０は画像合成を行う。画像再生装置５０の合成処理部５６は、合成画像と等しいタイムコードのテクスチャを特定領域の画像と合成してステップＳＴ２７に進む。
　ステップＳＴ２７で画像再生装置５０は画像出力処理を行う。画像再生装置５０の合成処理部５６は、特定領域にテクスチャが合成されている合成画像の画像データ、または対応するテクスチャがない場合には合成画像の画像データを表示装置等へ出力する。
　なお、画像再生装置５０の第１の構成および動作では、特定領域情報にテクスチャを生成するテクスチャ生成情報を含めているが、撮像情報に種々のテクスチャを生成するテクスチャ生成情報を含めてもよい。この場合、撮像情報と特定領域情報を一緒に画像再生装置５０へ出力して、特定領域情報には合成するテクスチャを特定する情報を含めることで、種々のテクスチャから選択したテクスチャを合成画像における特定領域の画像に合成できる。
　＜２－２．画像再生装置の第２の構成と動作＞
　次に、画像再生装置の第２の構成と動作について説明する。画像再生装置の第２の構成と動作では、合成画像の特定領域において、画像データの出力制御を行う場合について説明する。なお、画像再生装置では、例えば合成画像の符号化データと特定領域情報等のメタ情報を用いて再生動作を行う場合を例示している。
　図１２は、画像再生装置の第２の構成を例示している。画像再生装置５０ａは、画像読込部５１、デコード処理部５２、メタ情報読込部５３、メタ情報記憶部５７、出力制御部５８を有している。
　画像読込部５１は、符号化データを読み込む。画像読込部５１は、多重化データや記憶部等から符号化データを読み込み、取り込んだ符号化データをデコード処理部５２へ出力する。
　デコード処理部５２は、画像読込部５１で読み込まれた符号化データのデコード処理を行い、合成画像の画像データを生成する。デコード処理部５２は、生成した画像データを出力制御部５８へ出力する。
　メタ情報読込部５３はメタ情報を読み込む。メタ情報読込部５３は、多重化データや記憶部等から符号化データに対応するメタ情報を読み込みメタ情報記憶部５７へ出力する。メタ情報記憶部５７は、メタ情報読込部５３で読み込まれたメタ情報を記憶する。
　出力制御部５８は、合成画像の特定領域に対して再生制御を行う再生制御部である。出力制御部５８は、デコード処理部５２で生成された画像データを出力する際に、出力する画像データの画素が特定領域の画素であるか否かをメタ情報記憶部５７に記憶されている特定領域情報に基づいて判別する。出力制御部５８は、出力する画像データの画素が特定領域の画素でない場合、デコード処理部５２で生成された画像データを出力する。また、出力制御部５８は、出力する画像データの画素が特定領域の画素である場合、デコード処理部５２で生成された画素データの出力を停止、または予め設定されている画素データに置き換えることで、特定領域の画像が再生されないように制御する。出力制御部５８は、特定領域に対する再生制御が行われた合成画像の画像データを出力する。
　図１３は、画像再生装置の第２の構成の動作を示すフローチャートである。なお、画像再生装置５０ａでは、合成画像の符号化データと特定領域情報が取得できるとして以下の説明を行う。
　ステップＳＴ３１で画像再生装置はメタ情報の読込を行う。画像再生装置５０ａのメタ情報読込部５３は、多重化データや記憶部等から符号化データに関連したメタ情報を読み込み、読み込んだメタ情報をメタ情報記憶部５７に記憶されてステップＳＴ３２に進む。
　ステップＳＴ３２で画像再生装置５０ａは符号化データの読込を行う。画像再生装置５０ａの画像読込部５１は、多重化データや記憶部等から符号化データを読み込んでステップＳＴ３３に進む。
　ステップＳＴ３３で画像再生装置５０ａはデコード処理を行う。画像再生装置５０ａのデコード処理部５２は、ステップＳＴ３２で読み込んだ符号化データのデコード処理を行い、合成画像の画像データを生成してステップＳＴ３４に進む。
　ステップＳＴ３４で画像再生装置５０ａは出力画素が特定領域であるか判別する。画像再生装置５０ａの出力制御部５８は、メタ情報記憶部５７に記憶されている特定領域情報であって、出力する画像データとタイムコードが等しい特定領域情報に基づき、出力する画像データの画素が特定領域の画素であるか否か判別してステップＳＴ３５に進む。
　ステップＳＴ３５で画像再生装置５０ａは出力制御を行う。画像再生装置５０ａの出力制御部５８は、出力する画素が特定領域の画素でない場合は、デコード処理で生成された画像データを出力する。また、出力制御部５８は、出力する画素が特定領域の画素である場合、画像データの出力を停止、またはデコード処理部５２で生成された画像データを予め設定されている画像データに置き換えて出力する。出力制御部５８は、このような処理を行うことで、特定領域の画像に対して出力制御が行われた合成画像の画像データを画像再生装置から出力できる。
　以上のような処理を行えば、画像再生装置において、特定領域情報に基づき合成画像における特定領域の画像の再生制御を行える。
　＜３．撮像情報や特定領域情報の変形例＞
　次に、撮像情報や特定領域情報の第１の変形例について説明する。上述の特定領域情報生成部１４は、撮像部の識別情報等に基づいて設定した特定撮像領域に対応する合成画像の領域を特定領域としたが、特定領域情報は、合成画像を再生する際の制限レベル毎に生成してもよい。
　例えば合成画像を提供するサービスの提供レベルに応じて特定領域を設定する場合、合成画像の提供者は、特定領域情報生成部１４において例えば合成画像の利用者との課金契約に応じて特定領域情報を生成する。具体的には、無料のユーザに対する特定領域情報は、合成画像の「ＡＲ１パーセント」を特定領域として無効化する情報とする。また、無料ユーザに対する特定領域情報には、有料契約を勧める案内情報や他の画像コンテンツの案内情報、広告情報等のテクスチャを、無効化した特定領域に表示させる情報を含めてもよい。有料の一般ユーザに対する特定領域情報は、合成画像の「ＡＲ２（＜ＡＲ１）パーセント」を特定領域として無効化する情報とする。また、有料の一般ユーザに対する特定領域情報には、プレミア契約を勧める案内情報や他の画像コンテンツの案内情報、広告情報等のテクスチャを無効化した特定領域に表示させる情報を含めてもよい。有料のプレミアユーザに対する特定領域情報は、特定領域を設定しない情報とする。また、複数の撮像部で取得された撮像画として、複数のコンテンツ画像やコンテンツに関する表示情報等を用いて合成画像の生成を行い、合成画像の利用者との課金契約に応じて無効化するコンテンツや表示情報を特定する特定領域情報を生成してもよい。
　このように、合成画像を再生する際の制限レベル毎に特定領域情報を生成すれば、特定領域情報を選択的に用いることで、合成画像の再生を選択された特定領域情報に応じて制限できる。
　次に、第２の変形例について説明する。第２の変形例では、撮像された物体とその位置、音声テキストデータ、コマンド情報等に基づいて撮像情報と特定領域情報を生成する。
　撮像情報生成部１２は、撮像情報の時系列データに、撮像された物体とそれぞれの物体の撮像画上の位置情報を含める。また、撮影された物体を種類毎（例えば人、建物、動物、植物、記号など）に分類して、分類結果を時系列データに含めてもよい。なお、物体を種類毎に分類する処理は、画像認識技術を用いて自動的に行ってもよく、ユーザが物体毎に種類を特定してもよい。
　図１４は、撮像情報の時系列データを例示している。時系列データは例えばタイムコード毎に生成されている。なお、図１４では撮像部１１-1～１１-5を用いて撮像画の取得が行われているとする。また、座標（ｘ，ｙ），（ｘ’，ｙ’）は、物体が含まれる最小の矩形領域の座標を示している。
　例えばタイムコード「00:00:00:01」の時点において、撮像部１１-1は人物Ａを撮像しており、人物Ａの画像領域は画像上の座標（ｘ1，ｙ1），（ｘ1’，ｙ1’）であることを示している。撮像部１１-2は人物Ｂを撮像しており、人物Ｂの画像領域は画像上の座標（ｘ2，ｙ2），（ｘ2’，ｙ2’）であることを示している。撮像部１１-3はビルＡを撮像しており、ビルＡの画像領域は画像上の座標（ｘ5，ｙ5），（ｘ5’，ｙ5’）であることを示している。撮像部１１-4は犬Ａを撮像しており、犬Ａの画像領域は画像上の座標（ｘ8，ｙ8），（ｘ8’，ｙ8’）であることを示している。
　特定領域情報生成部１４は、所定の物体を含む合成画像の領域を特定領域とする。例えば、図１４において撮像部１１-1で撮像された人物Ａを被写体認識処理等によって検知した場合、図１５に示すように、人物Ａに応じて特定領域を設定する。例えば合成画像ＧＰにおける人物Ａの座標（ｘg1，ｙg1），（ｘg1’，ｙg1’）で示される矩形領域を特定領域とする。
　また、撮像情報や特定領域情報は音声データに基づいて生成してもよい。この場合、撮像情報生成部１２は、マイクで拾った音声を示す音声データをテキストデータに変換して、テキストデータを撮像情報の時系列データとする。なお、図１６は音声データに基づいて生成した撮像情報の時系列データを例示しており、タイムコードと、タイムコードが示すタイミングでマイクＡ～マイクＣが拾った音声のテキストデータを示している。
　特定領域情報生成部１５は、あらかじめテキストデータと特定領域との関係を定義しておき、認識されたテキストデータに基づき特定領域情報を生成する。例えば「Ａオン」のテキストデータは、撮像部Ａの撮像範囲を特定領域とする指示とする。「Ａオフ」のテキストデータは、撮像部Ａの撮像範囲とされている特定領域の設定を解除する指示とする。また「オールオン」のテキストデータでは、全ての撮像部の撮像範囲を特定領域とする指示とする。また、「オールオフ」のテキストデータは、特定領域の設定を全て解除する指示とする。特定領域情報生成部１５は、マイクで拾った音声に基づくテキストデータに対応した指示に応じて特定領域の設定や解除を行う。
　また、撮像情報や特定領域情報は外部機器（例えばリモートコントロール装置）からのコマンド情報に基づいて生成してもよい。この場合、撮像情報生成部１２は、外部機器やリモートコントロール装置からのコマンド情報を撮像情報として用いる。特定領域情報生成部１５は、コマンド情報に対応する領域を予め定義しておき、外部機器から供給されたコマンド情報に対応する領域を特定領域とした特定領域情報を生成する。
　さらに、特定領域情報は、被写体の位置情報と撮像情報に基づいて生成してもよい。例えば被写体の位置情報で、合成画像の特定領域とする被写体の緯度範囲と経度範囲および高度が示されたとする。また、撮像情報では撮像位置の緯度と経度と高度が示されている。この場合、特定領域とする被写体の位置と撮像位置の関係から、撮像位置に対して被写体が何れの撮像方向であるか判別できる。また、撮像情報のレンズ情報と被写体の緯度範囲と経度範囲および被写体までの距離等に基づき、被写体の緯度範囲と経度範囲に対応した画角範囲を算出できる。したがって、判別した被写体の方向であって算出した画角範囲を特定撮像領域とすれば、合成画像において緯度範囲と経度範囲および高度が示された被写体に対応した特定領域を示す特定領域情報を生成できる。
　次に、第３の変形例について説明する。上述の画像再生装置の動作等では、特定領域に対する画像処理として特定領域の画像を無効化したが、特定領域が注目されるように特定領域を強調する処理を行うようにしてもよい。例えば、特定領域の周りに矢印などの記号やメッセージを表示させる画像処理や、特定領域の周りを枠で囲む等の画像処理を行うことで、特定領域を強調する。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成する特定領域情報生成部を備える情報処理装置。
　（２）　前記撮像部の撮像位置と撮像方向と撮像範囲および時間情報を示す撮像情報を生成する撮像情報生成部を更に備える（１）に記載の情報処理装置。
　（３）　前記特定領域情報生成部は、前記特定領域に対する画像処理の適用時間または画像処理を適用する撮像位置を示す適用範囲情報を、前記特定領域情報に含める（２）に記載の情報処理装置。
　（４）　前記特定領域情報生成部は、前記複数の撮像部における特定の撮像部で撮像される領域、または方位および仰角で示された特定された撮像領域、あるいは頂角と座角で特定された撮像領域を前記特定撮像領域とする（２）または（３）に記載の情報処理装置。
　（５）　前記合成画像に前記特定領域情報を関連付けて出力する出力部を更に備える（２）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記複数の撮像部で取得された撮像画を、画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成する合成設定情報生成部と、
　前記合成設定情報生成部で生成された合成設定情報に基づき、前記合成画像を生成する撮像画合成部を更に備える（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記特定領域情報生成部は、前記合成画像を再生する際の制限レベル毎に生成する（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記特定領域情報生成部は、撮像された所定の物体を含む前記合成画像の領域を前記特定領域として前記特定領域情報を生成する（１）乃至（６）のいずれかに記載の情報処理装置。
　（９）　前記特定領域情報生成部は、音声データから生成したテキストデータに基づき前記特定領域情報を生成する（１）乃至（６）のいずれかに記載の情報処理装置。
　（１０）　前記特定領域情報生成部は、取得したコマンド情報に基づき前記特定領域情報を生成する（１）乃至（６）のいずれかに記載の情報処理装置。
　（１１）　前記特定領域情報生成部は、被写体の位置情報と前記撮像情報に基づき前記特定領域情報を生成する（２）乃至（６）のいずれかに記載の情報処理装置。
　この技術の情報処理装置、撮像装置、画像再生装置、および方法とプログラムでは、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報が生成される。また、特定領域情報に基づき合成画像の再生制御が行われる。このため、特定領域情報に基づき、合成画像における所望の撮像領域に対応した特定領域の画像に対する処理を容易に行うことができる。したがって、パノラマ画像や全天球画像等の生成や再生に適している。
　１０・・・撮像装置
　１１・・・撮像画取得部
　１１-1～１１-n・・・撮像部
　１２・・・撮像情報生成部
　１３・・・合成設定情報生成部
　１４・・・特定領域情報生成部
　２１・・・撮像画合成部
　２２・・・エンコード処理部
　２３・・・出力部
　３１・・・記憶部
　５０，５０ａ・・・画像再生装置
　５１・・・画像読込部
　５２・・・デコード処理部
　５３・・・メタ情報読込部
　５４・・・テクスチャ生成部
　５５・・・テクスチャ記憶部
　５６・・・合成処理部
　５７・・・メタ情報記憶部
　５８・・・出力制御部
　１２１・・・タイムコード生成部
　１２２・・・時計部
　１２３・・・センサ部
　１２４・・・情報生成処理部

Claims (20)

  1. 　複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成する特定領域情報生成部
    を備える情報処理装置。
  2. 　前記撮像部の撮像位置情報と撮像方向と撮像範囲および時間情報を示す撮像情報を生成する撮像情報生成部を更に備える
    請求項１に記載の情報処理装置。
  3. 　前記特定領域情報生成部は、前記特定領域に対する画像処理の適用時間または画像処理を適用する撮像位置を示す適用範囲情報を、前記特定領域情報に含める
    請求項２に記載の情報処理装置。
  4. 　前記特定領域情報生成部は、前記複数の撮像部における特定の撮像部で撮像される領域、または方位および仰角で示された特定された撮像領域、あるいは頂角と座角で特定された撮像領域を前記特定撮像領域とする
    請求項２に記載の情報処理装置。
  5. 　前記合成画像に前記特定領域情報を関連付けて出力する出力部を更に備える
    請求項２に記載の情報処理装置。
  6. 　前記複数の撮像部で取得された撮像画を、画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成する合成設定情報生成部と、
    　前記合成設定情報生成部で生成された合成設定情報に基づき、前記合成画像を生成する撮像画合成部を更に備える
    請求項１に記載の情報処理装置。
  7. 　前記特定領域情報生成部は、前記合成画像を再生する際の制限レベル毎に生成する
    請求項１に記載の情報処理装置。
  8. 　前記特定領域情報生成部は、撮像された所定の物体を含む前記合成画像の領域を前記特定領域として前記特定領域情報を生成する
    請求項１に記載の情報処理装置。
  9. 　前記特定領域情報生成部は、音声データから生成したテキストデータに基づき前記特定領域情報を生成する
    請求項１に記載の情報処理装置。
  10. 　前記特定領域情報生成部は、取得したコマンド情報に基づき前記特定領域情報を生成する
    請求項１に記載の情報処理装置。
  11. 　前記特定領域情報生成部は、被写体の位置情報と前記撮像情報に基づき前記特定領域情報を生成する
    請求項２に記載の情報処理装置。
  12. 　複数の撮像部で取得された撮像画をつなぎ合わせた合成画像に関連した情報を生成する情報処理方法において、
    　前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を特定領域情報生成部で生成すること
    を含む情報処理方法。
  13. 　複数の撮像部で取得された撮像画をつなぎ合わせた合成画像に関連した情報をコンピュータで生成するプログラムであって、
    　前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を生成する機能を
    前記コンピュータで実現するプログラム。
  14. 　複数の撮像部と、
    　前記複数の撮像部で取得された撮像画をつなぎ合わせて合成画像を生成する撮像画合成部と、
    　前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を生成する特定領域情報生成部と
    を備える撮像装置。
  15. 　前記撮像画合成部で生成された合成画像に関連付けて特定領域情報生成部で生成された特定領域情報を出力する
    請求項１４に記載の撮像装置。
  16. 　前記撮像画合成部は、前記特定領域情報生成部で生成された特定領域情報に基づき、前記合成画像における前記特定領域の画像処理を行う
    請求項１４に記載の撮像装置。
  17. 　複数の撮像画をつなぎ合わせて生成された合成画像を読み込む画像読込部と、
    　前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を読み込む情報読込部と、
    　前記画像読込部で読み込まれた合成画像における前記情報読込部で読み込まれた特定領域情報によって示された特定領域に対して、再生制御を行う再生制御部と
    を備える画像再生装置。
  18. 　前記再生制御部は、前記特定領域の無効化処理または強調処理を行う
    請求項１７に記載の画像再生装置。
  19. 　前記再生制御部は、前記無効化処理として前記特定領域の画像に前記特定領域情報で示されたテクスチャを合成する
    請求項１８に記載の画像再生装置。
  20. 　前記再生制御部は、前記無効化処理として前記特定領域の画像の出力を停止または無効データに置き換える
    請求項１８に記載の画像再生装置。
PCT/JP2017/001197 2016-03-29 2017-01-16 情報処理装置、撮像装置、画像再生装置、および方法とプログラム WO2017168949A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17773499.3A EP3439281A4 (en) 2016-03-29 2017-01-16 INFORMATION PROCESSING DEVICE, IMAGING DEVICE, IMAGE REPRODUCING DEVICE, METHOD, AND PROGRAM
CN201780019393.2A CN108886580A (zh) 2016-03-29 2017-01-16 信息处理装置、成像装置、图像再现装置、方法和程序
JP2018508413A JP7056554B2 (ja) 2016-03-29 2017-01-16 情報処理装置、撮像装置、画像再生装置、および方法とプログラム
US16/078,745 US10878545B2 (en) 2016-03-29 2017-01-16 Information processing device, imaging apparatus, image reproduction apparatus, and method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016066188 2016-03-29
JP2016-066188 2016-03-29

Publications (1)

Publication Number Publication Date
WO2017168949A1 true WO2017168949A1 (ja) 2017-10-05

Family

ID=59962990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001197 WO2017168949A1 (ja) 2016-03-29 2017-01-16 情報処理装置、撮像装置、画像再生装置、および方法とプログラム

Country Status (5)

Country Link
US (1) US10878545B2 (ja)
EP (1) EP3439281A4 (ja)
JP (1) JP7056554B2 (ja)
CN (1) CN108886580A (ja)
WO (1) WO2017168949A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155930A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 送信装置、送信方法、処理装置および処理方法
US12020824B2 (en) 2020-02-06 2024-06-25 Sumitomo Pharma Co., Ltd. Virtual reality video reproduction apparatus, and method of using the same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
JP2021052321A (ja) * 2019-09-25 2021-04-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
GB2611154A (en) * 2021-07-29 2023-03-29 Canon Kk Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004105383A1 (ja) * 2003-05-20 2004-12-02 Matsushita Electric Industrial Co., Ltd. 撮像システム
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
JP2010008620A (ja) * 2008-06-26 2010-01-14 Hitachi Ltd 撮像装置
JP2014039119A (ja) * 2012-08-13 2014-02-27 Canon Inc 画像処理装置およびその制御方法、画像処理プログラム、並びに撮像装置
JP2015121850A (ja) * 2013-12-20 2015-07-02 株式会社リコー 画像生成装置、画像生成方法、およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215317A (ja) 1998-11-16 2000-08-04 Sony Corp 画像処理方法及び画像処理装置
JP2001298652A (ja) 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
EP1679885A1 (en) 2003-08-11 2006-07-12 Matsushita Electric Industrial Co., Ltd. Photographing system and photographing method
JP4484511B2 (ja) * 2003-12-26 2010-06-16 三洋電機株式会社 画像合成装置、画像合成用集積回路、及び画像合成方法
US7619658B2 (en) * 2004-11-15 2009-11-17 Hewlett-Packard Development Company, L.P. Methods and systems for producing seamless composite images without requiring overlap of source images
JP4765613B2 (ja) * 2005-12-22 2011-09-07 富士ゼロックス株式会社 画像読み取り装置及びプログラム
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP5162928B2 (ja) * 2007-03-12 2013-03-13 ソニー株式会社 画像処理装置、画像処理方法、画像処理システム
JP2010049313A (ja) 2008-08-19 2010-03-04 Sony Corp 画像処理装置、画像処理方法、プログラム
US8862987B2 (en) * 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
JP5299054B2 (ja) 2009-04-21 2013-09-25 ソニー株式会社 電子機器、表示制御方法およびプログラム
JP5210994B2 (ja) * 2009-08-18 2013-06-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像表示装置
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
JP5361777B2 (ja) * 2010-03-29 2013-12-04 三菱スペース・ソフトウエア株式会社 画素パッケージファイル再生装置および画素パッケージファイル再生プログラム
US8810691B2 (en) * 2010-09-03 2014-08-19 Olympus Imaging Corp. Imaging apparatus, imaging method and computer-readable recording medium
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
EP2779621B1 (en) * 2011-11-07 2021-12-22 Sony Interactive Entertainment Inc. Image generation device, image generation method and program
KR101952684B1 (ko) * 2012-08-16 2019-02-27 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
US8805091B1 (en) 2012-08-17 2014-08-12 Google Inc. Incremental image processing pipeline for matching multiple photos based on image overlap
IN2014CH02078A (ja) * 2013-04-24 2015-07-03 Morpho Inc
KR102089432B1 (ko) * 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
CN105306837A (zh) * 2015-10-27 2016-02-03 浙江宇视科技有限公司 多图像拼接方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004105383A1 (ja) * 2003-05-20 2004-12-02 Matsushita Electric Industrial Co., Ltd. 撮像システム
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
JP2010008620A (ja) * 2008-06-26 2010-01-14 Hitachi Ltd 撮像装置
JP2014039119A (ja) * 2012-08-13 2014-02-27 Canon Inc 画像処理装置およびその制御方法、画像処理プログラム、並びに撮像装置
JP2015121850A (ja) * 2013-12-20 2015-07-02 株式会社リコー 画像生成装置、画像生成方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155930A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 送信装置、送信方法、処理装置および処理方法
US11341976B2 (en) 2018-02-07 2022-05-24 Sony Corporation Transmission apparatus, transmission method, processing apparatus, and processing method
US12020824B2 (en) 2020-02-06 2024-06-25 Sumitomo Pharma Co., Ltd. Virtual reality video reproduction apparatus, and method of using the same

Also Published As

Publication number Publication date
CN108886580A (zh) 2018-11-23
US20190057496A1 (en) 2019-02-21
EP3439281A4 (en) 2019-04-17
JPWO2017168949A1 (ja) 2019-02-07
EP3439281A1 (en) 2019-02-06
JP7056554B2 (ja) 2022-04-19
US10878545B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
WO2017168949A1 (ja) 情報処理装置、撮像装置、画像再生装置、および方法とプログラム
CN106464804B (zh) 成像系统、成像装置、计算机程序和系统
JP7444162B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2018011302A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016167739A (ja) 画像処理システム、画像処理方法およびプログラム
JP2003178298A (ja) 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
WO2020170606A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2019118026A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JP2019057891A (ja) 情報処理装置、撮像装置、情報処理方法及びプログラム
JP2008510357A (ja) 画像のエンコーディング方法、エンコーディング装置、画像のデコーディング方法及びデコーディング装置
JP6724659B2 (ja) 撮影装置、方法およびプログラム
JP2010166218A (ja) カメラシステム及びその制御方法
JP6256513B2 (ja) 撮像システム、撮像装置、方法およびプログラム
JP5045213B2 (ja) 撮像装置、再生装置及び記録ファイル作成方法
CN114175616B (zh) 图像处理设备、图像处理方法和程序
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
WO2021171848A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2020174363A (ja) 撮影システム、方法およびプログラム
WO2021181965A1 (ja) 画像処理装置、画像処理方法、プログラム
WO2021181966A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2013186640A (ja) 画像処理装置と画像処理方法およびプログラム
WO2024171796A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015226224A (ja) 撮像装置
JP2023042257A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508413

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017773499

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017773499

Country of ref document: EP

Effective date: 20181029

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773499

Country of ref document: EP

Kind code of ref document: A1