WO2020235370A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2020235370A1
WO2020235370A1 PCT/JP2020/018786 JP2020018786W WO2020235370A1 WO 2020235370 A1 WO2020235370 A1 WO 2020235370A1 JP 2020018786 W JP2020018786 W JP 2020018786W WO 2020235370 A1 WO2020235370 A1 WO 2020235370A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
information
information processing
directions
image
Prior art date
Application number
PCT/JP2020/018786
Other languages
English (en)
French (fr)
Inventor
望 糟谷
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2020235370A1 publication Critical patent/WO2020235370A1/ja
Priority to US17/518,389 priority Critical patent/US20220060664A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a system that images an imaging region with a plurality of imaging devices.
  • a system for capturing a predetermined imaging region from different directions by a plurality of imaging devices has been used.
  • a monitoring system in which a plurality of imaging devices are installed so as not to create a blind spot in the monitoring area and images are taken from a plurality of directions.
  • a virtual viewpoint image is generated by generating three-dimensional shape data of a subject included in the captured image based on a plurality of captured images and performing rendering processing based on the position and orientation of the virtual viewpoint. ..
  • Patent Document 1 discloses that a parameter indicating the position of each imaging device in a common coordinate system is specified by using a plurality of images obtained by imaging the same marker with a plurality of imaging devices. .. By using the technique of Patent Document 1, it is possible to confirm whether or not the position of each installed imaging device is deviated from a predetermined appropriate position.
  • the information processing device is a specific means for specifying parameters indicating the positions and orientations of a plurality of image pickup devices that image an imaging region from different directions, and the information processing device from a plurality of directions based on the parameters specified by the specific means. It has an output means for outputting information that enables identification of a conforming state of a predetermined condition related to imaging of an imaging region and at least a conforming state that changes according to the relationship between a plurality of shooting directions.
  • FIG. 1 is a diagram showing a configuration example of the processing system 1.
  • the processing system 1 includes an information processing device 10, a plurality of imaging devices 11, a control device 12, and a display device 13.
  • the information processing device 10 has a range specifying unit 101, a range determining unit 102, a determination unit 103, and an information output unit 104.
  • the processing system 1 includes a plurality of imaging devices from the imaging device 11a to the imaging device 11n. In the present embodiment, when these imaging devices are not distinguished, they are simply referred to as the imaging device 11.
  • the plurality of imaging devices 11 are installed at different positions, and by imaging a region to be imaged from a plurality of directions, a plurality of captured images used for generating a virtual viewpoint image are acquired.
  • the image target area is, for example, a stadium where competitions such as soccer and karate are held, or a stage where concerts and plays are held.
  • the plurality of imaging devices 11 are installed at different positions so as to surround such an imaging target region, and perform imaging in synchronization with each other.
  • the plurality of imaging devices 11 may not be installed over the entire circumference of the imaging target region, and may be installed only in a part of the imaging target region depending on the limitation of the installation location or the like.
  • the number of image pickup devices 11 is not limited to the example shown in the figure. For example, when the image pickup target area is a soccer stadium, about 30 image pickup devices 11 may be installed around the stadium. .. Further, an imaging device 11 having different functions such as a telephoto camera and a wide-angle camera may be installed.
  • the virtual viewpoint image in the present embodiment is also called a free viewpoint image, and is generated from a virtual viewpoint generated based on a plurality of captured images acquired by a plurality of imaging devices 11 and a designated virtual viewpoint. It is an image showing the appearance.
  • the virtual viewpoint image is generated by, for example, the following method.
  • a plurality of images are acquired by taking images from different directions by the plurality of imaging devices 11.
  • a foreground image in which a foreground area corresponding to a predetermined object such as a person or a ball is extracted and a background image in which a background area other than the foreground area is extracted are acquired from the plurality of viewpoint images.
  • foreground model representing the three-dimensional shape of a predetermined object and texture data for coloring the foreground model are generated based on the foreground image
  • the background model representing the three-dimensional shape of the background such as a stadium is colored. Texture data is generated based on the background image.
  • the texture data is mapped to the foreground model and the background model, and the virtual viewpoint image is generated by rendering according to the virtual viewpoint indicated by the viewpoint information.
  • the method of generating the virtual viewpoint image is not limited to this, and various methods such as a method of generating a virtual viewpoint image by projective transformation of the captured image without using the three-dimensional model can be used.
  • a plurality of image pickup devices 11 are used for image acquisition for generating a virtual viewpoint image
  • the use of the image acquired by the plurality of image pickup devices 11 is a virtual viewpoint image.
  • a plurality of imaging devices 11 may be installed so as to be able to image a predetermined monitoring area from different directions, and the captured image may be used for monitoring the monitoring area.
  • the plurality of imaging devices 11 are controlled by the control device 12 and output captured images and setting information related to imaging to the information processing device 10.
  • the control device 12 controls a plurality of image pickup devices 11 to control input / output of captured images and setting information.
  • the range specifying unit 101 receives a captured image and setting information from the imaging device 11, and based on the received captured image and setting information, identifies an imaging appropriate range in which each imaging device 11 satisfies a predetermined condition and can be imaged. The result is output to the range determination unit 102 and the information output unit 104.
  • the range determination unit 102 has an imaging appropriate range for the entire system (a range imaged by the entire plurality of imaging devices 11 included in the processing system 1) based on the imaging appropriate range for each of the imaging devices 11 specified by the range specifying unit 101. To determine. Then, the determined result is supplied to the determination unit 103 and the information output unit 104.
  • the determination unit 103 determines whether a predetermined imaging condition is satisfied based on the appropriate imaging range of the entire system received from the range determination unit 102, and outputs the result to the information output unit 104.
  • the information output unit 104 generates image information that visualizes the information used for the determination and the determination result based on the information received from the range specifying unit 101, the range determination unit 102, and the determination unit 103, and the generated information. Is output to the display device 13.
  • the display device 13 displays an image based on the information received from the information output unit 104 of the information processing device 10.
  • the configuration of the processing system 1 is not limited to the example shown in FIG.
  • the control device 12 and the information processing device 10 may be integrally configured, or the information processing device 10 and the display device 13 may be integrally configured.
  • the information output destination of the information output unit 104 may be a storage device (not shown).
  • FIG. 2 is a diagram showing a hardware configuration example of the information processing device 10.
  • the hardware configuration of the control device 12 is also the same as the configuration of the information processing device 10 described below.
  • the information processing device 10 includes a CPU 201, a ROM 202, a RAM 203, an auxiliary storage device 204, a display unit 205, an operation unit 206, a communication I / F 207, and a bus 208.
  • the CPU 201 realizes each function of the information processing device 10 by controlling the entire information processing device 10 using computer programs and data stored in the ROM 202 and the RAM 203.
  • the information processing device 10 may have one or more dedicated hardware different from the CPU 201, and the dedicated hardware may execute at least a part of the processing by the CPU 201. Examples of dedicated hardware include ASICs (application specific integrated circuits), FPGAs (field programmable gate arrays), and DSPs (digital signal processors).
  • the ROM 202 stores programs and the like that do not require changes.
  • the RAM 203 temporarily stores programs and data supplied from the auxiliary storage device 204, data supplied from the outside via the communication I / F 207, and the like.
  • the auxiliary storage device 204 is composed of, for example, a hard disk drive or the like, and stores various data such as image data.
  • the display unit 205 is composed of, for example, a liquid crystal display, an LED, or the like, and displays a GUI (Graphical User Interface) for the user to operate the information processing device 10.
  • the display unit 205 of the information processing device 10 may function as the display device 13.
  • the operation unit 206 is composed of, for example, a keyboard, a mouse, a joystick, a touch panel, etc., and inputs various instructions to the CPU 201 in response to an operation by the user.
  • the CPU 201 operates as a display control unit that controls the display unit 205 and an operation control unit that controls the operation unit 206.
  • the communication I / F 207 is used for communication with an external device of the information processing device 10.
  • a communication cable is connected to the communication I / F 207.
  • the communication I / F 207 includes an antenna.
  • the bus 208 connects each part of the information processing device 10 to transmit information.
  • the display unit 205 and the operation unit 206 exist inside the information processing device 10, but at least one of the display unit 205 and the operation unit 206 exists as another device outside the information processing device 10. You may be.
  • FIG. 3 is a flowchart for explaining the processing of the information processing apparatus 10.
  • the process shown in FIG. 3 is realized by the CPU 201 of the information processing device 10 expanding the program stored in the ROM 202 into the RAM 203 and executing the program. At least a part of the processing shown in FIG. 3 may be realized by one or a plurality of dedicated hardware different from the CPU 201.
  • the connection and initial settings are made so that the image pickup apparatus 11 and the information processing apparatus 10 can communicate with each other, and the instruction for confirming the imaging condition is input to the information processing apparatus 10. It will be started.
  • the start timing of the process shown in FIG. 3 is not limited to this.
  • the determination unit 103 sets the imaging conditions based on the operation by the user via the operation unit 206.
  • the imaging direction interval ⁇ and the imaging resolution p are set as the imaging conditions.
  • FIG. 4 shows an example of installation of a plurality of imaging devices 11.
  • Six image pickup devices 11 from the image pickup device 11a to the image pickup device 11f are installed toward the gazing point 401 in the image pickup target area 402.
  • the situation in which the imaging condition is satisfied for the region near the gazing point 401 is as follows. That is, all of the six imaging devices 11 can image in the vicinity of the gazing point with a resolution equal to or higher than the set imaging resolution p, and the angle formed by the line connecting the two adjacent imaging devices 11 and the gazing point.
  • a plurality of imaging devices 11 are installed so as to satisfy such imaging conditions, it is possible to generate a virtual viewpoint image in the vicinity of the gazing point with high image quality based on the acquired plurality of captured images.
  • the resolution at which a region of the imaging device 11 can be imaged is determined by the focal length of the imaging device 11, the number of imaging pixels, and the distance between the region and the position of the imaging device 11.
  • the content of the imaging conditions is not limited to this.
  • either one of the imaging direction interval ⁇ and the imaging resolution p may be set as the imaging condition, or other conditions may be set.
  • the imaging condition is that the region to be determined (for example, the region near the gazing point 401) can be imaged from a plurality of directions, and the interval between the plurality of directions is less than ⁇ . Is.
  • the relationship that the plurality of directions should satisfy is that the interval between the plurality of directions is less than ⁇ . Is used.
  • the method of setting the imaging condition is not limited to the operation by the user, and the imaging condition may be set based on the input from another device to the information processing device 10, and the value stored in the ROM 202 or the RAM 203 is used.
  • the imaging conditions may be set.
  • the vertical and horizontal heights of the imaging target area 402 and the three-dimensional coordinates of the gazing point 401 may be stored in advance by the information processing apparatus 10, or may be input together with the imaging conditions based on the user operation.
  • the imaging target region 402 is a rectangular parallelepiped centered on the gazing point 401, but the imaging target region 402 may be spherical, hemispherical, or cylindrical.
  • the range specifying unit 101 acquires the images captured by the respective image pickup devices 11 in response to the control by the control device 12.
  • Each image acquired here includes a specific object such as a two-dimensional marker installed at a known position in the imaging target area.
  • the number of markers is not limited, but for example, the markers and the image pickup apparatus 11 are installed so that three or more markers appear in each image.
  • the range specifying unit 101 acquires setting information related to imaging from the imaging device 11.
  • the acquired setting information includes, for example, information indicating the focal length of the image pickup apparatus 11 and information indicating the number of vertically and horizontally imaged pixels.
  • the range specifying unit 101 specifies the internal parameters and the external parameters of the imaging device 11 based on the captured image acquired in S302 and the setting information acquired in S303. Then, the range specifying unit 101 specifies the appropriate imaging range of each imaging device 11 based on those parameters.
  • the internal parameters are information on the focal length and the number of imaging pixels of the imaging device 11, and the external parameters are information on the position and orientation of the imaging device 11.
  • the internal parameter K is expressed by the following equation (1) with the principal point as the center of the image.
  • the width represents the number of pixels in the horizontal direction of the captured image
  • the height represents the number of pixels in the vertical direction
  • f represents the focal length
  • the external parameter T is obtained by solving the PnP problem based on the two-dimensional coordinates of the marker position detected from the captured image acquired in S302 and the three-dimensional coordinates of the marker in the known imaging target region. It is represented by a matrix with 4 rows and 4 columns.
  • a plurality of voxels 501 constituting the space including the imaging target region 402 shown in FIG. 5 have a resolution equal to or higher than the imaging resolution p set in S301. It is possible to determine whether or not imaging can be performed by the imaging device.
  • the actual resolution pb of the voxel 501 at the position represented by the three-dimensional coordinates (x, y, z) is calculated by the following equation (2).
  • Equation (2) in the (u b, v b) represents the lower end of the coordinates of the voxel 501, represents the (u t, v t) is the upper end of the voxel 501 coordinates, a is representative of the size of the voxels. Then, a range composed of voxels 501 satisfying the condition of the following formula (3) is calculated as an appropriate imaging range of the imaging device.
  • the range in which imaging is possible with a resolution equal to or higher than the imaging resolution p set by a certain imaging device is the appropriate imaging range of the imaging device.
  • the method of specifying the appropriate imaging range is not limited to the above. Further, the definition of the appropriate imaging range differs depending on the set imaging conditions. For example, when the set imaging conditions do not include the conditions related to resolution, the appropriate imaging range of a certain imaging device may be a range that can be captured by the imaging device (a range included in the captured image). Further, the parameters related to the image pickup apparatus 11 specified by the range specifying unit 101 are not limited to the parameters indicating the position, the direction, the focal length, and the number of pixels. For example, the range specifying unit 101 acquires a parameter indicating the operating state of the imaging device 11 as setting information to determine whether the imaging device 11 is in a state where it can normally image or in an abnormal state where it cannot normally image. It may be specified.
  • the range specifying unit 101 may treat the imaging device 11 in an abnormal state as if there is no appropriate imaging range. Further, the range specifying unit 101 may specify only specific parameters such as the position and orientation of the image pickup device 11 based on the captured image, and may use default values for other parameters.
  • the range determination unit 102 determines the appropriate imaging range of the entire system based on the appropriate imaging range of each of the plurality of imaging devices 11 specified by the range specifying unit 101 in S304.
  • the range in which the appropriate imaging ranges of the plurality of imaging devices 11 overlap is defined as the appropriate imaging range for the entire system.
  • the present invention is not limited to this, and a range included in at least one of the appropriate imaging ranges of the plurality of imaging devices 11 may be defined as an appropriate imaging range for the entire system.
  • the range determination unit 102 may set how to determine an appropriate imaging range based on a user operation.
  • the determination unit 103 determines whether the imaging conditions set in S501 are satisfied in each voxel 501 included in the imaging appropriate range of the entire system determined in S305. For example, the determination unit 103 images the voxels 501 from a plurality of directions such that the condition of the imaging direction interval ⁇ is satisfied based on the external parameters of the plurality of imaging devices 11 including the voxels 501 to be determined in the appropriate imaging range. You can determine if you can. That is, when viewed from the voxel 501 to be determined, the determination unit 103 has a difference in the directions of two adjacent imaging devices 11 among the plurality of imaging devices 11 including the voxel 501 in the appropriate imaging range, which is less than the imaging direction interval ⁇ . It can be determined whether or not. Further, the determination unit 103 determines whether or not the appropriate imaging range of the entire system covers the entire predetermined imaging target area 402.
  • the determination of the imaging condition is not limited to the one performed in voxel units, and the determination may be performed for each divided region in which the space including the imaging target region 402 is divided. Further, the determination of the imaging condition may be performed only for a specific voxel 501 (for example, the voxel 501 including the position of the gazing point 401) among the voxels 501 included in the appropriate imaging range of the entire system.
  • the information output unit 104 generates information that makes it possible to identify the conforming state of the imaging conditions according to the processes from S304 to S306.
  • the information generated by the information output unit 104 is output to the display device 13, so that the information is displayed on the display device 13.
  • FIG. 6 shows an example of the information output by the information output unit 104.
  • the image 600 is an example of image information generated by the information output unit 104, and is an image pickup device ID 601 that is identification information of the image pickup device 11a selected as an information display target, an image pickup appropriate range 602 of the image pickup device 11a, and an image pickup target.
  • the area 603 and the determination result 604 are shown.
  • FIG. 6 shows the determination result of whether or not the imaging appropriate range 602 of the imaging device 11a covers the entire imaging target area 603, and the lower left portion of the imaging target area 603 is covered. Since there is no such thing, it is displayed as "NG”. If the focal length of the imaging device 11a is shortened to perform wide-angle imaging, or the orientation of the imaging device 11a is slightly changed to the left, and the entire imaging target area 603 is covered by the imaging appropriate range 602, the determination result is obtained. 604 is "OK".
  • the display method of the determination result 604 is not limited to such a text format, and the determination result may be shown by changing the color of the imaging target area 603, for example. Further, the determination content is not limited to this, and the results of other determinations may be similarly shown in the image 600.
  • the appropriate imaging range is displayed two-dimensionally by a bird's-eye view.
  • the three-dimensional imaging appropriate range 602 is displayed by filling the two-dimensional position so that all the voxels 501 within a predetermined height range such as 0 to 5 m with respect to the ground are included in the imaging appropriate range.
  • Information may be projected in two dimensions to form an image.
  • the present invention is not limited to this, and the appropriate imaging range may be visualized as three-dimensional information. By doing so, the user can identify that the size of the appropriate imaging range is insufficient in the height direction.
  • a region included in the field of view of the image pickup apparatus 11 but out of the proper imaging range due to insufficient resolution and a region outside the field of view of the image pickup apparatus 11 may be displayed so as to be distinguishable by color coding or the like. Further, by color-coding the regions according to the value of the resolution pb, it may be possible to visually recognize how much the resolution of each region is insufficient.
  • FIG. 7 shows another example of the information output by the information output unit 104.
  • the image 700 includes an image showing a plurality of imaging devices 11 and a circular indicator 701 indicating a direction in which the imaging device 11 does not exist when viewed from a selected position in the imaging target area 402.
  • the selected position in the example of FIG. 7 is a voxel 501 including the gazing point 401, and the right direction and the lower left direction of the indicator 701 corresponding to the direction in which the image pickup device 11 does not exist are colored with respect to the voxel 501.
  • the image 700 output by the information output unit 104 is an example of information that makes it possible to identify whether or not a region in the vicinity of the gazing point 401 can be imaged from a plurality of directions such that the condition of the imaging direction interval ⁇ is satisfied.
  • the user can easily determine whether or not the imaging conditions for generating the virtual viewpoint image in the vicinity of the gazing point with high image quality are satisfied. Can be identified.
  • the imaging device 11 is not located in a specific direction when viewed from the gazing point 401, it can be inferred that the virtual viewpoint image corresponding to the virtual viewpoint such as viewing the gazing point 401 from that direction has a low image quality.
  • the information output by the information output unit 104 is not limited to image information.
  • the information output unit 104 may output text information indicating whether or not the imaging conditions are satisfied.
  • the information output unit 104 may output a flag indicating a determination result of imaging conditions and coordinate information indicating an imaging appropriate range to the display device 13, and the display device 13 may generate image information based on the information. ..
  • the external parameters of the imaging device 11 are calculated based on the positions of the markers detected from the captured image acquired in S302, and the internal parameters of the imaging device 11 are calculated from the setting information acquired in S303. did.
  • the method of obtaining the internal parameter and the external parameter of the imaging device 11 for specifying the appropriate imaging range is not limited to this.
  • the range specifying unit 101 may calculate an external parameter based on an operation specified by the user on a captured image of a point whose three-dimensional coordinates are known.
  • the external parameters may be calculated by model fitting using the captured image acquired by the imaging device 11 and the three-dimensional model of the environment associated with the imaging target region.
  • the relative position / orientation of each image pickup device 11 may be obtained based on the correspondence of the image feature points in the plurality of captured images acquired by the plurality of image pickup devices 11. Then, the external parameters of the other imaging device 11 may be obtained with reference to one imaging device 11 whose external parameters are determined by the method as described above.
  • the external parameters may be calculated based on the pan and tilt control information.
  • the range specifying unit 101 acquires the pan and tilt set values, and based on the external parameters calculated in the set values before the change and the set values after the change, sets the external parameters after the change. It may be calculated. Further, in order to obtain the internal parameters, the range specifying unit 101 may perform camera calibration or may use information embedded in the image file such as EXIF information.
  • each position in a predetermined imaging target area can be imaged from a predetermined number or more directions with a resolution equal to or higher than a threshold value.
  • the image pickup apparatus 11 is installed.
  • the information processing device 10 outputs information for allowing the user to identify whether or not such an installation has been realized.
  • the configuration of the processing system 1 in this modification is the same as that described with reference to FIG. 1, and the hardware configuration of the information processing apparatus 10 is the same as that described with reference to FIG.
  • the points different from the embodiments described with reference to FIGS. 1 to 7 will be mainly described.
  • FIG. 8 shows an installation example of the image pickup device 11.
  • the four image pickup devices 11 from the image pickup devices 11aa to 11ad are located in substantially the same direction with respect to the image pickup target area 802, and these image pickup devices 11 are treated as the group 801a.
  • each group from group 801b to group 801l is also composed of a plurality of imaging devices 11.
  • the number of image pickup devices 11 in each group does not have to be the same, and the number of image pickup devices 11 is not limited to the example shown in FIG.
  • FIG. 9A shows the field of view of the imaging device 11 included in the group 801a.
  • the region 901aa, the region 901ab, the region 901ac, and the region 901ad are regions included in the fields of view of the imaging device 11aa, the imaging device 11ab, the imaging device 11ac, and the imaging device 11ad, respectively.
  • FIG. 9B shows the field of view of the image pickup apparatus 11ad and the image pickup apparatus 11ab as viewed from the lateral direction.
  • the determination unit 103 sets the number of imaging directions n in addition to the imaging resolution p as the imaging condition.
  • the situation in which such an imaging condition is satisfied for a position in the imaging target region 802 is a situation in which the position can be imaged with a resolution of an imaging resolution p or more from a number of directions of several n or more in the imaging direction.
  • the number of directions in which a certain position is imaged is determined based on the number of groups capable of imaging the position.
  • the information indicating the group configuration of the image pickup apparatus 11 may be stored in advance by the information processing apparatus 10, or may be input together with the imaging conditions based on the user operation.
  • the range determining unit 102 first determines the appropriate imaging range for each group. Specifically, the range in which the plurality of imaging devices 11 included in the group can image with a resolution equal to or higher than the imaging resolution p is defined as the appropriate imaging range for the group. Then, a range composed of voxels 501 included in the appropriate imaging range of the group having a number of imaging directions n or more is determined as the appropriate imaging range of the entire system. Both the appropriate imaging range for each group and the appropriate imaging range for the entire system are output to the determination unit 103 and the information output unit 104.
  • the information output unit 104 determines whether or not the appropriate imaging range determined in S305 covers the entire imaging target region 802. Further, for each voxel 501 in the imaging target region 802, the number of groups including the voxel 501 in the imaging appropriate range is specified.
  • the information output unit 104 generates information according to the processes from S304 to S306. The information output unit 104 may generate information on the appropriate imaging range for each group as shown in FIG. 10 instead of the information on the appropriate imaging range for each imaging device 11 as described with reference to FIG.
  • the image 1000 shows the group ID 1001 which is the identification information of the group 801a selected as the information display target, the imaging appropriate range 1004 of the group 801a, the imaging target area 1003, the determination result 1002, and the resolution color bar 1005.
  • the appropriate imaging range 1004 is colored according to the resolution of each position, and the resolution color bar 1005 indicates the correspondence between the color and the resolution.
  • the determination result 1002 in the example of FIG. 10 shows the determination result of whether or not the imaging appropriate range 1004 covers the entire imaging target region 1003, and the lower center portion of the imaging target region 1003 is not covered. "NG" is displayed.
  • the image pickup target area 1003 The entire image is covered by the imaging appropriate range 1004.
  • the determination result 1002 becomes "OK".
  • FIG. 11 shows another example of the information output by the information output unit 104.
  • the image 1100 includes an imaging appropriate range 1101 of the entire system, a determination result 1102 of whether or not the imaging appropriate range 1101 covers the entire imaging target region 1103, and a direction number color bar 1104.
  • the appropriate imaging range 1101 is displayed in a heat map format in which each position in the range is colored according to the number of directions in which imaging is possible, and the number of directions color bar is the correspondence between the number of directions in which imaging is possible and the color. Is shown. In the example of FIG. 11, it is shown that the region near the center of the imaging target region 1103 can be imaged from a large number of directions, and the peripheral region can be imaged from a small number of directions.
  • the image information of the appropriate imaging range 1101 shown in FIG. 11 it is possible to identify whether or not the imaging conditions are satisfied for each of the plurality of divided regions (for example, voxels 501) included in the imaging target region 1103. Further, according to the information of the determination result 1102 shown in FIG. 11, it is possible to identify whether or not the imaging conditions are satisfied in all of the plurality of divided regions included in the imaging target region 1103.
  • the image 700 output by the information output unit 104 is an example of information that enables identification of whether or not each position in the imaging target region 1103 can be imaged from a plurality of directions such that the condition of the number of imaging directions n is satisfied. ..
  • the user can determine whether or not the imaging conditions are satisfied for each position in the imaging target area 1103 and from what direction each position can be imaged. It can be easily identified. That is, the user can easily determine which position of the virtual viewpoint image in the imaging target area 1103 can be generated with high image quality and which position of the virtual viewpoint image can have low image quality.
  • 10 which is a value set as the number of imaging directions n is set as the lower limit value of the heat map, and a background color is added to the region where the number of imaging directions is less than that. ..
  • the present invention is not limited to this, and the lower limit value of the heat map may be set to 0 or 1.
  • the heat map is not limited to the number of directions in which each position can be imaged (the number of groups), and the heat map may be displayed according to the number of image pickup devices 11 capable of imaging each position. That is, the information output unit 104 may output information indicating the number of image pickup devices 11 capable of imaging each position.
  • the information output by the information output unit 104 is information indicating the number of imaging devices capable of imaging each position with a resolution of p or higher in the imaging resolution.
  • the output of information indicating the number of image pickup devices 11 can be applied even when the image pickup devices 11 are not grouped (for example, in the case of the arrangement as shown in FIG. 4).
  • the appropriate imaging range 1101 may be displayed in a heat map format and three-dimensionally.
  • the appropriate imaging range for the entire system may be determined regardless of the number of imaging directions n.
  • the appropriate imaging range of the entire system may be included in the appropriate imaging range of at least one group, or may be included in the appropriate imaging range of at least one of the imaging devices 11.
  • the appropriate imaging range of the group may be set to a range capable of imaging by at least one of the plurality of imaging devices 11 belonging to the group. ..
  • FIG. 12 is a flowchart showing the processing of the information processing device 10 in this modification.
  • the same reference numerals are given to the same processes as those described with reference to FIG. In the following, the differences from the above-mentioned processing will be mainly described.
  • the imaging conditions are set in the same manner as the above-mentioned processing.
  • the range specifying unit 101 is the imaging target including the wall or obstacle in addition to the imaging conditions.
  • Acquire environmental information for example, 3D model
  • the range specifying unit 101 may acquire environmental information based on an input operation by the user, or may acquire environmental information from an external device. Further, the range specifying unit 101 acquires information on the range of motion of the pan / tilt of each imaging device 11 as setting information of the imaging device 11.
  • the range specifying unit 101 sets the pan / tilt of the image pickup device 11 to the initial state via the control device 12.
  • the appropriate imaging range of each imaging device 11 is specified as in the processes already described.
  • the process returns to S1201, and the range specifying unit 101 changes the pan / tilt of the image pickup apparatus 11.
  • the processes S302 to S304 are performed again, and the appropriate imaging range of the imaging device 11 after the pan / tilt change is specified.
  • the processing of S302 to S304 is performed in four loops for each image pickup apparatus 11 by the combination of the minimum value and the maximum value of the pan and the minimum value and the maximum value of the tilt.
  • the number of times of specifying the imaging appropriate range of the imaging device 11 is not limited to this, and the specifying process may be performed while changing the pan / tilt more finely.
  • the range determination unit 102 determines the appropriate imaging range for the entire system. Specifically, the range determination unit 102 first obtains a provisional imaging range that can be included in the appropriate imaging range by changing the pan / tilt of each imaging device 11. In the above process, only the appropriate imaging range at the minimum and maximum pan-tilt values is obtained. Therefore, the appropriate imaging range corresponding to other pan-tilt settings is specified by interpolation. For example, as shown in FIG. 13, the region surrounded by connecting the vertices of the plurality of appropriate imaging ranges 1301a, 1301b, 1301c, and 1301d specified for the same imaging device 11a with a straight line is the provisional imaging range of the imaging device 11a. It becomes 1301. However, the interpolation method is not limited to linear interpolation, and for example, interpolation may be performed using an arc centered on the image pickup apparatus 11a.
  • the range determination unit 102 uses the environmental information acquired in S301 to obtain the range of obstacles 1402 and 1403 and the range 1404 that cannot be imaged by the obstacle 1403 as shown in FIG. 14, the provisional imaging range 1301.
  • the pan-tilt imaging range 1401 is determined by removing from.
  • the range determination unit 102 determines the appropriate imaging range of the entire system based on the pan-tilt imaging range 1401 of each imaging device 11. For example, a range included in the pan-tilt imaging range 1401 of any of the imaging devices 11 or a range included in the pan-tilt imaging range 1401 of a predetermined number or more of the imaging devices 11 is determined as an appropriate imaging range for the entire system.
  • the processing after S305 is the same as the processing already described with reference to FIG.
  • the appropriate range for imaging at each pan-tilt setting value is specified by changing the pan-tilt of the imaging device 11 and repeating the acquisition of the captured image.
  • the appropriate imaging range using the captured image can be calculated only once, and the appropriate imaging range corresponding to other pan-tilt setting values can be obtained. , It may be obtained from the relationship between the calibrated pan-tilt value and the external parameter.
  • the information processing device 10 specifies parameters related to a plurality of image pickup devices 11 that image image areas from different directions. Then, the information processing device 10 is in a state of conforming to predetermined conditions related to imaging of the imaging region based on the parameters related to the specified plurality of imaging devices 11, and at least from which direction the imaging region is imaged. Outputs information that makes it possible to identify conforming states that change accordingly.
  • the user can easily determine whether or not the plurality of imaging devices 11 that image the imaging region satisfy a predetermined imaging condition as a whole. Further, for example, when the captured images acquired by the plurality of imaging devices 11 are used for generating the virtual viewpoint image, the user can easily determine whether or not the virtual viewpoint image in the imaging region can be generated with high image quality. become.
  • a plurality of imaging devices 11 are installed at substantially the same height.
  • the height is not limited to this, and the heights of the plurality of imaging devices 11 may be different.
  • the information processing device 10 may treat a plurality of image pickup devices 11 having the same horizontal direction (xy direction) with respect to the image pickup target region but having different heights as the image pickup device 11 that images images from the same direction.
  • the imaging devices 11 having different heights may be treated as the imaging devices 11 that capture images from different directions.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC or the like) that realizes one or more functions. Further, the program may be recorded and provided on a computer-readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

情報処理装置１０は、撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置１１の位置及び向きを示すパラメータを特定する。そして情報処理装置１０は、特定されたパラメータに基づいて、複数の方向からの前記撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記複数の方向の関係に応じて変化する適合状態を識別可能にする情報を出力する。

Description

情報処理装置、情報処理方法、及びプログラム
　本発明は、複数の撮像装置により撮像領域を撮像するシステムに関するものである。
　近年、複数の撮像装置により所定の撮像領域をそれぞれ異なる方向から撮像するシステムが利用されている。例えば、監視領域に死角が生まれないように複数の撮像装置を設置して複数の方向から撮像する監視システムがある。また例えば、複数の撮像装置を異なる位置に設置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。具体的には、複数の撮像画像に基づいて、撮像画像に含まれる被写体の３次元形状データを生成し、仮想視点の位置及び向きに基づくレンダリング処理を行うことにより、仮想視点画像が生成される。
　このようなシステムにおいては、各撮像装置を適切な位置や向きで設置することが求められる。特許文献１には、同じマーカを複数の撮像装置により撮像することで得られた複数の画像を用いて、共通の座標系における各撮像装置の位置を示すパラメータを特定することが開示されている。特許文献１の技術を用いれば、設置された各撮像装置の位置が予め定められた適切な位置からずれていないかを確認することができる。
特開２０１８－２０７２５２号公報
　しかしながら、個別の撮像装置に関するパラメータを特定するだけでは、撮像領域を撮像する複数の撮像装置が全体として所定の条件を満たすかを判断することが困難な場合が考えられる。例えば、撮像領域の仮想視点画像を高画質で生成するためには、撮像領域内の各位置が複数の方向から撮像されるように複数の撮像装置を設置することが求められる。このような条件が満たされているかを、個別の撮像装置に関するパラメータからユーザが判断することは容易でない。
　情報処理装置は、撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置の位置及び向きを示すパラメータを特定する特定手段と、前記特定手段により特定されたパラメータに基づいて、複数の方向からの前記撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記撮複数の方向の関係に応じて変化する適合状態を識別可能にする情報を出力する出力手段とを有する。
処理システムの構成例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 情報処理装置の処理の例を示すフローチャートである。 撮像装置の設置例を示す図である。 撮像対象領域を含むボクセル空間を示す図である。 撮像装置の撮像適正範囲を識別可能にする画像の例を示す図である。 撮像条件の判定結果を識別可能にする画像の例を示す図である。 撮像装置１１のグループ配置の例を示す図である。 グループに属する撮像装置の視野を示す図である。 グループに属する撮像装置の視野を示す図である。 グループの撮像適正範囲を識別可能にする画像の例を示す図である。 撮像条件を満たすか否かを識別可能にする画像の例を示す図である。 情報処理装置１０の処理の例を占めるフローチャートである。 撮像装置の暫定撮像範囲を示す図である。 撮像装置のパンチルト撮像範囲を示す図である。
　以下、図面を参照して本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
　［システム構成］
　図１は、処理システム１の構成例を示す図である。処理システム１は、情報処理装置１０、複数の撮像装置１１、制御装置１２、及び表示装置１３を有する。情報処理装置１０は、範囲特定部１０１、範囲決定部１０２、判定部１０３、及び情報出力部１０４を有する。
　処理システム１には、撮像装置１１ａから撮像装置１１ｎまでの複数の撮像装置が含まれる。本実施形態において、これらの撮像装置を区別しない場合には、単に撮像装置１１と表記する。複数の撮像装置１１は、それぞれ異なる位置に設置され、撮像対象の領域を複数の方向から撮像することで、仮想視点画像を生成するために用いられる複数の撮像画像を取得する。
　撮像対象領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置１１は、このような撮像対象領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置１１は撮像対象領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像対象領域の一部の方向にのみ設置されていてもよい。また、撮像装置１１の数は図に示す例に限定されず、例えば撮像対象領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置１１が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置１１が設置されていてもよい。
　本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであり、複数の撮像装置１１により取得された複数の撮像画像と、指定された仮想視点とに基づいて生成される、仮想視点からの見えを表す画像である。仮想視点画像は、例えば以下のような方法で生成される。
　まず、複数の撮像装置１１によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。
　なお、本実施形態では複数の撮像装置１１が仮想視点画像の生成のための画像取得に用いられる場合を中心に説明するが、複数の撮像装置１１により取得される画像の用途は、仮想視点画像の生成に限定されない。例えば、複数の撮像装置１１がそれぞれ異なる方向から所定の監視領域を撮像できるように設置され、撮像画像が監視領域の監視用途に用いられてもよい。
　複数の撮像装置１１は、制御装置１２により制御され、情報処理装置１０へ撮像画像や撮像に関する設定情報を出力する。制御装置１２は、複数の撮像装置１１を制御して撮像画像や設定情報の入出力を制御する。範囲特定部１０１は、撮像装置１１から撮像画像や設定情報を受け取り、受け取った撮像画像や設定情報に基づいて、各撮像装置１１が所定の条件を満たして撮像可能な撮像適正範囲を特定し、その結果を範囲決定部１０２及び情報出力部１０４に出力する。範囲決定部１０２は、範囲特定部１０１が特定した撮像装置１１それぞれの撮像適正範囲に基づいて、システム全体の撮像適正範囲（処理システム１に含まれる複数の撮像装置１１全体により撮像される範囲）を決定する。そして決定した結果を判定部１０３及び情報出力部１０４に供給する。
　判定部１０３は、範囲決定部１０２から受け取ったシステム全体の撮像適正範囲に基づいて、所定の撮像条件が満たされるかを判定し、その結果を情報出力部１０４に出力する。情報出力部１０４は、範囲特定部１０１、範囲決定部１０２、及び判定部１０３から受け取った情報に基づいて、判定に用いられた情報や判定結果などを可視化する画像情報を生成し、生成した情報を表示装置１３に出力する。表示装置１３は、情報処理装置１０の情報出力部１０４から受け取った情報に基づいて画像を表示する。
　なお、処理システム１の構成は図１の例に限定されない。例えば、制御装置１２と情報処理装置１０とが一体となって構成されていてもよいし、情報処理装置１０と表示装置１３とが一体となって構成されていてもよい。また、情報出力部１０４による情報の出力先が、不図示の記憶装置であってもよい。
　［ハードウェア構成］
　図２は、情報処理装置１０のハードウェア構成例を示す図である。なお、制御装置１２のハードウェア構成も、以下で説明する情報処理装置１０の構成と同様である。情報処理装置１０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信Ｉ／Ｆ２０７、及びバス２０８を有する。
　ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて情報処理装置１０全体を制御することで、情報処理装置１０の各機能を実現する。なお、情報処理装置１０がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データなどの種々のデータを記憶する。
　表示部２０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）などを表示する。なお、情報処理装置１０の表示部２０５が表示装置１３として機能してもよい。操作部２０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作する。
　通信Ｉ／Ｆ２０７は、情報処理装置１０の外部の装置との通信に用いられる。例えば、情報処理装置１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０７に接続される。情報処理装置１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。バス２０８は、情報処理装置１０の各部をつないで情報を伝達する。
　本実施形態では表示部２０５と操作部２０６が情報処理装置１０の内部に存在するものとするが、表示部２０５と操作部２０６の少なくとも一方が情報処理装置１０の外部に別の装置として存在していても良い。
　［処理フロー］
　以下では、図４に示すように、撮像対象領域４０２内の所定の注視点４０１近傍を複数の方向から撮像するように設置された複数の撮像装置１１が、所定の撮像条件を満たしているか確認するための処理について説明する。図３は、情報処理装置１０の処理について説明するためのフローチャートである。
　図３に示す処理は、情報処理装置１０のＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に展開して実行することで実現される。なお、図３に示す処理の少なくとも一部を、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。図３に示す処理は、撮像装置１１と情報処理装置１０とが通信可能となるように接続及び初期設定が行われ、撮像条件の確認のための指示が情報処理装置１０に入力されたタイミングで開始される。ただし、図３に示す処理の開始タイミングはこれに限定されない。
　Ｓ３０１では、判定部１０３が、操作部２０６を介したユーザによる操作に基づいて撮像条件を設定する。ここでは撮像条件として、撮像方向間隔θと撮像分解能ｐが設定されるものとする。図４は、複数の撮像装置１１の設置の例を示す。撮像装置１１ａから撮像装置１１ｆまでの６台の撮像装置１１が、撮像対象領域４０２内の注視点４０１に向けて設置される。例えば注視点４０１の近傍領域について撮像条件が満たされる状況とは、以下のような状況である。すなわち、６台の撮像装置１１がいずれも注視点近傍を設定された撮像分解能ｐ以上の分解能で撮像でき、且つ、隣り合う２台の撮像装置１１と注視点を結ぶ線がなす角である装置間角度４０３が設定された撮像方向間隔θ未満となる状況である。このような撮像条件が満たされるように複数の撮像装置１１が設置されている場合、取得された複数の撮像画像に基づいて注視点近傍の仮想視点画像を高画質に生成することができる。これは、撮像の分解能が高ければ仮想視点画像の解像度を高くすることができ、閾値未満の間隔で複数の方向から撮像できれば仮想視点画像の生成に用いられる三次元モデルの形状精度を高くすることができるためである。なお、撮像装置１１がある領域をどの程度の分解能で撮像できるかは、その撮像装置１１の焦点距離、撮像画素数、及びその領域と撮像装置１１の位置との距離に応じて決まる。
　なお、撮像条件の内容はこれに限定されない。例えば、撮像条件として撮像方向間隔θと撮像分解能ｐの何れか一方が設定されてもよいし、その他の条件が設定されてもよい。撮像方向間隔θのみが設定された場合の撮像条件は、判定対象の領域（例えば注視点４０１の近傍領域）を複数の方向から撮像でき、且つその複数の方向の間隔がθ未満であるという条件である。本実施形態では、複数の方向から撮像した複数の画像に基づいて高画質の仮想視点画像を生成するために、当該複数の方向が満たすべき関係として、当該複数の方向の間隔がθ未満であるという関係を用いる。ただし、撮像に係る複数の方向が満たすべき関係はこれに限定されるものではない。また、撮像条件の設定方法はユーザによる操作に限らず、他の装置から情報処理装置１０への入力に基づいて撮像条件が設定されてもよいし、ＲＯＭ２０２やＲＡＭ２０３に格納されている値を用いて撮像条件が設定されてもよい。撮像対象領域４０２の縦横高さ、および注視点４０１の三次元座標は、予め情報処理装置１０が記憶していてもよいし、撮像条件と共にユーザ操作に基づいて入力されてもよい。ここでは、撮像対象領域４０２が注視点４０１を中心とする直方体であるものとするが、これに限らず、撮像対象領域４０２は球形でも良いし、半球形でも良いし、円柱形でも良い。
　Ｓ３０２では、範囲特定部１０１が、制御装置１２による制御に応じてそれぞれの撮像装置１１で撮像された画像を取得する。ここで取得される各画像には、撮像対象領域内の既知の位置に設置された二次元マーカなどの特定オブジェクトが含まれる。マーカの数は限定されないが、例えば各画像に３つ以上のマーカが写るように、マーカと撮像装置１１が設置される。Ｓ３０３では、範囲特定部１０１が、撮像装置１１から撮像に関する設定情報を取得する。取得される設定情報には、例えば撮像装置１１の焦点距離を示す情報と、縦横の撮像画素数を示す情報とが含まれる。
　Ｓ３０４では、範囲特定部１０１が、Ｓ３０２で取得した撮像画像と、Ｓ３０３で取得した設定情報とに基づいて、撮像装置１１の内部パラメータと外部パラメータを特定する。そして範囲特定部１０１は、それらのパラメータに基づいて各撮像装置１１の撮像適正範囲を特定する。内部パラメータは撮像装置１１の焦点距離及び撮像画素数に関する情報であり、外部パラメータは撮像装置１１の位置及び向きに関する情報である。内部パラメータＫは、主点を画像の中心として、以下の式（１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）におけるｗｉｄｔｈは撮像画像の横方向の画素数を表し、ｈｅｉｇｈｔは縦方向の画素数を表し、ｆは焦点距離を表す。
　外部パラメータＴは、Ｓ３０２で取得した撮像画像から検出されたマーカの位置の二次元座標と、既知である撮像対象領域におけるマーカの三次元座標とに基づいてＰｎＰ問題を解くことで得られ、４行４列の行列で表される。
　ある撮像装置１１の内部パラメータＫと外部パラメータＴとを用いれば、図５に示す撮像対象領域４０２を含む空間を構成する複数のボクセル５０１が、Ｓ３０１で設定された撮像分解能ｐ以上の分解能でその撮像装置により撮像できるかを判定できる。三次元座標（ｘ，ｙ，ｚ）で表される位置のボクセル５０１の実際の分解能ｐｂは、以下の式（２）により算出される。
Figure JPOXMLDOC01-appb-M000002
　式（２）における（ｕｂ，ｖｂ）はボクセル５０１の下端の座標を表し、（ｕｔ，ｖｔ）はボクセル５０１の上端の座標を表し、ａはボクセルのサイズを表す。そして、以下の式（３）の条件を満たすボクセル５０１により構成される範囲が、その撮像装置の撮像適正範囲として算出される。
Figure JPOXMLDOC01-appb-M000003
　すなわち、ある撮像装置により設定された撮像分解能ｐ以上の分解能で撮像可能な範囲が、その撮像装置の撮像適正範囲となる。
　なお、撮像適正範囲の特定方法は上記に限定されない。また、撮像適正範囲の定義は設定された撮像条件に応じて異なる。例えば、設定された撮像条件に分解能に関する条件が含まれない場合には、ある撮像装置の撮像適正範囲は、その撮像装置により撮像可能な範囲（撮像画像に含まれる範囲）であってもよい。また、範囲特定部１０１が特定する撮像装置１１に関するパラメータは、位置、向き、焦点距離、及び画素数を示すパラメータに限定されない。例えば、範囲特定部１０１は、撮像装置１１の動作状態を示すパラメータを設定情報として取得することで、撮像装置１１が正常に撮像可能な状態であるか、正常に撮像できない異常状態であるかを特定してもよい。そして範囲特定部１０１は、異常状態の撮像装置１１については、撮像適正範囲が存在しないものとして扱ってもよい。また、範囲特定部１０１は例えば撮像装置１１の位置及び向きなどの特定のパラメータのみを撮像画像に基づいて特定し、その他のパラメータには既定の値を用いてもよい。
　Ｓ３０５では、範囲決定部１０２が、Ｓ３０４で範囲特定部１０１が特定した複数の撮像装置１１それぞれの撮像適正範囲に基づいて、システム全体の撮像適正範囲を決定する。ここでは、複数の撮像装置１１の撮像適正範囲が重複する範囲を、システム全体の撮像適正範囲とする。ただしこれに限らず、複数の撮像装置１１の撮像適正範囲の少なくとも何れかに含まれる範囲を、システム全体の撮像適正範囲としてもよい。範囲決定部１０２は、撮像適正範囲の決め方をユーザ操作に基づいて設定してもよい。
　Ｓ３０６では、判定部１０３が、Ｓ３０５で決定されたシステム全体の撮像適正範囲に含まれる各ボクセル５０１において、Ｓ５０１で設定された撮像条件が満たされるかを判定する。例えば、判定部１０３は、判定対象のボクセル５０１を撮像適正範囲に含む複数の撮像装置１１の外部パラメータに基づいて、撮像方向間隔θの条件が満たされるような複数の方向からそのボクセル５０１を撮像できるかを判定できる。すなわち判定部１０３は、判定対象のボクセル５０１から見て、そのボクセル５０１を撮像適正範囲に含む複数の撮像装置１１のうち隣り合う２台の撮像装置１１の方向の差が、撮像方向間隔θ未満となっているかを判定できる。また判定部１０３は、システム全体の撮像適正範囲が、予め定められた撮像対象領域４０２の全体を覆っているかの判定を行う。
　なお、撮像条件の判定はボクセル単位で行われるものに限定されず、撮像対象領域４０２を含む空間を分割した分割領域ごとに判定が行われればよい。また、撮像条件の判定は、システム全体の撮像適正範囲に含まれるボクセル５０１のうち特定のボクセル５０１（例えば注視点４０１の位置を含むボクセル５０１）についてのみ行われてもよい。
　Ｓ３０７では、情報出力部１０４が、Ｓ３０４からＳ３０６までの処理に応じて、撮像条件の適合状態を識別可能にする情報を生成する。Ｓ３０８では、情報出力部１０４が生成した情報を表示装置１３へ出力することで、情報を表示装置１３に表示させる。情報出力部１０４により出力される情報の例を図６に示す。画像６００は、情報出力部１０４が生成する画像情報の一例であり、情報表示対象として選択された撮像装置１１ａの識別情報である撮像装置ＩＤ６０１と、撮像装置１１ａの撮像適正範囲６０２と、撮像対象領域６０３と、判定結果６０４を示す。図６の例における判定結果６０４は、撮像装置１１ａの撮像適正範囲６０２が撮像対象領域６０３の全体を覆っているか否かの判定結果を示しており、撮像対象領域６０３の左下部分が覆われていないことから、「ＮＧ」と表示されている。撮像装置１１ａの焦点距離を短くしてより広角な撮像を行うか、撮像装置１１ａの向きを少し左に変更することで、撮像対象領域６０３の全体が撮像適正範囲６０２により覆われれば、判定結果６０４は「ＯＫ」となる。
　なお、判定結果６０４の表示方法はこのようなテキスト形式に限定されず、例えば撮像対象領域６０３の色を変化させることで判定結果が示されてもよい。また、判定内容はこれに限らず、画像６００においてその他の判定の結果が同様に示されてもよい。
　また、図６の例では、撮像適正範囲を俯瞰図により二次元的に表示させている。この場合、例えば地面に対して０～５ｍなどの所定の高さ範囲内のボクセル５０１すべてが撮像適正範囲に含まれるような二次元位置を塗りつぶした撮像適正範囲６０２が表示させることで、三次元情報を二次元に投影して画像化してもよい。ただしこれに限らず、撮像適正範囲を三次元情報として可視化してもよい。このようにすることで、高さ方向に撮像適正範囲の大きさが不足していることをユーザが識別できるようになる。また、撮像装置１１の視野に含まれるが分解能不足によって撮像適正範囲から外れた領域と、撮像装置１１の視野外の領域とを、色分けすることなどにより識別可能に表示しても良い。また、分解能ｐｂの値に応じて領域の色分けをすることで、各領域の分解能がどの程度不足しているのかを視認できるようにしても良い。
　図７は、情報出力部１０４が出力する情報の別の例を示す。画像７００には、複数の撮像装置１１を示す画像と、撮像対象領域４０２内の選択された位置から見て撮像装置１１が存在しない方向を表す円形のインジケータ７０１が含まれる。図７の例における選択された位置は注視点４０１を含むボクセル５０１であり、そのボクセル５０１に対して撮像装置１１が存在しない方向に対応するインジケータ７０１の右方向及び左下方向が色付けされている。これはすなわち、注視点４０１に対して撮像装置１１ａが位置する方向と撮像装置１１ｆが位置する方向との差が設定された撮像方向間隔θ以上であることを示している。さらに、撮像装置１１ｂが位置する方向と撮像装置１１ｃが位置する方向との差も撮像方向間隔θ以上であることを示している。
　図７の状態から、撮像装置１１ｂと撮像装置１１ｃとの間隔、および撮像装置１１ｆと撮像装置１１ａの間隔を小さくすれば、撮像方向間隔θの条件は満たされ、インジケータ７０１の色付け部分はなくなる。情報出力部１０４が出力する画像７００は、撮像方向間隔θの条件が満たされるような複数の方向から注視点４０１の近傍の領域を撮像できるか否かを識別可能にする情報の一例である。このように、図７に示すような画像を表示装置１３に表示させることで、注視点近傍の仮想視点画像を高画質に生成するための撮像条件が満たされているか否かをユーザが容易に識別することができる。例えば、注視点４０１からみて特定の方向に撮像装置１１が位置しないことがわかれば、その方向から注視点４０１を見るような仮想視点に応じた仮想視点画像が低画質になることが推測できる。
　なお、情報出力部１０４が出力する情報が画像情報に限定されない。例えば、情報出力部１０４は撮像条件が満たされているか否かを示すテキスト情報を出力してもよい。また例えば、情報出力部１０４が撮像条件の判定結果を示すフラグや撮像適正範囲を示す座標情報を表示装置１３に出力し、表示装置１３がそれらの情報に基づいて画像情報を生成してもよい。
　以上で図３に示す情報処理装置１０の処理の説明を終わる。なお、上述のＳ３０４の説明では、Ｓ３０２で取得した撮像画像から検出されたマーカの位置に基づいて撮像装置１１の外部パラメータを算出し、Ｓ３０３で取得した設定情報から撮像装置１１の内部パラメータを算出した。ただし、撮像適正範囲を特定するための撮像装置１１の内部パラメータ及び外部パラメータの求め方はこれに限るものではない。
　例えば、範囲特定部１０１は、三次元座標が既知の点を撮像画像上でユーザが指定する操作に基づいて外部パラメータを算出してもよい。また例えば、撮像装置１１により取得される撮像画像と、撮像対象領域に関連付けられる環境の三次元モデルとを用いたモデルフィッティングによって、外部パラメータを算出してもよい。また例えば、複数の撮像装置１１により取得した複数の撮像画像における画像特徴点の対応関係に基づいて各撮像装置１１の相対的な位置姿勢を求めてもよい。そして、上述のような方法で外部パラメータを決定した１台の撮像装置１１を基準として他の撮像装置１１の外部パラメータを求めても良い。また、電子的にパン及びチルトの変更が可能な撮像装置１１または雲台を用いる場合には、パンチルトの制御情報に基づいて外部パラメータを算出してもよい。具体的には、範囲特定部１０１はパン及びチルトの設定値を取得し、変更前の設定値において算出しておいた外部パラメータと変更後の設定値とに基づいて、変更後の外部パラメータを算出してもよい。また、内部パラメータを求めるためには、範囲特定部１０１は、カメラキャリブレーションを行っても良いし、ＥＸＩＦ情報のように画像ファイルに埋め込まれた情報を利用してもよい。
　［撮像装置のグループ化］
　以下では、撮像装置１１の設置の仕方を変更した変形例について説明する。本変形例では、注視点近傍に限定されない広い領域の仮想視点画像を高画質に生成するために、所定の撮像対象領域内の各位置を、閾値以上の分解能で所定数以上の方向から撮像できるように、撮像装置１１が設置される。そして、このような設置が実現できているか否かをユーザが識別できるようにするための情報を情報処理装置１０が出力する。本変形例における処理システム１の構成は図１を用いて説明したものと同様であり、情報処理装置１０のハードウェア構成は図２を用いて説明したものと同様である。以下では、図１から図７を用いて説明した実施形態と異なる点を中心に説明する。
　撮像装置１１の設置例を図８に示す。撮像装置１１ａａから１１ａｄの４台の撮像装置１１が撮像対象領域８０２に対してほぼ同一の方向に位置し、これらの撮像装置１１がグループ８０１ａとして扱われる。同様に、グループ８０１ｂからグループ８０１ｌまでの各グループも、複数の撮像装置１１により構成される。なお、各グループの撮像装置１１の台数は同一である必要はなく、その台数は図８に示す例に限定されない。
　各グループに含まれる複数の撮像装置１１は、撮像対象領域８０２内の各位置がそれらの撮像装置１１の少なくとも何れかの視野に含まれるように設置される。図９Ａは、グループ８０１ａに含まれる撮像装置１１の視野を示している。領域９０１ａａ、領域９０１ａｂ、領域９０１ａｃ、及び領域９０１ａｄは、それぞれ、撮像装置１１ａａ、撮像装置１１ａｂ、撮像装置１１ａｃ、及び撮像装置１１ａｄの視野に含まれる領域である。図９Ｂは、撮像装置１１ａｄと撮像装置１１ａｂの視野を横方向からみた様子を示している。
　図３を用いて、本変形例における情報処理装置１０の処理のうち、すでに説明した内容と異なる点を中心に説明する。Ｓ３０１における撮像条件の設定において、判定部１０３は撮像条件として、撮像分解能ｐに加えて撮像方向数ｎを設定する。撮像対象領域８０２内の位置についてこのような撮像条件が満たされる状況とは、その位置を撮像方向数ｎ以上の数の方向から撮像分解能ｐ以上の分解能で撮像できる状況である。このような撮像条件が満たされるように複数の撮像装置１１が設置されている場合、取得された複数の撮像画像に基づいて仮想視点画像を高画質に生成することができる。なお、同じグループの撮像装置１１は近い方向に位置するため、ある位置がいくつの方向から撮像されるかは、その位置を撮像可能なグループの数を基準に決定される。なお、撮像装置１１のグループ構成を示す情報は、予め情報処理装置１０が記憶していてもよいし、撮像条件と共にユーザ操作に基づいて入力されてもよい。
　Ｓ３０５におけるシステム全体の撮像適正範囲の決定において、範囲決定部１０２は、まずグループごとの撮像適正範囲を決定する。具体的には、グループに含まれる複数の撮像装置１１により撮像分解能ｐ以上の分解能で撮像可能な範囲を、そのグループの撮像適正範囲とする。そして、撮像方向数ｎ以上の数のグループの撮像適正範囲に含まれるボクセル５０１により構成される範囲が、システム全体の撮像適正範囲として決定される。グループごとの撮像適正範囲とシステム全体の撮像適正範囲はともに、判定部１０３及び情報出力部１０４に出力される。
　Ｓ３０６においては、Ｓ３０５で決定した撮像適正範囲が、撮像対象領域８０２の全体を覆っているか否かを判定する。また、撮像対象領域８０２内の各ボクセル５０１について、そのボクセル５０１を撮像適正範囲に含むグループの数を特定する。Ｓ３０７では、情報出力部１０４が、Ｓ３０４からＳ３０６までの処理に応じた情報を生成する。情報出力部１０４は、図６を用いて説明したような撮像装置１１ごとの撮像適正範囲に関する情報に変えて、図１０に示すようなグループごとの撮像適正範囲に関する情報を生成してもよい。
　画像１０００は、情報表示対象として選択されたグループ８０１ａの識別情報であるグループＩＤ１００１と、グループ８０１ａの撮像適正範囲１００４と、撮像対象領域１００３と、判定結果１００２と、分解能カラーバー１００５を示す。撮像適正範囲１００４は各位置の分解能に応じて色付けされており、分解能カラーバー１００５は色と分解能との対応関係を示す。図１０の例における判定結果１００２は、撮像適正範囲１００４が撮像対象領域１００３の全体を覆っているか否かの判定結果を示しており、撮像対象領域１００３の中央下部分が覆われていないため、「ＮＧ」と表示されている。図１０の右下の領域を撮像する撮像装置１１ａａを少し左に向けるか、左下の領域を撮像している撮像装置１１ａｂの焦点距離を短くして広角な撮像を行うことで、撮像対象領域１００３の全体が撮像適正範囲１００４により覆われる。これにより、判定結果１００２は「ＯＫ」となる。このような情報が表示装置１３に出力されることにより、ユーザはグループごとの撮像適正範囲及び撮像条件の判定結果を容易に確認でき、撮像装置１１ごとに撮像適正範囲を確認する場合よりも手間を削減できる。
　図１１は、情報出力部１０４が出力する情報の別の例を示す。画像１１００には、システム全体の撮像適正範囲１１０１と、撮像適正範囲１１０１が撮像対象領域１１０３の全体を覆っているか否かの判定結果１１０２と方向数カラーバー１１０４が含まれる。撮像適正範囲１１０１は、範囲内の各位置を撮像可能な方向の数に応じて色付けされたヒートマップ形式で表示されており、方向数カラーバーは撮像可能な方向の数と色との対応関係を示す。図１１の例では、撮像対象領域１１０３のうち中央近傍の領域は多数の方向から撮像可能であり、周辺の領域は少数の方向から撮像可能であることが示されている。
　図１１に示す撮像適正範囲１１０１の画像情報によれば、撮像対象領域１１０３に含まれる複数の分割領域（例えばボクセル５０１）それぞれについて撮像条件が満たされるか否かが識別可能となる。また、図１１に示す判定結果１１０２の情報によれば、撮像対象領域１１０３に含まれる複数の分割領域の全てにおいて撮像条件が満たされるか否かが識別可能となる。
　情報出力部１０４が出力する画像７００は、撮像方向数ｎの条件が満たされるような複数の方向から撮像対象領域１１０３内の各位置を撮像できるか否かを識別可能にする情報の一例である。図１１に示すような画像を表示装置１３に表示させることで、撮像対象領域１１０３内の各位置について撮像条件が満たされているか否か、及び各位置をいくつの方向から撮像できるかをユーザが容易に識別することができる。すなわちユーザは、撮像対象領域１１０３内のどの位置の仮想視点画像が高画質に生成でき、どの位置の仮想視点画像は低画質になりうるかを容易に判断できる。
　なお、図１１に示す例では、撮像方向数ｎとして設定された値である１０をヒートマップの下限値として、撮像可能な方向の数がそれ以下である領域には背景色が付けられている。ただしこれに限らず、ヒートマップの下限値を０や１などにしてもよい。また、各位置を撮像可能な方向の数（グループの数）に応じたヒートマップに限らず、各位置を撮像可能な撮像装置１１の数に応じたヒートマップが表示されてもよい。すなわち、情報出力部１０４は、各位置を撮像できる撮像装置１１の数を示す情報を出力してもよい。撮像分解能ｐに関する撮像条件が設定されている場合には、情報出力部１０４が出力する情報は、各位置を撮像分解のｐ以上の分解能で撮像できる撮像装置の数を示す情報となる。撮像装置１１の数を示す情報の出力は、撮像装置１１がグループ化されない場合（例えば図４に示すような配置の場合）にも適用できる。また、撮像適正範囲１１０１がヒートマップ形式で且つ三次元的に表示されてもよい。
　なお、システム全体の撮像適正範囲は、撮像方向数ｎによらずに決定されてもよい。例えば、システム全体の撮像適正範囲を、少なくとも何れかのグループの撮像適正範囲に含まれる範囲としてもよいし、少なくとも何れかの撮像装置１１の撮像適正範囲に含まれる範囲としてもよい。また、設定された撮像条件に撮像分解能ｐに関する条件が含まれない場合などには、グループの撮像適正範囲を、そのグループに属する複数の撮像装置１１の少なくとも何れかにより撮像可能な範囲としてもよい。
　［撮像装置のパンチルト制御］
　以上の説明では、複数の撮像装置１１が撮像条件を満たすように適切に設置されると、その設置状態を固定したまま撮像が行われることを前提とした場合の例を中心に説明した。以下では、制御装置１２が撮像中の撮像装置１１のパンチルトを制御可能な場合に適用される変形例について説明する。撮像装置１１が撮像中にパンチルト制御可能なシステムとしては、例えば複数の撮像装置１１により監視領域を撮像する監視システムなどがある。
　図１２は、本変形例における情報処理装置１０の処理を示すフローチャートである。図３を用いて説明した処理と同様の処理には同一の符号を付している。以下では上述した処理との差異を中心に説明する。
　Ｓ３０１では、上述した処理と同様に撮像条件の設定を行う。ただし、監視対象となる撮像対象領域に壁や障害物などがある場合には、撮像適正範囲の判定に影響するため、範囲特定部１０１は撮像条件とあわせて、壁や障害物を含む撮像対象領域の環境情報（例えば三次元モデル）を取得する。範囲特定部１０１は、ユーザによる入力操作に基づいて環境情報を取得してもよいし、外部の装置から環境情報を取得してもよい。また、範囲特定部１０１は、各撮像装置１１のパンチルトの可動域に関する情報を、撮像装置１１の設定情報として取得する。
　Ｓ１２０１では、範囲特定部１０１が制御装置１２を介して、撮像装置１１のパンチルトを初期状態に設定する。Ｓ３０２からＳ３０４までの処理では、すでに説明した処理と同様に、各撮像装置１１の撮像適正範囲が特定される。Ｓ３０４の処理が終わるとＳ１２０１に戻り、範囲特定部１０１は撮像装置１１のパンチルトを変更する。そして、再度Ｓ３０２からＳ３０４の処理が行われ、パンチルト変更後の撮像装置１１の撮像適正範囲が特定される。ここでは、パンの最小値と最大値、及びチルトの最小値および最大値の組み合わせで、各撮像装置１１についてＳ３０２からＳ３０４の処理が４ループ行われるものとする。ただし、撮像装置１１の撮像適正範囲の特定処理の回数はこれに限定されず、より細かくパンチルトを変更しながら特定処理が行われてもよい。Ｓ１２０２において、各撮像装置１１の可動域内での撮像適正範囲の特定が完了したと判断されると、Ｓ３０５に進む。
　Ｓ３０５では、範囲決定部１０２が、システム全体の撮像適正範囲を決定する。具体的には、範囲決定部１０２はまず、各撮像装置１１について、パンチルトを変更することで撮像適正範囲に含めることが可能な暫定撮像範囲を求める。上述の処理では、パンチルトの最小値及び最大値での撮像適正範囲のみが得られているため、その他のパンチルト設定に対応する撮像適正範囲は補間によって特定する。例えば、図１３に示すように、同じ撮像装置１１ａについて特定された複数の撮像適正範囲１３０１ａ、１３０１ｂ、１３０１ｃ、及び１３０１ｄの各頂点を直線で結んで囲まれる領域が、撮像装置１１ａの暫定撮像範囲１３０１となる。ただし、補間方法は直線補間に限定されず、例えば撮像装置１１ａを中心とする円弧で補間してもよい。
　次に範囲決定部１０２は、Ｓ３０１で取得した環境情報を用いて、図１４に示すように障害物１４０２および１４０３の範囲と、障害物１４０３により撮像不可能な範囲１４０４とを、暫定撮像範囲１３０１から除去して、パンチルト撮像範囲１４０１を決定する。そして、範囲決定部１０２は、各撮像装置１１のパンチルト撮像範囲１４０１に基づいて、システム全体の撮像適正範囲を決定する。例えば、何れかの撮像装置１１のパンチルト撮像範囲１４０１に含まれる範囲や、もしくは所定数以上の撮像装置１１のパンチルト撮像範囲１４０１に含まれる範囲を、システム全体の撮像適正範囲に決定する。Ｓ３０５以降の処理は、図３を用いてすでに説明した処理と同様である。
　なお、図１２の例では、撮像装置１１のパンチルトを変更して撮像画像の取得を繰り返すことで、各パンチルト設定値における撮像適正範囲を特定するものとした。ただし、パンチルト値と撮像装置１１の外部パラメータの関係を事前に校正しておけば、撮像画像を用いた撮像適正範囲の算出は１回のみ行い、他のパンチルト設定値に対応する撮像適正範囲は、校正したパンチルト値と外部パラメータの関係から求めても良い。
　以上説明したように、上述の実施形態に係る情報処理装置１０は、撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置１１に関するパラメータを特定する。そして情報処理装置１０は、特定された複数の撮像装置１１に関するパラメータに基づいて、撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記撮像領域が何れの方向から撮像されるかに応じて変化する適合状態を識別可能にする情報を出力する。このような構成によれば、撮像領域を撮像する複数の撮像装置１１が全体として所定の撮像条件を満たすかを、ユーザが容易に判断できるようになる。また、例えば複数の撮像装置１１により取得される撮像画像が仮想視点画像の生成に用いられる場合には、撮像領域の仮想視点画像を高画質に生成できるか否かをユーザが容易に判断できるようになる。
　なお、上述の実施形態では、複数の撮像装置１１がほぼ同一の高さに設置されるものとして説明した。ただしこれに限らず、複数の撮像装置１１の高さが異なっていてもよい。この場合に、情報処理装置１０は、撮像対象領域に対する水平面での方向（ｘｙ方向）が同じで高さが異なる複数の撮像装置１１を、同じ方向から撮像する撮像装置１１として扱ってもよい。一方、複数の高さから撮像した撮像画像を用いることで仮想視点画像をさらに高画質化できることから、高さの異なる撮像装置１１が、異なる方向から撮像する撮像装置１１として扱われてもよい。
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
　上述した実施形態によれば、撮像領域を撮像する複数の撮像装置が全体として所定の条件を満たすかを容易に判断できるようになる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１９年５月１７日提出の日本国特許出願特願２０１９－０９３７３３を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (20)

  1. 　撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置の位置及び向きを示すパラメータを特定する特定手段と、
    　前記特定手段により特定されたパラメータに基づいて、複数の方向からの前記撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記複数の方向の関係に応じて変化する適合状態を識別可能にする情報を出力する出力手段とを有することを特徴とする情報処理装置。
  2. 　前記所定の条件は、前記撮像領域が閾値以上の数の方向から撮像されるという条件を含むことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記所定の条件は、互いに所定の関係にある複数の方向であって閾値以上の数の方向から前記撮像領域が撮像されるという条件を含むことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記所定の条件は、前記撮像領域が複数の方向から撮像され、且つ、当該複数の方向の間隔が閾値未満であるという条件を含むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
  5. 　前記所定の条件は、前記撮像領域を複数の方向から閾値以上の分解能で撮像できるという条件を含むことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
  6. 　前記特定手段により特定される前記複数の撮像装置に関するパラメータには、前記複数の撮像装置の焦点距離及び撮像画素数を示すパラメータが含まれることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
  7. 　前記特定手段により特定される前記複数の撮像装置に関するパラメータには、前記複数の撮像装置の可動域を示すパラメータが含まれることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
  8. 　前記特定手段は、撮像装置により取得される撮像画像から検出されたオブジェクトの位置に基づいて前記パラメータを特定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
  9. 　前記特定手段は、撮像装置により取得される撮像画像と、当該撮像装置により撮像される領域に関連付けられる三次元モデルとに基づいて、前記パラメータを特定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
  10. 　前記出力手段により出力される情報は、前記撮像領域がいくつの方向から撮像されるかを示すことを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
  11. 　前記出力手段により出力される情報は、前記撮像領域を撮像できる撮像装置が位置しない方向を示すことを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
  12. 　前記出力手段により出力される情報は、前記撮像領域がいくつの方向から閾値以上の分解能で撮像されるかを示すことを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
  13. 　前記出力手段により出力される情報には、所定の対象領域に含まれる複数の撮像領域それぞれについて前記所定の条件が満たされるか否かを識別可能に示す画像情報が含まれることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
  14. 　前記出力手段により出力される情報には、所定の対象領域に含まれる複数の撮像領域の全てにおいて前記所定の条件が満たされるかを示す情報が含まれることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
  15. 　前記出力手段により出力される情報には、所定の対象領域に含まれる複数の撮像領域それぞれについていくつの方向から当該撮像領域が撮像されるかを示すヒートマップ形式の画像情報が含まれることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
  16. 　ユーザによる操作に基づいて前記所定の条件を設定する設定手段を有することを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
  17. 　撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置の位置及び向きを示すパラメータを特定する特定工程と、
    　前記特定工程において特定されたパラメータに基づいて、複数の方向からの前記撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記複数の方向の関係に応じて変化する適合状態を識別可能にする情報を出力する出力工程とを有することを特徴とする情報処理方法。
  18. 　前記所定の条件は、前記撮像領域が閾値以上の数の方向から撮像されるという条件を含むことを特徴とする請求項１７に記載の情報処理方法。
  19. 　前記出力工程において出力される情報には、所定の対象領域に含まれる複数の撮像領域それぞれについて前記所定の条件が満たされるか否かを識別可能にする画像情報が含まれることを特徴とする請求項１６又は１７に記載の情報処理方法。
  20. 　コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
PCT/JP2020/018786 2019-05-17 2020-05-11 情報処理装置、情報処理方法、及びプログラム WO2020235370A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/518,389 US20220060664A1 (en) 2019-05-17 2021-11-03 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019093733A JP6780057B1 (ja) 2019-05-17 2019-05-17 情報処理装置、情報処理方法、及びプログラム
JP2019-093733 2019-05-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/518,389 Continuation US20220060664A1 (en) 2019-05-17 2021-11-03 Information processing apparatus, information processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2020235370A1 true WO2020235370A1 (ja) 2020-11-26

Family

ID=73022440

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018786 WO2020235370A1 (ja) 2019-05-17 2020-05-11 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220060664A1 (ja)
JP (1) JP6780057B1 (ja)
WO (1) WO2020235370A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114650367A (zh) * 2021-12-15 2022-06-21 广州极飞科技股份有限公司 拍摄控制方法、装置、无人设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206025A (ja) * 2017-06-02 2018-12-27 キヤノン株式会社 情報処理装置、情報処理方法
JP2019009766A (ja) * 2017-06-23 2019-01-17 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
JP6163899B2 (ja) * 2013-06-11 2017-07-19 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP6299492B2 (ja) * 2014-07-03 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2016157327A1 (ja) * 2015-03-27 2016-10-06 日本電気株式会社 映像監視システム及び映像監視方法
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP7544036B2 (ja) * 2019-04-12 2024-09-03 ソニーグループ株式会社 画像処理装置、３ｄモデル生成方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206025A (ja) * 2017-06-02 2018-12-27 キヤノン株式会社 情報処理装置、情報処理方法
JP2019009766A (ja) * 2017-06-23 2019-01-17 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114650367A (zh) * 2021-12-15 2022-06-21 广州极飞科技股份有限公司 拍摄控制方法、装置、无人设备及存储介质
CN114650367B (zh) * 2021-12-15 2023-11-21 广州极飞科技股份有限公司 拍摄控制方法、装置、无人设备及存储介质

Also Published As

Publication number Publication date
JP2020188428A (ja) 2020-11-19
JP6780057B1 (ja) 2020-11-04
US20220060664A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
US10917622B2 (en) Information processing apparatus, display control method, and storage medium
US20210344848A1 (en) Image processing apparatus, image processing system, image processing method, and storage medium
TWI535285B (zh) Conference system, surveillance system, image processing device, image processing method and image processing program, etc.
JP7042561B2 (ja) 情報処理装置、情報処理方法
EP2437494A1 (en) Device for monitoring area around vehicle
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
WO2017217296A1 (ja) 画像処理装置
WO2017017790A1 (ja) 画像生成装置、画像生成システム及び画像生成方法
JPWO2012017560A1 (ja) 画像処理装置および画像処理プログラム
JP2010128727A (ja) 画像処理装置
US10448178B2 (en) Display control apparatus, display control method, and storage medium
US20150304568A1 (en) Field display system, field display method, and field display program
JP2016127571A (ja) カメラシステム、表示制御装置、表示制御方法、及びプログラム
CN103561236A (zh) 楼宇周边监视系统及方法
WO2020235370A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20110088995A (ko) 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
JP2013065351A (ja) 画像処理装置および画像処理方法
JP2021002889A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006318015A (ja) 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム
US20230245378A1 (en) Information processing apparatus, information processing method, and medium
KR102257846B1 (ko) 입체 모델 생성 장치 및 그 영상 표시 방법
CN108701349A (zh) 显示车辆周围环境前视图的方法和装置及相应车辆
JP7471784B2 (ja) 提供装置、制御方法、及び、プログラム
JP2019145894A (ja) 画像処理装置、画像処理方法及びプログラム
JP7458735B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20810665

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20810665

Country of ref document: EP

Kind code of ref document: A1