WO2017134987A1 - 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム - Google Patents
設置位置決定装置、設置位置決定方法及び設置位置決定プログラム Download PDFInfo
- Publication number
- WO2017134987A1 WO2017134987A1 PCT/JP2017/000512 JP2017000512W WO2017134987A1 WO 2017134987 A1 WO2017134987 A1 WO 2017134987A1 JP 2017000512 W JP2017000512 W JP 2017000512W WO 2017134987 A1 WO2017134987 A1 WO 2017134987A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- camera
- installation position
- virtual
- specifying unit
- cameras
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Definitions
- the present invention relates to a technique for determining the installation position of each camera when a video of a target range is created by synthesizing videos taken by a plurality of cameras.
- Patent Documents 1 to 3 describe a camera installation simulator for simulating a virtual captured video from a camera as support for installing a surveillance camera.
- This camera installation simulator creates a three-dimensional model space of the installation target facility using a map image of the installation target facility of the surveillance camera and a three-dimensional model of a car or an obstacle. And this camera installation simulator simulates the imaging
- the camera installation simulators described in Patent Documents 1 to 3 simulate the shooting range and appearance when a camera is installed at a specific position and posture. For this reason, when the user wants to monitor a specific area, it is necessary to find an optimal camera installation position capable of photographing all the target areas while changing the camera installation conditions.
- the camera installation simulators described in Patent Documents 1 to 3 are assumed to be a single camera, and it is considered to determine the optimal arrangement of each camera when creating a composite image from a plurality of camera images. It has not been. For this reason, it has been impossible to know what kind of image can be obtained by combining images from a plurality of cameras.
- An object of the present invention is to make it possible to easily determine the installation position of each camera that obtains a video of a target area desired by a user by synthesizing videos taken by a plurality of cameras.
- the installation position determination device is: A condition accepting unit for accepting input of camera conditions indicating the number of cameras; A position specifying unit that specifies an installation position of each camera capable of photographing the target area with a number of cameras equal to or less than the number indicated by the camera condition received by the condition receiving unit; When each of the cameras is installed at the installation position specified by the position specifying unit, a virtual shot video obtained by shooting a virtual model is generated by each camera, and the generated virtual shot video is overhead-converted and synthesized. A virtual video generation unit that generates a virtual composite video.
- the installation position of each camera capable of photographing the target area with a number of cameras equal to or less than the number indicated by the camera condition is specified, and a virtual composite video is generated when each camera is installed at the specified installation position. . Therefore, the user can determine the installation position of each camera from which the desired video can be obtained simply by checking the virtual composite video while changing the camera conditions.
- FIG. 1 is a configuration diagram of an installation position determination device 10 according to Embodiment 1.
- FIG. 4 is a flowchart showing the operation of the installation position determination device 10 according to the first embodiment.
- FIG. 6 shows a display example by the display unit 25 according to the first embodiment.
- 5 is a flowchart of step S3 according to the first embodiment.
- FIG. 6 shows an installation example of the camera 50 according to the first embodiment.
- FIG. 4 is a diagram showing a shootable range H of the camera 50 according to Embodiment 1.
- FIG. 4 is a diagram showing a shootable range H of the camera 50 according to Embodiment 1.
- FIG. 3 is an explanatory diagram of a subject behind the camera 50 according to the first embodiment.
- FIG. 3 is an explanatory diagram of a subject behind the camera 50 according to the first embodiment.
- FIG. 6 is a diagram illustrating an installation example of the camera 50 according to Embodiment 1 in the y direction. The flowchart of step S5 which concerns on Embodiment 1.
- FIG. 3 is an explanatory diagram of an imaging surface 52 according to the first embodiment.
- FIG. 6 is a diagram showing an image on the imaging surface 52 and an image projected on a plane according to the first embodiment.
- FIG. 4 is a diagram showing a cut-off portion of the overhead view video according to the first embodiment.
- Explanatory drawing of (alpha) blending which concerns on Embodiment 1.
- FIG. The block diagram of the installation position determination apparatus 10 which concerns on the modification 1.
- FIG. Explanatory drawing when the object area
- Embodiment 1 FIG. *** Explanation of configuration *** With reference to FIG. 1, the structure of the installation position determination apparatus 10 which concerns on Embodiment 1 is demonstrated.
- the installation position determination device 10 is a computer.
- the installation position determination device 10 includes a processor 11, a storage device 12, an input interface 13, and a display interface 14.
- the processor 11 is connected to other hardware via a signal line, and controls these other hardware.
- the processor 11 is an IC (Integrated Circuit) that performs processing. Specifically, the processor 11 is a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
- a CPU Central Processing Unit
- DSP Digital Signal Processor
- GPU Graphics Processing Unit
- the storage device 12 includes a memory 121 and a storage 122.
- the memory 121 is a RAM (Random Access Memory).
- the storage 122 is an HDD (Hard Disk Drive).
- the storage 122 may be a portable storage medium such as an SD (Secure Digital) memory card, a CF (CompactFlash), a NAND flash, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD.
- the input interface 13 is a device for connecting an input device 31 such as a keyboard, a mouse, and a touch panel.
- the input interface 13 is a connector such as USB (Universal Serial Bus), IEEE 1394, or PS / 2.
- the display interface 14 is a device for connecting the display 32.
- the display interface 14 is a connector such as HDMI (High-Definition Multimedia Interface) or DVI (Digital Visual Interface).
- the installation position determination device 10 includes a condition receiving unit 21, an area receiving unit 22, a position specifying unit 23, a virtual video generating unit 24, and a display unit 25 as functional components.
- the position specifying unit 23 includes an X position specifying unit 231 and a Y position specifying unit 232.
- the functions of the condition receiving unit 21, the region receiving unit 22, the position specifying unit 23, the X position specifying unit 231, the Y position specifying unit 232, the virtual video generating unit 24, and the display unit 25 are implemented by software. Realized.
- the storage 122 of the storage device 12 stores a program that realizes the function of each unit of the installation position determination device 10. This program is read into the memory 121 by the processor 11 and executed by the processor 11. Thereby, the function of each part of the installation position determination apparatus 10 is implement
- the storage 122 stores map data of an area including the target area 42 where the virtual composite video 46 is desired to be obtained.
- Information, data, signal values, and variable values indicating the processing results of the functions of the respective units realized by the processor 11 are stored in the memory 121, a register in the processor 11, or a cache memory. In the following description, it is assumed that information, data, signal values, and variable values indicating the processing results of the functions of the respective units realized by the processor 11 are stored in the memory 121.
- a program for realizing each function realized by the processor 11 is stored in the storage device 12.
- this program may be stored in a portable storage medium such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD.
- FIG. 1 only one processor 11 is shown. However, a plurality of processors 11 may be provided, and a plurality of processors 11 may execute programs that realize each function in cooperation with each other.
- the operation of the installation position determination device 10 according to the first embodiment corresponds to the installation position determination method according to the first embodiment.
- the operation of the installation position determination device 10 according to the first embodiment corresponds to the processing of the installation position determination program according to the first embodiment.
- step S1 the operation of the installation position determination device 10 which concerns on Embodiment 1 is demonstrated.
- step S7 the operation of the installation position determination device 10 is divided into step S1 to step S7.
- the area receiving unit 22 receives an input of the target area 42 where the virtual composite video 46 is to be obtained. Specifically, the area receiving unit 22 reads the map data from the storage 122, performs texture mapping, and generates a two-dimensional or three-dimensional CG (Computer Graphics) space 43. As shown in FIG. 3, the area receiving unit 22 displays a top view 44 of the generated CG space 43 as viewed from above on the display 32 via the display interface 14. And the area
- CG Computer Graphics
- the CG space 43 is a triaxial space represented by XYZ axes.
- the target area 42 is assumed to be a rectangle having sides parallel to the X axis and the Y axis on the plane represented by the XY axes. Then, it is assumed that the target area 42 is designated by the upper left coordinate value (x1, y1), the width Wx in the x direction parallel to the X axis, and the width Wy in the y direction parallel to the Y axis. In FIG. 3, it is assumed that a hatched portion is designated as the target area 42.
- the condition receiving unit 21 receives an input of the camera condition 41. Specifically, the maximum number 2N of cameras 50 to be installed from the user via the input device 31, the limit elongation rate K, the limit height Zh, the installation height Zs, the angle of view ⁇ , and the resolution
- the camera condition 41 indicating information such as the type of the camera 50 is input, and the condition receiving unit 21 receives the input camera condition 41.
- the limit elongation rate K is an upper limit of the elongation rate (Q / P) of the subject when the image is converted to an overhead view (see FIG. 9).
- the limit height Zh is the upper limit of the height of the subject (see FIGS. 11 and 12).
- the installation height Zs is a lower limit of the height at which the camera 50 is installed (see FIG. 7).
- the angle of view ⁇ is an angle that represents the range shown in the video shot by the camera 50 (see FIG. 7).
- the cameras 50 are installed facing each other. Therefore, since the number of cameras is an even number, the maximum number of cameras 50 is set to 2N.
- the condition receiving unit 21 displays a GUI screen on the input device 31 via the display interface 14 and causes the user to select and input each item indicated by the camera condition 41.
- the condition receiving unit 21 writes the received camera condition 41 in the memory 121.
- the condition receiving unit 21 displays a list of camera 50 types and allows the user to select a camera type.
- condition receiving unit 21 displays the maximum angle of view and the minimum angle of view of the selected type of camera 50, and inputs the angle of view between the maximum angle of view and the minimum angle of view.
- the installation height Zs is designated as the lowest position among the heights at which the camera 50 can be installed.
- the camera 50 is installed in a place with a certain height such as a pole installed in the vicinity of the target area 42.
- Step S3 Position specifying process>
- the position specifying unit 23 can capture each subject 50 having a limit height Zh or less in the target area 42 with the number of cameras 50 of 2N or less indicated by the camera condition 41 received by the condition receiving unit 21 in step S2.
- the installation position 45 is specified.
- the position specifying unit 23 sets the installation position 45 where the elongation rate of the subject in the target area 42 having the limit height Zh or less is equal to or less than the limit elongation rate K when the virtual image generation unit 24 performs the overhead view conversion in step S5. Identify.
- Step S4 specific determination process> If the installation position 45 can be specified in step S3, the position specifying unit 23 proceeds to step S5. If the installation position 45 cannot be specified, the process returns to step S2 to set the camera condition 41. Let them enter again.
- the case where the installation position 45 cannot be specified is the case where the installation position 45 capable of photographing the target area 42 with the number of 2N or less indicated by the camera condition 41 cannot be specified, and the case where the elongation rate of the subject is equal to or less than the limit elongation rate K. This is a case where the position 45 cannot be specified.
- Step S5 Virtual Video Generation Processing>
- the virtual video generation unit 24 When each camera 50 is installed at the installation position 45 specified by the position specifying unit 23 in step S ⁇ b> 4, the virtual video generation unit 24 generates a virtual captured video obtained by capturing a virtual model with each camera 50. Then, the virtual video generation unit 24 generates a virtual composite video 46 by performing a bird's-eye conversion on the generated virtual photographed video and combining them.
- the CG space 43 generated in step S1 is used as a virtual model.
- Step S6 Display Process>
- the display unit 25 displays the virtual composite video 46 generated by the virtual video generation unit 24 in step S5 on the display 32 via the display interface 14. This allows the user to check whether or not the obtained video is in a desired state based on the virtual composite video 46. Specifically, as shown in FIG. 4, the display unit 25 displays the virtual composite video 46 generated in step S ⁇ b> 5 and the virtual shot video shot by each camera 50. In FIG. 4, the virtual composite video 46 is displayed in the rectangular area of SYNTHETIC, and the virtual captured video of each camera 50 is displayed in the rectangular areas of CAM1 to CAM4.
- a numerical value input box or a slide bar that can change the camera condition 41 such as the limit elongation rate K of the subject, the angle of view ⁇ to be used, and the installation height Zs may be provided. Thereby, the change of the installation position 45 when the user changes the camera condition 41 and the change of the appearance of the virtual composite image 46 can be easily confirmed.
- Step 7 Quality judgment processing> If the obtained video is in the desired state according to the user's operation, the process ends. If the obtained video is not in the desired state, the process returns to step S2 and the camera condition 41 is input again.
- Step S3 according to the first embodiment will be described with reference to FIGS. 1 and 3 to 14. As shown in FIG. 5, step S3 is divided from step S31 to step S32.
- the short side direction of the rectangle indicating the target region 42 is the x direction
- the long side direction is the y direction.
- the installation position 45 specified in step S3 includes an installation position X in the x direction parallel to the X axis, an installation position Y in the y direction parallel to the Y axis, an installation position Z in the z direction parallel to the Z axis, An attitude yaw that is a rotation angle with the Z axis as a rotation axis, an attitude pitch that is a rotation angle with the Y axis as a rotation axis, and an attitude roll that is a rotation angle with the X axis as a rotation axis.
- the installation position Z of each camera 50 is the installation height Zs included in the camera condition 41.
- the posture yaw is set to 0 degree in the x direction
- the posture yaw of one camera 50 of the two cameras 50 facing each other is set to 0 degree
- the posture yaw of the other camera 50 is set to 180 degrees.
- the posture yaw of the cameras 50A to 50B is 0 degree
- the posture yaw of the cameras 50C to 50D is 180 degrees.
- the posture roll of each camera 50 is 0 degree. Therefore, in step S3, the remaining installation position X, installation position Y, and posture pitch are specified.
- the posture pitch is referred to as a depression angle ⁇ .
- the X position specifying unit 231 of the position specifying unit 23 can photograph the entire x direction of the target region 42 and at least two cameras in which the elongation rate of the subject in front of the camera 50 is equal to or less than the limit elongation rate K. 50 installation positions X and depression angles ⁇ are specified. Specifically, the X position specifying unit 231 reads out the target area 42 received in step S1 and the camera condition 41 received in step S2 from the memory 121. In addition, the X position specifying unit 231 uses the actual use range Hk * of the shootable range H of the camera 50 so as to be within a range Hk shown in Equation 4 described below and satisfy Equation 6 . To decide.
- the X position specifying unit 231 calculates the installation position X of one camera 50 among the two cameras 50 facing each other using Expression 7, and calculates the installation position X of the other camera 50 using Expression 8. In addition, the X position specifying unit 231 determines the angle between the upper limit and the lower limit indicated by Equations 10 and 12 as the depression angle ⁇ .
- Equation 1 the offset O at the installation position Zs, the angle of view ⁇ , and the depression angle ⁇ and the shootable range H of the camera 50 are expressed by Equation 1.
- the offset O is a distance from a position directly below the camera 50 to the left end of the shooting range.
- O Zs ⁇ tan ( ⁇ / 2 ⁇ / 2)
- H Zs ⁇ tan ( ⁇ / 2 ⁇ + ⁇ / 2)
- FIG. 7 shows a case where the camera 50 cannot capture the position immediately below. As shown in FIG.
- the range Hk in which the subject's elongation rate is equal to or less than the limit elongation rate K out of the shootable range from the limit elongation rate K and the installation position Zs that is the installation height of the camera 50 Is represented by Equation 3.
- Hk K ⁇ Zs
- a range Hk in which the elongation rate of the subject with the limit height Zh or less becomes equal to or less than the limit elongation rate K is expressed by Expression 4.
- Hk K (Zs-Zh)
- the X position specifying unit 231 is within the range Hk shown in Equation 4 and satisfies Equation 6.
- the utilization range Hk * that is actually used is determined from the shootable range H of the camera 50. (Formula 6) Wx ⁇ 2Hk * + 2O At this time, if the usage range Hk * is determined so that the right side of Equation 6 is somewhat larger than the left side, a region where two opposing cameras 50 partially overlap is photographed. Then, when synthesizing the video, superimposition processing such as ⁇ blending processing can be applied, and the synthesized video becomes more seamless.
- the X position specifying unit 231 displays a range of values within the range Hk shown in Expression 4 and satisfying Expression 6 on the display 32, and the usage range Hk * within the range displayed by the user is displayed.
- the usage range Hk * is determined by receiving the input.
- the X position specifying unit 231 uses a value within the range Hk shown in Expression 4 and satisfying Expression 6 so that the overlapping area captured by both the two opposing cameras 50 becomes the reference width. Determine as Hk * .
- the reference width is a width necessary to exert a certain effect in the superimposition processing.
- step S2 the condition receiving unit 21 receives an input of the camera condition 41 in which information such as the installation height Zs and the limit elongation rate K is changed.
- X-position specifying part 231 of the two opposing cameras 50 the installation position X 1 of one of the camera 50 calculated by Equation 7, the installation position X 2 of the other camera 50 is calculated by Equation 8 .
- X position specifying unit 231 the installation position X 1 of the camera 50A ⁇ 50B calculated by Equation 7, the installation position X 2 of the camera 50C ⁇ 50D is calculated by Equation 8.
- X 1 x1 + 1 / 2Wx ⁇ Hk *
- X 2 x1 + 1 / 2Wx + Hk *
- the X position specifying unit 231 specifies the depression angle ⁇ .
- Expression 9 is established.
- the upper limit of the depression angle ⁇ is determined by Expression 10 obtained from Expression 9. (Formula 9) (Zs ⁇ Zh) tan ( ⁇ / 2 ⁇ + ⁇ / 2)> Hk * (Formula 10) ⁇ ⁇ ( ⁇ + ⁇ ) / 2-arctan (Hk * / (Zs ⁇ Zh))
- Expression 11 is established since the depression angle ⁇ needs to fall within the imageable range up to a position directly below the camera 50.
- the lower limit of the depression angle ⁇ is determined by Expression 12 obtained from Expression 11.
- the X position specifying unit 231 determines the angle between the upper limit and the lower limit indicated by Equations 10 and 12 as the depression angle ⁇ . Specifically, the X position specifying unit 231 displays the upper limit and the lower limit indicated by Equations 10 and 12 on the display 32, and receives an input of the depression angle ⁇ between the upper limit and the lower limit displayed by the user. Thus, the depression angle ⁇ is determined. Or X position specific
- the lower limit of the depression angle ⁇ is determined by Equation 13. (Formula 13) ⁇ > ( ⁇ ) / 2-arctan (Wx / 2 ⁇ Hk * / Zs)
- Step S32 Position Y Identification Process>
- the Y position specifying unit 232 of the position specifying unit 23 specifies the installation position Y that can capture the entire y direction of the target area 42. Specifically, the Y position specifying unit 232 reads from the memory 121 the target area 42 received in step S1 and the camera condition 41 received in step S2. Then, the Y position specifying unit 232 calculates the installation position Y of the Mth camera 50 from the coordinate value y1 in the y direction according to Expression 16 described below.
- the Y position specifying unit 232 specifies the installation position Y will be described in detail.
- the bottom side on the rear side of the camera 50 is a trapezoid having a width W1
- the bottom side on the front side of the camera 50 is a width W2
- a height H is a use region where the radius indicated by hatching is a semicircular shape having a use range Hk * and the elongation is equal to or less than the limit elongation K.
- the Y position specifying unit 232 sets the cameras 50 in parallel in the y direction with an interval of the cameras 50 by a width W1. Therefore, the Y position specifying unit 232 calculates the installation position Y M of the Mth camera 50 from the coordinate value y1 in the y direction using Expression 16.
- Y M y1 + ((2M ⁇ 1) W1) / 2
- Y position specifying unit 232, the camera 50A, the installation position Y M of 50C was calculated by Equation 17, the camera 50B, the installation position Y M of 50D calculated by Equation 18.
- Y M y1 + W1 / 2
- Y M y1 + (3 ⁇ W1) / 2
- NW1 obtained by multiplying the number N installed in parallel in the y direction by the width W1 needs to be equal to or greater than the width Wy.
- the number of cameras 50 is 2N, since two cameras 50 are arranged to face each other in the x direction, the number of cameras 50 installed in parallel in the y direction is N. If NW1 is not greater than or equal to the width Wy, the position specifying unit 23 cannot specify the installation position 45 in step S4, and the process returns to step S2.
- the condition receiving unit 21 receives an input of the camera condition 41 in which information such as the maximum number 2N of the cameras 50, the installation height Zs, and the limit elongation rate K is changed.
- the installation position Y capable of capturing the entire y direction of the target area 42 is specified.
- the Y position specifying unit 232 replaces W1 in Expression 16 with 2Hk * and sets the installation position Y. Should be calculated. Also in this case, if 2NHk * obtained by multiplying the number N installed in parallel in the y direction by 2Hk * does not exceed the width Wy, the position specifying unit 23 cannot specify the installation position 45 in step S4. The process returns to step S2.
- an area in which the elongation rate becomes higher than the limit elongation rate K is generated in the target area 42, such as the area 47 shown in FIG. there's a possibility that.
- the installation position X and the installation position Y so that the use areas where the elongation rate of each camera 50 is equal to or less than the limit elongation rate K overlap, the elongation rate becomes higher than the limit elongation rate K.
- the area can be reduced.
- the camera 50 of the first unit from the coordinate values y1, installation position Y M is calculated by the equation 16.
- Y M y1 + ((2M ⁇ 1) W1) / 2 ⁇ LM Note that, in the y direction, when the elongation rate of the subject is equal to or less than the limit elongation rate K, the Y position specifying unit 232 may replace W1 in Equations 19 and 20 with 2Hk * .
- Step S5 according to the first embodiment will be described with reference to FIGS. 1 and 15 to 19. As shown in FIG. 15, step S5 is divided into step S51 to step S53.
- Step S51 Virtual Shooting Video Generation Process>
- the virtual video generation unit 24 captures the CG space 43 generated in step S1 with each camera 50 when each camera 50 is installed at the installation position 45 specified by the position specification unit 23 in step S3. Is generated. Specifically, the virtual video generation unit 24 reads the CG space 43 generated in step S ⁇ b> 1 from the memory 121. Then, for each camera 50, the virtual video generation unit 24 virtually captures a video of the CG space 43 in the direction of the optical axis 51 derived from the attitude of the camera 50 as the viewpoint center of the installation position 45 specified in step S3. Generated as a shot video. The virtual video generation unit 24 writes the generated virtual captured video in the memory 121.
- the virtual video generation unit 24 performs a bird's-eye conversion on the virtual captured video for each camera 50 generated in step S51 to generate a bird's-eye video. Specifically, the virtual video generation unit 24 reads from the memory 121 the virtual captured video for each camera 50 generated in step S51. Then, the virtual video generation unit 24 uses the homography conversion to project each virtual shot video generated in step S51 from the shooting plane of the camera 50 onto a plane where the Z-axis coordinate value is zero. As shown in FIG. 16, a plane perpendicular to the optical axis 51 determined by the depression angle ⁇ is the shooting plane 52, and the virtual shooting video is a video of the shooting plane 52. As shown in FIG.
- the virtual captured video is a rectangular video, but when the virtual captured video is projected onto a plane with the Z-axis coordinate value set to 0, it becomes a trapezoidal video.
- This trapezoidal image becomes a bird's-eye view image overlooking the shooting range of the camera 50. Therefore, the virtual video generation unit 24 performs matrix transformation called homography transformation so that the rectangular virtual captured video becomes a trapezoidal overhead video.
- the virtual video generation unit 24 writes the generated overhead video in the memory 121.
- the plane to be projected is not limited to a plane with the Z-axis coordinate value of 0, but may be a plane with an arbitrary height.
- the shape of the projection surface is not limited to a flat surface, and may be a curved surface.
- the virtual video generation unit 24 generates a virtual composite video 46 by synthesizing the overhead video for each camera 50 generated in step S52. Specifically, the virtual video generation unit 24 reads the overhead video for each camera 50 generated in step S52 from the memory 121. As shown in FIG. 18, the virtual video generation unit 24 truncates a portion outside the use range Hk * in the x direction, that is, a portion where the elongation rate exceeds the limit elongation rate K for each overhead view video. That is, the virtual video generation unit 24 leaves only the range of the usage range Hk * forward in the x direction from the installation position X and the range of the offset O behind, and discards the rest. In FIG.
- the virtual video generation unit 24 performs a superimposition process such as ⁇ blending on a portion to be superimposed on the remaining overhead video for each camera 50 and combines them.
- ⁇ blending is performed on the overlapped portion, in the x direction, the ⁇ value of the overhead image of the camera 50C is gradually decreased from 1 to 0 from X S to X E , and X the ⁇ value of the overhead image of camera 50A from S toward X E blend gradually increased from 0 to 1.
- X S is a x-coordinate of the boundary of the imaging region in the x direction of the camera 50A
- X E is the x-coordinate of the boundary of the imaging region in the x direction of the camera 50C.
- the ⁇ value of the overhead image of the camera 50C from Y S toward Y E gradually decreases from 1 to 0, the ⁇ value of the overhead image of camera 50D from Y S toward Y E from 0 to 1 Gradually increase and blend.
- Y S is the y coordinate of the boundary of the shooting area on the camera 50C side in the y direction of the camera 50D
- Y E is the y coordinate of the boundary of the shooting area on the camera 50D side in the y direction of the camera 50C.
- the virtual image generation unit 24 cuts off the portion outside the use range Hk * in the y direction for each overhead image. Above, synthesis is performed.
- the installation position determination device 10 specifies and specifies the installation positions 45 of each camera 50 that can capture the target area 42 with the number of cameras 50 equal to or less than the number indicated by the camera condition 41.
- a virtual composite video 46 is generated when each camera 50 is installed at the set installation position 45. Therefore, the user can determine the installation position 45 of each camera 50 from which the desired video can be obtained simply by checking the virtual composite video 46 while changing the camera condition 41.
- the installation position determining apparatus 10 also considers the height of the subject, and specifies the installation position 45 where the subject within the target area 42 where the subject is below the limit height Zh can be photographed. Therefore, there is no case where the face of the person in the target area 42 cannot be photographed at the specified installation position 45.
- the installation position determination device 10 identifies the installation position 45 where the elongation rate of the subject is equal to or less than the limit elongation rate K in consideration of the elongation of the subject when the overhead view is converted. Therefore, at the specified installation position 45, the rate of extension of the subject shown in the virtual composite video 46 is high, and there is no case where it is difficult to see.
- each part of the installation position determination device 10 is realized by software.
- the function of each part of the installation position determination device 10 may be realized by hardware. The first modification will be described with respect to differences from the first embodiment.
- the installation position determination device 10 When the function of each unit is realized by hardware, the installation position determination device 10 includes a processing circuit 15 instead of the processor 11 and the storage device 12.
- the processing circuit 15 is a dedicated electronic circuit that realizes the function of each unit of the installation position determination device 10 and the function of the storage device 12.
- the processing circuit 15 is assumed to be a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array). Is done.
- the function of each part may be realized by one processing circuit 15, or the function of each part may be realized by being distributed to a plurality of processing circuits 15.
- ⁇ Modification 2> As a second modification, some functions may be realized by hardware, and other functions may be realized by software. That is, some of the functions of the installation position determination device 10 may be realized by hardware, and other functions may be realized by software.
- the processor 11, the storage device 12, and the processing circuit 15 are collectively referred to as “processing circuitries”. That is, the function of each part is realized by a processing circuit.
- the target area 42 is a rectangular area.
- the target area 42 is not limited to a rectangle, but may be an area having another shape.
- the target area 42 may be a circular area or an L-shaped area having a bend.
- the target area 42 is a circular area
- the target area 42 is designated by the center position (x1, y1) of the area and the radius r1.
- a plurality of cameras 50 are arranged with the outside facing the center position of the region.
- the center position of the region is a region having a certain range including a region near the center.
- the some camera 50 is arrange
- each camera 50 can shoot a subject with a limit height Zh at the center position.
- the depression angle ⁇ is specified.
- the target area 42 is an L-shaped area
- the target region 42 includes the positions (x1, y1),. . . , (X6, y6).
- the target area 42 is specified by the positions of some vertices and the distance between the vertices.
- the target area 42 is divided into a plurality of rectangular areas. In FIG.
- the L-shaped target region 42 is a rectangular region represented by (x1, y1), (x2, y2), (x7, y7), and (x6, y6), x5, y5), (x7, y7), (x3, y3), and a rectangular area represented by (x4, y4).
- the installation position of the camera 50 is specified for each rectangular area in the same procedure as in the first embodiment.
- each camera 50 has a depression angle ⁇ specified so that a subject with a limit height Zh located directly below the camera 50, that is, at the center position in the short side direction or the long side direction can be photographed.
- the target area 42 is wide and the two cameras 50 are arranged to face each other, the entire rectangular short-side direction may not be photographed.
- the facing arrangement and the back-to-back arrangement are combined.
- the camera 50A and the camera 50B face each other, the camera 50B and the camera 50C are back to back, and the camera 50C and the camera 50D face each other.
- the entire target area 42 can be photographed.
- FIG. 29 when specifying the installation position of each camera 50, the range that can be photographed is specified as one unit by arranging two cameras 50 facing each other. Then, by arranging the specified units so as to cover the entire target region 42, the necessary number of cameras 50 and the installation positions of the cameras 50 can be specified.
- the cameras 50 may be arranged at the four corners of the rectangle with the central direction (diagonal direction) directed. Depending on the target area 42, the place where the camera 50 can be installed is limited, and the camera 50 may be installed only outside the target area 42. By arranging the cameras 50 at the four corners of the rectangle, the entire target area 42 can be efficiently photographed from the outside of the target area 42.
- a plurality of cameras 50 may be arranged at the rectangular center position with the outside facing.
- the place where the camera 50 can be installed is limited, and the camera 50 may have to be arranged in as few places as possible.
- the camera 50 is arranged with the poles for the camera 50 standing up, it is desired to reduce the number of poles as much as possible.
- By arranging the plurality of cameras 50 facing the outside at the center position of the rectangle it is possible to arrange the cameras 50 in one place and to efficiently shoot the entire target area 42.
- an omnidirectional camera capable of photographing a range of 360 degrees around may be used.
- a circular area centered on the installation position of the camera 50 is a range where the elongation rate of the subject is less than the limit elongation rate K.
- the depression angle ⁇ is the same as that when it is fixed at 90 degrees.
- the ratio of horizontal resolution to vertical resolution is 1: 1. As shown in FIG.
- FIG. The second embodiment is different from the first embodiment in that a range in which the camera 50 cannot be installed is designated. In the second embodiment, this different point will be described, and the description of the same point will be omitted.
- the condition receiving unit 21 receives an input of a camera condition 41 indicating an unusable range 47 that is a range where the camera 50 cannot be installed.
- the impossible range 47 is a rectangle
- the impossible range 47 is determined by the upper left coordinate value (xi, yi), the width Wxi in the x direction parallel to the X axis, and the width Wyi in the y direction parallel to the Y axis. It is specified.
- the unusable range 47 is circular
- the unusable range 47 is designated by the coordinate value (xi, yi) of the center of the circle and the radius ri.
- the present invention is not limited to this, and the unusable range 47 may be designated by another method such as an expression. Further, the unusable range 47 may have a shape other than a rectangle and a circle.
- step S ⁇ b> 3 of FIG. 2 the position specifying unit 23 first specifies the installation position 45 of the camera 50 that can capture the unusable range 47.
- the installation position 45 of the camera 50 that can capture the unusable range 47.
- FIG. 35 it is assumed that a part of the range in the rectangular target region 42 is designated as the impossible range 47.
- the installation position 45 outside the impossible range 47 and the installation position 45 of the camera 50 capable of photographing the impossible range 47 is specified.
- the installation position X and the depression angle ⁇ are specified by the same process as step S31 in FIG.
- the installation position Y a position where the entire unusable range 47 is exactly included in the shootable range of the camera 50 is specified. In FIG.
- the installation position Y of 50A2, camera 50B1, and camera 50B2 is specified. More specifically, the installation position Y A camera 50A1 and camera 50A2, identified by formula 21, the installation position Y B of the camera 50B1 and camera 50B2 is specified by equation 22.
- the position specifying unit 23 specifies the installation positions Y of the remaining cameras 50.
- the remaining cameras 50 are a camera 50C1 and a camera 50C2, and a camera 50D1 and a camera 50D2.
- the position specifying unit 23 specifies the installation positions Y of the remaining cameras 50 with reference to the installation positions Y of the cameras 50 that capture the already specified unusable range 47.
- the installation position Y M of the scope of the left disabled range 47 based on the installation position Y A camera 50A1 and camera 50A2, specified by equation 23.
- Installation position Y B of the right side in the range of No range 47 based on the installation position Y B of the camera 50B1 and camera 50B2, specified by equation 24.
- Y M Y A ⁇ ((2M ⁇ 1) W1) / 2
- Y M Y B + ((2M ⁇ 1) W1) / 2
- the installation position determination device 10 can specify the installation position 45 of each camera 50 that can capture the target area 42 when a range where the camera 50 cannot be installed is designated.
- Various equipment such as air conditioners and fire alarms are installed on the ceiling of indoor facilities. Therefore, there is a place where the camera 50 cannot be installed.
- the installation position determining apparatus 10 according to the second embodiment it is possible to determine an appropriate installation position 45 of the camera 50 that avoids a place where the camera 50 cannot be installed.
- the camera 50 cannot be installed in a portion without a ceiling. Therefore, the portion without the ceiling is the unusable range 47.
- a moving body camera 53 in which the camera 50 is mounted on a flying moving body such as a drone and a balloon may be used. If the mobile camera 53 can be skipped, the mobile camera 53 can be arranged even in a portion without a ceiling.
- the mobile camera 53 in an outdoor stadium where there is no ceiling.
- the entire outdoor stadium is the target area 42
- the central portion of the target area 42 is a portion without a ceiling.
- the normal camera 50 is installed in the part with the ceiling
- the mobile camera 53 is arranged in the part without the ceiling. That's fine.
- the installation position 45 of the camera 50 and the mobile camera 53 for generating the bird's-eye view video of the entire target area 42 can be specified.
- the installation position 45 can be specified by the same method as the camera 50 if the flying height is the camera installation position Z. Therefore, the position specifying unit 23 specifies the installation position 45 by dividing the part with the ceiling and the part without the ceiling. As a result, in the example of FIG. 38, the installation position 45 of the normal camera 50 and the mobile camera 53 is specified as shown in FIG.
- the mobile camera 53 By using the mobile camera 53, it is possible to place a camera in a portion where there is no ceiling. As a result, it is possible to obtain an image with high resolution even in a portion without a ceiling.
- Embodiment 3 FIG.
- the third embodiment is different from the first and second embodiments in that the shooting range 55 of the existing camera 54 is designated. In the third embodiment, this different point will be described, and the description of the same point will be omitted.
- the condition receiving unit 21 receives an input of a camera condition 41 indicating the shooting range 55 of the existing camera 54.
- the shooting range 55 of the existing camera 54 is designated by the same method as that for the target area 42. Specifically, when the shooting range 55 of the existing camera 54 is rectangular, the shooting range 55 of the existing camera 54 includes the upper left coordinate value (xj, yj) and the width Wxj in the x direction parallel to the X axis. , And a width Wyj in the y direction parallel to the Y axis. In the third embodiment, the shooting range 55 of the existing camera 54 is rectangular.
- step S3 in FIG. 2 the position specifying unit 23 creates a new target area 42 by subtracting the range from the target area 42 specified in step S1 in FIG. Set to.
- specification part 23 specifies the installation position of the camera 50 by the method demonstrated in the embodiment mentioned above or the modification mentioned above about the newly set object area
- FIG. 40 when a part of the lower left part of the target area 42 is the shooting range 55 of the existing camera 54, the position specifying unit 23 starts from the target area 42. An L-shaped area excluding the shooting range 55 of the existing camera 54 is set as a new target area 42. Then, the position specifying unit 23 specifies the installation position of the camera 50 for the L-shaped target region 42 by the method described in the third modification. As a result, for example, as shown in FIG. 41, the installation positions of the three cameras 50 are specified.
- step S ⁇ b> 5 of FIG. 2 the virtual video generation unit 24 generates a virtual shot video obtained by shooting a virtual model with each camera 50 and the existing camera 54. Then, the virtual video generation unit 24 generates a virtual composite video 46 by performing a bird's-eye conversion on the generated virtual photographed video and combining them.
- the virtual image generation unit 24 generates a virtual captured image obtained by capturing a virtual model with the three cameras 50 and the one existing camera 54, and generates a virtual composite image 46.
- the installation position determining apparatus 10 can specify the installation position 45 of the newly installed camera 50 in consideration of the existing camera 54. Thereby, when the existing camera 54 exists, the installation position 45 of the camera 50 which can image
Abstract
Description
また、特許文献1~3に記載されたカメラ設置シミュレータは、単体のカメラを想定したものであり、複数のカメラ映像から合成映像を作成する際の、各カメラの最適な配置を決めることは考慮されていない。そのため、複数のカメラの映像を合成するとどのような映像が得られるかを知ることはできなかった。
カメラの台数を示すカメラ条件の入力を受け付ける条件受付部と、
前記条件受付部によって受け付けられた前記カメラ条件が示す台数以下の数のカメラで対象領域を撮影可能な各カメラの設置位置を特定する位置特定部と、
前記位置特定部によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成部と
を備える。
***構成の説明***
図1を参照して、実施の形態1に係る設置位置決定装置10の構成を説明する。
設置位置決定装置10は、コンピュータである。
設置位置決定装置10は、プロセッサ11と、記憶装置12と、入力インタフェース13と、表示インタフェース14とを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
記憶装置12のストレージ122には、設置位置決定装置10の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ121に読み込まれ、プロセッサ11によって実行される。これにより、設置位置決定装置10の各部の機能が実現される。また、ストレージ122には、仮想合成映像46を得たい対象領域42を含む領域の地図データが記憶されている。
図1から図19を参照して、実施の形態1に係る設置位置決定装置10の動作を説明する。
実施の形態1に係る設置位置決定装置10の動作は、実施の形態1に係る設置位置決定方法に相当する。また、実施の形態1に係る設置位置決定装置10の動作は、実施の形態1に係る設置位置決定プログラムの処理に相当する。
図2に示すように、設置位置決定装置10の動作は、ステップS1からステップS7に分かれる。
領域受付部22は、仮想合成映像46を得たい対象領域42の入力を受け付ける。
具体的には、領域受付部22は、地図データをストレージ122から読み出して、テクスチャマッピングを行う等して、2次元又は3次元のCG(Computer Graphics)空間43を生成する。領域受付部22は、図3に示すように、生成されたCG空間43を上から見た上面図44を、表示インタフェース14を介してディスプレイ32に表示する。そして、ユーザから入力装置31を介して上面図44内の領域が指定されることにより、領域受付部22は対象領域42を受け付ける。領域受付部22は、生成されたCG空間43及び受け付けた対象領域42をメモリ121に書き込む。
実施の形態1では、CG空間43はXYZ軸で表される3軸の空間とする。また、対象領域42は、XY軸で表される平面上のX軸及びY軸に平行な辺を持つ長方形であるとする。そして、対象領域42は、左上の座標値(x1、y1)と、X軸と平行なx方向の幅Wxと、Y軸と平行なy方向の幅Wyとによって指定されるとする。図3では、ハッチングで示された部分が対象領域42として指定されたとする。
条件受付部21は、カメラ条件41の入力を受け付ける。
具体的には、ユーザから入力装置31を介して、設置するカメラ50の最大の台数2Nと、限界伸び率Kと、限界高さZhと、設置高さZsと、画角θと、解像度と、カメラ50の種類といった情報を示すカメラ条件41が入力され、条件受付部21は入力されたカメラ条件41を受け付ける。限界伸び率Kは、映像が俯瞰変換される際の被写体の伸び率(Q/P)の上限である(図9参照)。限界高さZhは、被写体の高さの上限である(図11、図12参照)。設置高さZsは、カメラ50が設置される高さの下限である(図7参照)。画角θは、カメラ50で撮影される映像に映る範囲を表す角度である(図7参照)。なお、後述するように、実施の形態1では、カメラ50を対向して設置する。そのため、カメラ台数は偶数となるので、カメラ50の最大の台数を2Nとしている。
実施の形態1では、条件受付部21は、表示インタフェース14を介して入力装置31に、GUI画面を表示して、カメラ条件41が示す各項目をユーザに選択させる等して入力させる。条件受付部21は、受け付けたカメラ条件41をメモリ121に書き込む。
条件受付部21は、カメラ種類については、カメラ50の種類の一覧を表示してユーザに選択させる。また、条件受付部21は、画角については、選択された種類のカメラ50の最大画角及び最小画角を表示して、最大画角と最小画角との間の画角を入力させる。
なお、設置高さZsは、カメラ50を設置可能な高さのうち、最も低い位置が指定されるものとする。カメラ50は、対象領域42付近に設置されたポールといったある程度高さのある場所に設置される。
位置特定部23は、ステップS2で条件受付部21によって受け付けられたカメラ条件41が示す台数2N以下の数のカメラ50で対象領域42にいる限界高さZh以下の被写体を撮影可能な各カメラ50の設置位置45を特定する。位置特定部23は、ステップS5で仮想映像生成部24によって映像が俯瞰変換される際、対象領域42にいる限界高さZh以下の被写体の伸び率が限界伸び率K以下になる設置位置45を特定する。
位置特定部23は、ステップS3で、設置位置45を特定できた場合には、処理をステップS5に進め、設置位置45を特定できない場合には、処理をステップS2に戻して、カメラ条件41を再入力させる。
設置位置45を特定できない場合とは、カメラ条件41が示す台数2N以下の数で対象領域42を撮影可能な設置位置45を特定できない場合と、被写体の伸び率が限界伸び率K以下になる設置位置45を特定できない場合とである。
仮想映像生成部24は、ステップS4で位置特定部23によって特定された設置位置45に各カメラ50を設置した場合に、各カメラ50によって仮想モデルを撮影した仮想撮影映像を生成する。そして、仮想映像生成部24は、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像46を生成する。
実施の形態1では、仮想モデルとして、ステップS1で生成されたCG空間43を用いる。
表示部25は、ステップS5で仮想映像生成部24によって生成された仮想合成映像46を、表示インタフェース14を介してディスプレイ32に表示する。これにより、ユーザに、仮想合成映像46に基づき、得られる映像が望んだ状態であるか否かを確認させる。
具体的には、表示部25は、図4に示すように、ステップS5で生成された仮想合成映像46と、各カメラ50によって撮影された仮想撮影映像とを表示する。図4では、SYNTHETICの矩形領域には、仮想合成映像46が表示され、CAM1からCAM4の矩形領域には、各カメラ50の仮想撮影映像が表示される。表示ウィンドウ上に、被写体の限界伸び率K、利用する画角θ、設置高さZsといったカメラ条件41を変更可能な数値入力ボックス、もしくは、スライドバーを設けてもよい。これにより、ユーザがカメラ条件41を変更した際の設置位置45の変化や、仮想合成映像46の見え方の変化を簡単に確認することができる。
ユーザの操作に従い、得られる映像が望んだ状態である場合には、処理が終了となり、得られる映像が望んだ状態でない場合には、処理がステップS2に戻され、カメラ条件41が再入力される。
図5に示すように、ステップS3は、ステップS31からステップS32に分かれる。
実施の形態1では、各カメラ50の設置位置Zは、カメラ条件41に含まれる設置高さZsとする。また、姿勢yawは、x方向を0度とし、対向する2台のカメラ50のうち一方のカメラ50の姿勢yawを0度、他方のカメラ50の姿勢yawを180度とする。図6では、カメラ50A~カメラ50Bの姿勢yawが0度であり、カメラ50C~カメラ50Dの姿勢yawが180度である。また、各カメラ50の姿勢rollは、0度とする。
したがって、ステップS3では、残りの設置位置Xと、設置位置Yと、姿勢pitchとが特定される。以下、姿勢pitchを俯角αと呼ぶ。
位置特定部23のX位置特定部231は、対象領域42のx方向全体を撮影可能であり、かつ、少なくともカメラ50の前方にいる被写体の伸び率が限界伸び率K以下になる2台のカメラ50の設置位置X及び俯角αを特定する。
具体的には、X位置特定部231は、ステップS1で受け付けられた対象領域42と、ステップS2で受け付けられたカメラ条件41とをメモリ121から読み出す。その上で、X位置特定部231は、以下に説明する式4に示す範囲Hk以内で、かつ、式6を満たすように、カメラ50の撮影可能範囲Hのうち実際に利用する利用範囲Hk*を決定する。そして、X位置特定部231は、対向する2台のカメラ50のうち、一方のカメラ50の設置位置Xを式7によって計算し、他方のカメラ50の設置位置Xを式8によって計算する。また、X位置特定部231は、数10及び数12によって示された上限と下限との間の角度を俯角αとして決定する。
図7に示すように、設置位置Zsと画角θと俯角αとにおけるオフセットOとカメラ50の撮影可能範囲Hとは、式1によって表される。オフセットOは、カメラ50の真下の位置から撮影範囲の左端までの距離である。
(式1)
O=Zs・tan(π/2-α-θ/2)
H=Zs・tan(π/2-α+θ/2)-O
図7では、カメラ50は真下の位置を撮影できない場合を示していた。図8に示すように、カメラ50が真下の位置を撮影できる場合には、オフセットOとカメラ50の撮影可能範囲Hとは、式2によって表される。
(式2)
O=Zs・tan(π/2+α+θ/2)
H=Zs・tan(π/2-α+θ/2)+O
以下の説明では、カメラ50が真下の位置を撮影できる場合を想定して数2を用いて説明する。カメラ50が真下の位置を撮影できない場合には、数2に代えて、数1を用いればよい。
(式3)
Hk=K・Zs
さらに、被写体の高さを考慮すると、限界高さZh以下の被写体の伸び率が限界伸び率K以下になる範囲Hkは、式4によって表される。
(式4)
Hk=K(Zs-Zh)
(式5)
O=(Zs-Zh)tan(π/2+α+θ/2)
H=(Zs-Zh)tan(π/2-α+θ/2)+O
(式6)
Wx<2Hk*+2O
このとき、式6の右辺が左辺よりもある程度大きくなるように利用範囲Hk*を決定すると、対向する2台のカメラ50が一部重なった領域を撮影することになる。すると、映像を合成する際、αブレンディング処理といった重畳処理を適用でき、合成された映像がよりシームレスになる。
具体的には、X位置特定部231は、式4に示す範囲Hk以内で、かつ、式6を満たす値の範囲をディスプレイ32に表示して、ユーザから表示した範囲内の利用範囲Hk*の入力を受け付けることにより、利用範囲Hk*を決定する。あるいは、X位置特定部231は、式4に示す範囲Hk以内で、かつ、式6を満たす値のうち、対向する2台のカメラ50両方が撮影する重畳領域が基準幅になる値を利用範囲Hk*として決定する。基準幅とは、重畳処理である程度の効果を発揮するのに必要な幅である。
(式7)
X1=x1+1/2Wx-Hk*
(式8)
X2=x1+1/2Wx+Hk*
ここで、俯角αは、カメラ50の真下の位置からカメラ50の前方に利用範囲Hk*まで撮影可能範囲に入る必要があるので、式9が成立する。式9から得られる式10によって俯角αの上限が定められる。
(式9)
(Zs-Zh)tan(π/2-α+θ/2)>Hk*
(式10)
α<(π+θ)/2-arctan(Hk*/(Zs-Zh))
また、俯角αは、カメラ50の真下の位置まで撮影可能範囲に入る必要があるので、式11が成立する。式11から得られる式12によって俯角αの下限が定められる。
(式11)
(Zs-Zh)tan(π/2-α-θ/2)<(Wx/2-Hk*)
(式12)
α>(π-θ)/2-arctan(Wx/2-Hk*/(Zs-Zh))
具体的には、X位置特定部231は、数10及び数12によって示された上限と下限とをディスプレイ32に表示して、ユーザから表示した上限と下限との間の俯角αの入力を受け付けることにより、俯角αを決定する。あるいは、X位置特定部231は、数10及び数12によって示された上限と下限との間の角度のうち、中央の角度といった任意の角度を俯角αに決定する。
(式13)
α>(π-θ)/2-arctan(Wx/2-Hk*/Zs)
位置特定部23のY位置特定部232は、対象領域42のy方向全体を撮影可能な設置位置Yを特定する。
具体的には、Y位置特定部232は、ステップS1で受け付けられた対象領域42と、ステップS2で受け付けられたカメラ条件41とをメモリ121から読み出す。その上で、Y位置特定部232は、以下に説明する式16によって、y方向の座標値y1からM台目のカメラ50の設置位置Yを計算する。
図13に示すように、カメラ50それぞれの撮影可能範囲を上から見ると、カメラ50の後方側の底辺が幅W1、カメラ50の前方側の底辺が幅W2、高さHの台形になっている。そして、その台形の中に、ハッチングが付されて示された半径が利用範囲Hk*の半円形である、伸び率が限界伸び率K以下の利用領域が含まれる。
カメラ50の水平解像度と垂直解像度との比をWθ:Hθとすると、撮影可能範囲の台形の縦横比は、式14のように表される。
(式14)
W1:H
=Wθ:Hθ(sinα+cosα/tan(α-θ/2))
=sin(α-θ/2):(Hθ(sinαsin(α-θ/2)+cosαcos(α-θ/2)))Wθ
=sin(α-θ/2):(Hθcos(θ/2))/Wθ
したがって、底辺W1は、式15となる。
(式15)
W1=((Wθsin(α-θ/2))/(Hθcos(θ/2)))H
(式16)
YM=y1+((2M-1)W1)/2
図14であれば、Y位置特定部232は、カメラ50A,50Cの設置位置YMを式17によって計算し、カメラ50B,50Dの設置位置YMを式18によって計算する。
(式17)
YM=y1+W1/2
(式18)
YM=y1+(3・W1)/2
但し、この場合にも、対象領域42のうち、図14に示す領域47のように、4台のカメラ50の中央付近等に、伸び率が限界伸び率Kよりも高くなってしまう領域が発生する可能性がある。図14に示す、各カメラ50についての伸び率が限界伸び率K以下の利用領域が重なるように、設置位置X及び設置位置Yを調整することにより、伸び率が限界伸び率Kよりも高くなる領域を小さくすることができる。
(式19)
L=(W1×N-Wy)/(N-1)
そして、Y位置特定部232は、y方向に座標値y1から2台目以降のカメラ50について、M台目のカメラ50の設置位置YMを式20によって計算する。座標値y1から1台目のカメラ50については、設置位置YMは式16によって計算される。
(式20)
YM=y1+((2M-1)W1)/2-LM
なお、y方向についても被写体の伸び率を限界伸び率K以下とする場合には、Y位置特定部232は、式19及び式20のW1を2Hk*に置き換えればよい。
図15に示すように、ステップS5は、ステップS51からステップS53に分かれる。
仮想映像生成部24は、ステップS3で位置特定部23によって特定された設置位置45に各カメラ50を設置した場合に、ステップS1で生成されたCG空間43を各カメラ50によって撮影した仮想撮影映像を生成する。
具体的には、仮想映像生成部24は、ステップS1で生成されたCG空間43をメモリ121から読み出す。そして、仮想映像生成部24は、各カメラ50について、ステップS3で特定された設置位置45の視点中心として、カメラ50の姿勢から導かれる光軸51方向のCG空間43を撮影した映像を、仮想撮影映像として生成する。仮想映像生成部24は、生成された仮想撮影映像をメモリ121に書き込む。
仮想映像生成部24は、ステップS51で生成された各カメラ50についての仮想撮影映像を俯瞰変換して、俯瞰映像を生成する。
具体的には、仮想映像生成部24は、ステップS51で生成された各カメラ50についての仮想撮影映像をメモリ121から読み出す。そして、仮想映像生成部24は、ホモグラフィ変換を利用して、ステップS51で生成された各仮想撮影映像を、カメラ50の撮影面からZ軸の座標値を0とした平面へ投影する。
図16に示すように、俯角αで定まる光軸51と垂直な面が撮影面52であり、仮想撮影映像はこの撮影面52の映像である。図17に示すように、仮想撮影映像は長方形の映像であるが、仮想撮影映像をZ軸の座標値を0とした平面に投影すると台形の映像になる。この台形の映像がカメラ50の撮影範囲を俯瞰した俯瞰映像になる。そこで、仮想映像生成部24は、長方形の仮想撮影映像が台形の俯瞰映像になるように、ホモグラフィ変換という行列変換を行う。仮想映像生成部24は、生成された俯瞰映像をメモリ121に書き込む。
仮想映像生成部24は、ステップS52で生成された各カメラ50についての俯瞰映像を合成して仮想合成映像46を生成する。
具体的には、仮想映像生成部24は、ステップS52で生成された各カメラ50についての俯瞰映像をメモリ121から読み出す。図18に示すように、仮想映像生成部24は、各俯瞰映像について、x方向における利用範囲Hk*外の部分、すなわち伸び率が限界伸び率Kを超えた部分を切り捨てる。つまり、仮想映像生成部24は、設置位置Xからx方向に前方の利用範囲Hk*の範囲と、後方にオフセットOの範囲とだけを残し、残りを切り捨てる。図18では、ハッチング部分が切り捨てられる。そして、仮想映像生成部24は、各カメラ50についての残りの俯瞰映像で重畳する部分をαブレンディングといった重畳処理を行い、合成する。
図19に示すように、重畳部分にαブレンディングを行う場合には、x方向に対しては、XSからXEにかけてカメラ50Cの俯瞰映像のα値を1から0に徐々に減少させ、XSからXEにかけてカメラ50Aの俯瞰映像のα値を0から1に徐々に増加させてブレンドする。XSは、カメラ50Aのx方向における撮影領域の境界のx座標であり、XEは、カメラ50Cのx方向における撮影領域の境界のx座標である。y方向にも同様に、YSからYEにかけてカメラ50Cの俯瞰映像のα値を1から0に徐々に減少させ、YSからYEにかけてカメラ50Dの俯瞰映像のα値を0から1に徐々に増加させてブレンドする。YSは、カメラ50Dのy方向におけるカメラ50C側の撮影領域の境界のy座標であり、YEは、カメラ50Cのy方向におけるカメラ50D側の撮影領域の境界のy座標である。
そして、仮想映像生成部24は、合成された映像のうち、対象領域42部分だけを切り出して仮想合成映像46とする。仮想映像生成部24は、生成された仮想合成映像46をメモリ121に書き込む。
また、仮想映像生成部24は、伸び率を限界伸び率K以下になるように設置位置Yを特定した場合には、各俯瞰映像について、y方向についても利用範囲Hk*外の部分を切り捨てた上で、合成を行う。
以上のように、実施の形態1に係る設置位置決定装置10は、カメラ条件41が示す台数以下の数のカメラ50で対象領域42を撮影可能な各カメラ50の設置位置45を特定し、特定された設置位置45に各カメラ50を設置した場合の仮想合成映像46を生成する。そのため、ユーザは、カメラ条件41を変更しながら仮想合成映像46を確認するだけで、望む映像が得られる各カメラ50の設置位置45を決定することができる。
<変形例1>
実施の形態1では、設置位置決定装置10の各部の機能がソフトウェアで実現された。しかし、変形例1として、設置位置決定装置10の各部の機能はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
各部の機能がハードウェアで実現される場合、設置位置決定装置10は、プロセッサ11と記憶装置12とに代えて、処理回路15を備える。処理回路15は、設置位置決定装置10の各部の機能及び記憶装置12の機能を実現する専用の電子回路である。
各部の機能を1つの処理回路15で実現してもよいし、各部の機能を複数の処理回路15に分散させて実現してもよい。
変形例2として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、設置位置決定装置10の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
実施の形態1では、対象領域42は、長方形の領域であるとした。しかし、対象領域42は、長方形に限らず、他の形状の領域であってもよい。具体例としては、対象領域42は、円形の領域であってもよいし、L字型といった曲り角を有する形状の領域であってもよい。
図21に示すように、対象領域42は、領域の中心位置(x1,y1)と、半径r1とによって指定される。
図21に示すように、複数のカメラ50が領域の中心位置に外側を向けて配置される。なお、領域の中心位置とは、中心付近の領域を含むある程度の範囲を持った領域である。又は、図22に示すように、複数のカメラ50が円周上に等間隔に中心側を向けて配置される。そして、指定されたカメラ50の台数で対象領域42を撮影できるように、カメラ50の高さ等が特定される。
なお、図21に示すように各カメラ50が領域の中心位置に配置された場合、図23に示すように、各カメラ50は、中心位置にいる限界高さZhの被写体が撮影できるように、俯角αが特定される。
図24に示すように、対象領域42は、各頂点の位置(x1,y1),...,(x6,y6)によって指定される。又は、対象領域42は、一部の頂点の位置と、頂点間の距離とによって指定される。
そして、図25に示すように、対象領域42が複数の長方形の領域に分割される。図25では、L字型の対象領域42が、(x1,y1)と、(x2,y2)と、(x7,y7)と、(x6,y6)とで表される長方形の領域と、(x5,y5)と、(x7,y7)と、(x3,y3)と、(x4,y4)とで表される長方形の領域との2つに分割されている。各長方形の領域を撮影できるように、各長方形の領域について実施の形態1と同じ手順でカメラ50の設置位置が特定される。
実施の形態1では、図6に示すように、長方形の短辺方向に2台のカメラ50が対向して配置された。しかし、図26に示すように、長方形の短辺方向の中心位置に2台のカメラ50が、外側を向けて配置されてもよい。つまり、長方形の短辺方向の中心位置に2台のカメラ50が、背中合わせに配置されてもよい。あるいは、図27に示すように、長方形の長辺方向の中心位置に2台のカメラ50が、外側を向けて配置されてもよい。つまり、長方形の長辺方向の中心位置に2台のカメラ50が、背中合わせに配置されてもよい。
この場合、図23に示すように、各カメラ50は、カメラ50の真下、つまり短辺方向又は長辺方向の中心位置にいる限界高さZhの被写体が撮影できるように、俯角αが特定される。
図29に示すように、各カメラ50の設置位置を特定する際には、2台のカメラ50を対向させて配置することにより撮影可能な範囲を1つのユニットとして特定する。そして、対象領域42全体を覆うように、特定されたユニットを並べることにより、必要なカメラ50の台数と、各カメラ50の設置位置とを特定することができる。
カメラ50として、周囲360度の範囲を撮影可能な全天球カメラを用いてもよい。カメラ50として全天球カメラを用いた場合、図32に示すように、カメラ50の設置位置を中心とする円形の領域が被写体の伸び率が限界伸び率K以下になる範囲になる。また、俯角αは、90度に固定された場合と同じである。水平解像度と垂直解像度との比は1:1になる。
図33に示すように、被写体の伸び率が限界伸び率K以下になる範囲の映像を用いる場合、合成映像を生成するために利用されるのは、被写体の伸び率が限界伸び率K以下になる範囲を示す円形の領域に内設する矩形の領域である。したがって、図34に示すように、この矩形の領域を1つのユニットとして、対象領域42全体を覆うように、特定されたユニットを並べることにより、必要なカメラ50の台数と、各カメラ50の設置位置とを特定することができる。
実施の形態2は、カメラ50を設置できない範囲が指定される点が実施の形態1と異なる。実施の形態2では、この異なる点について説明し、同一の点については説明を省略する。
図2のステップS2では、条件受付部21は、カメラ50を設置できない範囲である不可範囲47を示すカメラ条件41の入力を受け付ける。
不可範囲47が長方形の場合には、不可範囲47は、左上の座標値(xi,yi)と、X軸と平行なx方向の幅Wxiと、Y軸と平行なy方向の幅Wyiとによって指定される。また、不可範囲47が円形の場合には、不可範囲47は、円の中心の座標値(xi,yi)と、半径riとによって指定される。なお、これに限らず、式といった他の方法によって不可範囲47が指定されてもよい。また、不可範囲47は、長方形及び円形以外の形状であってもよい。
具体例としては、図35に示すように、長方形の対象領域42における一部の範囲が不可範囲47として指定されたとする。この場合、図36に示すように、不可範囲47の外における設置位置45であって、不可範囲47を撮影可能なカメラ50の設置位置45を特定する。
この際、設置位置X及び俯角αは、図5のステップS31と同じ処理により特定される。設置位置Yは、不可範囲47全体がちょうどカメラ50の撮影可能範囲に含まれる位置が特定される。図36では、不可範囲47のy方向の中間点から左側の範囲がカメラ50A1及びカメラ50A2により撮影され、中間点から右側の範囲がカメラ50B1及びカメラ50B2により撮影されるように、カメラ50A1及びメラ50A2と、カメラ50B1及びカメラ50B2との設置位置Yが特定される。より具体的には、カメラ50A1及びメラ50A2の設置位置YAは、式21によって特定され、カメラ50B1及びメラ50B2の設置位置YBは、式22によって特定される。なお、yhは、中間点のY座標である。
(式21)
YA=yh-W1/2
(式22)
YB=yh+W1/2
位置特定部23は、残りのカメラ50の設置位置Yを、既に特定された不可範囲47を撮影するカメラ50の設置位置Yを基準として特定する。図37では、不可範囲47の左側の範囲についての設置位置YMは、カメラ50A1及びメラ50A2の設置位置YAを基準として、式23により特定される。不可範囲47の右側の範囲についての設置位置YBは、カメラ50B1及びメラ50B2の設置位置YBを基準として、式24により特定される。
(式23)
YM=YA-((2M-1)W1)/2
(式24)
YM=YB+((2M-1)W1)/2
以上のように、実施の形態2に係る設置位置決定装置10は、カメラ50を設置できない範囲が指定された場合に、対象領域42を撮影可能な各カメラ50の設置位置45を特定できる。
屋内施設の天井には、空気調和機と火災報知器といった様々な備品が設置されている。そのため、カメラ50を設置できない場所が存在する。しかし、実施の形態2に係る設置位置決定装置10によれば、カメラ50を設置できない場所を避けた、カメラ50の適切な設置位置45を決定することが可能である。
天井の無い部分にはカメラ50を設置することができない。したがって、天井の無い部分は不可範囲47となる。しかし、ドローンとバルーンといった飛翔する移動体にカメラ50を搭載した移動体カメラ53を用いてもよい。移動体カメラ53を飛ばすことが可能であれば、移動体カメラ53は天井の無い部分についても配置することが可能である。
そこで、位置特定部23は、天井のある部分と無い部分とを分けて、設置位置45を特定する。その結果、図38の例では、図39のように、通常のカメラ50と移動体カメラ53との設置位置45が特定される。
実施の形態3は、既設カメラ54の撮影範囲55が指定される点が実施の形態1,2と異なる。実施の形態3では、この異なる点について説明し、同一の点については説明を省略する。
図2のステップS2では、条件受付部21は、既設カメラ54の撮影範囲55を示すカメラ条件41の入力を受け付ける。
既設カメラ54の撮影範囲55は、対象領域42と同様の方法により指定される。具体的には、既設カメラ54の撮影範囲55が長方形の場合には、既設カメラ54の撮影範囲55は、左上の座標値(xj,yj)と、X軸と平行なx方向の幅Wxjと、Y軸と平行なy方向の幅Wyjとによって指定される。実施の形態3では、既設カメラ54の撮影範囲55は長方形とする。
具体例としては、図40に示すように、対象領域42のうち、左下の一部の範囲が既設カメラ54の撮影範囲55となっている場合には、位置特定部23は、対象領域42から既設カメラ54の撮影範囲55を除いたL字型の領域を、新たな対象領域42に設定する。そして、位置特定部23は、変形例3で説明した方法により、L字型の対象領域42について、カメラ50の設置位置を特定する。その結果、例えば、図41に示すように、3台のカメラ50の設置位置が特定される。
図41の例であれば、仮想映像生成部24は、3台のカメラ50と、1台の既設カメラ54とによって仮想モデルを撮影した仮想撮影映像を生成し、仮想合成映像46を生成する。
以上のように、実施の形態3に係る設置位置決定装置10は、既設カメラ54を考慮した上で、新たに設置するカメラ50の設置位置45を特定することができる。これにより、既設カメラ54が存在する場合に、不要に多くのカメラ50を設置することなく、対象領域42全体を撮影可能なカメラ50の設置位置45を特定することができる。
Claims (16)
- カメラの撮影条件を示すカメラ条件の入力を受け付ける条件受付部と、
前記条件受付部によって受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定する位置特定部と、
前記位置特定部によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成部と
を備える設置位置決定装置。 - 前記カメラ条件は、カメラの台数を示し、
前記位置特定部は、前記カメラ条件が示す台数のカメラで対象領域を撮影可能な各カメラの設置位置を特定する
請求項1に記載の設置位置決定装置。 - 前記カメラ条件は、限界高さを示し、
前記位置特定部は、前記対象領域にいる前記限界高さ以下の被写体を撮影可能な前記設置位置を特定する
請求項1又は2に記載の設置位置決定装置。 - 前記カメラ条件は、限界伸び率を示し、
前記位置特定部は、前記仮想映像生成部によって前記仮想撮影映像が俯瞰変換される際、前記カメラの前方にいる前記限界高さ以下の被写体の伸び率が前記限界伸び率以下になる前記設置位置を特定する
請求項3に記載の設置位置決定装置。 - 前記カメラ条件は、設置高さと、画角とを示し、
前記位置特定部は、
前記設置高さに設置された前記画角の2台のカメラをx方向に沿って対向させて設置した場合に、前記対象領域の前記x方向全体を撮影可能であり、かつ、前記x方向において前記被写体の伸び率が前記限界伸び率以下になる前記2台のカメラの前記x方向の設置位置X及び俯角を特定するX位置特定部と、
前記X位置特定部によって特定された前記俯角及び前記設定位置Xに各カメラを設置する場合に、前記対象領域の前記x方向と直行するy方向全体を撮影可能な前記y方向の設置位置Yを特定するY位置特定部と
を備える請求項4に記載の設置位置決定装置。 - 前記X位置特定部は、前記対象領域の前記x方向の端部の座標x1と、前記対象領域の前記x方向の幅Wxと、前記被写体の伸び率が前記限界伸び率以下になる前記x方向の幅Hk*とを用いて、前記2台のカメラの一方の設定位置X1をX1=x1+(1/2)Wx-Hk*により特定し、他方の設置位置X2をX2=x1+(1/2)Wx+Hk*により特定する
請求項5に記載の設置位置決定装置。 - 前記X位置特定部は、前記設置高さZと、前記限界高さZhと、前記画角θとを用いて、(π+θ)/2-arctan(Hk*/(Z-Zh))>α、又は、(π+θ)/2-arctan(Hk*/Z)>αであり、かつ、α>(π-θ)/2-arctan((Wx/2-Hk*)/(Z―Zh))である前記俯角αを特定する
請求項6に記載の設置位置決定装置。 - 前記Y位置特定部は、前記各カメラの水平解像度と垂直解像度との比をWθ:Hθとし、前記y方向に並べるカメラの台数をNとした場合に、前記対象領域の前記y方向の端部の座標y1と、前記カメラの前記x方向の撮影可能幅Hとを用いて、W1=((Wθsin(α-θ/2))/Hθcos(θ/2))Hとし、i=1,...,Nの各カメラの前記y方向の設置位置YiをYi=y1+((2i-1)/2)W1により特定する
請求項7に記載の設置位置決定装置。 - 前記Y位置特定部は、前記y方向に並べるカメラの台数をNとした場合に、前記対象領域の前記y方向の端部の座標y1を用いて、i=1,...,Nの各カメラの前記y方向の設置位置YiをYi=y1+((2i-1)/2)2Hk*により特定する
請求項7に記載の設置位置決定装置。 - 前記位置特定部は、前記台数で前記対象領域を撮影可能な前記設置位置を特定できない場合には、前記条件受付部に前記カメラ条件の再入力を受け付けさせる
請求項1に記載の設置位置決定装置。 - 前記位置特定部は、前記限界伸び率以下になる前記設置位置を特定できない場合には、前記条件受付部に前記カメラ条件の再入力を受け付けさせる
請求項4に記載の設置位置決定装置。 - 前記カメラ条件は、カメラを設置できない不可範囲を示し、
前記位置特定部は、前記不可範囲を除いた範囲において、前記対象領域を撮影可能な各カメラの設置位置を特定する
請求項1に記載の設置位置決定装置。 - 前記カメラ条件は、既設カメラの撮影範囲を特定可能な範囲情報を示し、
前記位置特定部は、前記対象領域のうち前記範囲情報が示す撮影範囲を除いた領域を撮影可能な各カメラの設置位置を特定する
請求項1に記載の設置位置決定装置。 - 前記仮想映像生成部は、前記各カメラと、前記既設カメラとによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する
請求項13に記載の設置位置決定装置。 - カメラの撮影条件を示すカメラ条件の入力を受け付け、
受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定し、
特定された前記設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する設置位置決定方法。 - カメラの撮影条件を示すカメラ条件の入力を受け付ける条件受付処理と、
前記条件受付処理によって受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定する位置特定処理と、
前記位置特定処理によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成処理と
をコンピュータに実行させる設置位置決定プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017539463A JP6246435B1 (ja) | 2016-02-04 | 2017-01-10 | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム |
GB201808744A GB2560128B (en) | 2016-02-04 | 2017-01-10 | Installation position determining device, installation position determining method, and installation position determining program |
US16/061,768 US20190007585A1 (en) | 2016-02-04 | 2017-01-10 | Installation position determining device, installation position determining method, and computer readable medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPPCT/JP2016/053309 | 2016-02-04 | ||
PCT/JP2016/053309 WO2017134786A1 (ja) | 2016-02-04 | 2016-02-04 | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017134987A1 true WO2017134987A1 (ja) | 2017-08-10 |
Family
ID=59500624
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/053309 WO2017134786A1 (ja) | 2016-02-04 | 2016-02-04 | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム |
PCT/JP2017/000512 WO2017134987A1 (ja) | 2016-02-04 | 2017-01-10 | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/053309 WO2017134786A1 (ja) | 2016-02-04 | 2016-02-04 | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190007585A1 (ja) |
JP (1) | JP6246435B1 (ja) |
GB (1) | GB2560128B (ja) |
WO (2) | WO2017134786A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022259795A1 (ja) * | 2021-06-10 | 2022-12-15 | 富士フイルム株式会社 | カメラ角度決定装置、カメラ角度決定方法及びプログラム、撮影システム並びに被害判定システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006074260A (ja) * | 2004-08-31 | 2006-03-16 | Sumitomo Electric Ind Ltd | 駐車場におけるカメラ設置条件の自動決定方法 |
JP2009239821A (ja) * | 2008-03-28 | 2009-10-15 | Toa Corp | カメラ設置シミュレータプログラム |
JP2010093713A (ja) * | 2008-10-10 | 2010-04-22 | Sony Corp | 表示制御装置、表示制御方法及びプログラム |
JP2013171079A (ja) * | 2012-02-17 | 2013-09-02 | Nec System Technologies Ltd | 撮影支援装置、撮影支援方法、及びプログラム |
JP2014241496A (ja) * | 2013-06-11 | 2014-12-25 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理方法、及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05113745A (ja) * | 1990-12-27 | 1993-05-07 | Toshiba Lighting & Technol Corp | カメラ運用シユミレーシヨン装置 |
JP4649050B2 (ja) * | 2001-03-13 | 2011-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び制御プログラム |
JP4990852B2 (ja) * | 2008-07-31 | 2012-08-01 | Kddi株式会社 | 3次元移動の自由視点映像生成システムおよび記録媒体 |
US20100182400A1 (en) * | 2009-01-16 | 2010-07-22 | World Golf Tour, Inc. | Aligning Images |
US9749823B2 (en) * | 2009-12-11 | 2017-08-29 | Mentis Services France | Providing city services using mobile devices and a sensor network |
JP5136703B2 (ja) * | 2010-02-02 | 2013-02-06 | 富士通株式会社 | カメラ設置位置評価プログラム、カメラ設置位置評価方法およびカメラ設置位置評価装置 |
US20120069218A1 (en) * | 2010-09-20 | 2012-03-22 | Qualcomm Incorporated | Virtual video capture device |
US20140327733A1 (en) * | 2012-03-20 | 2014-11-06 | David Wagreich | Image monitoring and display from unmanned vehicle |
KR101297294B1 (ko) * | 2013-06-13 | 2013-08-14 | 이범수 | 카메라 제어용 맵 인터페이스 시스템 |
JP6126501B2 (ja) * | 2013-09-03 | 2017-05-10 | Toa株式会社 | カメラ設置シミュレータ及びそのコンピュータプログラム |
-
2016
- 2016-02-04 WO PCT/JP2016/053309 patent/WO2017134786A1/ja active Application Filing
-
2017
- 2017-01-10 GB GB201808744A patent/GB2560128B/en not_active Expired - Fee Related
- 2017-01-10 US US16/061,768 patent/US20190007585A1/en not_active Abandoned
- 2017-01-10 JP JP2017539463A patent/JP6246435B1/ja not_active Expired - Fee Related
- 2017-01-10 WO PCT/JP2017/000512 patent/WO2017134987A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006074260A (ja) * | 2004-08-31 | 2006-03-16 | Sumitomo Electric Ind Ltd | 駐車場におけるカメラ設置条件の自動決定方法 |
JP2009239821A (ja) * | 2008-03-28 | 2009-10-15 | Toa Corp | カメラ設置シミュレータプログラム |
JP2010093713A (ja) * | 2008-10-10 | 2010-04-22 | Sony Corp | 表示制御装置、表示制御方法及びプログラム |
JP2013171079A (ja) * | 2012-02-17 | 2013-09-02 | Nec System Technologies Ltd | 撮影支援装置、撮影支援方法、及びプログラム |
JP2014241496A (ja) * | 2013-06-11 | 2014-12-25 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理方法、及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022259795A1 (ja) * | 2021-06-10 | 2022-12-15 | 富士フイルム株式会社 | カメラ角度決定装置、カメラ角度決定方法及びプログラム、撮影システム並びに被害判定システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017134987A1 (ja) | 2018-02-08 |
GB2560128B (en) | 2019-12-04 |
GB2560128A (en) | 2018-08-29 |
US20190007585A1 (en) | 2019-01-03 |
GB201808744D0 (en) | 2018-07-11 |
WO2017134786A1 (ja) | 2017-08-10 |
JP6246435B1 (ja) | 2017-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106803884B (zh) | 图像处理装置 | |
EP3534336B1 (en) | Panoramic image generating method and apparatus | |
US11627251B2 (en) | Image processing apparatus and control method thereof, computer-readable storage medium | |
CN107660337A (zh) | 用于从鱼眼摄像机产生组合视图的系统及方法 | |
JP2007072537A (ja) | 360°画像撮影装置 | |
KR20190125526A (ko) | 사용자 움직임 정보에 기초하여 영상을 표시하기 위한 방법 및 장치 | |
KR20140100656A (ko) | 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법 | |
JP5521750B2 (ja) | シミュレーションプログラム、シミュレーション装置及びシミュレーション方法 | |
US11244423B2 (en) | Image processing apparatus, image processing method, and storage medium for generating a panoramic image | |
US8264589B2 (en) | Display control apparatus, method of controlling display apparatus, and storage medium | |
JP5136703B2 (ja) | カメラ設置位置評価プログラム、カメラ設置位置評価方法およびカメラ設置位置評価装置 | |
CN110689476A (zh) | 全景图像拼接方法及其装置、可读存储介质和电子设备 | |
US11962946B2 (en) | Image processing apparatus, display system, image processing method, and medium | |
CN110807413B (zh) | 目标显示方法以及相关装置 | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2008217593A (ja) | 被写体領域抽出装置及び被写体領域抽出プログラム | |
US20180286013A1 (en) | Immersive display apparatus and method for creation of peripheral view corresponding to input video | |
JP6246435B1 (ja) | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム | |
KR101529820B1 (ko) | 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 | |
JP2019101563A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2017069920A (ja) | 自由視点画像データ生成装置および自由視点画像データ再生装置 | |
US20200312014A1 (en) | Image generation apparatus, image generation method and storage medium | |
WO2019163449A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5673293B2 (ja) | 画像合成方法、画像合成装置、プログラム、及び、記録媒体 | |
JP2016134765A (ja) | 監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2017539463 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17747150 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 201808744 Country of ref document: GB Kind code of ref document: A Free format text: PCT FILING DATE = 20170110 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 1808744.5 Country of ref document: GB |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17747150 Country of ref document: EP Kind code of ref document: A1 |