WO2017134987A1 - 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム - Google Patents

設置位置決定装置、設置位置決定方法及び設置位置決定プログラム Download PDF

Info

Publication number
WO2017134987A1
WO2017134987A1 PCT/JP2017/000512 JP2017000512W WO2017134987A1 WO 2017134987 A1 WO2017134987 A1 WO 2017134987A1 JP 2017000512 W JP2017000512 W JP 2017000512W WO 2017134987 A1 WO2017134987 A1 WO 2017134987A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
installation position
virtual
specifying unit
cameras
Prior art date
Application number
PCT/JP2017/000512
Other languages
English (en)
French (fr)
Inventor
浩平 岡原
古木 一朗
司 深澤
賢人 山▲崎▼
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2017539463A priority Critical patent/JP6246435B1/ja
Priority to GB201808744A priority patent/GB2560128B/en
Priority to US16/061,768 priority patent/US20190007585A1/en
Publication of WO2017134987A1 publication Critical patent/WO2017134987A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • the present invention relates to a technique for determining the installation position of each camera when a video of a target range is created by synthesizing videos taken by a plurality of cameras.
  • Patent Documents 1 to 3 describe a camera installation simulator for simulating a virtual captured video from a camera as support for installing a surveillance camera.
  • This camera installation simulator creates a three-dimensional model space of the installation target facility using a map image of the installation target facility of the surveillance camera and a three-dimensional model of a car or an obstacle. And this camera installation simulator simulates the imaging
  • the camera installation simulators described in Patent Documents 1 to 3 simulate the shooting range and appearance when a camera is installed at a specific position and posture. For this reason, when the user wants to monitor a specific area, it is necessary to find an optimal camera installation position capable of photographing all the target areas while changing the camera installation conditions.
  • the camera installation simulators described in Patent Documents 1 to 3 are assumed to be a single camera, and it is considered to determine the optimal arrangement of each camera when creating a composite image from a plurality of camera images. It has not been. For this reason, it has been impossible to know what kind of image can be obtained by combining images from a plurality of cameras.
  • An object of the present invention is to make it possible to easily determine the installation position of each camera that obtains a video of a target area desired by a user by synthesizing videos taken by a plurality of cameras.
  • the installation position determination device is: A condition accepting unit for accepting input of camera conditions indicating the number of cameras; A position specifying unit that specifies an installation position of each camera capable of photographing the target area with a number of cameras equal to or less than the number indicated by the camera condition received by the condition receiving unit; When each of the cameras is installed at the installation position specified by the position specifying unit, a virtual shot video obtained by shooting a virtual model is generated by each camera, and the generated virtual shot video is overhead-converted and synthesized. A virtual video generation unit that generates a virtual composite video.
  • the installation position of each camera capable of photographing the target area with a number of cameras equal to or less than the number indicated by the camera condition is specified, and a virtual composite video is generated when each camera is installed at the specified installation position. . Therefore, the user can determine the installation position of each camera from which the desired video can be obtained simply by checking the virtual composite video while changing the camera conditions.
  • FIG. 1 is a configuration diagram of an installation position determination device 10 according to Embodiment 1.
  • FIG. 4 is a flowchart showing the operation of the installation position determination device 10 according to the first embodiment.
  • FIG. 6 shows a display example by the display unit 25 according to the first embodiment.
  • 5 is a flowchart of step S3 according to the first embodiment.
  • FIG. 6 shows an installation example of the camera 50 according to the first embodiment.
  • FIG. 4 is a diagram showing a shootable range H of the camera 50 according to Embodiment 1.
  • FIG. 4 is a diagram showing a shootable range H of the camera 50 according to Embodiment 1.
  • FIG. 3 is an explanatory diagram of a subject behind the camera 50 according to the first embodiment.
  • FIG. 3 is an explanatory diagram of a subject behind the camera 50 according to the first embodiment.
  • FIG. 6 is a diagram illustrating an installation example of the camera 50 according to Embodiment 1 in the y direction. The flowchart of step S5 which concerns on Embodiment 1.
  • FIG. 3 is an explanatory diagram of an imaging surface 52 according to the first embodiment.
  • FIG. 6 is a diagram showing an image on the imaging surface 52 and an image projected on a plane according to the first embodiment.
  • FIG. 4 is a diagram showing a cut-off portion of the overhead view video according to the first embodiment.
  • Explanatory drawing of (alpha) blending which concerns on Embodiment 1.
  • FIG. The block diagram of the installation position determination apparatus 10 which concerns on the modification 1.
  • FIG. Explanatory drawing when the object area
  • Embodiment 1 FIG. *** Explanation of configuration *** With reference to FIG. 1, the structure of the installation position determination apparatus 10 which concerns on Embodiment 1 is demonstrated.
  • the installation position determination device 10 is a computer.
  • the installation position determination device 10 includes a processor 11, a storage device 12, an input interface 13, and a display interface 14.
  • the processor 11 is connected to other hardware via a signal line, and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing. Specifically, the processor 11 is a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the storage device 12 includes a memory 121 and a storage 122.
  • the memory 121 is a RAM (Random Access Memory).
  • the storage 122 is an HDD (Hard Disk Drive).
  • the storage 122 may be a portable storage medium such as an SD (Secure Digital) memory card, a CF (CompactFlash), a NAND flash, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD.
  • the input interface 13 is a device for connecting an input device 31 such as a keyboard, a mouse, and a touch panel.
  • the input interface 13 is a connector such as USB (Universal Serial Bus), IEEE 1394, or PS / 2.
  • the display interface 14 is a device for connecting the display 32.
  • the display interface 14 is a connector such as HDMI (High-Definition Multimedia Interface) or DVI (Digital Visual Interface).
  • the installation position determination device 10 includes a condition receiving unit 21, an area receiving unit 22, a position specifying unit 23, a virtual video generating unit 24, and a display unit 25 as functional components.
  • the position specifying unit 23 includes an X position specifying unit 231 and a Y position specifying unit 232.
  • the functions of the condition receiving unit 21, the region receiving unit 22, the position specifying unit 23, the X position specifying unit 231, the Y position specifying unit 232, the virtual video generating unit 24, and the display unit 25 are implemented by software. Realized.
  • the storage 122 of the storage device 12 stores a program that realizes the function of each unit of the installation position determination device 10. This program is read into the memory 121 by the processor 11 and executed by the processor 11. Thereby, the function of each part of the installation position determination apparatus 10 is implement
  • the storage 122 stores map data of an area including the target area 42 where the virtual composite video 46 is desired to be obtained.
  • Information, data, signal values, and variable values indicating the processing results of the functions of the respective units realized by the processor 11 are stored in the memory 121, a register in the processor 11, or a cache memory. In the following description, it is assumed that information, data, signal values, and variable values indicating the processing results of the functions of the respective units realized by the processor 11 are stored in the memory 121.
  • a program for realizing each function realized by the processor 11 is stored in the storage device 12.
  • this program may be stored in a portable storage medium such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD.
  • FIG. 1 only one processor 11 is shown. However, a plurality of processors 11 may be provided, and a plurality of processors 11 may execute programs that realize each function in cooperation with each other.
  • the operation of the installation position determination device 10 according to the first embodiment corresponds to the installation position determination method according to the first embodiment.
  • the operation of the installation position determination device 10 according to the first embodiment corresponds to the processing of the installation position determination program according to the first embodiment.
  • step S1 the operation of the installation position determination device 10 which concerns on Embodiment 1 is demonstrated.
  • step S7 the operation of the installation position determination device 10 is divided into step S1 to step S7.
  • the area receiving unit 22 receives an input of the target area 42 where the virtual composite video 46 is to be obtained. Specifically, the area receiving unit 22 reads the map data from the storage 122, performs texture mapping, and generates a two-dimensional or three-dimensional CG (Computer Graphics) space 43. As shown in FIG. 3, the area receiving unit 22 displays a top view 44 of the generated CG space 43 as viewed from above on the display 32 via the display interface 14. And the area
  • CG Computer Graphics
  • the CG space 43 is a triaxial space represented by XYZ axes.
  • the target area 42 is assumed to be a rectangle having sides parallel to the X axis and the Y axis on the plane represented by the XY axes. Then, it is assumed that the target area 42 is designated by the upper left coordinate value (x1, y1), the width Wx in the x direction parallel to the X axis, and the width Wy in the y direction parallel to the Y axis. In FIG. 3, it is assumed that a hatched portion is designated as the target area 42.
  • the condition receiving unit 21 receives an input of the camera condition 41. Specifically, the maximum number 2N of cameras 50 to be installed from the user via the input device 31, the limit elongation rate K, the limit height Zh, the installation height Zs, the angle of view ⁇ , and the resolution
  • the camera condition 41 indicating information such as the type of the camera 50 is input, and the condition receiving unit 21 receives the input camera condition 41.
  • the limit elongation rate K is an upper limit of the elongation rate (Q / P) of the subject when the image is converted to an overhead view (see FIG. 9).
  • the limit height Zh is the upper limit of the height of the subject (see FIGS. 11 and 12).
  • the installation height Zs is a lower limit of the height at which the camera 50 is installed (see FIG. 7).
  • the angle of view ⁇ is an angle that represents the range shown in the video shot by the camera 50 (see FIG. 7).
  • the cameras 50 are installed facing each other. Therefore, since the number of cameras is an even number, the maximum number of cameras 50 is set to 2N.
  • the condition receiving unit 21 displays a GUI screen on the input device 31 via the display interface 14 and causes the user to select and input each item indicated by the camera condition 41.
  • the condition receiving unit 21 writes the received camera condition 41 in the memory 121.
  • the condition receiving unit 21 displays a list of camera 50 types and allows the user to select a camera type.
  • condition receiving unit 21 displays the maximum angle of view and the minimum angle of view of the selected type of camera 50, and inputs the angle of view between the maximum angle of view and the minimum angle of view.
  • the installation height Zs is designated as the lowest position among the heights at which the camera 50 can be installed.
  • the camera 50 is installed in a place with a certain height such as a pole installed in the vicinity of the target area 42.
  • Step S3 Position specifying process>
  • the position specifying unit 23 can capture each subject 50 having a limit height Zh or less in the target area 42 with the number of cameras 50 of 2N or less indicated by the camera condition 41 received by the condition receiving unit 21 in step S2.
  • the installation position 45 is specified.
  • the position specifying unit 23 sets the installation position 45 where the elongation rate of the subject in the target area 42 having the limit height Zh or less is equal to or less than the limit elongation rate K when the virtual image generation unit 24 performs the overhead view conversion in step S5. Identify.
  • Step S4 specific determination process> If the installation position 45 can be specified in step S3, the position specifying unit 23 proceeds to step S5. If the installation position 45 cannot be specified, the process returns to step S2 to set the camera condition 41. Let them enter again.
  • the case where the installation position 45 cannot be specified is the case where the installation position 45 capable of photographing the target area 42 with the number of 2N or less indicated by the camera condition 41 cannot be specified, and the case where the elongation rate of the subject is equal to or less than the limit elongation rate K. This is a case where the position 45 cannot be specified.
  • Step S5 Virtual Video Generation Processing>
  • the virtual video generation unit 24 When each camera 50 is installed at the installation position 45 specified by the position specifying unit 23 in step S ⁇ b> 4, the virtual video generation unit 24 generates a virtual captured video obtained by capturing a virtual model with each camera 50. Then, the virtual video generation unit 24 generates a virtual composite video 46 by performing a bird's-eye conversion on the generated virtual photographed video and combining them.
  • the CG space 43 generated in step S1 is used as a virtual model.
  • Step S6 Display Process>
  • the display unit 25 displays the virtual composite video 46 generated by the virtual video generation unit 24 in step S5 on the display 32 via the display interface 14. This allows the user to check whether or not the obtained video is in a desired state based on the virtual composite video 46. Specifically, as shown in FIG. 4, the display unit 25 displays the virtual composite video 46 generated in step S ⁇ b> 5 and the virtual shot video shot by each camera 50. In FIG. 4, the virtual composite video 46 is displayed in the rectangular area of SYNTHETIC, and the virtual captured video of each camera 50 is displayed in the rectangular areas of CAM1 to CAM4.
  • a numerical value input box or a slide bar that can change the camera condition 41 such as the limit elongation rate K of the subject, the angle of view ⁇ to be used, and the installation height Zs may be provided. Thereby, the change of the installation position 45 when the user changes the camera condition 41 and the change of the appearance of the virtual composite image 46 can be easily confirmed.
  • Step 7 Quality judgment processing> If the obtained video is in the desired state according to the user's operation, the process ends. If the obtained video is not in the desired state, the process returns to step S2 and the camera condition 41 is input again.
  • Step S3 according to the first embodiment will be described with reference to FIGS. 1 and 3 to 14. As shown in FIG. 5, step S3 is divided from step S31 to step S32.
  • the short side direction of the rectangle indicating the target region 42 is the x direction
  • the long side direction is the y direction.
  • the installation position 45 specified in step S3 includes an installation position X in the x direction parallel to the X axis, an installation position Y in the y direction parallel to the Y axis, an installation position Z in the z direction parallel to the Z axis, An attitude yaw that is a rotation angle with the Z axis as a rotation axis, an attitude pitch that is a rotation angle with the Y axis as a rotation axis, and an attitude roll that is a rotation angle with the X axis as a rotation axis.
  • the installation position Z of each camera 50 is the installation height Zs included in the camera condition 41.
  • the posture yaw is set to 0 degree in the x direction
  • the posture yaw of one camera 50 of the two cameras 50 facing each other is set to 0 degree
  • the posture yaw of the other camera 50 is set to 180 degrees.
  • the posture yaw of the cameras 50A to 50B is 0 degree
  • the posture yaw of the cameras 50C to 50D is 180 degrees.
  • the posture roll of each camera 50 is 0 degree. Therefore, in step S3, the remaining installation position X, installation position Y, and posture pitch are specified.
  • the posture pitch is referred to as a depression angle ⁇ .
  • the X position specifying unit 231 of the position specifying unit 23 can photograph the entire x direction of the target region 42 and at least two cameras in which the elongation rate of the subject in front of the camera 50 is equal to or less than the limit elongation rate K. 50 installation positions X and depression angles ⁇ are specified. Specifically, the X position specifying unit 231 reads out the target area 42 received in step S1 and the camera condition 41 received in step S2 from the memory 121. In addition, the X position specifying unit 231 uses the actual use range Hk * of the shootable range H of the camera 50 so as to be within a range Hk shown in Equation 4 described below and satisfy Equation 6 . To decide.
  • the X position specifying unit 231 calculates the installation position X of one camera 50 among the two cameras 50 facing each other using Expression 7, and calculates the installation position X of the other camera 50 using Expression 8. In addition, the X position specifying unit 231 determines the angle between the upper limit and the lower limit indicated by Equations 10 and 12 as the depression angle ⁇ .
  • Equation 1 the offset O at the installation position Zs, the angle of view ⁇ , and the depression angle ⁇ and the shootable range H of the camera 50 are expressed by Equation 1.
  • the offset O is a distance from a position directly below the camera 50 to the left end of the shooting range.
  • O Zs ⁇ tan ( ⁇ / 2 ⁇ / 2)
  • H Zs ⁇ tan ( ⁇ / 2 ⁇ + ⁇ / 2)
  • FIG. 7 shows a case where the camera 50 cannot capture the position immediately below. As shown in FIG.
  • the range Hk in which the subject's elongation rate is equal to or less than the limit elongation rate K out of the shootable range from the limit elongation rate K and the installation position Zs that is the installation height of the camera 50 Is represented by Equation 3.
  • Hk K ⁇ Zs
  • a range Hk in which the elongation rate of the subject with the limit height Zh or less becomes equal to or less than the limit elongation rate K is expressed by Expression 4.
  • Hk K (Zs-Zh)
  • the X position specifying unit 231 is within the range Hk shown in Equation 4 and satisfies Equation 6.
  • the utilization range Hk * that is actually used is determined from the shootable range H of the camera 50. (Formula 6) Wx ⁇ 2Hk * + 2O At this time, if the usage range Hk * is determined so that the right side of Equation 6 is somewhat larger than the left side, a region where two opposing cameras 50 partially overlap is photographed. Then, when synthesizing the video, superimposition processing such as ⁇ blending processing can be applied, and the synthesized video becomes more seamless.
  • the X position specifying unit 231 displays a range of values within the range Hk shown in Expression 4 and satisfying Expression 6 on the display 32, and the usage range Hk * within the range displayed by the user is displayed.
  • the usage range Hk * is determined by receiving the input.
  • the X position specifying unit 231 uses a value within the range Hk shown in Expression 4 and satisfying Expression 6 so that the overlapping area captured by both the two opposing cameras 50 becomes the reference width. Determine as Hk * .
  • the reference width is a width necessary to exert a certain effect in the superimposition processing.
  • step S2 the condition receiving unit 21 receives an input of the camera condition 41 in which information such as the installation height Zs and the limit elongation rate K is changed.
  • X-position specifying part 231 of the two opposing cameras 50 the installation position X 1 of one of the camera 50 calculated by Equation 7, the installation position X 2 of the other camera 50 is calculated by Equation 8 .
  • X position specifying unit 231 the installation position X 1 of the camera 50A ⁇ 50B calculated by Equation 7, the installation position X 2 of the camera 50C ⁇ 50D is calculated by Equation 8.
  • X 1 x1 + 1 / 2Wx ⁇ Hk *
  • X 2 x1 + 1 / 2Wx + Hk *
  • the X position specifying unit 231 specifies the depression angle ⁇ .
  • Expression 9 is established.
  • the upper limit of the depression angle ⁇ is determined by Expression 10 obtained from Expression 9. (Formula 9) (Zs ⁇ Zh) tan ( ⁇ / 2 ⁇ + ⁇ / 2)> Hk * (Formula 10) ⁇ ⁇ ( ⁇ + ⁇ ) / 2-arctan (Hk * / (Zs ⁇ Zh))
  • Expression 11 is established since the depression angle ⁇ needs to fall within the imageable range up to a position directly below the camera 50.
  • the lower limit of the depression angle ⁇ is determined by Expression 12 obtained from Expression 11.
  • the X position specifying unit 231 determines the angle between the upper limit and the lower limit indicated by Equations 10 and 12 as the depression angle ⁇ . Specifically, the X position specifying unit 231 displays the upper limit and the lower limit indicated by Equations 10 and 12 on the display 32, and receives an input of the depression angle ⁇ between the upper limit and the lower limit displayed by the user. Thus, the depression angle ⁇ is determined. Or X position specific
  • the lower limit of the depression angle ⁇ is determined by Equation 13. (Formula 13) ⁇ > ( ⁇ ) / 2-arctan (Wx / 2 ⁇ Hk * / Zs)
  • Step S32 Position Y Identification Process>
  • the Y position specifying unit 232 of the position specifying unit 23 specifies the installation position Y that can capture the entire y direction of the target area 42. Specifically, the Y position specifying unit 232 reads from the memory 121 the target area 42 received in step S1 and the camera condition 41 received in step S2. Then, the Y position specifying unit 232 calculates the installation position Y of the Mth camera 50 from the coordinate value y1 in the y direction according to Expression 16 described below.
  • the Y position specifying unit 232 specifies the installation position Y will be described in detail.
  • the bottom side on the rear side of the camera 50 is a trapezoid having a width W1
  • the bottom side on the front side of the camera 50 is a width W2
  • a height H is a use region where the radius indicated by hatching is a semicircular shape having a use range Hk * and the elongation is equal to or less than the limit elongation K.
  • the Y position specifying unit 232 sets the cameras 50 in parallel in the y direction with an interval of the cameras 50 by a width W1. Therefore, the Y position specifying unit 232 calculates the installation position Y M of the Mth camera 50 from the coordinate value y1 in the y direction using Expression 16.
  • Y M y1 + ((2M ⁇ 1) W1) / 2
  • Y position specifying unit 232, the camera 50A, the installation position Y M of 50C was calculated by Equation 17, the camera 50B, the installation position Y M of 50D calculated by Equation 18.
  • Y M y1 + W1 / 2
  • Y M y1 + (3 ⁇ W1) / 2
  • NW1 obtained by multiplying the number N installed in parallel in the y direction by the width W1 needs to be equal to or greater than the width Wy.
  • the number of cameras 50 is 2N, since two cameras 50 are arranged to face each other in the x direction, the number of cameras 50 installed in parallel in the y direction is N. If NW1 is not greater than or equal to the width Wy, the position specifying unit 23 cannot specify the installation position 45 in step S4, and the process returns to step S2.
  • the condition receiving unit 21 receives an input of the camera condition 41 in which information such as the maximum number 2N of the cameras 50, the installation height Zs, and the limit elongation rate K is changed.
  • the installation position Y capable of capturing the entire y direction of the target area 42 is specified.
  • the Y position specifying unit 232 replaces W1 in Expression 16 with 2Hk * and sets the installation position Y. Should be calculated. Also in this case, if 2NHk * obtained by multiplying the number N installed in parallel in the y direction by 2Hk * does not exceed the width Wy, the position specifying unit 23 cannot specify the installation position 45 in step S4. The process returns to step S2.
  • an area in which the elongation rate becomes higher than the limit elongation rate K is generated in the target area 42, such as the area 47 shown in FIG. there's a possibility that.
  • the installation position X and the installation position Y so that the use areas where the elongation rate of each camera 50 is equal to or less than the limit elongation rate K overlap, the elongation rate becomes higher than the limit elongation rate K.
  • the area can be reduced.
  • the camera 50 of the first unit from the coordinate values y1, installation position Y M is calculated by the equation 16.
  • Y M y1 + ((2M ⁇ 1) W1) / 2 ⁇ LM Note that, in the y direction, when the elongation rate of the subject is equal to or less than the limit elongation rate K, the Y position specifying unit 232 may replace W1 in Equations 19 and 20 with 2Hk * .
  • Step S5 according to the first embodiment will be described with reference to FIGS. 1 and 15 to 19. As shown in FIG. 15, step S5 is divided into step S51 to step S53.
  • Step S51 Virtual Shooting Video Generation Process>
  • the virtual video generation unit 24 captures the CG space 43 generated in step S1 with each camera 50 when each camera 50 is installed at the installation position 45 specified by the position specification unit 23 in step S3. Is generated. Specifically, the virtual video generation unit 24 reads the CG space 43 generated in step S ⁇ b> 1 from the memory 121. Then, for each camera 50, the virtual video generation unit 24 virtually captures a video of the CG space 43 in the direction of the optical axis 51 derived from the attitude of the camera 50 as the viewpoint center of the installation position 45 specified in step S3. Generated as a shot video. The virtual video generation unit 24 writes the generated virtual captured video in the memory 121.
  • the virtual video generation unit 24 performs a bird's-eye conversion on the virtual captured video for each camera 50 generated in step S51 to generate a bird's-eye video. Specifically, the virtual video generation unit 24 reads from the memory 121 the virtual captured video for each camera 50 generated in step S51. Then, the virtual video generation unit 24 uses the homography conversion to project each virtual shot video generated in step S51 from the shooting plane of the camera 50 onto a plane where the Z-axis coordinate value is zero. As shown in FIG. 16, a plane perpendicular to the optical axis 51 determined by the depression angle ⁇ is the shooting plane 52, and the virtual shooting video is a video of the shooting plane 52. As shown in FIG.
  • the virtual captured video is a rectangular video, but when the virtual captured video is projected onto a plane with the Z-axis coordinate value set to 0, it becomes a trapezoidal video.
  • This trapezoidal image becomes a bird's-eye view image overlooking the shooting range of the camera 50. Therefore, the virtual video generation unit 24 performs matrix transformation called homography transformation so that the rectangular virtual captured video becomes a trapezoidal overhead video.
  • the virtual video generation unit 24 writes the generated overhead video in the memory 121.
  • the plane to be projected is not limited to a plane with the Z-axis coordinate value of 0, but may be a plane with an arbitrary height.
  • the shape of the projection surface is not limited to a flat surface, and may be a curved surface.
  • the virtual video generation unit 24 generates a virtual composite video 46 by synthesizing the overhead video for each camera 50 generated in step S52. Specifically, the virtual video generation unit 24 reads the overhead video for each camera 50 generated in step S52 from the memory 121. As shown in FIG. 18, the virtual video generation unit 24 truncates a portion outside the use range Hk * in the x direction, that is, a portion where the elongation rate exceeds the limit elongation rate K for each overhead view video. That is, the virtual video generation unit 24 leaves only the range of the usage range Hk * forward in the x direction from the installation position X and the range of the offset O behind, and discards the rest. In FIG.
  • the virtual video generation unit 24 performs a superimposition process such as ⁇ blending on a portion to be superimposed on the remaining overhead video for each camera 50 and combines them.
  • ⁇ blending is performed on the overlapped portion, in the x direction, the ⁇ value of the overhead image of the camera 50C is gradually decreased from 1 to 0 from X S to X E , and X the ⁇ value of the overhead image of camera 50A from S toward X E blend gradually increased from 0 to 1.
  • X S is a x-coordinate of the boundary of the imaging region in the x direction of the camera 50A
  • X E is the x-coordinate of the boundary of the imaging region in the x direction of the camera 50C.
  • the ⁇ value of the overhead image of the camera 50C from Y S toward Y E gradually decreases from 1 to 0, the ⁇ value of the overhead image of camera 50D from Y S toward Y E from 0 to 1 Gradually increase and blend.
  • Y S is the y coordinate of the boundary of the shooting area on the camera 50C side in the y direction of the camera 50D
  • Y E is the y coordinate of the boundary of the shooting area on the camera 50D side in the y direction of the camera 50C.
  • the virtual image generation unit 24 cuts off the portion outside the use range Hk * in the y direction for each overhead image. Above, synthesis is performed.
  • the installation position determination device 10 specifies and specifies the installation positions 45 of each camera 50 that can capture the target area 42 with the number of cameras 50 equal to or less than the number indicated by the camera condition 41.
  • a virtual composite video 46 is generated when each camera 50 is installed at the set installation position 45. Therefore, the user can determine the installation position 45 of each camera 50 from which the desired video can be obtained simply by checking the virtual composite video 46 while changing the camera condition 41.
  • the installation position determining apparatus 10 also considers the height of the subject, and specifies the installation position 45 where the subject within the target area 42 where the subject is below the limit height Zh can be photographed. Therefore, there is no case where the face of the person in the target area 42 cannot be photographed at the specified installation position 45.
  • the installation position determination device 10 identifies the installation position 45 where the elongation rate of the subject is equal to or less than the limit elongation rate K in consideration of the elongation of the subject when the overhead view is converted. Therefore, at the specified installation position 45, the rate of extension of the subject shown in the virtual composite video 46 is high, and there is no case where it is difficult to see.
  • each part of the installation position determination device 10 is realized by software.
  • the function of each part of the installation position determination device 10 may be realized by hardware. The first modification will be described with respect to differences from the first embodiment.
  • the installation position determination device 10 When the function of each unit is realized by hardware, the installation position determination device 10 includes a processing circuit 15 instead of the processor 11 and the storage device 12.
  • the processing circuit 15 is a dedicated electronic circuit that realizes the function of each unit of the installation position determination device 10 and the function of the storage device 12.
  • the processing circuit 15 is assumed to be a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array). Is done.
  • the function of each part may be realized by one processing circuit 15, or the function of each part may be realized by being distributed to a plurality of processing circuits 15.
  • ⁇ Modification 2> As a second modification, some functions may be realized by hardware, and other functions may be realized by software. That is, some of the functions of the installation position determination device 10 may be realized by hardware, and other functions may be realized by software.
  • the processor 11, the storage device 12, and the processing circuit 15 are collectively referred to as “processing circuitries”. That is, the function of each part is realized by a processing circuit.
  • the target area 42 is a rectangular area.
  • the target area 42 is not limited to a rectangle, but may be an area having another shape.
  • the target area 42 may be a circular area or an L-shaped area having a bend.
  • the target area 42 is a circular area
  • the target area 42 is designated by the center position (x1, y1) of the area and the radius r1.
  • a plurality of cameras 50 are arranged with the outside facing the center position of the region.
  • the center position of the region is a region having a certain range including a region near the center.
  • the some camera 50 is arrange
  • each camera 50 can shoot a subject with a limit height Zh at the center position.
  • the depression angle ⁇ is specified.
  • the target area 42 is an L-shaped area
  • the target region 42 includes the positions (x1, y1),. . . , (X6, y6).
  • the target area 42 is specified by the positions of some vertices and the distance between the vertices.
  • the target area 42 is divided into a plurality of rectangular areas. In FIG.
  • the L-shaped target region 42 is a rectangular region represented by (x1, y1), (x2, y2), (x7, y7), and (x6, y6), x5, y5), (x7, y7), (x3, y3), and a rectangular area represented by (x4, y4).
  • the installation position of the camera 50 is specified for each rectangular area in the same procedure as in the first embodiment.
  • each camera 50 has a depression angle ⁇ specified so that a subject with a limit height Zh located directly below the camera 50, that is, at the center position in the short side direction or the long side direction can be photographed.
  • the target area 42 is wide and the two cameras 50 are arranged to face each other, the entire rectangular short-side direction may not be photographed.
  • the facing arrangement and the back-to-back arrangement are combined.
  • the camera 50A and the camera 50B face each other, the camera 50B and the camera 50C are back to back, and the camera 50C and the camera 50D face each other.
  • the entire target area 42 can be photographed.
  • FIG. 29 when specifying the installation position of each camera 50, the range that can be photographed is specified as one unit by arranging two cameras 50 facing each other. Then, by arranging the specified units so as to cover the entire target region 42, the necessary number of cameras 50 and the installation positions of the cameras 50 can be specified.
  • the cameras 50 may be arranged at the four corners of the rectangle with the central direction (diagonal direction) directed. Depending on the target area 42, the place where the camera 50 can be installed is limited, and the camera 50 may be installed only outside the target area 42. By arranging the cameras 50 at the four corners of the rectangle, the entire target area 42 can be efficiently photographed from the outside of the target area 42.
  • a plurality of cameras 50 may be arranged at the rectangular center position with the outside facing.
  • the place where the camera 50 can be installed is limited, and the camera 50 may have to be arranged in as few places as possible.
  • the camera 50 is arranged with the poles for the camera 50 standing up, it is desired to reduce the number of poles as much as possible.
  • By arranging the plurality of cameras 50 facing the outside at the center position of the rectangle it is possible to arrange the cameras 50 in one place and to efficiently shoot the entire target area 42.
  • an omnidirectional camera capable of photographing a range of 360 degrees around may be used.
  • a circular area centered on the installation position of the camera 50 is a range where the elongation rate of the subject is less than the limit elongation rate K.
  • the depression angle ⁇ is the same as that when it is fixed at 90 degrees.
  • the ratio of horizontal resolution to vertical resolution is 1: 1. As shown in FIG.
  • FIG. The second embodiment is different from the first embodiment in that a range in which the camera 50 cannot be installed is designated. In the second embodiment, this different point will be described, and the description of the same point will be omitted.
  • the condition receiving unit 21 receives an input of a camera condition 41 indicating an unusable range 47 that is a range where the camera 50 cannot be installed.
  • the impossible range 47 is a rectangle
  • the impossible range 47 is determined by the upper left coordinate value (xi, yi), the width Wxi in the x direction parallel to the X axis, and the width Wyi in the y direction parallel to the Y axis. It is specified.
  • the unusable range 47 is circular
  • the unusable range 47 is designated by the coordinate value (xi, yi) of the center of the circle and the radius ri.
  • the present invention is not limited to this, and the unusable range 47 may be designated by another method such as an expression. Further, the unusable range 47 may have a shape other than a rectangle and a circle.
  • step S ⁇ b> 3 of FIG. 2 the position specifying unit 23 first specifies the installation position 45 of the camera 50 that can capture the unusable range 47.
  • the installation position 45 of the camera 50 that can capture the unusable range 47.
  • FIG. 35 it is assumed that a part of the range in the rectangular target region 42 is designated as the impossible range 47.
  • the installation position 45 outside the impossible range 47 and the installation position 45 of the camera 50 capable of photographing the impossible range 47 is specified.
  • the installation position X and the depression angle ⁇ are specified by the same process as step S31 in FIG.
  • the installation position Y a position where the entire unusable range 47 is exactly included in the shootable range of the camera 50 is specified. In FIG.
  • the installation position Y of 50A2, camera 50B1, and camera 50B2 is specified. More specifically, the installation position Y A camera 50A1 and camera 50A2, identified by formula 21, the installation position Y B of the camera 50B1 and camera 50B2 is specified by equation 22.
  • the position specifying unit 23 specifies the installation positions Y of the remaining cameras 50.
  • the remaining cameras 50 are a camera 50C1 and a camera 50C2, and a camera 50D1 and a camera 50D2.
  • the position specifying unit 23 specifies the installation positions Y of the remaining cameras 50 with reference to the installation positions Y of the cameras 50 that capture the already specified unusable range 47.
  • the installation position Y M of the scope of the left disabled range 47 based on the installation position Y A camera 50A1 and camera 50A2, specified by equation 23.
  • Installation position Y B of the right side in the range of No range 47 based on the installation position Y B of the camera 50B1 and camera 50B2, specified by equation 24.
  • Y M Y A ⁇ ((2M ⁇ 1) W1) / 2
  • Y M Y B + ((2M ⁇ 1) W1) / 2
  • the installation position determination device 10 can specify the installation position 45 of each camera 50 that can capture the target area 42 when a range where the camera 50 cannot be installed is designated.
  • Various equipment such as air conditioners and fire alarms are installed on the ceiling of indoor facilities. Therefore, there is a place where the camera 50 cannot be installed.
  • the installation position determining apparatus 10 according to the second embodiment it is possible to determine an appropriate installation position 45 of the camera 50 that avoids a place where the camera 50 cannot be installed.
  • the camera 50 cannot be installed in a portion without a ceiling. Therefore, the portion without the ceiling is the unusable range 47.
  • a moving body camera 53 in which the camera 50 is mounted on a flying moving body such as a drone and a balloon may be used. If the mobile camera 53 can be skipped, the mobile camera 53 can be arranged even in a portion without a ceiling.
  • the mobile camera 53 in an outdoor stadium where there is no ceiling.
  • the entire outdoor stadium is the target area 42
  • the central portion of the target area 42 is a portion without a ceiling.
  • the normal camera 50 is installed in the part with the ceiling
  • the mobile camera 53 is arranged in the part without the ceiling. That's fine.
  • the installation position 45 of the camera 50 and the mobile camera 53 for generating the bird's-eye view video of the entire target area 42 can be specified.
  • the installation position 45 can be specified by the same method as the camera 50 if the flying height is the camera installation position Z. Therefore, the position specifying unit 23 specifies the installation position 45 by dividing the part with the ceiling and the part without the ceiling. As a result, in the example of FIG. 38, the installation position 45 of the normal camera 50 and the mobile camera 53 is specified as shown in FIG.
  • the mobile camera 53 By using the mobile camera 53, it is possible to place a camera in a portion where there is no ceiling. As a result, it is possible to obtain an image with high resolution even in a portion without a ceiling.
  • Embodiment 3 FIG.
  • the third embodiment is different from the first and second embodiments in that the shooting range 55 of the existing camera 54 is designated. In the third embodiment, this different point will be described, and the description of the same point will be omitted.
  • the condition receiving unit 21 receives an input of a camera condition 41 indicating the shooting range 55 of the existing camera 54.
  • the shooting range 55 of the existing camera 54 is designated by the same method as that for the target area 42. Specifically, when the shooting range 55 of the existing camera 54 is rectangular, the shooting range 55 of the existing camera 54 includes the upper left coordinate value (xj, yj) and the width Wxj in the x direction parallel to the X axis. , And a width Wyj in the y direction parallel to the Y axis. In the third embodiment, the shooting range 55 of the existing camera 54 is rectangular.
  • step S3 in FIG. 2 the position specifying unit 23 creates a new target area 42 by subtracting the range from the target area 42 specified in step S1 in FIG. Set to.
  • specification part 23 specifies the installation position of the camera 50 by the method demonstrated in the embodiment mentioned above or the modification mentioned above about the newly set object area
  • FIG. 40 when a part of the lower left part of the target area 42 is the shooting range 55 of the existing camera 54, the position specifying unit 23 starts from the target area 42. An L-shaped area excluding the shooting range 55 of the existing camera 54 is set as a new target area 42. Then, the position specifying unit 23 specifies the installation position of the camera 50 for the L-shaped target region 42 by the method described in the third modification. As a result, for example, as shown in FIG. 41, the installation positions of the three cameras 50 are specified.
  • step S ⁇ b> 5 of FIG. 2 the virtual video generation unit 24 generates a virtual shot video obtained by shooting a virtual model with each camera 50 and the existing camera 54. Then, the virtual video generation unit 24 generates a virtual composite video 46 by performing a bird's-eye conversion on the generated virtual photographed video and combining them.
  • the virtual image generation unit 24 generates a virtual captured image obtained by capturing a virtual model with the three cameras 50 and the one existing camera 54, and generates a virtual composite image 46.
  • the installation position determining apparatus 10 can specify the installation position 45 of the newly installed camera 50 in consideration of the existing camera 54. Thereby, when the existing camera 54 exists, the installation position 45 of the camera 50 which can image

Abstract

位置特定部(23)は、条件受付部(21)によって受け付けられたカメラ条件(41)に基づいて、領域受付部(22)によって受け付けられた対象領域(42)を撮影可能な各カメラの設置位置(45)を特定する。仮想映像生成部(24)は、特定された設置位置(45)に各カメラを設置した場合に、各カメラによってCG空間(43)を撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像(46)を生成する。表示部(25)は、生成された仮想合成映像(46)をディスプレイ(32)に表示する。

Description

設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
 この発明は、複数のカメラで撮影された映像を合成して対象範囲の映像を作成する場合における各カメラの設置位置を決定する技術に関する。
 特許文献1~3には、監視カメラの設置支援として、カメラからの仮想撮影映像をシミュレートするカメラ設置シミュレータが記載されている。このカメラ設置シミュレータは、監視カメラの設置対象施設の地図画像と車や障害物等の3次元モデルとを用いて、設置対象施設の3次元モデル空間を作成する。そして、このカメラ設置シミュレータは、その空間内の特定の位置に特定の姿勢でカメラを設置した場合の撮影可能範囲及び死角範囲と、撮影イメージとをシミュレートする。
特開2009-105802号公報 特開2009-239821号公報 特開2009-217115号公報
 特許文献1~3に記載されたカメラ設置シミュレータは、特定の位置及び姿勢でカメラを設置した場合の撮影範囲と見え方をシミュレートするものである。そのため、ユーザがある特定の領域を監視したい場合には、カメラの設置条件を変更しながら、対象領域をすべて撮影できる最適なカメラ設置位置を見つける必要があった。
 また、特許文献1~3に記載されたカメラ設置シミュレータは、単体のカメラを想定したものであり、複数のカメラ映像から合成映像を作成する際の、各カメラの最適な配置を決めることは考慮されていない。そのため、複数のカメラの映像を合成するとどのような映像が得られるかを知ることはできなかった。
 この発明は、複数のカメラで撮影された映像を合成して、ユーザが望む対象領域の映像が得られる各カメラの設置位置を簡便に決定可能にすることを目的とする。
 この発明に係る設置位置決定装置は、
 カメラの台数を示すカメラ条件の入力を受け付ける条件受付部と、
 前記条件受付部によって受け付けられた前記カメラ条件が示す台数以下の数のカメラで対象領域を撮影可能な各カメラの設置位置を特定する位置特定部と、
 前記位置特定部によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成部と
を備える。
 この発明は、カメラ条件が示す台数以下の数のカメラで対象領域を撮影可能な各カメラの設置位置が特定され、特定された設置位置に各カメラを設置した場合の仮想合成映像が生成される。そのため、ユーザは、カメラ条件を変更しながら仮想合成映像を確認するだけで、望む映像が得られる各カメラの設置位置を決定することができる。
実施の形態1に係る設置位置決定装置10の構成図。 実施の形態1に係る設置位置決定装置10の動作を示すフローチャート。 実施の形態1に係るCG空間43を上から見た上面図44を示す図。 実施の形態1に係る表示部25による表示例を示す図。 実施の形態1に係るステップS3のフローチャート。 実施の形態1に係るカメラ50の設置例を示す図。 実施の形態1に係るカメラ50の撮影可能範囲Hを示す図。 実施の形態1に係るカメラ50の撮影可能範囲Hを示す図。 実施の形態1に係る高さのある被写体を撮影した場合の伸びの説明図。 実施の形態1に係る利用範囲Hkの説明図。 実施の形態1に係るカメラ50の後方にいる被写体の説明図。 実施の形態1に係るカメラ50の後方にいる被写体の説明図。 実施の形態1に係るカメラ50の撮影可能範囲を上から見た図。 実施の形態1に係るカメラ50のy方向の設置例を示す図。 実施の形態1に係るステップS5のフローチャート。 実施の形態1に係る撮影面52の説明図。 実施の形態1に係る撮影面52での映像と平面に投影した映像とを示す図。 実施の形態1に係る俯瞰映像の切り捨て部分を示す図。 実施の形態1に係るαブレンディングの説明図。 変形例1に係る設置位置決定装置10の構成図。 変形例3に係る対象領域42が円形の領域である場合の説明図。 変形例3に係る対象領域42が円形の領域である場合の説明図。 変形例3に係るカメラ50が中心位置に配置された場合の説明図。 変形例3に係る対象領域42がL字型の領域である場合の説明図。 変形例3に係る対象領域42がL字型の領域である場合の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例4に係るカメラ50の設置位置の特定方法の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例5に係る全天球カメラの説明図。 変形例5に係る全天球カメラの説明図。 変形例5に係る全天球カメラの配置の説明図。 実施の形態2に係る不可範囲47の説明図。 実施の形態2に係るカメラ50の設置位置の特定方法の説明図。 実施の形態2に係るカメラ50の設置位置の特定方法の説明図。 変形例6に係る対象領域42の例を示す図。 変形例6に係るカメラ50及び移動体カメラ53の設置位置の特定方法の説明図。 実施の形態3に係るカメラ50の設置位置の特定方法の説明図。 実施の形態3に係るカメラ50の設置位置の特定方法の説明図。
 実施の形態1.
 ***構成の説明***
 図1を参照して、実施の形態1に係る設置位置決定装置10の構成を説明する。
 設置位置決定装置10は、コンピュータである。
 設置位置決定装置10は、プロセッサ11と、記憶装置12と、入力インタフェース13と、表示インタフェース14とを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
 プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体的には、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
 記憶装置12は、メモリ121と、ストレージ122とを備える。メモリ121は、具体的には、RAM(Random Access Memory)である。ストレージ122は、具体的には、HDD(Hard Disk Drive)である。また、ストレージ122は、SD(Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体であってもよい。
 入力インタフェース13は、キーボード、マウス、タッチパネルといった入力装置31を接続する装置である。具体的には、入力インタフェース13は、USB(Universal Serial Bus)、IEEE1394、PS/2といったコネクタである。
 表示インタフェース14は、ディスプレイ32を接続する装置である。具体的には、表示インタフェース14は、HDMI(登録商標)(High-Definition Multimedia Interface)、DVI(Digital Visual Interface)といったコネクタである。
 設置位置決定装置10は、機能構成要素として、条件受付部21と、領域受付部22と、位置特定部23と、仮想映像生成部24と、表示部25とを備える。位置特定部23は、X位置特定部231と、Y位置特定部232とを備える。条件受付部21と、領域受付部22と、位置特定部23と、X位置特定部231と、Y位置特定部232と、仮想映像生成部24と、表示部25との各部の機能はソフトウェアにより実現される。
 記憶装置12のストレージ122には、設置位置決定装置10の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ121に読み込まれ、プロセッサ11によって実行される。これにより、設置位置決定装置10の各部の機能が実現される。また、ストレージ122には、仮想合成映像46を得たい対象領域42を含む領域の地図データが記憶されている。
 プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121、又は、プロセッサ11内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121に記憶されるものとして説明する。
 プロセッサ11によって実現される各機能を実現するプログラムは、記憶装置12に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体に記憶されてもよい。
 図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
 ***動作の説明***
 図1から図19を参照して、実施の形態1に係る設置位置決定装置10の動作を説明する。
 実施の形態1に係る設置位置決定装置10の動作は、実施の形態1に係る設置位置決定方法に相当する。また、実施の形態1に係る設置位置決定装置10の動作は、実施の形態1に係る設置位置決定プログラムの処理に相当する。
 図1から図4を参照して、実施の形態1に係る設置位置決定装置10の動作概要を説明する。
 図2に示すように、設置位置決定装置10の動作は、ステップS1からステップS7に分かれる。
 <ステップS1:領域受付処理>
 領域受付部22は、仮想合成映像46を得たい対象領域42の入力を受け付ける。
 具体的には、領域受付部22は、地図データをストレージ122から読み出して、テクスチャマッピングを行う等して、2次元又は3次元のCG(Computer Graphics)空間43を生成する。領域受付部22は、図3に示すように、生成されたCG空間43を上から見た上面図44を、表示インタフェース14を介してディスプレイ32に表示する。そして、ユーザから入力装置31を介して上面図44内の領域が指定されることにより、領域受付部22は対象領域42を受け付ける。領域受付部22は、生成されたCG空間43及び受け付けた対象領域42をメモリ121に書き込む。
 実施の形態1では、CG空間43はXYZ軸で表される3軸の空間とする。また、対象領域42は、XY軸で表される平面上のX軸及びY軸に平行な辺を持つ長方形であるとする。そして、対象領域42は、左上の座標値(x1、y1)と、X軸と平行なx方向の幅Wxと、Y軸と平行なy方向の幅Wyとによって指定されるとする。図3では、ハッチングで示された部分が対象領域42として指定されたとする。
 <ステップS2:条件受付処理>
 条件受付部21は、カメラ条件41の入力を受け付ける。
 具体的には、ユーザから入力装置31を介して、設置するカメラ50の最大の台数2Nと、限界伸び率Kと、限界高さZhと、設置高さZsと、画角θと、解像度と、カメラ50の種類といった情報を示すカメラ条件41が入力され、条件受付部21は入力されたカメラ条件41を受け付ける。限界伸び率Kは、映像が俯瞰変換される際の被写体の伸び率(Q/P)の上限である(図9参照)。限界高さZhは、被写体の高さの上限である(図11、図12参照)。設置高さZsは、カメラ50が設置される高さの下限である(図7参照)。画角θは、カメラ50で撮影される映像に映る範囲を表す角度である(図7参照)。なお、後述するように、実施の形態1では、カメラ50を対向して設置する。そのため、カメラ台数は偶数となるので、カメラ50の最大の台数を2Nとしている。
 実施の形態1では、条件受付部21は、表示インタフェース14を介して入力装置31に、GUI画面を表示して、カメラ条件41が示す各項目をユーザに選択させる等して入力させる。条件受付部21は、受け付けたカメラ条件41をメモリ121に書き込む。
 条件受付部21は、カメラ種類については、カメラ50の種類の一覧を表示してユーザに選択させる。また、条件受付部21は、画角については、選択された種類のカメラ50の最大画角及び最小画角を表示して、最大画角と最小画角との間の画角を入力させる。
 なお、設置高さZsは、カメラ50を設置可能な高さのうち、最も低い位置が指定されるものとする。カメラ50は、対象領域42付近に設置されたポールといったある程度高さのある場所に設置される。
 <ステップS3:位置特定処理>
 位置特定部23は、ステップS2で条件受付部21によって受け付けられたカメラ条件41が示す台数2N以下の数のカメラ50で対象領域42にいる限界高さZh以下の被写体を撮影可能な各カメラ50の設置位置45を特定する。位置特定部23は、ステップS5で仮想映像生成部24によって映像が俯瞰変換される際、対象領域42にいる限界高さZh以下の被写体の伸び率が限界伸び率K以下になる設置位置45を特定する。
 <ステップS4:特定判定処理>
 位置特定部23は、ステップS3で、設置位置45を特定できた場合には、処理をステップS5に進め、設置位置45を特定できない場合には、処理をステップS2に戻して、カメラ条件41を再入力させる。
 設置位置45を特定できない場合とは、カメラ条件41が示す台数2N以下の数で対象領域42を撮影可能な設置位置45を特定できない場合と、被写体の伸び率が限界伸び率K以下になる設置位置45を特定できない場合とである。
 <ステップS5:仮想映像生成処理>
 仮想映像生成部24は、ステップS4で位置特定部23によって特定された設置位置45に各カメラ50を設置した場合に、各カメラ50によって仮想モデルを撮影した仮想撮影映像を生成する。そして、仮想映像生成部24は、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像46を生成する。
 実施の形態1では、仮想モデルとして、ステップS1で生成されたCG空間43を用いる。
 <ステップS6:表示処理>
 表示部25は、ステップS5で仮想映像生成部24によって生成された仮想合成映像46を、表示インタフェース14を介してディスプレイ32に表示する。これにより、ユーザに、仮想合成映像46に基づき、得られる映像が望んだ状態であるか否かを確認させる。
 具体的には、表示部25は、図4に示すように、ステップS5で生成された仮想合成映像46と、各カメラ50によって撮影された仮想撮影映像とを表示する。図4では、SYNTHETICの矩形領域には、仮想合成映像46が表示され、CAM1からCAM4の矩形領域には、各カメラ50の仮想撮影映像が表示される。表示ウィンドウ上に、被写体の限界伸び率K、利用する画角θ、設置高さZsといったカメラ条件41を変更可能な数値入力ボックス、もしくは、スライドバーを設けてもよい。これにより、ユーザがカメラ条件41を変更した際の設置位置45の変化や、仮想合成映像46の見え方の変化を簡単に確認することができる。
 <ステップ7:品質判定処理>
 ユーザの操作に従い、得られる映像が望んだ状態である場合には、処理が終了となり、得られる映像が望んだ状態でない場合には、処理がステップS2に戻され、カメラ条件41が再入力される。
 図1及び図3から図14を参照して、実施の形態1に係るステップS3を説明する。
 図5に示すように、ステップS3は、ステップS31からステップS32に分かれる。
 実施の形態1では、図6に示すように、設置高さZsに、x方向に2台のカメラ50が対向して配置され、y方向に2台以上のカメラ50が並列に配置されるとする。対象領域42を示す長方形の短辺方向に2台のカメラ50が対向して配置され、長辺方向に2台以上のカメラ50が並列に配置されるようにすると、歪みの少ない映像が得られる。したがって、実施の形態1では、対象領域42を示す長方形の短辺方向をx方向、長辺方向をy方向とする。
 ステップS3で特定される設置位置45は、X軸と平行なx方向の設置位置Xと、Y軸と平行なy方向の設置位置Yと、Z軸と平行なz方向の設置位置Zと、Z軸を回転軸とする回転角である姿勢yawと、Y軸を回転軸とする回転角である姿勢pitchと、X軸を回転軸とする回転角である姿勢rollとである。
 実施の形態1では、各カメラ50の設置位置Zは、カメラ条件41に含まれる設置高さZsとする。また、姿勢yawは、x方向を0度とし、対向する2台のカメラ50のうち一方のカメラ50の姿勢yawを0度、他方のカメラ50の姿勢yawを180度とする。図6では、カメラ50A~カメラ50Bの姿勢yawが0度であり、カメラ50C~カメラ50Dの姿勢yawが180度である。また、各カメラ50の姿勢rollは、0度とする。
 したがって、ステップS3では、残りの設置位置Xと、設置位置Yと、姿勢pitchとが特定される。以下、姿勢pitchを俯角αと呼ぶ。
 <ステップS31:位置X特定処理>
 位置特定部23のX位置特定部231は、対象領域42のx方向全体を撮影可能であり、かつ、少なくともカメラ50の前方にいる被写体の伸び率が限界伸び率K以下になる2台のカメラ50の設置位置X及び俯角αを特定する。
 具体的には、X位置特定部231は、ステップS1で受け付けられた対象領域42と、ステップS2で受け付けられたカメラ条件41とをメモリ121から読み出す。その上で、X位置特定部231は、以下に説明する式4に示す範囲Hk以内で、かつ、式6を満たすように、カメラ50の撮影可能範囲Hのうち実際に利用する利用範囲Hkを決定する。そして、X位置特定部231は、対向する2台のカメラ50のうち、一方のカメラ50の設置位置Xを式7によって計算し、他方のカメラ50の設置位置Xを式8によって計算する。また、X位置特定部231は、数10及び数12によって示された上限と下限との間の角度を俯角αとして決定する。
 X位置特定部231が設置位置X及び俯角αを特定する方法について詳細に説明する。
 図7に示すように、設置位置Zsと画角θと俯角αとにおけるオフセットOとカメラ50の撮影可能範囲Hとは、式1によって表される。オフセットOは、カメラ50の真下の位置から撮影範囲の左端までの距離である。
(式1)
 O=Zs・tan(π/2-α-θ/2)
 H=Zs・tan(π/2-α+θ/2)-O
 図7では、カメラ50は真下の位置を撮影できない場合を示していた。図8に示すように、カメラ50が真下の位置を撮影できる場合には、オフセットOとカメラ50の撮影可能範囲Hとは、式2によって表される。
(式2)
 O=Zs・tan(π/2+α+θ/2)
 H=Zs・tan(π/2-α+θ/2)+O
 以下の説明では、カメラ50が真下の位置を撮影できる場合を想定して数2を用いて説明する。カメラ50が真下の位置を撮影できない場合には、数2に代えて、数1を用いればよい。
 対象領域42のx方向は幅Wxである。そのため、対向する2台のカメラ50の撮影可能領域を全て利用する場合には、Wx=2Hとなるように俯角αを求めればよい。但し、図9に示すように、高さのある被写体を撮影する場合、ステップS5で映像が俯瞰変換される際、被写体が伸びてしまう。被写体の伸び率は、カメラ50の光軸51から離れるほど高くなる。伸び率が高くなると、見づらい映像になってしまう。
 被写体の高さを考慮しなければ、限界伸び率Kとカメラ50の設置高さである設置位置Zsとから、撮影可能な範囲のうち、被写体の伸び率が限界伸び率K以下になる範囲Hkは、式3によって表される。
(式3)
 Hk=K・Zs
 さらに、被写体の高さを考慮すると、限界高さZh以下の被写体の伸び率が限界伸び率K以下になる範囲Hkは、式4によって表される。
(式4)
 Hk=K(Zs-Zh)
 また、被写体の高さを考慮すると、オフセットOとカメラ50の撮影可能範囲Hとは、式5によって表される。
(式5)
 O=(Zs-Zh)tan(π/2+α+θ/2)
 H=(Zs-Zh)tan(π/2-α+θ/2)+O
 図10に示すように、X位置特定部231は、対向する2台のカメラ50の限界伸び率Kを同一にした場合、式4に示す範囲Hk以内で、かつ、式6を満たすように、カメラ50の撮影可能範囲Hのうち実際に利用する利用範囲Hkを決定する。
(式6)
 Wx<2Hk+2O
 このとき、式6の右辺が左辺よりもある程度大きくなるように利用範囲Hkを決定すると、対向する2台のカメラ50が一部重なった領域を撮影することになる。すると、映像を合成する際、αブレンディング処理といった重畳処理を適用でき、合成された映像がよりシームレスになる。
 具体的には、X位置特定部231は、式4に示す範囲Hk以内で、かつ、式6を満たす値の範囲をディスプレイ32に表示して、ユーザから表示した範囲内の利用範囲Hkの入力を受け付けることにより、利用範囲Hkを決定する。あるいは、X位置特定部231は、式4に示す範囲Hk以内で、かつ、式6を満たす値のうち、対向する2台のカメラ50両方が撮影する重畳領域が基準幅になる値を利用範囲Hkとして決定する。基準幅とは、重畳処理である程度の効果を発揮するのに必要な幅である。
 なお、利用範囲Hkを、式4に示す範囲Hk以内で、かつ、式6を満たすように決定することができない場合、カメラ条件41の下では、限界伸び率K以下で幅Wxの領域を撮影することができないことを意味する。したがって、この場合、ステップS4で位置特定部23は、設置位置45を特定できないため、処理をステップS2に戻すことになる。そして、ステップS2で、条件受付部21は、設置高さZsと、限界伸び率Kといった情報が変更されたカメラ条件41の入力を受け付ける。
 そして、X位置特定部231は、対向する2台のカメラ50のうち、一方のカメラ50の設置位置Xを式7によって計算し、他方のカメラ50の設置位置Xを式8によって計算する。図6であれば、X位置特定部231は、カメラ50A~50Bの設置位置Xを式7によって計算し、カメラ50C~50Dの設置位置Xを式8によって計算する。
(式7)
 X=x1+1/2Wx-Hk
(式8)
 X=x1+1/2Wx+Hk
 また、X位置特定部231は、俯角αを特定する。
 ここで、俯角αは、カメラ50の真下の位置からカメラ50の前方に利用範囲Hkまで撮影可能範囲に入る必要があるので、式9が成立する。式9から得られる式10によって俯角αの上限が定められる。
(式9)
 (Zs-Zh)tan(π/2-α+θ/2)>Hk
(式10)
 α<(π+θ)/2-arctan(Hk/(Zs-Zh))
 また、俯角αは、カメラ50の真下の位置まで撮影可能範囲に入る必要があるので、式11が成立する。式11から得られる式12によって俯角αの下限が定められる。
(式11)
 (Zs-Zh)tan(π/2-α-θ/2)<(Wx/2-Hk
(式12)
 α>(π-θ)/2-arctan(Wx/2-Hk/(Zs-Zh))
 そこで、X位置特定部231は、数10及び数12によって示された上限と下限との間の角度を俯角αとして決定する。
 具体的には、X位置特定部231は、数10及び数12によって示された上限と下限とをディスプレイ32に表示して、ユーザから表示した上限と下限との間の俯角αの入力を受け付けることにより、俯角αを決定する。あるいは、X位置特定部231は、数10及び数12によって示された上限と下限との間の角度のうち、中央の角度といった任意の角度を俯角αに決定する。
 ここで、上記説明では、図11に示すように、対向するカメラ50の境界付近にいる被写体Tだけでなく、カメラ50の後方にいる被写体S,Uについても、限界高さZhまで撮影可能とする場合を説明した。しかし、図12に示すように、カメラ50の手前側にいる被写体S,Uについては、限界高さZhまで撮影可能としなくてもよい場合がある。この場合には、式13によって俯角αの下限が定められる。
(式13)
 α>(π-θ)/2-arctan(Wx/2-Hk/Zs)
 <ステップS32:位置Y特定処理>
 位置特定部23のY位置特定部232は、対象領域42のy方向全体を撮影可能な設置位置Yを特定する。
 具体的には、Y位置特定部232は、ステップS1で受け付けられた対象領域42と、ステップS2で受け付けられたカメラ条件41とをメモリ121から読み出す。その上で、Y位置特定部232は、以下に説明する式16によって、y方向の座標値y1からM台目のカメラ50の設置位置Yを計算する。
 Y位置特定部232が設置位置Yを特定する方法について詳細に説明する。
 図13に示すように、カメラ50それぞれの撮影可能範囲を上から見ると、カメラ50の後方側の底辺が幅W1、カメラ50の前方側の底辺が幅W2、高さHの台形になっている。そして、その台形の中に、ハッチングが付されて示された半径が利用範囲Hkの半円形である、伸び率が限界伸び率K以下の利用領域が含まれる。
 カメラ50の水平解像度と垂直解像度との比をWθ:Hθとすると、撮影可能範囲の台形の縦横比は、式14のように表される。
(式14)
 W1:H
=Wθ:Hθ(sinα+cosα/tan(α-θ/2))
=sin(α-θ/2):(Hθ(sinαsin(α-θ/2)+cosαcos(α-θ/2)))Wθ
=sin(α-θ/2):(Hθcos(θ/2))/Wθ
 したがって、底辺W1は、式15となる。
(式15)
 W1=((Wθsin(α-θ/2))/(Hθcos(θ/2)))H
 Y位置特定部232は、図14に示すように、幅W1だけカメラ50の間隔を空けてy方向にカメラ50を並列に設置する。そこで、Y位置特定部232は、y方向に座標値y1からM台目のカメラ50の設置位置Yを式16によって計算する。
(式16)
 Y=y1+((2M-1)W1)/2
 図14であれば、Y位置特定部232は、カメラ50A,50Cの設置位置Yを式17によって計算し、カメラ50B,50Dの設置位置Yを式18によって計算する。
(式17)
 Y=y1+W1/2
(式18)
 Y=y1+(3・W1)/2
 なお、カメラ条件41が示すカメラ50の最大の台数2Nで、幅Wy全体を撮影するためには、y方向に並列に設置される台数Nに幅W1を乗じたNW1が幅Wy以上となる必要がある。なお、カメラ50の台数は2Nであるが、x方向に2台のカメラ50が対向して配置されるので、y方向に並列に設置される台数はNである。NW1が幅Wy以上にならない場合には、ステップS4で位置特定部23は、設置位置45を特定できないため、処理をステップS2に戻すことになる。そして、ステップS2で、条件受付部21は、カメラ50の最大の台数2Nと、設置高さZsと、限界伸び率Kといった情報が変更されたカメラ条件41の入力を受け付ける。
 上記説明では、対象領域42のy方向全体を撮影可能な設置位置Yが特定された。しかし、y方向についても、x方向と同様に、被写体の伸び率を限界伸び率K以下とする場合には、Y位置特定部232は、式16のW1を2Hkに置き換えて、設置位置Yを計算すればよい。この場合にも、y方向に並列に設置される台数Nに2Hkを乗じた2NHkが幅Wy以上とならない場合には、ステップS4で位置特定部23は、設置位置45を特定できないため、処理をステップS2に戻すことになる。
 但し、この場合にも、対象領域42のうち、図14に示す領域47のように、4台のカメラ50の中央付近等に、伸び率が限界伸び率Kよりも高くなってしまう領域が発生する可能性がある。図14に示す、各カメラ50についての伸び率が限界伸び率K以下の利用領域が重なるように、設置位置X及び設置位置Yを調整することにより、伸び率が限界伸び率Kよりも高くなる領域を小さくすることができる。
 Y位置特定部232は、N×W1が幅Wyよりも十分に広くなる場合、カメラ50が重畳して撮影する範囲が広くなるように設置位置Yを計算することができる。この場合、N台のカメラ50間で重畳するのはN-1箇所である。そのため、Y位置特定部232は、各カメラ50間の重畳する領域のy方向の長さLを、式19によって計算する。
(式19)
 L=(W1×N-Wy)/(N-1)
 そして、Y位置特定部232は、y方向に座標値y1から2台目以降のカメラ50について、M台目のカメラ50の設置位置Yを式20によって計算する。座標値y1から1台目のカメラ50については、設置位置Yは式16によって計算される。
(式20)
 Y=y1+((2M-1)W1)/2-LM
 なお、y方向についても被写体の伸び率を限界伸び率K以下とする場合には、Y位置特定部232は、式19及び式20のW1を2Hkに置き換えればよい。
 図1及び図15から図19を参照して、実施の形態1に係るステップS5を説明する。
 図15に示すように、ステップS5は、ステップS51からステップS53に分かれる。
 <ステップS51:仮想撮影映像生成処理>
 仮想映像生成部24は、ステップS3で位置特定部23によって特定された設置位置45に各カメラ50を設置した場合に、ステップS1で生成されたCG空間43を各カメラ50によって撮影した仮想撮影映像を生成する。
 具体的には、仮想映像生成部24は、ステップS1で生成されたCG空間43をメモリ121から読み出す。そして、仮想映像生成部24は、各カメラ50について、ステップS3で特定された設置位置45の視点中心として、カメラ50の姿勢から導かれる光軸51方向のCG空間43を撮影した映像を、仮想撮影映像として生成する。仮想映像生成部24は、生成された仮想撮影映像をメモリ121に書き込む。
 <ステップS52:俯瞰変換処理>
 仮想映像生成部24は、ステップS51で生成された各カメラ50についての仮想撮影映像を俯瞰変換して、俯瞰映像を生成する。
 具体的には、仮想映像生成部24は、ステップS51で生成された各カメラ50についての仮想撮影映像をメモリ121から読み出す。そして、仮想映像生成部24は、ホモグラフィ変換を利用して、ステップS51で生成された各仮想撮影映像を、カメラ50の撮影面からZ軸の座標値を0とした平面へ投影する。
 図16に示すように、俯角αで定まる光軸51と垂直な面が撮影面52であり、仮想撮影映像はこの撮影面52の映像である。図17に示すように、仮想撮影映像は長方形の映像であるが、仮想撮影映像をZ軸の座標値を0とした平面に投影すると台形の映像になる。この台形の映像がカメラ50の撮影範囲を俯瞰した俯瞰映像になる。そこで、仮想映像生成部24は、長方形の仮想撮影映像が台形の俯瞰映像になるように、ホモグラフィ変換という行列変換を行う。仮想映像生成部24は、生成された俯瞰映像をメモリ121に書き込む。
 なお、投影する平面はZ軸の座標値が0の平面に限らず、任意の高さの平面でよい。また、投影面の形状も、平面に限らず、曲面としてもよい。
 <ステップS53:映像合成処理>
 仮想映像生成部24は、ステップS52で生成された各カメラ50についての俯瞰映像を合成して仮想合成映像46を生成する。
 具体的には、仮想映像生成部24は、ステップS52で生成された各カメラ50についての俯瞰映像をメモリ121から読み出す。図18に示すように、仮想映像生成部24は、各俯瞰映像について、x方向における利用範囲Hk外の部分、すなわち伸び率が限界伸び率Kを超えた部分を切り捨てる。つまり、仮想映像生成部24は、設置位置Xからx方向に前方の利用範囲Hkの範囲と、後方にオフセットOの範囲とだけを残し、残りを切り捨てる。図18では、ハッチング部分が切り捨てられる。そして、仮想映像生成部24は、各カメラ50についての残りの俯瞰映像で重畳する部分をαブレンディングといった重畳処理を行い、合成する。
 図19に示すように、重畳部分にαブレンディングを行う場合には、x方向に対しては、XからXにかけてカメラ50Cの俯瞰映像のα値を1から0に徐々に減少させ、XからXにかけてカメラ50Aの俯瞰映像のα値を0から1に徐々に増加させてブレンドする。Xは、カメラ50Aのx方向における撮影領域の境界のx座標であり、Xは、カメラ50Cのx方向における撮影領域の境界のx座標である。y方向にも同様に、YからYにかけてカメラ50Cの俯瞰映像のα値を1から0に徐々に減少させ、YからYにかけてカメラ50Dの俯瞰映像のα値を0から1に徐々に増加させてブレンドする。Yは、カメラ50Dのy方向におけるカメラ50C側の撮影領域の境界のy座標であり、Yは、カメラ50Cのy方向におけるカメラ50D側の撮影領域の境界のy座標である。
 そして、仮想映像生成部24は、合成された映像のうち、対象領域42部分だけを切り出して仮想合成映像46とする。仮想映像生成部24は、生成された仮想合成映像46をメモリ121に書き込む。
 なお、重畳する部分がない場合には、重畳処理を行う必要はなく、各俯瞰映像を隣接させるだけで合成される。
 また、仮想映像生成部24は、伸び率を限界伸び率K以下になるように設置位置Yを特定した場合には、各俯瞰映像について、y方向についても利用範囲Hk外の部分を切り捨てた上で、合成を行う。
 ***実施の形態1の効果***
 以上のように、実施の形態1に係る設置位置決定装置10は、カメラ条件41が示す台数以下の数のカメラ50で対象領域42を撮影可能な各カメラ50の設置位置45を特定し、特定された設置位置45に各カメラ50を設置した場合の仮想合成映像46を生成する。そのため、ユーザは、カメラ条件41を変更しながら仮想合成映像46を確認するだけで、望む映像が得られる各カメラ50の設置位置45を決定することができる。
 特に、実施の形態1に係る設置位置決定装置10は、被写体の高さも考慮し、対象領域42にいる限界高さZh以下の被写体を撮影することが可能な設置位置45を特定する。そのため、特定された設置位置45では、対象領域42にいる人の顔が撮影できない場合があるといったことがない。
 また、実施の形態1に係る設置位置決定装置10は、俯瞰変換する際の被写体の伸びも考慮し、被写体の伸び率が限界伸び率K以下になる設置位置45を特定する。そのため、特定された設置位置45では、仮想合成映像46に映った被写体の伸び率が高く、見づらい場合があるといったことがない。
 ***他の構成***
 <変形例1>
 実施の形態1では、設置位置決定装置10の各部の機能がソフトウェアで実現された。しかし、変形例1として、設置位置決定装置10の各部の機能はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
 図20を参照して、変形例1に係る設置位置決定装置10の構成を説明する。
 各部の機能がハードウェアで実現される場合、設置位置決定装置10は、プロセッサ11と記憶装置12とに代えて、処理回路15を備える。処理回路15は、設置位置決定装置10の各部の機能及び記憶装置12の機能を実現する専用の電子回路である。
 処理回路15は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
 各部の機能を1つの処理回路15で実現してもよいし、各部の機能を複数の処理回路15に分散させて実現してもよい。
 <変形例2>
 変形例2として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、設置位置決定装置10の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
 プロセッサ11と記憶装置12と処理回路15とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。
 <変形例3>
 実施の形態1では、対象領域42は、長方形の領域であるとした。しかし、対象領域42は、長方形に限らず、他の形状の領域であってもよい。具体例としては、対象領域42は、円形の領域であってもよいし、L字型といった曲り角を有する形状の領域であってもよい。
 図21及び図22を参照して、対象領域42が円形の領域である場合について説明する。
 図21に示すように、対象領域42は、領域の中心位置(x1,y1)と、半径r1とによって指定される。
 図21に示すように、複数のカメラ50が領域の中心位置に外側を向けて配置される。なお、領域の中心位置とは、中心付近の領域を含むある程度の範囲を持った領域である。又は、図22に示すように、複数のカメラ50が円周上に等間隔に中心側を向けて配置される。そして、指定されたカメラ50の台数で対象領域42を撮影できるように、カメラ50の高さ等が特定される。
 なお、図21に示すように各カメラ50が領域の中心位置に配置された場合、図23に示すように、各カメラ50は、中心位置にいる限界高さZhの被写体が撮影できるように、俯角αが特定される。
 図24及び図25を参照して、対象領域42がL字型の領域である場合について説明する。
 図24に示すように、対象領域42は、各頂点の位置(x1,y1),...,(x6,y6)によって指定される。又は、対象領域42は、一部の頂点の位置と、頂点間の距離とによって指定される。
 そして、図25に示すように、対象領域42が複数の長方形の領域に分割される。図25では、L字型の対象領域42が、(x1,y1)と、(x2,y2)と、(x7,y7)と、(x6,y6)とで表される長方形の領域と、(x5,y5)と、(x7,y7)と、(x3,y3)と、(x4,y4)とで表される長方形の領域との2つに分割されている。各長方形の領域を撮影できるように、各長方形の領域について実施の形態1と同じ手順でカメラ50の設置位置が特定される。
 <変形例4>
 実施の形態1では、図6に示すように、長方形の短辺方向に2台のカメラ50が対向して配置された。しかし、図26に示すように、長方形の短辺方向の中心位置に2台のカメラ50が、外側を向けて配置されてもよい。つまり、長方形の短辺方向の中心位置に2台のカメラ50が、背中合わせに配置されてもよい。あるいは、図27に示すように、長方形の長辺方向の中心位置に2台のカメラ50が、外側を向けて配置されてもよい。つまり、長方形の長辺方向の中心位置に2台のカメラ50が、背中合わせに配置されてもよい。
 この場合、図23に示すように、各カメラ50は、カメラ50の真下、つまり短辺方向又は長辺方向の中心位置にいる限界高さZhの被写体が撮影できるように、俯角αが特定される。
 このように、中心位置に背中合わせに2台のカメラ50が配置されることにより、2台のカメラ50の境界部分にいる被写体について、歪みの少ない合成映像を得ることが可能になる。
 対象領域42が広く、2台のカメラ50を対向させて配置するだけでは、長方形の短辺方向全体を撮影できない場合がある。この場合には、図28に示すように、対向させる配置と、背中合わせにする配置とを組み合わせる。図28では、カメラ50Aとカメラ50Bとが対向しており、カメラ50Bとカメラ50Cとが背中合わせになっており、カメラ50Cとカメラ50Dとが対向している。これにより、長方形の短辺方向が長い場合にも、対象領域42全体を撮影することが可能である。
 図29に示すように、各カメラ50の設置位置を特定する際には、2台のカメラ50を対向させて配置することにより撮影可能な範囲を1つのユニットとして特定する。そして、対象領域42全体を覆うように、特定されたユニットを並べることにより、必要なカメラ50の台数と、各カメラ50の設置位置とを特定することができる。
 また、図30に示すように、長方形の4隅にそれぞれに、中心方向(対角方向)を向けてカメラ50が配置されてもよい。対象領域42によっては、カメラ50を設置できる場所が限られており、対象領域42の外側にしかカメラ50を設置できない場合がある。長方形の4隅にそれぞれにカメラ50が配置されることにより、対象領域42の外側から対象領域42全体を効率的に撮影可能にすることができる。
 また、図31に示すように、長方形の中心位置に複数のカメラ50が外側を向けて配置されてもよい。対象領域42によっては、カメラ50を設置できる場所が限られており、できるだけ少ない箇所にカメラ50を配置しなければならない場合がある。例えば、カメラ50用のポールを立ててカメラ50を配置する場合、ポールの数をできるだけ少なくしたい。長方形の中心位置に複数のカメラ50が外側を向けて配置されることにより、1か所にカメラ50を配置して、対象領域42全体を効率的に撮影可能にすることができる。
 <変形例5>
 カメラ50として、周囲360度の範囲を撮影可能な全天球カメラを用いてもよい。カメラ50として全天球カメラを用いた場合、図32に示すように、カメラ50の設置位置を中心とする円形の領域が被写体の伸び率が限界伸び率K以下になる範囲になる。また、俯角αは、90度に固定された場合と同じである。水平解像度と垂直解像度との比は1:1になる。
 図33に示すように、被写体の伸び率が限界伸び率K以下になる範囲の映像を用いる場合、合成映像を生成するために利用されるのは、被写体の伸び率が限界伸び率K以下になる範囲を示す円形の領域に内設する矩形の領域である。したがって、図34に示すように、この矩形の領域を1つのユニットとして、対象領域42全体を覆うように、特定されたユニットを並べることにより、必要なカメラ50の台数と、各カメラ50の設置位置とを特定することができる。
 実施の形態2.
 実施の形態2は、カメラ50を設置できない範囲が指定される点が実施の形態1と異なる。実施の形態2では、この異なる点について説明し、同一の点については説明を省略する。
 ***動作の説明***
 図2のステップS2では、条件受付部21は、カメラ50を設置できない範囲である不可範囲47を示すカメラ条件41の入力を受け付ける。
 不可範囲47が長方形の場合には、不可範囲47は、左上の座標値(xi,yi)と、X軸と平行なx方向の幅Wxiと、Y軸と平行なy方向の幅Wyiとによって指定される。また、不可範囲47が円形の場合には、不可範囲47は、円の中心の座標値(xi,yi)と、半径riとによって指定される。なお、これに限らず、式といった他の方法によって不可範囲47が指定されてもよい。また、不可範囲47は、長方形及び円形以外の形状であってもよい。
 図2のステップS3では、位置特定部23は、まず、不可範囲47を撮影可能なカメラ50の設置位置45を特定する。
 具体例としては、図35に示すように、長方形の対象領域42における一部の範囲が不可範囲47として指定されたとする。この場合、図36に示すように、不可範囲47の外における設置位置45であって、不可範囲47を撮影可能なカメラ50の設置位置45を特定する。
 この際、設置位置X及び俯角αは、図5のステップS31と同じ処理により特定される。設置位置Yは、不可範囲47全体がちょうどカメラ50の撮影可能範囲に含まれる位置が特定される。図36では、不可範囲47のy方向の中間点から左側の範囲がカメラ50A1及びカメラ50A2により撮影され、中間点から右側の範囲がカメラ50B1及びカメラ50B2により撮影されるように、カメラ50A1及びメラ50A2と、カメラ50B1及びカメラ50B2との設置位置Yが特定される。より具体的には、カメラ50A1及びメラ50A2の設置位置Yは、式21によって特定され、カメラ50B1及びメラ50B2の設置位置Yは、式22によって特定される。なお、yhは、中間点のY座標である。
(式21)
 Y=yh-W1/2
(式22)
 Y=yh+W1/2
 位置特定部23は、次に、残りのカメラ50の設置位置Yを特定する。残りのカメラ50とは、図37では、カメラ50C1及びカメラ50C2と、カメラ50D1及びカメラ50D2とである。
 位置特定部23は、残りのカメラ50の設置位置Yを、既に特定された不可範囲47を撮影するカメラ50の設置位置Yを基準として特定する。図37では、不可範囲47の左側の範囲についての設置位置Yは、カメラ50A1及びメラ50A2の設置位置Yを基準として、式23により特定される。不可範囲47の右側の範囲についての設置位置Yは、カメラ50B1及びメラ50B2の設置位置Yを基準として、式24により特定される。
(式23)
 Y=Y-((2M-1)W1)/2
(式24)
 Y=Y+((2M-1)W1)/2
 ***実施の形態2の効果***
 以上のように、実施の形態2に係る設置位置決定装置10は、カメラ50を設置できない範囲が指定された場合に、対象領域42を撮影可能な各カメラ50の設置位置45を特定できる。
 屋内施設の天井には、空気調和機と火災報知器といった様々な備品が設置されている。そのため、カメラ50を設置できない場所が存在する。しかし、実施の形態2に係る設置位置決定装置10によれば、カメラ50を設置できない場所を避けた、カメラ50の適切な設置位置45を決定することが可能である。
 <変形例6>
 天井の無い部分にはカメラ50を設置することができない。したがって、天井の無い部分は不可範囲47となる。しかし、ドローンとバルーンといった飛翔する移動体にカメラ50を搭載した移動体カメラ53を用いてもよい。移動体カメラ53を飛ばすことが可能であれば、移動体カメラ53は天井の無い部分についても配置することが可能である。
 具体例としては、屋外の競技場における天井の無い部分に、移動体カメラ53を配置することが可能である。屋外の競技場の場合、図38に示すように、屋外の競技場全体が対象領域42となり、対象領域42の中央部分が天井の無い部分になる。このように、天井のある部分と無い部分との両方がある対象領域42については、天井のある部分には、通常のカメラ50を設置し、天井の無い部分には移動体カメラ53を配置すればよい。これにより、対象領域42全体の俯瞰映像を生成するためのカメラ50及び移動体カメラ53の設置位置45を特定することができる。なお、移動体カメラ53については、飛ぶ高さをカメラの設置位置Zとすれば、カメラ50と同一の方法により設置位置45を特定することができる。
 そこで、位置特定部23は、天井のある部分と無い部分とを分けて、設置位置45を特定する。その結果、図38の例では、図39のように、通常のカメラ50と移動体カメラ53との設置位置45が特定される。
 移動体カメラ53を用いることにより、天井が無い部分にもカメラを配置することが可能になる。その結果、天井が無い部分についても解像度が高い映像を得ることが可能である。
 実施の形態3.
 実施の形態3は、既設カメラ54の撮影範囲55が指定される点が実施の形態1,2と異なる。実施の形態3では、この異なる点について説明し、同一の点については説明を省略する。
 ***動作の説明***
 図2のステップS2では、条件受付部21は、既設カメラ54の撮影範囲55を示すカメラ条件41の入力を受け付ける。
 既設カメラ54の撮影範囲55は、対象領域42と同様の方法により指定される。具体的には、既設カメラ54の撮影範囲55が長方形の場合には、既設カメラ54の撮影範囲55は、左上の座標値(xj,yj)と、X軸と平行なx方向の幅Wxjと、Y軸と平行なy方向の幅Wyjとによって指定される。実施の形態3では、既設カメラ54の撮影範囲55は長方形とする。
 図2のステップS3では、位置特定部23は、図2のステップS1で指定された対象領域42から、カメラ条件41が示す既設カメラ54の撮影範囲55を除いた範囲を、新たな対象領域42に設定する。そして、位置特定部23は、新たに設定された対象領域42について、上述した実施の形態又は上述した変形例で説明した方法により、カメラ50の設置位置を特定する。
 具体例としては、図40に示すように、対象領域42のうち、左下の一部の範囲が既設カメラ54の撮影範囲55となっている場合には、位置特定部23は、対象領域42から既設カメラ54の撮影範囲55を除いたL字型の領域を、新たな対象領域42に設定する。そして、位置特定部23は、変形例3で説明した方法により、L字型の対象領域42について、カメラ50の設置位置を特定する。その結果、例えば、図41に示すように、3台のカメラ50の設置位置が特定される。
 図2のステップS5では、仮想映像生成部24は、各カメラ50及び既設カメラ54によって仮想モデルを撮影した仮想撮影映像を生成する。そして、仮想映像生成部24は、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像46を生成する。
 図41の例であれば、仮想映像生成部24は、3台のカメラ50と、1台の既設カメラ54とによって仮想モデルを撮影した仮想撮影映像を生成し、仮想合成映像46を生成する。
 ***実施の形態3の効果***
 以上のように、実施の形態3に係る設置位置決定装置10は、既設カメラ54を考慮した上で、新たに設置するカメラ50の設置位置45を特定することができる。これにより、既設カメラ54が存在する場合に、不要に多くのカメラ50を設置することなく、対象領域42全体を撮影可能なカメラ50の設置位置45を特定することができる。
 10 設置位置決定装置、11 プロセッサ、12 記憶装置、13 入力インタフェース、14 表示インタフェース、15 処理回路、21 条件受付部、22 領域受付部、23 位置特定部、231 X位置特定部、232 Y位置特定部、24 仮想映像生成部、25 表示部、31 入力装置、32 ディスプレイ、41 カメラ条件、42 対象領域、43 CG空間、44 上面図、45 設置位置、46 仮想合成映像、47 不可範囲、50 カメラ、51 光軸、52 撮影面、53 移動体カメラ。

Claims (16)

  1.  カメラの撮影条件を示すカメラ条件の入力を受け付ける条件受付部と、
     前記条件受付部によって受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定する位置特定部と、
     前記位置特定部によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成部と
    を備える設置位置決定装置。
  2.  前記カメラ条件は、カメラの台数を示し、
     前記位置特定部は、前記カメラ条件が示す台数のカメラで対象領域を撮影可能な各カメラの設置位置を特定する
    請求項1に記載の設置位置決定装置。
  3.  前記カメラ条件は、限界高さを示し、
     前記位置特定部は、前記対象領域にいる前記限界高さ以下の被写体を撮影可能な前記設置位置を特定する
    請求項1又は2に記載の設置位置決定装置。
  4.  前記カメラ条件は、限界伸び率を示し、
     前記位置特定部は、前記仮想映像生成部によって前記仮想撮影映像が俯瞰変換される際、前記カメラの前方にいる前記限界高さ以下の被写体の伸び率が前記限界伸び率以下になる前記設置位置を特定する
    請求項3に記載の設置位置決定装置。
  5.  前記カメラ条件は、設置高さと、画角とを示し、
     前記位置特定部は、
     前記設置高さに設置された前記画角の2台のカメラをx方向に沿って対向させて設置した場合に、前記対象領域の前記x方向全体を撮影可能であり、かつ、前記x方向において前記被写体の伸び率が前記限界伸び率以下になる前記2台のカメラの前記x方向の設置位置X及び俯角を特定するX位置特定部と、
     前記X位置特定部によって特定された前記俯角及び前記設定位置Xに各カメラを設置する場合に、前記対象領域の前記x方向と直行するy方向全体を撮影可能な前記y方向の設置位置Yを特定するY位置特定部と
    を備える請求項4に記載の設置位置決定装置。
  6.  前記X位置特定部は、前記対象領域の前記x方向の端部の座標x1と、前記対象領域の前記x方向の幅Wxと、前記被写体の伸び率が前記限界伸び率以下になる前記x方向の幅Hkとを用いて、前記2台のカメラの一方の設定位置X1をX1=x1+(1/2)Wx-Hkにより特定し、他方の設置位置X2をX2=x1+(1/2)Wx+Hkにより特定する
    請求項5に記載の設置位置決定装置。
  7.  前記X位置特定部は、前記設置高さZと、前記限界高さZhと、前記画角θとを用いて、(π+θ)/2-arctan(Hk/(Z-Zh))>α、又は、(π+θ)/2-arctan(Hk/Z)>αであり、かつ、α>(π-θ)/2-arctan((Wx/2-Hk)/(Z―Zh))である前記俯角αを特定する
    請求項6に記載の設置位置決定装置。
  8.  前記Y位置特定部は、前記各カメラの水平解像度と垂直解像度との比をWθ:Hθとし、前記y方向に並べるカメラの台数をNとした場合に、前記対象領域の前記y方向の端部の座標y1と、前記カメラの前記x方向の撮影可能幅Hとを用いて、W1=((Wθsin(α-θ/2))/Hθcos(θ/2))Hとし、i=1,...,Nの各カメラの前記y方向の設置位置YiをYi=y1+((2i-1)/2)W1により特定する
    請求項7に記載の設置位置決定装置。
  9.  前記Y位置特定部は、前記y方向に並べるカメラの台数をNとした場合に、前記対象領域の前記y方向の端部の座標y1を用いて、i=1,...,Nの各カメラの前記y方向の設置位置YiをYi=y1+((2i-1)/2)2Hkにより特定する
    請求項7に記載の設置位置決定装置。
  10.  前記位置特定部は、前記台数で前記対象領域を撮影可能な前記設置位置を特定できない場合には、前記条件受付部に前記カメラ条件の再入力を受け付けさせる
    請求項1に記載の設置位置決定装置。
  11.  前記位置特定部は、前記限界伸び率以下になる前記設置位置を特定できない場合には、前記条件受付部に前記カメラ条件の再入力を受け付けさせる
    請求項4に記載の設置位置決定装置。
  12.  前記カメラ条件は、カメラを設置できない不可範囲を示し、
     前記位置特定部は、前記不可範囲を除いた範囲において、前記対象領域を撮影可能な各カメラの設置位置を特定する
    請求項1に記載の設置位置決定装置。
  13.  前記カメラ条件は、既設カメラの撮影範囲を特定可能な範囲情報を示し、
     前記位置特定部は、前記対象領域のうち前記範囲情報が示す撮影範囲を除いた領域を撮影可能な各カメラの設置位置を特定する
    請求項1に記載の設置位置決定装置。
  14.  前記仮想映像生成部は、前記各カメラと、前記既設カメラとによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する
    請求項13に記載の設置位置決定装置。
  15.  カメラの撮影条件を示すカメラ条件の入力を受け付け、
     受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定し、
     特定された前記設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する設置位置決定方法。
  16.  カメラの撮影条件を示すカメラ条件の入力を受け付ける条件受付処理と、
     前記条件受付処理によって受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定する位置特定処理と、
     前記位置特定処理によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成処理と
    をコンピュータに実行させる設置位置決定プログラム。
PCT/JP2017/000512 2016-02-04 2017-01-10 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム WO2017134987A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017539463A JP6246435B1 (ja) 2016-02-04 2017-01-10 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
GB201808744A GB2560128B (en) 2016-02-04 2017-01-10 Installation position determining device, installation position determining method, and installation position determining program
US16/061,768 US20190007585A1 (en) 2016-02-04 2017-01-10 Installation position determining device, installation position determining method, and computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2016/053309 2016-02-04
PCT/JP2016/053309 WO2017134786A1 (ja) 2016-02-04 2016-02-04 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム

Publications (1)

Publication Number Publication Date
WO2017134987A1 true WO2017134987A1 (ja) 2017-08-10

Family

ID=59500624

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2016/053309 WO2017134786A1 (ja) 2016-02-04 2016-02-04 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
PCT/JP2017/000512 WO2017134987A1 (ja) 2016-02-04 2017-01-10 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053309 WO2017134786A1 (ja) 2016-02-04 2016-02-04 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム

Country Status (4)

Country Link
US (1) US20190007585A1 (ja)
JP (1) JP6246435B1 (ja)
GB (1) GB2560128B (ja)
WO (2) WO2017134786A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259795A1 (ja) * 2021-06-10 2022-12-15 富士フイルム株式会社 カメラ角度決定装置、カメラ角度決定方法及びプログラム、撮影システム並びに被害判定システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074260A (ja) * 2004-08-31 2006-03-16 Sumitomo Electric Ind Ltd 駐車場におけるカメラ設置条件の自動決定方法
JP2009239821A (ja) * 2008-03-28 2009-10-15 Toa Corp カメラ設置シミュレータプログラム
JP2010093713A (ja) * 2008-10-10 2010-04-22 Sony Corp 表示制御装置、表示制御方法及びプログラム
JP2013171079A (ja) * 2012-02-17 2013-09-02 Nec System Technologies Ltd 撮影支援装置、撮影支援方法、及びプログラム
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05113745A (ja) * 1990-12-27 1993-05-07 Toshiba Lighting & Technol Corp カメラ運用シユミレーシヨン装置
JP4649050B2 (ja) * 2001-03-13 2011-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及び制御プログラム
JP4990852B2 (ja) * 2008-07-31 2012-08-01 Kddi株式会社 3次元移動の自由視点映像生成システムおよび記録媒体
US20100182400A1 (en) * 2009-01-16 2010-07-22 World Golf Tour, Inc. Aligning Images
US9749823B2 (en) * 2009-12-11 2017-08-29 Mentis Services France Providing city services using mobile devices and a sensor network
JP5136703B2 (ja) * 2010-02-02 2013-02-06 富士通株式会社 カメラ設置位置評価プログラム、カメラ設置位置評価方法およびカメラ設置位置評価装置
US20120069218A1 (en) * 2010-09-20 2012-03-22 Qualcomm Incorporated Virtual video capture device
US20140327733A1 (en) * 2012-03-20 2014-11-06 David Wagreich Image monitoring and display from unmanned vehicle
KR101297294B1 (ko) * 2013-06-13 2013-08-14 이범수 카메라 제어용 맵 인터페이스 시스템
JP6126501B2 (ja) * 2013-09-03 2017-05-10 Toa株式会社 カメラ設置シミュレータ及びそのコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074260A (ja) * 2004-08-31 2006-03-16 Sumitomo Electric Ind Ltd 駐車場におけるカメラ設置条件の自動決定方法
JP2009239821A (ja) * 2008-03-28 2009-10-15 Toa Corp カメラ設置シミュレータプログラム
JP2010093713A (ja) * 2008-10-10 2010-04-22 Sony Corp 表示制御装置、表示制御方法及びプログラム
JP2013171079A (ja) * 2012-02-17 2013-09-02 Nec System Technologies Ltd 撮影支援装置、撮影支援方法、及びプログラム
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259795A1 (ja) * 2021-06-10 2022-12-15 富士フイルム株式会社 カメラ角度決定装置、カメラ角度決定方法及びプログラム、撮影システム並びに被害判定システム

Also Published As

Publication number Publication date
JPWO2017134987A1 (ja) 2018-02-08
GB2560128B (en) 2019-12-04
GB2560128A (en) 2018-08-29
US20190007585A1 (en) 2019-01-03
GB201808744D0 (en) 2018-07-11
WO2017134786A1 (ja) 2017-08-10
JP6246435B1 (ja) 2017-12-13

Similar Documents

Publication Publication Date Title
CN106803884B (zh) 图像处理装置
EP3534336B1 (en) Panoramic image generating method and apparatus
US11627251B2 (en) Image processing apparatus and control method thereof, computer-readable storage medium
CN107660337A (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
JP2007072537A (ja) 360°画像撮影装置
KR20190125526A (ko) 사용자 움직임 정보에 기초하여 영상을 표시하기 위한 방법 및 장치
KR20140100656A (ko) 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
JP5521750B2 (ja) シミュレーションプログラム、シミュレーション装置及びシミュレーション方法
US11244423B2 (en) Image processing apparatus, image processing method, and storage medium for generating a panoramic image
US8264589B2 (en) Display control apparatus, method of controlling display apparatus, and storage medium
JP5136703B2 (ja) カメラ設置位置評価プログラム、カメラ設置位置評価方法およびカメラ設置位置評価装置
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
CN110807413B (zh) 目标显示方法以及相关装置
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
US20180286013A1 (en) Immersive display apparatus and method for creation of peripheral view corresponding to input video
JP6246435B1 (ja) 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
KR101529820B1 (ko) 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치
JP2019101563A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2017069920A (ja) 自由視点画像データ生成装置および自由視点画像データ再生装置
US20200312014A1 (en) Image generation apparatus, image generation method and storage medium
WO2019163449A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP5673293B2 (ja) 画像合成方法、画像合成装置、プログラム、及び、記録媒体
JP2016134765A (ja) 監視システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017539463

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17747150

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 201808744

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20170110

WWE Wipo information: entry into national phase

Ref document number: 1808744.5

Country of ref document: GB

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17747150

Country of ref document: EP

Kind code of ref document: A1