WO2019239717A1 - 撮影支援装置、撮影支援方法、及び撮影支援プログラム - Google Patents

撮影支援装置、撮影支援方法、及び撮影支援プログラム Download PDF

Info

Publication number
WO2019239717A1
WO2019239717A1 PCT/JP2019/016696 JP2019016696W WO2019239717A1 WO 2019239717 A1 WO2019239717 A1 WO 2019239717A1 JP 2019016696 W JP2019016696 W JP 2019016696W WO 2019239717 A1 WO2019239717 A1 WO 2019239717A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
shooting
display
overhead view
Prior art date
Application number
PCT/JP2019/016696
Other languages
English (en)
French (fr)
Inventor
田中 康一
内田 亮宏
入江 公祐
慎也 藤原
伸一郎 藤木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020525302A priority Critical patent/JP6841977B2/ja
Publication of WO2019239717A1 publication Critical patent/WO2019239717A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the technology of the present disclosure relates to a shooting support apparatus, a shooting support method, and a shooting support program.
  • Patent Literature 1 describes a technique for presenting an example stored in a database and performing imaging using setting information indicating setting conditions when imaging is performed as in the example.
  • Patent Document 2 when shooting a shooting target using a plurality of imaging devices, information indicating the size, position, and moving speed of the shooting target, and zoom magnification obtained in another imaging device are described.
  • a technique is described in which an imaging apparatus performs imaging with a composition determined based on metadata such as information to be shown.
  • a plurality of imaging devices are used to shoot a specific shooting target from different directions or different positions, and images captured by each of the plurality of imaging devices.
  • a combination of images is used to generate a single captured image.
  • the relationship between the captured images captured by each of the plurality of imaging devices for example, included in each captured image. It is desired that the relationship such as the orientation of the object to be photographed be in a state desired by the user. Therefore, the relative positional relationship between each of the plurality of imaging devices and the imaging target is important.
  • Patent Literature 1 and Patent Literature 2 Although an example or composition for photographing an imaging target can be grasped, the relative positional relationship between each of the plurality of imaging devices and the photographing objects cannot be grasped.
  • the present disclosure has been made in consideration of the above circumstances, and a photographing support apparatus capable of obtaining a desired captured image when a plurality of captured images are combined to obtain a single captured image. It is an object to provide a shooting support method and a shooting support program.
  • the imaging support apparatus acquires a captured image captured by a predetermined imaging apparatus among a plurality of imaging apparatuses that capture an image of a specific imaging target. Based on the acquisition unit and the image of the shooting target included in the captured image acquired by the acquisition unit, each of the plurality of imaging devices and the shooting target represents a relative positional relationship recommended for shooting the shooting target.
  • a generation unit that generates a top view for recommendation
  • a display control unit that performs control for displaying the top view for recommendation generated by the generation unit on the display unit.
  • the imaging support apparatus is the imaging support apparatus according to the first aspect, wherein the generation unit is recommended when the predetermined imaging apparatus is used as a reference, and is different from the predetermined imaging apparatus.
  • a bird's-eye view for recommendation that represents the relative positional relationship of is generated.
  • the imaging support apparatus is the imaging support apparatus according to the first aspect or the second aspect, in which the acquisition unit acquires a captured image captured by each of the plurality of imaging devices, and the generation unit acquires Based on the image of the imaging target included in each of the captured images acquired by the unit, an overview of the actual position representing the relative positional relationship between each of the plurality of imaging devices and the imaging target where the imaging of the imaging target was performed Generate more diagrams.
  • the imaging support apparatus is the imaging support apparatus according to the third aspect, in which the display control unit displays the recommended overhead view and the overhead view of the actual position on the display unit in a superimposed state. To control.
  • the shooting support apparatus is the shooting support apparatus according to any one of the first to fourth aspects, wherein the generation unit is information on the size of the shooting target obtained by analyzing the captured image.
  • the overhead view is generated based on at least one of the information regarding the position of the shooting target and the information regarding the direction of the shooting target.
  • the imaging support apparatus is the imaging support apparatus according to any one of the first aspect to the fifth aspect, wherein the acquisition unit acquires a captured image captured by each of the plurality of imaging apparatuses,
  • the display control unit controls the display unit to display an overhead view generated by the generation unit and at least one captured image of the captured images acquired by each of the plurality of imaging devices acquired by the acquisition unit.
  • the imaging support apparatus is the imaging support apparatus according to the sixth aspect, in which the captured image to be displayed on the display unit is any of the captured images captured by each of the plurality of imaging apparatuses.
  • the display control unit further includes a reception unit that receives designation of whether to perform the display, and the display control unit controls the display unit to display the captured image for which the designation is accepted.
  • the shooting support apparatus is shown in the overhead view as compared with the overhead view displayed on the display unit by the display control unit in the shooting support apparatus according to any one of the first to seventh aspects.
  • a specifying unit that specifies the changed state for at least one of the position and orientation in each of the plurality of imaging devices, and the generation unit captures an image by each of the plurality of imaging devices in the changed state
  • the estimated captured image to be estimated is further generated, and the display control unit performs control to display the estimated captured image generated by the generating unit on the display unit.
  • a shooting support apparatus stores information representing a relative positional relationship in which shooting of a shooting target is performed in the shooting support apparatus according to any one of the first to eighth aspects.
  • the unit is further provided.
  • a photographing support device is the main camera mainly used for photographing a photographing target in the photographing support device according to any one of the first to ninth aspects. .
  • An imaging support apparatus is the imaging support apparatus according to any one of the first to tenth aspects, and the captured image is a moving image.
  • the shooting support method acquires a captured image captured by a predetermined imaging device among a plurality of imaging devices that capture a specific imaging target, and selects a shooting target included in the acquired captured image. Based on the image, a top view for recommendation representing a relative positional relationship of each of the plurality of imaging devices and the photographing target recommended for photographing the photographing target is generated, and the generated overhead view is displayed on the display unit.
  • This is a photographing support method for executing processing by a computer that performs control of display.
  • the shooting support program acquires a captured image captured by a predetermined imaging device among a plurality of imaging devices that capture a specific shooting target, and the shooting target included in the acquired captured image. Based on the image, a top view for recommendation representing a relative positional relationship of each of the plurality of imaging devices and the photographing target recommended for photographing the photographing target is generated, and the generated overhead view is displayed on the display unit. Controls the display to be executed by a computer.
  • the imaging support apparatus is an imaging support apparatus including a processor, and the processor performs predetermined imaging among a plurality of imaging apparatuses that capture a specific imaging target.
  • a captured image captured by the apparatus is acquired, and based on the image of the imaging target included in the acquired captured image, each of the plurality of imaging apparatuses and the relative target recommended for capturing the imaging target.
  • This is a photographing support device that generates a recommended overhead view representing a positional relationship and performs control to display the generated overhead view on a display unit.
  • a desired captured image when a plurality of captured images are combined to obtain one captured image, a desired captured image can be obtained.
  • the imaging system 10 of the present embodiment includes two imaging devices, a main camera 12 and a sub camera 14, and a shooting support device 16.
  • the main camera 12 and the sub camera 14 of this embodiment are an example of a plurality of imaging devices of the present disclosure.
  • the user captures a subject S, which is a person, using the main camera 12 mainly used and the sub camera 14 used as an auxiliary, and the main camera 12 and the sub camera 14 respectively.
  • a mode of generating one moving image, so-called video content, by combining the obtained moving images will be described.
  • one person or a plurality of persons who actually operate each of the main camera 12 and the sub camera 14 may be used. It is simply called “user”.
  • a moving image captured by the main camera 12 is referred to as a “main camera image”
  • a moving image captured by the sub camera 14 is referred to as a “sub camera image”.
  • a mode in which a user generates a single moving image by combining the main camera image and the sub camera image by connecting the main camera image and the sub camera image in time series order To do. Specifically, for example, the main camera image from 3 minutes after the start of shooting of the shooting target S, the sub camera image from 3 minutes to 4 minutes, and the main camera image from 4 minutes to 7 minutes later A case where the main camera image and the sub camera image are combined in time series will be described.
  • the combination of the main camera image and the sub camera image is not limited to the present embodiment.
  • one screen may be divided into two areas, and the main camera image and the sub camera image may be combined by arranging the main camera image in one divided area and the sub camera image in the other area. Further, one of the main camera image and the sub-camera image may be combined with the other image, and both images may be displayed at the same time.
  • Each of the main camera 12 and the sub camera 14 is connected to the photographing support device 16 by a high-definition multimedia interface (HDMI) (registered trademark) cable.
  • HDMI high-definition multimedia interface
  • the connection method between the main camera 12 and the sub camera 14 and the photographing support device 16 is not limited to the present embodiment, and other wired connection forms or wireless connection forms may be used. Also good.
  • the main camera 12 and the sub camera 14 may be connected to the photographing support apparatus 16 by different methods. Moving image data representing a moving image captured by each of the main camera 12 and the sub camera 14 is output to the imaging support device 16.
  • the photographing support device 16 has a function of assisting the user in photographing the photographing target S by presenting the photographing positions of the main camera 12 and the sub camera 14 suitable for obtaining video content desired by the user. Have.
  • the photographing support apparatus 16 of the present embodiment includes a CPU (Central Processing Unit) 20, a memory 21 as a temporary storage area, and a nonvolatile storage unit 22.
  • the imaging support device 16 includes a display unit 23 such as a liquid crystal display and an operation unit 24 including various buttons.
  • the display unit 23 and a part of the operation unit 24 are configured as an integrated touch panel display.
  • the imaging support device 16 includes an external I / F (Interface) 26 to which the main camera 12 and the sub camera 14 are connected.
  • the CPU 20, the memory 21, the storage unit 22, the display unit 23, the operation unit 24, and the external I / F 26 are connected to the bus 29. Examples of the photographing support device 16 include a personal computer and a server computer.
  • the storage unit 22 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • a shooting support program 30 is stored in the storage unit 22 as a storage medium.
  • the CPU 20 reads out the shooting support program 30 from the storage unit 22, expands it in the memory 21, and executes the expanded shooting support program 30.
  • the imaging support apparatus 16 of this embodiment includes an acquisition unit 40, a generation unit 42, a display control unit 44, and a reception unit 46.
  • the CPU 20 executes the photographing support program 30, the CPU 20 functions as an acquisition unit 40, a generation unit 42, a display control unit 44, and a reception unit 46.
  • the acquisition unit 40 acquires from the main camera 12 main camera images captured by the main camera 12, more specifically, moving image data representing the main camera images.
  • the acquisition unit 40 acquires from the sub camera 14 sub camera images captured by the sub camera 14, more specifically, moving image data representing the sub camera images.
  • the generation unit 42 obtains at least one of information on the size of the shooting target S, information on the position of the shooting target S, and information on the direction of the shooting target S obtained by analyzing the main camera image and the sub camera image. Based on the information, it has a function of generating an overhead view. Specifically, the generation unit 42 of the present embodiment, based on the image of the shooting target S included in the main camera image acquired by the acquisition unit 40, of the main camera 12, the sub camera 14, and the shooting target S. A recommended overhead view (hereinafter referred to as a “recommended overhead view”) representing a relative positional relationship recommended for the user to capture the imaging target S is generated.
  • a recommended overhead view (hereinafter referred to as a “recommended overhead view”) representing a relative positional relationship recommended for the user to capture the imaging target S is generated.
  • the generation unit 42 of the present embodiment also uses the main camera 12, the sub camera 14, and the shooting target S based on the main camera image acquired by the acquisition unit 40 and the image of the shooting target S included in each of the sub cameras 14.
  • An overhead view of the actual position (hereinafter referred to as “real position overhead view”) representing the relative positional relationship where the photographing of the subject S is actually performed is generated.
  • the display control unit 44 performs control to display the recommended overhead view generated by the generation unit 42 on the display unit 23.
  • the display control unit 44 of the present embodiment performs control to display the actual position overhead view generated by the generation unit 42 on the display unit 23.
  • the display control unit 44 of the present embodiment performs control to display at least one moving image of the main camera image and the sub camera image acquired by the acquisition unit 40 on the display unit 23.
  • the accepting unit 46 accepts designation of which of the main camera image and the sub camera image is a moving image to be displayed on the display unit 23 from the user via the operation unit 24.
  • the operation of the photographing support apparatus 16 of the present embodiment will be described.
  • the CPU 20 executes the shooting support program 30
  • the shooting support process shown in FIG. 4 is executed.
  • the imaging support process illustrated in FIG. 4 is executed, for example, when the operation unit 24 instructs the execution of the imaging support process.
  • step S ⁇ b> 100 of FIG. 4 the display control unit 44 causes the display unit 23 to display guidance for prompting the user to connect the main camera 12 to the imaging support device 16.
  • the user connects the main camera 12 to the HDMI terminal (not shown) of the photographing support device 16 according to the guidance displayed on the display unit 23.
  • the main camera 12 may be connected to the imaging support apparatus 16 before displaying the guidance in this step.
  • the acquisition unit 40 determines whether or not the photographing support process has been canceled.
  • a cancel button included in the operation unit 24. Can be instructed to cancel the photographing support processing. Therefore, in this step S102, it is determined whether or not the user has instructed cancellation by operating the cancel button.
  • the display control unit 44 causes the display unit 23 to display information indicating that the shooting support process is to be canceled, and then ends the shooting support process.
  • step S ⁇ b> 104 the acquisition unit 40 determines whether the main camera image is input from the main camera 12 to the imaging support device 16 via the external I / F 26. Until the main camera image is input, the determination in step S104 is negative, and the process returns to step S102. On the other hand, when the main camera image is input and acquired by the acquisition unit 40, the determination in step S104 is affirmative and the process proceeds to step S106.
  • step S ⁇ b> 106 the generation unit 42 starts analyzing the main camera image acquired by the acquisition unit 40.
  • the generation unit 42 of the present embodiment estimates the orientation of the subject S with respect to the main camera 12 (face orientation) and the distance between the subject S and the main camera 12 by analyzing the main camera image.
  • face orientation the orientation of the subject S with respect to the main camera 12
  • the generation unit 42 may detect the face of the shooting target S included in the main camera image, and estimate the distance between the shooting target S and the main camera 12 from the size of the face occupying the angle of view.
  • the face, pupil, nose, mouth, and the like of the shooting target S included in the main camera image may be detected, and the face orientation with respect to the main camera 12 may be estimated from these positions and sizes.
  • the focal length of the main camera 12 is used for estimating the distance between the subject S and the main camera 12, but in order to perform more accurate position analysis, the focal length of the lens actually used for imaging is used. It is preferable that this information is obtained.
  • communication with the main camera 12 may be performed via the external I / F 26, and the generation unit 42 may acquire information indicating the focal length of the lens used for imaging from the main camera 12.
  • Information indicating the focal length may be input. Note that when information indicating the focal length of a lens actually used for imaging cannot be acquired, a so-called 35 mm equivalent focal length of 50 mm may be used.
  • the display control unit 44 causes the display unit 23 to display guidance for prompting the user to connect the sub camera 14 to the imaging support device 16.
  • the user connects the sub camera 14 to the HDMI terminal (not shown) of the photographing support device 16 according to the guidance displayed on the display unit 23.
  • the sub camera 14 may be connected to the photographing support apparatus 16 before the guidance is displayed in this step.
  • step S110 the acquisition unit 40 determines whether or not the shooting support process has been canceled, as in step S102.
  • the determination in step S110 is affirmative, the process proceeds to step S126, and the display control unit 44 causes the display unit 23 to display information indicating that the shooting support process is to be canceled. Thereafter, the photographing support process is terminated.
  • step S 110 determines whether a sub camera image is input from the sub camera 14 to the imaging support device 16 via the external I / F 26. Until the sub camera image is input, the determination in step S112 is negative, and the process returns to step S110. On the other hand, when the sub camera image is input and acquired by the acquisition unit 40, the determination in step S112 is affirmative, and the process proceeds to step S114.
  • step S114 the generation unit 42 starts analysis of the sub camera image acquired by the acquisition unit 40.
  • the generation unit 42 of the present embodiment estimates the orientation of the subject S with respect to the sub camera 14 (face orientation) and the distance between the subject S and the sub camera 14 by performing image analysis on the sub camera image.
  • These estimation methods and image analysis methods are not particularly limited, and can be the same as in step S106.
  • the generation unit 42 generates a recommended overhead view based on the analysis result of the main camera image.
  • the orientation of the face of the shooting target S with respect to the main camera 12 and the distance between the shooting target S and the main camera 12 are estimated.
  • the shooting position and shooting direction of the sub camera 14 recommended based on the shooting position and orientation (shooting direction) of the main camera 12 based on the orientation of the face and the distance to the shooting target S are used.
  • the method for deriving the recommended shooting position and shooting direction of the sub camera 14 is not particularly limited.
  • At least one of the orientation of the face of the shooting target S, the position of the main camera 12, and the shooting direction of the main camera 12, and the relationship between the position and the shooting direction of the sub camera 14 (hereinafter referred to as “recommended position relationship”). May be stored in the storage unit 22 in advance, and the generation unit 42 may derive a recommended shooting position and shooting direction of the sub camera 14 based on the recommended positional relationship stored in the storage unit 22.
  • the method for generating the recommended overhead view in the generation unit 42 is not particularly limited.
  • the icons corresponding to the main camera 12, the sub camera 14, and the shooting target S are arranged in a state of looking down from the head side (upper side) of the shooting target S in accordance with each direction and position.
  • FIG. 5A shows an example of the recommended overhead view 50 generated by the generation unit 42 of the present embodiment.
  • an icon 60 indicating the shooting target S is arranged together with information indicating the face direction.
  • an icon 62 indicating the main camera 12 according to the shooting position and shooting direction of the main camera 12, and the sub camera 14 according to the recommended shooting position and shooting direction of the sub camera 14 are shown.
  • An icon 65 to be shown is arranged.
  • the icon 62 in the recommended bird's-eye view 50 is based on the shooting position and shooting direction of the main camera 12 where shooting was actually performed. Has been placed.
  • the generation unit 42 generates an actual position overhead view based on the analysis result of the main camera image and the analysis result of the sub camera image.
  • the method for generating the actual position overhead view in the generation unit 42 is not particularly limited, and for example, a method similar to the method for generating the recommended overhead view can be used.
  • FIG. 5B shows an example of the actual position overhead view 52 generated by the generation unit 42 of the present embodiment. In the actual position bird's-eye view 52 shown in FIG. 5B, an icon 60 indicating the photographing target S is arranged together with information indicating the face orientation.
  • an icon 62 indicating the main camera 12 according to the shooting position and shooting direction of the main camera 12 and an icon 64 indicating the sub camera 14 according to the shooting position and shooting direction of the sub camera 14 are shown. And are arranged.
  • the icon 64 indicating the sub camera 14 is arranged based on the shooting position and shooting direction of the sub camera 14 that has actually been shot.
  • the display control unit 44 displays the recommended overhead view 50, the actual position overhead view 52, the main camera image 70, and the sub camera image 72 on the display unit 23, as in the example illustrated in FIG. Take control.
  • the recommended overhead view 50 and the actual position overhead view 52 are superimposed and displayed on the display unit 23.
  • a real-time main camera image 70 of the main camera 12 and a real-time sub-camera image 72 of the sub camera 14 are displayed.
  • the user can determine the relationship between the shooting positions and shooting directions of the main camera 12 and the sub camera 14 and the moving images that are actually captured. It becomes easier to grasp the relationship with the image.
  • the display control unit 44 may not display the main camera image 70 and the sub camera image 72 on the display unit 23, or may display only one of them. is there.
  • the display control unit 44 when the receiving unit 46 receives a designation of a moving image to be displayed from the user via the operation unit 24, the display control unit 44 causes the display unit 23 to display the designated moving image, and the receiving unit When 46 does not accept the designation, both the main camera image 70 and the sub camera image 72 are displayed on the display unit 23.
  • the generation unit 42 determines whether or not at least one of the main camera 12 and the sub camera 14 has moved, more specifically, the shooting position of at least one of the main camera 12 and the sub camera 14 It is also determined whether or not the shooting direction has changed.
  • the method by which the generation unit 42 determines whether at least one camera has moved is not particularly limited.
  • the generation unit 42 may perform image analysis on each of the main camera image 70 and the sub camera image 72 and determine whether or not the position or orientation of the shooting target S or another subject has changed. Further, for example, when the main camera image 70 and the sub camera image 72 include position detection sensors, the generation unit 42 may acquire detection results of these sensors and make a determination based on the acquired detection results. .
  • step S122 When at least one of the main camera 12 and the sub camera 14 has moved, the determination in step S122 is affirmative, the process returns to step S116, and the processes in steps S118 and S120 are repeated.
  • the recommended bird's-eye view 50 and the actual position bird's-eye view 52 displayed on the display unit 23 are updated according to the movement of at least one of the cameras, and each becomes a bird's-eye view corresponding to a real-time state.
  • step S124 the generation unit 42 determines whether to end the photographing support process.
  • a predetermined termination condition such as when the cancel button is operated by the user, or when at least one of the main camera 12 and the sub camera 14 is disconnected from the HDMI terminal, etc. If the condition is satisfied, the photographing support process is terminated. If the end condition is not satisfied, the determination in step S124 is negative, the process returns to step S122, and the above process is repeated. On the other hand, if the end condition is satisfied, the determination in step S124 is affirmative, and the photographing support process ends.
  • the display control unit 44 ends the display of the recommended overhead view 50, the actual position overhead view 52, the main camera image 70, and the sub camera image 72 displayed on the display unit 23.
  • the form in which the direction is uniquely determined that is, the case where there is one type of recommended top view 50 for recommendation has been described, but the present invention is not limited to this embodiment, and there may be a plurality of types of recommended top views for recommendation,
  • a plurality of the recommended positional relationships may be provided.
  • the distance between the imaging target S and the sub camera 14 includes a recommended overhead view 50B that is different from the distance of the sub camera 14 recommended by the recommended overhead view 50 shown in FIG. 5A. May be.
  • FIG. 8 shows a flowchart showing an example of the flow of photographing support processing when there are a plurality of types of recommended overhead views.
  • the shooting support process shown in FIG. 8 is different from the above-described shooting support process (see FIG. 4) in that steps S121A to S121C are included between steps S120 and S122.
  • step S121B the display control unit 44 updates the recommended overhead view (either 50, 50A, or 50B) displayed on the display unit 23.
  • the generation unit 42 acquires one recommended positional relationship different from the overhead view for recommendation currently displayed on the display unit 23 from the plurality of recommended positional relationships stored in the storage unit 22, A recommended overhead view is generated based on the acquired recommended positional relationship, and the display control unit 44 causes the display unit to display the generated recommended overhead view.
  • the user decides to use the recommended overhead view displayed on the display unit 23 for photographing, the user instructs to determine the recommended overhead view by operating a decision button (not shown) included in the operation unit 24. To do.
  • step S121C the receiving unit 46 determines whether or not the determination instruction has been received. If the receiving unit 46 of the present embodiment does not receive the determination instruction even after a predetermined time has elapsed, the determination in step S121C is negative, the process returns to step S121A, and the process of step S121B is performed. repeat. On the other hand, when the reception unit 46 receives the determination instruction within a predetermined time, the determination in step S121C is affirmative, and the process proceeds to step S122. In addition, after this processing, when an affirmative determination is made in step S122 and the process returns to step S116 to generate the recommended overhead view again, the recommendation is made based on the recommended positional relationship corresponding to the recommended overhead view determined in step S121C. Generate an overhead view.
  • the imaging position and imaging direction of the sub camera 14 recommended leads out the imaging position and imaging direction of the sub camera 14 recommended as an example with respect to the imaging position and imaging direction of the main camera 12, it is not limited to this embodiment.
  • the recommended overhead view 50C generated by the generation unit 42 and displayed on the display unit 23 is a main view corresponding to the recommended shooting position and shooting direction of the main camera 12, as in the example illustrated in FIG.
  • An icon 63 indicating the camera 12 and an icon 65 indicating the sub camera 14 corresponding to the recommended shooting position and shooting direction of the sub camera 14 are arranged.
  • the acquisition unit 40 acquires the main camera image in which the imaging target S is captured by the user from the main camera 12, and the generation unit 42 analyzes the acquired main camera image.
  • the recommended overhead view is generated based on the analysis result obtained from the image of the shooting target S included in the main camera image, and the display control unit 44 causes the display unit 23 to display the recommended overhead view.
  • the relative positional relationship between each camera and the photographing target S recommended for the user to photograph the photographing target S with the main camera 12 and the sub camera 14 is determined. It becomes possible to grasp. Therefore, according to the photographing support apparatus 16 of the present embodiment, the user can obtain a desired moving image when obtaining one moving image by combining the main camera image and the sub camera image.
  • the configurations of the imaging system 10 and the imaging support device 16 of the present embodiment are the same as the configurations of the imaging system 10 and the imaging support device 16 of the first embodiment (see FIGS. 1 to 3), description thereof will be omitted.
  • FIG. 10 is a flowchart illustrating an example of the flow of the shooting support process of the present embodiment.
  • the imaging support process of the present embodiment is different in that the process of step S125 is performed after step S124 of the imaging support process (see FIG. 4) of the first embodiment.
  • step S125 which is performed after the determination as to whether or not to end the photographing support process is affirmative, the generation unit 42 is an actual position overhead view 52 displayed on the display unit 23 under the control of the display control unit 44.
  • the photographing support process is terminated. That is, the generation unit 42 stores information indicating the relative positional relationship in which the imaging target S is captured in the storage unit 22.
  • the information indicating the main camera 12 and the information indicating the sub camera 14 that the generation unit 42 stores in the storage unit 22 is not particularly limited. For example, information that enables identification of the camera used for shooting such as an identifier. If it is.
  • the shooting support apparatus 16 of the present embodiment when the shooting support process is ended, that is, when the user ends shooting of the shooting target S by the main camera 12 and the sub camera 14.
  • An actual position bird's-eye view 52 representing the relative positional relationship between the arrangement of the sub camera 14 and the orientation of the shooting target S is described in the storage unit 22 in association with information representing the main camera 12 and information representing the sub camera 14.
  • step S125 the generation unit 42 associates the information indicating the main camera 12 and the information indicating the sub camera 14 with the recommended overhead view 50 together with the actual position overhead view 52 instead of the actual position overhead view 52.
  • FIG. Further, it may be possible for the user to give an instruction via the operation unit 24 regarding which of the recommended overhead view 50 and the actual position overhead view 52 is stored in the storage unit 22.
  • each of steps S115A to S115D is performed between step S114 and step S116 as compared to the shooting support process of the first embodiment (see FIG. 4). The difference is that the process is executed.
  • step S115A for the main camera 12 and the sub camera 14 that are currently connected, the generation unit 42 stores the camera information of both the information representing the main camera 12 and the information representing the sub camera 14 in the storage unit 22. Determine whether or not. When both camera information is memorize
  • step S115B the generation unit 42 reads the actual position overhead view 52 associated with the information representing the main camera 12 and the information representing the sub camera 14 from the storage unit 22 to obtain the recommended overhead view 50, The process proceeds to step S118.
  • step S115C the display control unit 44 indicates that the actual position overhead view 52 corresponding to both pieces of camera information is not stored in the storage unit 22 on the display unit 23, that is, the imaging support device 16 is connected to the main.
  • Information indicating that the camera 12 and the sub camera 14 are a combination of the main camera 12 and the sub camera 14 that have not been supported for shooting until now is displayed on the display unit 23 as guidance.
  • the user refers to the guidance displayed on the display unit 23 and operates the approval button (not shown) included in the operation unit 24 if there is no change in the connected camera. Instructing that the photographing support process be canceled by instructing the user to approve or operating a cancel button (not shown) included in the operation unit 24.
  • step S115D the generation unit 42 determines whether or not the approval button has been operated.
  • the determination in step S115D is negative, and the photographing support process ends.
  • step S115D the determination in step S115D is affirmative, and the process proceeds to step S116.
  • the generation unit 42 generates the recommended overhead view 50 and the actual position overhead view 52 based on the main camera image and the sub camera image input by the combination of the newly connected main camera 12 and sub camera 14. Will be generated.
  • step S115A it is determined whether or not both pieces of camera information are stored in step S115A.
  • the present invention is not limited to this embodiment, and the camera information of one of the main camera 12 and the sub camera 14 is determined. It is good also as a form which determines whether or not is memorize
  • the shooting support process performed by the shooting support apparatus 16 of the present embodiment after the shooting support process is performed, the shooting support process is performed again for the shooting using the same main camera 12 and sub camera 14.
  • the previous bird's-eye view displayed on the display unit 23 is adopted as the recommended bird's-eye view.
  • the configuration of the imaging system 10 of the present embodiment is the same as the configuration of the imaging system 10 of the first embodiment (see FIG. 1), description thereof is omitted.
  • the configuration of the imaging support apparatus 16 is different from the configuration of the imaging support apparatus 16 of the first embodiment (see FIGS. 2 and 3) in that it further includes a designation unit 47 as shown in FIG. Yes.
  • the display control unit 44 has been described as displaying the main camera image 70 and the sub camera image 72 on the display unit 23.
  • the main camera 12 and the sub camera 12 are displayed at the specified position and shooting direction.
  • An embodiment in which an estimated captured image estimated to be captured by the camera 14 is displayed on the display unit 23 instead of the main camera image 70 or the sub camera image 72 will be described.
  • the operation of generating and displaying an estimated captured image estimated to be captured by the main camera 12 or the sub camera 14 at the position and shooting direction specified by the user will be referred to as simulation.
  • the designation unit 47 has at least the position and the shooting direction.
  • One of the functions has a function in which the changed state is designated by the user.
  • the simulation process shown in FIG. 12 includes, for example, when the user touches any of the icons 62, 63, 64, and 65 displayed on the display unit 23, or instructs the operation unit 24 to perform a simulation. It is executed when the user uses it.
  • step S ⁇ b> 200 illustrated in FIG. 12 the designation unit 47 determines whether the user's operation on any of the icons 62, 63, 64, and 65 has been completed.
  • the movement of the position of each of the icons 62, 63, 64, and 65 corresponds to the movement of the position of the main camera 12 or the sub camera 14 corresponding to each icon.
  • the rotation of each of the icons 62, 63, 64, and 65 corresponds to the change (rotation) of the shooting direction of the main camera 12 or the sub camera 14 corresponding to each icon.
  • each of the icons 62, 63, 64, and 65 is enlarged or reduced in the height direction of the main camera 12 or the sub camera 14 corresponding to each icon (the height direction in the real world, the depth direction in the display of the display unit 23). ) Corresponds to movement in a direction in which the height increases, and when reduced, it corresponds to movement in a direction in which the height decreases.
  • step S200 The determination in step S200 is negative until the operation is completed.
  • step S200 the determination in step S200 is affirmative and the process proceeds to step S202.
  • step S202 the generation unit 42 generates an estimated captured image according to the state after any of the icons 62, 63, 64, and 65 operated by the user. Specifically, the generation unit 42 derives the position and shooting direction of the main camera 12 or the sub camera 14 with respect to the shooting target S based on the position, orientation, and size of the icon after the operation, and the derived position. And an estimated captured image that is estimated to be captured in the imaging direction is generated.
  • the specific method by which the generation unit 42 generates the estimated captured image is not particularly limited.
  • three-dimensional person composition data is stored in the storage unit 22, and the three-dimensional person composition data is rendered according to the position and photographing direction of the main camera 12 or the sub camera 14 with respect to the derived photographing object S.
  • an estimated captured image may be generated.
  • the display control unit 44 performs the estimation generated by the generation unit 42 instead of the main camera image 70 or the sub camera image 72 corresponding to any of the icons 62, 63, 64, and 65 operated by the user.
  • the captured image is displayed on the display unit 23.
  • the icon 65 of the recommended overhead view 50 corresponding to the sub camera 14 is operated, the estimated captured image 73 generated by the generation unit 42 is displayed on the display unit 23 instead of the sub camera image 72.
  • An example of the state displayed is shown.
  • step S206 the designation unit 47 determines whether or not to end the simulation process.
  • the determination in step S206 is negative until the end condition is satisfied, the process returns to step S200, and the processes in steps S202 and S204 are repeated.
  • the determination in step S206 is affirmative, and the simulation process ends.
  • the imaging support apparatus 16 generates an estimated captured image that is estimated to be captured by the main camera 12 or the sub camera 14 and displays the estimated captured image on the display unit 23 according to the user's designation.
  • the user can easily determine what the main camera image or the sub camera image is without moving the position of the main camera 12 or the sub camera 14 by a simple operation. Whether it becomes an image can be grasped from the estimated captured image. Therefore, it is possible to easily perform shooting of the shooting target S, and it is possible to shorten the shooting time.
  • the imaging support device 16 in each of the above embodiments acquires the main camera image captured by the main camera 12 of the main camera 12 and the sub camera 14 that captures the specific imaging target S. 40 and the image of the shooting target S included in the main camera image acquired by the acquisition unit 40 are recommended for shooting the shooting target S of each of the main camera 12 and the sub camera 14 and the shooting target S.
  • a generation unit 42 that generates a recommended overhead view representing a relative positional relationship, and a display control unit 44 that performs control to display the overhead view generated by the generation unit 42 on the display unit 23 are provided.
  • the photographing support device 16 of the present embodiment even a user who is unfamiliar with photographing can easily grasp the setting position of each imaging device. Therefore, according to the photographing support apparatus 16 of each of the above embodiments, a desired moving image can be obtained when a single moving image is obtained by combining the main camera image and the sub camera image.
  • the main camera 12 and the sub camera 14 can be connected to the photographing support device 16 at the same time, in other words, the acquisition unit 40 can acquire the main camera image and the sub camera image at the same time.
  • the present invention is not limited to the above embodiments.
  • only one of the main camera 12 and the sub camera 14 can be connected to the photographing support apparatus 16, and the main camera image and the sub camera by the acquisition unit 40 can be connected by alternately connecting the main camera 12 and the sub camera 14. It is good also as a form which enables acquisition with a camera image.
  • the recommended overhead view and the actual position overhead view generated by the generation unit 42 are It may not be an overhead view according to the real-time state.
  • the number of imaging devices used for shooting is not limited.
  • the main camera image and the sub camera image are moving images.
  • at least one of the main camera image and the sub camera image may be a still image.
  • the hardware structure of a processing unit that executes various processes such as the acquisition unit 40, the generation unit 42, the display control unit 44, the reception unit 46, and the designation unit 47 is as follows.
  • the following various processors can be used.
  • the CPU which is a general-purpose processor that functions as various processing units by executing software (programs)
  • the above-mentioned various processors include circuits after manufacturing FPGA (Field Programmable Gate Array) and the like.
  • Dedicated electricity which is a processor having a circuit configuration designed exclusively for executing specific processing such as a programmable logic device (PLD), an ASIC (Application Specific Integrated Circuit), etc. Circuits are included.
  • One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs, a combination of a CPU and an FPGA). (Combination). Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client and a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • IC integrated circuit
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.
  • the photographing support program 30 is provided in a form recorded on a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. Also good. Further, the photographing support program 30 may be downloaded from an external device via a network.
  • a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. Also good. Further, the photographing support program 30 may be downloaded from an external device via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

複数の撮像画像を組み合わせて1つの撮像画像を得る場合において、所望の撮像画像を得られるようにすることができる、撮影支援装置、撮影支援方法、及び撮影支援プログラムを提供する。撮影支援装置(16)は、特定の撮影対象(S)を撮像するメインカメラ(12)及びサブカメラ(14)のうちのメインカメラ(12)により撮像されたメインカメラ画像を取得する取得部(40)と、取得部(40)が取得したメインカメラ画像に含まれる撮影対象(S)の画像に基づいて、メインカメラ(12)及びサブカメラ(14)の各々及び撮影対象(S)の、撮影対象(S)を撮影するために推奨される相対的な位置関係を表す推奨用俯瞰図を生成する生成部(42)と、生成部(42)が生成した俯瞰図を表示部(23)に表示させる制御を行う表示制御部(44)と、を備える。

Description

撮影支援装置、撮影支援方法、及び撮影支援プログラム

 本開示の技術は、撮影支援装置、撮影支援方法、及び撮影支援プログラムに関する。

 従来、ユーザが撮像装置を用いて撮影対象の撮影を行う場合、ユーザに対して撮影を支援するための情報を提示する技術が知られている。例えば、特許文献1には、データベースに記憶されている作例を提示し、作例のように撮像する際の設定条件を示す設定情報を用いて撮像を行う技術が記載されている。

 また、特許文献2には、複数の撮像装置を用いて撮影対象の撮影を行う場合、他の撮像装置において得られた、撮影対象の大きさ、位置及び移動速度を示す情報、及びズーム倍率を示す情報等のメタデータに基づいて決定した構図により撮像装置が撮像を行う技術が記載されている。

再公表特許2013/118535号公報 特開2011-211598号公報

 ところで、ユーザが撮影対象を撮影する場合に、特定の撮影対象に対して、複数の撮像装置を用いて、異なる方向または異なる位置等から撮影を行い、複数の撮像装置の各々により撮像された撮像画像を組み合わせて、1つの撮像画像を生成することが行われている。

 この場合、各撮像画像を組み合わせて得られる1つの撮像画像について、ユーザの所望の画像とするためには、複数の撮像装置の各々が撮像した撮像画像の関係、例えば、各撮像画像に含まれる撮影対象の向き等の関係をユーザの所望の状態とすることが望まれる。そのため、複数の撮像装置の各々、及び撮影対象の相対的な位置関係が重要となる。

 しかしながら、複数の撮像装置を用いて撮影を行うため、ユーザは、例えば、適切な撮影方向または撮影位置等の判断がし難い場合があり、その結果、各撮像装置により得られた撮像画像を組み合わせた場合に、ユーザの所望の撮像画像が得られない場合があった。

 特許文献1及び特許文献2に記載の技術では、撮影対象を撮影するための作例または構図等は把握できるものの、複数の撮像装置の各々、及び撮影対象の相対的な位置関係までは把握できない。

 本開示は、上記事情を考慮して成されたものであり、複数の撮像画像を組み合わせて1つの撮像画像を得る場合において、所望の撮像画像を得られるようにすることができる、撮影支援装置、撮影支援方法、及び撮影支援プログラムを提供することを目的とする。

 上記目的を達成するために、本開示の第1の態様の撮影支援装置は、特定の撮影対象を撮像する複数の撮像装置のうちの予め定められた撮像装置により撮像された撮像画像を取得する取得部と、取得部が取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の各々及び撮影対象の、撮影対象を撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図を生成する生成部と、生成部が生成した推奨用の俯瞰図を表示部に表示させる制御を行う表示制御部と、を備える。

 第2の態様の撮影支援装置は、第1の態様の撮影支援装置において、生成部は、予め定められた撮像装置を基準とした場合に推奨される、予め定められた撮像装置と異なる撮像装置の相対的な位置関係を表す推奨用の俯瞰図を生成する。

 第3の態様の撮影支援装置は、第1の態様または第2の態様の撮影支援装置において、取得部は、複数の撮像装置の各々により撮像された撮像画像を取得し、生成部は、取得部が取得した撮像画像の各々に含まれる撮影対象の画像に基づいて、複数の撮像装置の各々及び撮影対象の、撮影対象の撮影が行われた相対的な位置関係を表す実際の位置の俯瞰図をさらに生成する。

 第4の態様の撮影支援装置は、第3の態様の撮影支援装置において、表示制御部は、推奨用の俯瞰図と、実際の位置の俯瞰図とを重畳させた状態で、表示部に表示させる制御を行う。

 第5の態様の撮影支援装置は、第1の態様から第4の態様のいずれか1態様の撮影支援装置において、生成部は、撮像画像を解析して得られる、撮影対象の大きさに関する情報、撮影対象の位置に関する情報、及び撮影対象の向きに関する情報のうちの少なくとも一つの情報に基づいて、俯瞰図を生成する。

 第6の態様の撮影支援装置は、第1の態様から第5の態様のいずれか1態様の撮影支援装置において、取得部は、複数の撮像装置の各々により撮像された撮像画像を取得し、表示制御部は、生成部が生成した俯瞰図と、取得部が取得した複数の撮像装置の各々により撮像された撮像画像のうちの少なくとも一つの撮像画像とを表示部に表示させる制御を行う。

 第7の態様の撮影支援装置は、第6の態様の撮影支援装置において、表示部に表示させる撮像画像を、複数の撮像装置の各々により撮像された撮像画像のうちの、いずれの撮像画像とするかの指定を受け付ける受付部をさらに備え、表示制御部は、受付部が指定を受け付けた撮像画像を、表示部に表示させる制御を行う。

 第8の態様の撮影支援装置は、第1の態様から第7の態様のいずれか1態様の撮影支援装置において、表示制御部が表示部に表示させた俯瞰図に対して、俯瞰図に示される複数の撮像装置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、生成部は、変更後の状態において複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、表示制御部は、記生成部が生成した推定撮像画像を表示部に表示させる制御を行う。

 第9の態様の撮影支援装置は、第1の態様から第8の態様のいずれか1態様の撮影支援装置において、撮影対象の撮影が行われた相対的な位置関係を表す情報を記憶する記憶部をさらに備える。

 第10の態様の撮影支援装置は、第1の態様から第9の態様のいずれか1態様の撮影支援装置において、予め定められた撮像装置は、撮影対象の撮影に主として用いられるメインカメラである。

 第11の態様の撮影支援装置は、第1の態様から第10の態様のいずれか1態様の撮影支援装置において、撮像画像は動画像である。

 第12の態様の撮影支援方法は、特定の撮影対象を撮影する複数の撮像装置のうちの予め定められた撮像装置により撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の各々及び撮影対象の、撮影対象を撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、処理をコンピュータが実行するための撮影支援方法である。

 第13の態様の撮影支援プログラムは、特定の撮影対象を撮影する複数の撮像装置のうちの予め定められた撮像装置により撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の各々及び撮影対象の、撮影対象を撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、処理をコンピュータに実行させる。

 また、上記目的を達成するために、本開示の撮影支援装置は、プロセッサを有する撮影支援装置であって、プロセッサが、特定の撮影対象を撮影する複数の撮像装置のうちの予め定められた撮像装置により撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の各々及び撮影対象の、撮影対象を撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、撮影支援装置である。

 本開示によれば、複数の撮像画像を組み合わせて1つの撮像画像を得る場合において、所望の撮像画像を得られる。

実施形態の撮像システムの構成の一例を示す平面図である。 実施形態の撮影支援装置のハードウェア構成の一例を示すブロック図である。 第1及び第2実施形態の撮影支援装置の機能的な構成の一例を示すブロック図である。 第1実施形態の撮影支援処理の流れの一例を示すフローチャートである。 実施形態の撮影支援装置により生成される推奨用俯瞰図の一例を説明するための説明図である。 実施形態の撮影支援装置により生成される実位置俯瞰図の一例を説明するための説明図である。 実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及びサブカメラ画像の表示の一例を説明するための説明図である。 実施形態の撮影支援装置により生成される推奨用俯瞰図の他の例を説明するための説明図である。 実施形態の撮影支援装置により生成される推奨用俯瞰図の他の例を説明するための説明図である。 第1実施形態の撮影支援処理の流れの他の例を示すフローチャートである。 実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及びサブカメラ画像の表示の他の例を説明するための説明図である。 第2実施形態の撮影支援処理の流れの一例を示すフローチャートである。 第3実施形態の撮影支援装置の機能的な構成の一例を示すブロック図である。 第3実施形態の撮影支援処理の流れの一例を示すフローチャートである。 第3実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及び推定撮像画像の表示の一例を説明するための説明図である。

 以下、図面を参照して本開示の技術を実施するための形態例を詳細に説明する。なお、以下では、ユーザが撮影対象を、撮像装置により撮像して動画像等の撮像画像を得ることを、撮影という。そのため、ユーザが撮像装置を用いて撮影を行う場合の「撮影」と、撮像装置による「撮像」とは、置き換えが可能な場合がある。

[第1実施形態]

 まず、図1を参照して、本実施形態の撮像システム10の構成を説明する。図1に示すように、本実施形態の撮像システム10は、メインカメラ12及びサブカメラ14の2台の撮像装置と、撮影支援装置16と、を備える。本実施形態のメインカメラ12及びサブカメラ14が、本開示の複数の撮像装置の一例である。

 本実施形態では、一例として、ユーザが、主に使用するメインカメラ12と、補助として使用するサブカメラ14とにより、人物である撮影対象Sを撮影し、メインカメラ12及びサブカメラ14の各々により得られた動画像を組み合わせて1つの動画像、いわゆる映像コンテンツを生成する形態について説明する。なお、撮影対象Sの撮影において、実際にメインカメラ12及びサブカメラ14の各々を操作する人物は一人であってもよいし、複数人であってもよいが、本実施形態では、総称して単に「ユーザ」という。また、以下では、メインカメラ12により撮像された動画像を「メインカメラ画像」といい、サブカメラ14により撮影された動画像を「サブカメラ画像」という。

 なお、本実施形態では、一例として、ユーザが、時系列順にメインカメラ画像とサブカメラ画像とをつなげることにより、メインカメラ画像とサブカメラ画像とを組み合わせて1つの動画像を生成する形態について説明する。具体的には、例えば、撮影対象Sの撮影を開始から3分後まではメインカメラ画像、3分後から4分後まではサブカメラ画像、及び4分後から7分後まではメインカメラ画像等と、メインカメラ画像とサブカメラ画像とを時系列順に組み合わせる場合について説明する。なお、メインカメラ画像とサブカメラ画像との組み合わせ方は本実施形態に限定されない。例えば、1つの画面を2つの領域に分割し、分割した一方の領域にメインカメラ画像を、他方の領域にサブカメラ画像を配置することによりメインカメラ画像とサブカメラ画像とを組み合わせてもよい。また、メインカメラ画像及びサブカメラ画像の一方の画像中に、他方の画像を組み合わせ、同時に両方の画像が表示される形態として組み合わせてもよい。

 メインカメラ12及びサブカメラ14の各々は、HDMI(High-Definition Multimedia Interface)(登録商標)ケーブルによって撮影支援装置16に接続される。なお、メインカメラ12及びサブカメラ14と、撮影支援装置16との接続方法は本実施形態に限定されず、その他の有線接続を行う形態であってもよいし、無線接続を行う形態であってもよい。また、メインカメラ12及びサブカメラ14の各々が異なる方法により、撮影支援装置16と接続を行う形態であってもよい。メインカメラ12及びサブカメラ14の各々により撮像された動画像を表す動画像データは、撮影支援装置16に出力される。

 撮影支援装置16は、ユーザが所望とする映像コンテンツを得るために適切な、メインカメラ12及びサブカメラ14の撮像位置を提示することにより、ユーザが撮影対象Sを撮影するのを支援する機能を有する。

 図2を参照して、本実施形態の撮影支援装置16のハードウェア構成を説明する。図2に示すように、本実施形態の撮影支援装置16は、CPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、及び不揮発性の記憶部22を含む。また、撮影支援装置16は、液晶ディスプレイ等の表示部23、及び各種ボタン等を含む操作部24を含む。なお、表示部23と、操作部24の一部とは一体化されたタッチパネルディスプレイとして構成されている。また、撮影支援装置16は、メインカメラ12及びサブカメラ14が接続される外部I/F(Interface)26を含む。CPU20、メモリ21、記憶部22、表示部23、操作部24、及び外部I/F26は、バス29に接続される。撮影支援装置16の例としては、パーソナルコンピュータ及びサーバコンピュータ等が挙げられる。

 記憶部22は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶部22には、撮影支援プログラム30が記憶される。CPU20は、記憶部22から撮影支援プログラム30を読み出してからメモリ21に展開し、展開した撮影支援プログラム30を実行する。

 次に、図3を参照して、本実施形態の撮影支援装置16の機能的な構成について説明する。図3に示すように、本実施形態の撮影支援装置16は、取得部40、生成部42、表示制御部44、及び受付部46を備える。CPU20が撮影支援プログラム30を実行することにより、取得部40、生成部42、表示制御部44、及び受付部46として機能する。

 取得部40は、メインカメラ12により撮像されたメインカメラ画像、より具体的にはメインカメラ画像を表す動画像データを、メインカメラ12から取得する。また、取得部40は、サブカメラ14により撮像されたサブカメラ画像、より具体的にはサブカメラ画像を表す動画像データを、サブカメラ14から取得する。

 生成部42は、メインカメラ画像及びサブカメラ画像を解析して得られる、撮影対象Sの大きさに関する情報、撮影対象Sの位置に関する情報、及び撮影対象Sの向きに関する情報のうちの少なくとも一つの情報に基づいて、俯瞰図を生成する機能を有する。具体的には、本実施形態の生成部42は、取得部40が取得した、メインカメラ画像に含まれる撮影対象Sの画像に基づいて、メインカメラ12、サブカメラ14、及び撮影対象Sの、ユーザが撮影対象Sを撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図(以下、「推奨用俯瞰図」という)を生成する。また、本実施形態の生成部42は、取得部40が取得したメインカメラ画像及びサブカメラ14の各々に含まれる撮影対象Sの画像に基づいて、メインカメラ12、サブカメラ14、及び撮影対象Sの、撮影対象Sの撮影が実際に行われた相対的な位置関係を表す実際の位置の俯瞰図(以下、「実位置俯瞰図」という)を生成する。

 表示制御部44は、生成部42が生成した推奨用俯瞰図を表示部23に表示させる制御を行う。また、本実施形態の表示制御部44は、生成部42が生成した実位置俯瞰図を表示部23に表示させる制御を行う。さらに、本実施形態の表示制御部44は、取得部40が取得したメインカメラ画像、及びサブカメラ画像の少なくとも一方の動画像を表示部23に表示させる制御を行う。

 受付部46は、表示部23に表示させる動画像をメインカメラ画像、及びサブカメラ画像のうちの、いずれの動画像とするかの指定を、操作部24を介してユーザから受け付ける。

 次に、図4を参照して、本実施形態の撮影支援装置16の作用を説明する。CPU20が撮影支援プログラム30を実行することによって、図4に示す撮影支援処理が実行される。図4に示す撮影支援処理は、例えば、操作部24により、ユーザから撮影支援処理の実行を指示された場合に実行される。

 図4のステップS100で、表示制御部44は、ユーザに対し、メインカメラ12を撮影支援装置16に接続するよう促すためのガイダンスを表示部23に表示させる。ユーザは、表示部23に表示されたガイダンスに従い、撮影支援装置16のHDMI端子(図示省略)に、メインカメラ12を接続する。なお、本ステップによるガイダンスの表示前に、メインカメラ12が撮影支援装置16に接続されていてもよい。

 次のステップS102で取得部40は、撮影支援処理がキャンセルされたか否かを判定する。本実施形態の撮影支援装置16では、ユーザは、例えば、撮影支援処理の実行を指示したものの、撮影支援を行わなくてもよいと判断した場合、操作部24に含まれるキャンセルボタン(図示省略)を操作することにより、撮影支援処理のキャンセルを指示することができる。そこで、本ステップS102では、キャンセルボタンが操作されることにより、ユーザがキャンセルの指示を行ったか否かを判定する。キャンセルの指示が行われた場合、ステップS102の判定が肯定判定となり、ステップS126へ移行する。ステップS126で表示制御部44は、撮影支援処理のキャンセルを行う旨の情報を、表示部23に表示させた後、本撮影支援処理を終了する。

 一方、キャンセルの指示が行われない場合、ステップS102の判定が否定判定となり、ステップS104へ移行する。ステップS104で取得部40は、メインカメラ12からメインカメラ画像が、外部I/F26を介して撮影支援装置16に入力されたか否かを判定する。メインカメラ画像が入力されるまで、ステップS104の判定が否定判定となり、ステップS102に戻る。一方、メインカメラ画像が入力され、取得部40により取得されると、ステップS104の判定が肯定判定となり、ステップS106へ移行する。

 ステップS106で生成部42は、取得部40が取得したメインカメラ画像の解析を開始する。本実施形態の生成部42は、メインカメラ画像を画像解析することにより、撮影対象Sの、メインカメラ12に対する向き(顔の向き)、撮影対象Sとメインカメラ12との距離を推定する。これらの推定方法や、画像解析方法は特に限定されない。例えば、生成部42は、メインカメラ画像に含まれる、撮影対象Sの顔を検出し、画角に占める顔の大きさから、及び撮影対象Sとメインカメラ12との距離を推定してもよい。また例えば、メインカメラ画像に含まれる撮影対象Sの顔、瞳、鼻、及び口等を検出し、これらの位置や大きさ等から、メインカメラ12に対する顔の向き推定してもよい。なお、撮影対象Sとメインカメラ12との距離の推定には、メインカメラ12の焦点距離が用いられるが、より正確な位置解析を行うためには、撮像に実際に用いられたレンズの焦点距離の情報が得られることが好ましい。例えば、外部I/F26を介してメインカメラ12と通信を行い、生成部42がメインカメラ12から撮像に用いられたレンズの焦点距離を表す情報を取得してもよいし、操作部24によりユーザが焦点距離を表す情報を入力してもよい。なお、撮像に実際に用いられたレンズの焦点距離を表す情報が取得できない場合、汎用されている、いわゆる35mm換算の焦点距離50mmを仮定して用いればよい。

 次のステップS108で表示制御部44は、ユーザに対し、サブカメラ14を撮影支援装置16に接続するよう促すためのガイダンスを表示部23に表示させる。ユーザは、表示部23に表示されたガイダンスに従い、撮影支援装置16のHDMI端子(図示省略)に、サブカメラ14を接続する。なお、本ステップによるガイダンスの表示前に、サブカメラ14が撮影支援装置16に接続されていてもよい。

 次のステップS110で取得部40は、上記ステップS102と同様に、撮影支援処理がキャンセルされたか否かを判定する。キャンセルの指示が行われた場合、ステップS110の判定が肯定判定となり、上記ステップS126へ移行し、表示制御部44が、撮影支援処理のキャンセルを行う旨の情報を、表示部23に表示させた後、本撮影支援処理を終了する。

 一方、キャンセルの指示が行われない場合、ステップS110の判定が否定判定となり、ステップS112へ移行する。ステップS112で取得部40は、サブカメラ14からサブカメラ画像が、外部I/F26を介して撮影支援装置16に入力されたか否かを判定する。サブカメラ画像が入力されるまで、ステップS112の判定が否定判定となり、ステップS110に戻る。一方、サブカメラ画像が入力され、取得部40により取得されると、ステップS112の判定が肯定判定となり、ステップS114へ移行する。

 ステップS114で生成部42は、取得部40が取得したサブカメラ画像の解析を開始する。本実施形態の生成部42は、サブカメラ画像を画像解析することにより、撮影対象Sの、サブカメラ14に対する向き(顔の向き)、撮影対象Sとサブカメラ14との距離を推定する。これらの推定方法や、画像解析方法は特に限定されず、上記ステップS106と同様とすることができる。

 次のステップS116で生成部42は、メインカメラ画像の解析結果に基づいて、推奨用俯瞰図を生成する。上述したように、メインカメラ画像の解析を行うことにより、メインカメラ12に対する撮影対象Sの顔の向き、及び撮影対象Sとメインカメラ12との距離が推定される。一例として本実施形態では、この顔の向き及び撮影対象Sとの距離に基づき、メインカメラ12の撮影位置及び向き(撮影方向)を基準として推奨される、サブカメラ14の撮影位置及び撮影方向を導出する。推奨されるサブカメラ14の撮影位置及び撮影方向の導出方法は特に限定されない。例えば、撮影対象Sの顔の向き、メインカメラ12の位置、及びメインカメラ12の撮影方向の少なくとも一つと、サブカメラ14の位置及び撮影方向との対応関係(以下、「推奨位置関係」という)を予め記憶部22に記憶しておき、生成部42が、記憶部22に記憶されている推奨位置関係に基づいて、推奨されるサブカメラ14の撮影位置及び撮影方向を導出してもよい。

 また、生成部42における推奨用俯瞰図の生成方法も特に限定されない。一例として本実施形態では、メインカメラ12、サブカメラ14、及び撮影対象Sに対応するアイコンを、各々の向き及び位置に合わせて、撮影対象Sの頭側(上側)から俯瞰した状態に配置する。図5Aには、本実施形態の生成部42により生成される推奨用俯瞰図50の一例を示す。図5Aに示した推奨用俯瞰図50には、顔の向きを表す情報とともに、撮影対象Sを示すアイコン60が配置されている。また、推奨用俯瞰図50には、メインカメラ12の撮影位置及び撮影方向に応じてメインカメラ12を示すアイコン62と、推奨されるサブカメラ14の撮影位置及び撮影方向に応じてサブカメラ14を示すアイコン65とが配置されている。なお、一例として本実施形態では、メインカメラ12の撮影位置を基準としているため、推奨用俯瞰図50におけるアイコン62は、実際に撮影が行われたメインカメラ12の撮影位置及び撮影方向に基づいて配置されている。

 次のステップS118で生成部42は、メインカメラ画像の解析結果、及びサブカメラ画像の解析結果に基づいて、実位置俯瞰図を生成する。生成部42における実位置俯瞰図の生成方法も特に限定されず、例えば、推奨用俯瞰図の生成方法と同様の方法を用いることができる。図5Bには、本実施形態の生成部42により生成される実位置俯瞰図52の一例を示す。図5Bに示した実位置俯瞰図52には、顔の向きを表す情報とともに、撮影対象Sを示すアイコン60が配置されている。また、実位置俯瞰図52には、メインカメラ12の撮影位置及び撮影方向に応じてメインカメラ12を示すアイコン62と、サブカメラ14の撮影位置及び撮影方向に応じてサブカメラ14を示すアイコン64とが配置されている。なお、実位置俯瞰図52では、サブカメラ14を示すアイコン64は、実際に撮影が行われたサブカメラ14の撮影位置及び撮影方向に基づいて配置されている。

 次のステップS120で表示制御部44は、図6に示した一例のように、推奨用俯瞰図50、実位置俯瞰図52、メインカメラ画像70、及びサブカメラ画像72を表示部23に表示させる制御を行う。なお、図6に示した一例では、推奨用俯瞰図50と実位置俯瞰図52とを重畳させて表示部23に表示させた状態を示している。また、図6に示した一例では、メインカメラ12のリアルタイムのメインカメラ画像70と、サブカメラ14のリアルタイムのサブカメラ画像72とを表示させた状態を示している。

 このように、メインカメラ画像70及びサブカメラ画像72を表示部23に表示させることにより、ユーザは、メインカメラ12及びサブカメラ14各々の撮影位置及び撮影向きの関係と、実際に撮像される動画像との関係を把握しやすくなる。

 なお、本実施形態に限定されず、表示制御部44は、メインカメラ画像70及びサブカメラ画像72を表示部23に表示させないことも可能であるし、いずれか一方のみを表示させることとも可能である。本実施形態では、受付部46が、表示させる動画像の指定を操作部24を介してユーザから受け付けた場合、表示制御部44は指定された動画像を、表示部23に表示させ、受付部46が指定を受け付けなかった場合、メインカメラ画像70及びサブカメラ画像72の両方を表示部23に表示させる形態としている。

 次のステップS122で生成部42は、メインカメラ12及びサブカメラ14の少なくとも一方のカメラが移動したか否か、より具体的には、メインカメラ12及びサブカメラ14の少なくとも一方のカメラの撮影位置及び撮影方向が変化したか否かを判定する。生成部42が少なくとも一方のカメラが移動したか否かを判定する方法は特に限定されない。例えば、生成部42は、メインカメラ画像70及びサブカメラ画像72の各々を画像解析し、撮影対象Sまたは他の被写体の位置または向きが変化したか否かにより判定してもよい。また例えば、生成部42は、メインカメラ画像70及びサブカメラ画像72が位置検出センサを備えている場合は、これらのセンサの検出結果を取得し、取得した検出結果に基づいて判定してもよい。

 メインカメラ12及びサブカメラ14の少なくとも一方のカメラが移動した場合、ステップS122の判定が肯定判定となり、ステップS116に戻り、上記ステップS118、S120の各処理を繰り返す。この場合、少なくとも一方のカメラの移動に応じて、表示部23に表示される推奨用俯瞰図50及び実位置俯瞰図52が更新され、各々、リアルタイムの状態に応じた俯瞰図となる。

 一方、メインカメラ12及びサブカメラ14の両方のカメラが移動していない場合、ステップS122の判定が否定判定となり、ステップS124へ移行する。ステップS124で生成部42は、本撮影支援処理を終了するか否かを判定する。本実施形態では、一例として、上記キャンセルボタンがユーザにより操作された場合や、メインカメラ12及びサブカメラ14の少なくとも一方が、上記HDMI端子と非接続となった場合等、予め定められた終了条件を満たす場合に、本撮影支援処理を終了する。終了条件を満たさない場合、ステップS124の判定が否定判定となり、ステップS122に戻り、上記処理を繰り返す。一方、終了条件を満たす場合、ステップS124の判定が肯定判定となり、本撮影支援処理を終了する。本撮影支援処理を終了する場合、表示制御部44は、表示部23に表示されている推奨用俯瞰図50、実位置俯瞰図52、メインカメラ画像70、サブカメラ画像72の表示を終了する。

 なお、本実施形態の撮影支援装置16では撮影対象Sの顔の向き、メインカメラ12の位置、及びメインカメラ12の撮影方向の少なくとも一つに対し、推奨されるサブカメラ14の撮影位置及び撮影方向が一意に定まる形態、いわば、推奨される推奨用俯瞰図50が1種類の場合について説明したが、本実施形態に限定されず、推奨される推奨用俯瞰図が複数種類あってもよく、例えば、メインカメラ12の撮影位置及び撮影方向に対して、対応付けられている推奨されるサブカメラ14の撮影位置及び撮影方向が複数あってもよい。換言すると、上記推奨位置関係を複数有していてもよい。具体例として、図7Aに示すように、撮影対象Sに対するサブカメラ14の向きが、図5Aに示した推奨用俯瞰図50により推奨されるサブカメラ14の向きと異なる推奨用俯瞰図50Aや、図7Bに示すように、撮影対象Sとサブカメラ14との距離が、図5Aに示した推奨用俯瞰図50により推奨されるサブカメラ14の距離と異なる推奨用俯瞰図50B等を有していてもよい。

 操作部24を操作することにより、ユーザが推奨用俯瞰図の変更を指示することができる形態の一例について、図8を参照して説明する。図8には、推奨用俯瞰図を複数種類有する場合の、撮影支援処理の流れの一例を表すフローチャートが示されている。

 図8に示した撮影支援処理は、ステップS120とS122との間にステップS121A~S121Cの処理を含む点で、上述の撮影支援処理(図4参照)と異なっている。図8に示した撮影支援処理では、受付部46が、推奨用俯瞰図(50、50A、及び50B)の変更の指示を受け付けたか否かを判定する。受付部46が、変更の指示を受け付けていない場合、ステップS121Aの判定が否定判定となり、ステップS122へ移行する。一方、受付部46が変更の指示を受け付けた場合、ステップS121Aの判定が肯定判定となり、ステップS121Bへ移行する。ステップS121Bで表示制御部44は、表示部23に表示されている推奨用俯瞰図(50、50A、または50Bのいずれか)を更新する。具体的には、生成部42が、記憶部22に記憶されている複数の推奨位置関係から、現在、表示部23に表示されている推奨用俯瞰図と異なる推奨位置関係を1つ取得し、取得した推奨位置関係に基づいて推奨用俯瞰図を生成し、生成された推奨用俯瞰図を表示制御部44が表示部23に表示させる。ユーザは、表示部23に表示されている推奨用俯瞰図を撮影に用いることを決定した場合、操作部24に含まれる決定ボタン(図示省略)を操作することにより推奨用俯瞰図の決定を指示する。

 次のステップS121Cで受付部46は、上記の決定の指示を受け付けたか否かを判定する。本実施形態の受付部46が、予め定められた時間が経過しても、上記の決定の指示を受け付けなかった場合、ステップS121Cの判定が否定判定となり、ステップS121Aに戻り、ステップS121Bの処理を繰り返す。一方、受付部46が、予め定められた時間内に上記の決定の指示を受け付けた場合、ステップS121Cの判定が肯定判定となり、ステップS122へ移行する。なお、本処理の後、ステップS122で肯定判定となり、ステップS116に戻り再び推奨用俯瞰図を生成する場合、ステップS121Cにおいて決定された推奨用俯瞰図に対応する推奨位置関係に基づいて、推奨用俯瞰図を生成する。

 また、本実施形態では、一例として、メインカメラ12の撮影位置及び撮影方向を基準として推奨される、サブカメラ14の撮影位置及び撮影方向を導出する形態について説明したが、本実施形態に限定されない。例えば、撮影対象Sの向きまたは位置を基準として推奨される、メインカメラ12の撮影位置及び撮影方向と、サブカメラ14の撮影位置及び撮影方向とを導出する形態としてもよい。この場合、生成部42によって生成され、表示部23に表示される推奨用俯瞰図50Cは、図9に示した一例のように、推奨されるメインカメラ12の撮影位置及び撮影方向に応じたメインカメラ12を示すアイコン63と、推奨されるサブカメラ14の撮影位置及び撮影方向に応じたサブカメラ14を示すアイコン65とが配置された状態となる。

 このように本施形態の撮影支援装置16では、取得部40がユーザにより撮影対象Sが撮影されたメインカメラ画像をメインカメラ12から取得し、生成部42が、取得したメインカメラ画像を解析し、メインカメラ画像に含まれる撮影対象Sの画像から得られる解析結果に基づいて推奨用俯瞰図を生成し、表示制御部44が推奨用俯瞰図を表示部23に表示させる。

 このように本実施形態の撮影支援装置16によれば、ユーザが、撮影対象Sをメインカメラ12及びサブカメラ14により撮影するために推奨される各カメラ及び撮影対象Sの相対的な位置関係を把握できるようになる。従って、本実施形態の撮影支援装置16によれば、ユーザはメインカメラ画像及びサブカメラ画像を組み合わせて1つの動画像を得る場合において、所望の動画像を得ることができる。

[第2実施形態]

 以下、第2実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。

 本実施形態の撮像システム10及び撮影支援装置16の構成は、第1実施形態の撮像システム10及び撮影支援装置16の構成(図1~図3参照)と同様であるため、説明を省略する。

 一方、本実施形態の撮影支援装置16の作用は、撮影支援処理の一部が異なっている。図10には、本実施形態の撮影支援処理の流れの一例を示すフローチャートを示す。図10に示すように、本実施形態の撮影支援処理では、第1実施形態の撮影支援処理(図4参照)のステップS124の後に、ステップS125の処理を行う点が異なっている。

 本撮影支援処理を終了するか否かの判定が肯定判定となった後に行われるステップS125で生成部42は、表示制御部44の制御により表示部23に表示されている実位置俯瞰図52、メインカメラ12を表す情報、及びサブカメラ14を表す情報を対応付けて記憶部22に記憶させた後、本撮影支援処理を終了する。すなわち、生成部42は、撮影対象Sの撮影が行われた相対的な位置関係を表す情報を記憶部22に記憶させる。なお、生成部42が、記憶部22に記憶させるメインカメラ12を表す情報、及びサブカメラ14を表す情報は特に限定されず、例えば、識別子等の撮影に用いられたカメラを識別可能とする情報であればよい。

 このように本実施形態の撮影支援装置16では、撮影支援処理を終了する場合、すなわち、ユーザがメインカメラ12及びサブカメラ14による撮影対象Sの撮影を終了する場合、終了時点におけるメインカメラ12及びサブカメラ14の配置と、撮影対象Sの向きとの相対的な位置関係を表す実位置俯瞰図52を、メインカメラ12を表す情報及びサブカメラ14を表す情報に対応付けて記憶部22に記載させる。

 なお、ステップS125で生成部42は、メインカメラ12を表す情報及びサブカメラ14を表す情報と対応付けて、実位置俯瞰図52に代わり、また、実位置俯瞰図52とともに推奨用俯瞰図50を記憶部22に記憶させてもよい。また、推奨用俯瞰図50及び実位置俯瞰図52のいずれの俯瞰図を記憶部22に記憶させるかについて操作部24を介してユーザによる指示が可能であってもよい。

 また、図10に示すように、本実施形態の撮影支援処理では、第1実施形態の撮影支援処理(図4参照)に比べ、ステップS114とステップS116との間に、ステップS115A~S115Dの各処理を実行する点が異なっている。

 ステップS115Aで生成部42は、現在、接続されているメインカメラ12及びサブカメラ14について、記憶部22にメインカメラ12を表す情報及びサブカメラ14を表す情報の両方のカメラ情報が記憶されているか否かを判定する。記憶部22に両方のカメラ情報が記憶されている場合、ステップS115Aの判定が肯定判定となり、ステップS115Bへ移行する。ステップS115Bで、生成部42は、メインカメラ12を表す情報及びサブカメラ14を表す情報に対応付けられている実位置俯瞰図52を、記憶部22から読み出して推奨用俯瞰図50とした後、ステップS118へ移行する。

 一方、記憶部22に、両方のカメラ情報が記憶されていない場合、ステップS115Aの判定が否定判定となり、ステップS115Cへ移行する。ステップS115Cで表示制御部44は、表示部23に、両方のカメラ情報に対応する実位置俯瞰図52が記憶部22に記憶されていない旨、すなわち、撮影支援装置16が、接続されているメインカメラ12及びサブカメラ14が、今まで撮影の支援対象としていないメインカメラ12及びサブカメラ14の組み合わせであることを表す情報をガイダンスとして、表示部23に表示させる。本実施形態では一例として、ユーザは、表示部23に表示されたガイダンスを参照し、接続されているカメラについて変更がなければ、操作部24に含まれる了承ボタン(図示省略)を操作することにより、了承する旨を指示するか、または操作部24に含まれるキャンセルボタン(図示省略)を操作することにより、撮影支援処理のキャンセルを指示する。

 そこで、次のステップS115Dで生成部42は、了承ボタンが操作されたか否かを判定する。キャンセルボタンが操作された場合、ステップS115Dの判定が否定判定となり、本撮影支援処理を終了する。

 一方、了承ボタンが操作された場合、ステップS115Dの判定が肯定判定となり、ステップS116へ移行する。この場合、生成部42は、新たに接続されているメインカメラ12及びサブカメラ14の組み合わせにより入力される、メインカメラ画像及びサブカメラ画像に基づき、推奨用俯瞰図50及び実位置俯瞰図52を生成することとなる。

 なお、本実施形態では、上記ステップS115Aで両方のカメラ情報が記憶されているか否かを判定する形態としたが、本実施形態に限定されず、メインカメラ12及びサブカメラ14の一方のカメラ情報が記憶されているか否かを判定する形態としてもよい。例えば、撮影対象Sの撮影について一旦休憩後、撮影を再開する場合、主として撮影に用いられるメインカメラ12は、同じカメラを使用するが、サブカメラ14は先ほどと異なる機種のカメラを使用する場合がある。このような場合に対応する形態として、ステップS115Aでは、メインカメラ12を表す情報が記憶部22に記憶されているか否かを判定する形態としてもよい。

 このように本実施形態の撮影支援装置16で行われる撮影支援処理では、撮影支援処理を行った後、同一のメインカメラ12及びサブカメラ14を用いた撮影に対して再び撮影支援処理を行う場合、前回、表示部23に表示した俯瞰図を、推奨用俯瞰図として採用する。これにより、本実施形態の撮影支援装置16によれば、前回、撮影を終了した時点におけるメインカメラ12及びサブカメラ14の配置状態と同様の状態から、撮影を再開し易くなる。

[第3実施形態]

 以下、第3実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態及び第2実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。

 本実施形態の撮像システム10の構成は、第1実施形態の撮像システム10の構成(図1参照)と同様であるため、説明を省略する。一方、撮影支援装置16の構成は、図11に示すように、指定部47をさらに備えている点で、第1実施形態の撮影支援装置16の構成(図2及び図3参照)と異なっている。

 上記各実施形態では、表示制御部44が表示部23に、メインカメラ画像70及びサブカメラ画像72を表示させる形態について説明した。一方、本実施形態では、推奨用俯瞰図50または実位置俯瞰図52に対して、メインカメラ12及びサブカメラ14の位置及び撮影方向を指定すると、指定した位置及び撮影方向においてメインカメラ12及びサブカメラ14により撮像されたと推定される推定撮像画像を、メインカメラ画像70またはサブカメラ画像72に代わり表示部23に表示させる形態について説明する。以下では、このように、ユーザが指定した位置及び撮影方向において、メインカメラ12またはサブカメラ14により撮像されたと推定される推定撮像画像を生成して表示させる動作について、シミュレーションと称する。

 指定部47は、表示部23に表示されている推奨用俯瞰図50または実位置俯瞰図52に対して、俯瞰図に示されるアイコン62、63、64、及び65について、位置及び撮影方向の少なくとも一方について変更後の状態がユーザによって指定される機能を有する。

 図12を参照して、本実施形態の撮影支援装置16において、上記シミュレーションを行う作用を説明する。CPU20が撮影支援プログラム30を実行することによって、図12に示すシミュレーション処理が実行される。一例として図12に示すシミュレーション処理は、例えば、表示部23に表示されたアイコン62、63、64、及び65のいずれかにユーザがタッチした場合、またはシミュレーションを行う旨の指示を操作部24を用いてユーザが行った場合に実行される。

 図12に示したステップS200で指定部47は、アイコン62、63、64、及び65のいずれかに対するユーザの操作が完了したか否かを判定する。本実施形態では、ユーザの操作により、アイコン62、63、64、及び65各々について、位置の移動、回転、拡大、及び縮小することができる。アイコン62、63、64、及び65各々の位置の移動は、各アイコンに対応するメインカメラ12またはサブカメラ14の位置の移動に対応する。また、アイコン62、63、64、及び65各々の回転は、各アイコンに対応するメインカメラ12またはサブカメラ14の撮影方向の変更(回転)に対応する。また、アイコン62、63、64、及び65各々の拡大及び縮小は、各アイコンに対応するメインカメラ12またはサブカメラ14の高さ方向(実世界における高さ方向、表示部23の表示における奥行き方向)の移動に対応し、拡大された場合は、高さが高くなる方向への移動に対応し、縮小された場合は、高さが低くなる方向への移動に対応する。

 操作が完了するまでステップS200の判定が否定判定となり、操作が完了するとステップS200の判定が肯定判定となって、ステップS202へ移行する。ステップS202で、生成部42は、ユーザによって操作されたアイコン62、63、64、及び65のいずれかの操作後の状態に応じて、推定撮像画像を生成する。具体的には、生成部42は、操作後の上記アイコンの位置、向き、及び大きさに基づいて、撮影対象Sに対するメインカメラ12またはサブカメラ14の位置及び撮影方向を導出し、導出した位置及び撮影方向において撮像されると推定される推定撮像画像を生成する。

 生成部42が、推定撮像画像を生成する具体的な方法は特に限定されない。例えば、3次元の人物構図データを記憶部22に記憶しておき、導出した撮影対象Sに対するメインカメラ12またはサブカメラ14の位置及び撮影方向に応じて、上記3次元の人物構図データをレンダリングすることにより推定撮像画像を生成してもよい。

 次のステップS204で表示制御部44は、ユーザによって操作されたアイコン62、63、64、及び65のいずれかに対応するメインカメラ画像70またはサブカメラ画像72に代わり、生成部42が生成した推定撮像画像を表示部23に表示させる。図13には、サブカメラ14に対応する推奨用俯瞰図50のアイコン65が操作された場合に、生成部42によって生成された推定撮像画像73を、サブカメラ画像72の代わりに表示部23に表示させた状態の一例を示す。

 次のステップS206で指定部47は、本シミュレーション処理を終了するか否かを判定する。終了条件を満たすまでステップS206の判定が否定判定となり、ステップS200に戻り、ステップS202及びS204の処理を繰り返す。一方、シミュレーションを終了する旨の指示を操作部24を用いてユーザが行った場合に、終了条件を満たすと判定し、ステップS206の判定が肯定判定となり、本シミュレーション処理を終了する。

 このように、本実施形態の撮影支援装置16では、ユーザの指定に応じて、メインカメラ12またはサブカメラ14により撮影されたと推定される推定撮像画像を生成して、表示部23に表示する。

 従って、本実施形態の撮影支援装置16によれば、ユーザは簡単な操作により、実際にメインカメラ12またはサブカメラ14の位置を移動させなくても、メインカメラ画像またはサブカメラ画像がどのような画像となるかを推定撮像画像により把握することができる。従って、撮影対象Sの撮影を行い易くすることができ、また、撮影時間の短縮化を図ることができる。

 以上説明したように、上記各実施形態の撮影支援装置16は、特定の撮影対象Sを撮像するメインカメラ12及びサブカメラ14のうちのメインカメラ12により撮像されたメインカメラ画像を取得する取得部40と、取得部40が取得したメインカメラ画像に含まれる撮影対象Sの画像に基づいて、メインカメラ12及びサブカメラ14の各々及び撮影対象Sの、撮影対象Sを撮影するために推奨される相対的な位置関係を表す推奨用俯瞰図を生成する生成部42と、生成部42が生成した俯瞰図を表示部23に表示させる制御を行う表示制御部44と、を備える。

 このような構成により、本実施形態の撮影支援装置16によれば、撮影に不慣れなユーザでも各撮像装置のセッティング位置を容易に把握できるようになる。従って、上記各実施形態の撮影支援装置16によれば、メインカメラ画像及びサブカメラ画像を組み合わせて1つの動画像を得る場合において、所望の動画像を得られるようにすることができる。

 なお、上記各実施形態では、撮影支援装置16にメインカメラ12とサブカメラ14とが同時に接続可能な形態、換言すると、取得部40が、メインカメラ画像とサブカメラ画像とを同時に取得可能な形態について説明したが、上記各実施形態に限定されない。例えば、撮影支援装置16にはメインカメラ12及びサブカメラ14のいずれか一方のみが接続可能で有り、メインカメラ12及びサブカメラ14を交互に接続させることにより、取得部40によるメインカメラ画像とサブカメラ画像との取得を可能とする形態としてもよい。なお、この形態の場合、取得部40が取得するメインカメラ画像及びサブカメラ画像が、リアルタイムで撮像された動画像とならないため、生成部42が生成する推奨用俯瞰図及び実位置俯瞰図が、リアルタイムの状態に応じた俯瞰図とならない場合がある。

 なお、上記各実施形態では、撮影対象Sの撮影にユーザが用いる撮像装置がメインカメラ12及びサブカメラ14の2台である形態について説明したが、撮影に用いる撮像装置の数に制限はない。また、上記各実施形態では、メインカメラ画像及びサブカメラ画像が動画像である形態について説明したが、メインカメラ画像及びサブカメラ画像の少なくとも一方が静止画像であってもよい。

 上記各実施形態において、例えば取得部40、生成部42、表示制御部44、及び受付部46、及び指定部47といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。

 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。

 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。

 また、上記実施形態では、撮影支援プログラム30が記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。撮影支援プログラム30は、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、撮影支援プログラム30は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

10 撮像システム

12 メインカメラ

14 サブカメラ

16 撮影支援装置

20 CPU

21 メモリ

22 記憶部

23 表示部

24 操作部

26 外部I/F

29 バス

30 撮影支援プログラム

40 取得部

42 生成部

44 表示制御部

46 受付部

47 指定部

50、50A、50B、50C 推奨用俯瞰図

52 実位置俯瞰図

60、62、63、64、65 アイコン

70 メインカメラ画像

72 サブカメラ画像

73 推定撮像画像

S 撮影対象

Claims (16)


  1.  特定の撮影対象を撮像する複数の撮像装置のうちの予め定められた撮像装置により撮像された撮像画像を取得する取得部と、

     前記取得部が取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の各々及び前記撮影対象の、前記撮影対象を撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図を生成する生成部と、

     前記生成部が生成した前記推奨用の俯瞰図を表示部に表示させる制御を行う表示制御部と、

     を備えた撮影支援装置。

  2.  前記生成部は、前記予め定められた撮像装置を基準とした場合に推奨される、前記予め定められた撮像装置と異なる撮像装置の相対的な前記位置関係を表す前記推奨用の俯瞰図を生成する、

     請求項1に記載の撮影支援装置。

  3.  前記取得部は、前記複数の撮像装置の各々により撮像された撮像画像を取得し、

     前記生成部は、前記取得部が取得した撮像画像の各々に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の各々及び前記撮影対象の、前記撮影対象の撮影が行われた相対的な位置関係を表す実際の位置の俯瞰図をさらに生成する、

     請求項1または請求項2に記載の撮影支援装置。

  4.  前記表示制御部は、前記推奨用の俯瞰図と、前記実際の位置の俯瞰図とを重畳させた状態で、前記表示部に表示させる制御を行う、

     請求項3に記載の撮影支援装置。

  5.  前記生成部は、前記撮像画像を解析して得られる、前記撮影対象の大きさに関する情報、前記撮影対象の位置に関する情報、及び前記撮影対象の向きに関する情報のうちの少なくとも一つの情報に基づいて、前記推奨用の俯瞰図を生成する、

     請求項1から請求項4のいずれか1項に記載の撮影支援装置。

  6.  前記生成部は、前記撮像画像を解析して得られる、前記撮影対象の大きさに関する情報、前記撮影対象の位置に関する情報、及び前記撮影対象の向きに関する情報のうちの少なくとも一つの情報に基づいて、前記推奨用の俯瞰図及び前記実際の位置の俯瞰図を生成する、

     請求項3または請求項4に記載の撮影支援装置。

  7.  前記取得部は、前記複数の撮像装置の各々により撮像された撮像画像を取得し、

     前記表示制御部は、前記生成部が生成した前記推奨用の俯瞰図と、前記取得部が取得した前記複数の撮像装置の各々により撮像された撮像画像のうちの少なくとも一つの撮像画像とを前記表示部に表示させる制御を行う、

     請求項1から請求項6のいずれか1項に記載の撮影支援装置。

  8.  前記取得部は、前記複数の撮像装置の各々により撮像された撮像画像を取得し、

     前記表示制御部は、前記生成部が生成した前記推奨用の俯瞰図及び前記実際の位置の俯瞰図と、前記取得部が取得した前記複数の撮像装置の各々により撮像された撮像画像のうちの少なくとも一つの撮像画像とを前記表示部に表示させる制御を行う、

     請求項3、請求項4または請求項6に記載の撮影支援装置。

  9.  前記表示部に表示させる撮像画像を、前記複数の撮像装置の各々により撮像された撮像画像のうちの、いずれの撮像画像とするかの指定を受け付ける受付部をさらに備え、

     前記表示制御部は、前記受付部が指定を受け付けた撮像画像を、前記表示部に表示させる制御を行う、

     請求項7または請求項8に記載の撮影支援装置。

  10.  前記表示制御部が前記表示部に表示させた前記推奨用の俯瞰図に対して、前記推奨用の俯瞰図に示される前記複数の撮像装置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、

     前記生成部は、前記変更後の状態において前記複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、

     前記表示制御部は、前記生成部が生成した前記推定撮像画像を前記表示部に表示させる制御を行う、

     請求項1から請求項9のいずれか1項に記載の撮影支援装置。

  11.  前記表示制御部が前記表示部に表示させた前記推奨用の俯瞰図または前記実際の位置の俯瞰図に対して、前記推奨用の俯瞰図または前記実際の位置の俯瞰図に示される前記複数の撮像装置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、

     前記生成部は、前記変更後の状態において前記複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、

     前記表示制御部は、前記生成部が生成した前記推定撮像画像を前記表示部に表示させる制御を行う、

     請求項3、請求項4、請求項6または請求項8に記載の撮影支援装置。

  12.  前記撮影対象の撮影が行われた相対的な位置関係を表す情報を記憶する記憶部をさらに備える、

     請求項1から請求項11のいずれか1項に記載の撮影支援装置。

  13.  前記予め定められた撮像装置は、前記撮影対象の撮影に主として用いられるメインカメラである、

     請求項1から請求項12のいずれか1項に記載の撮影支援装置。

  14.  前記撮像画像は動画像である、

     請求項1から請求項13のいずれか1項に記載の撮影支援装置。

  15.  特定の撮影対象を撮影する複数の撮像装置のうちの予め定められた撮像装置により撮像された撮像画像を取得し、

     取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の各々及び前記撮影対象の、前記撮影対象を撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図を生成し、

     生成した前記俯瞰図を表示部に表示させる制御を行う、

     処理をコンピュータが実行する撮影支援方法。

  16.  特定の撮影対象を撮影する複数の撮像装置のうちの予め定められた撮像装置により撮像された撮像画像を取得し、

     取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の各々及び前記撮影対象の、前記撮影対象を撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図を生成し、

     生成した前記俯瞰図を表示部に表示させる制御を行う、

     処理をコンピュータに実行させるための撮影支援プログラム。
PCT/JP2019/016696 2018-06-11 2019-04-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム WO2019239717A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020525302A JP6841977B2 (ja) 2018-06-11 2019-04-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-111460 2018-06-11
JP2018111460 2018-06-11

Publications (1)

Publication Number Publication Date
WO2019239717A1 true WO2019239717A1 (ja) 2019-12-19

Family

ID=68843177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016696 WO2019239717A1 (ja) 2018-06-11 2019-04-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Country Status (2)

Country Link
JP (3) JP6841977B2 (ja)
WO (1) WO2019239717A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548964A (ja) * 1991-08-19 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 映像とその撮影情報の提示方法
JP2008160550A (ja) * 2006-12-25 2008-07-10 Nippon Hoso Kyokai <Nhk> 撮影ショット候補設定装置及び撮影ショット候補設定プログラム
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2015053636A (ja) * 2013-09-09 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2016086250A (ja) * 2014-10-24 2016-05-19 株式会社日立製作所 キャリブレーション装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548964A (ja) * 1991-08-19 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 映像とその撮影情報の提示方法
JP2008160550A (ja) * 2006-12-25 2008-07-10 Nippon Hoso Kyokai <Nhk> 撮影ショット候補設定装置及び撮影ショット候補設定プログラム
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2015053636A (ja) * 2013-09-09 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2016086250A (ja) * 2014-10-24 2016-05-19 株式会社日立製作所 キャリブレーション装置

Also Published As

Publication number Publication date
JPWO2019239717A1 (ja) 2021-04-01
JP2024026625A (ja) 2024-02-28
JP2021083117A (ja) 2021-05-27
JP7416736B2 (ja) 2024-01-17
JP6841977B2 (ja) 2021-03-10

Similar Documents

Publication Publication Date Title
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
JP7301507B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2010141698A (ja) 撮像装置
JP6646208B2 (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
JP6497965B2 (ja) 画像処理装置及び画像処理方法
JP2010141697A (ja) 撮像装置
CN102348065A (zh) 用于拍摄全景图像的方法和装置
JP6828708B2 (ja) 制御装置、監視システム、及び監視カメラ制御方法
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理系统
JP2020123304A (ja) 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、プログラム
JP2016224173A (ja) 制御装置及び制御方法
WO2019239717A1 (ja) 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2018173924A (ja) 画像出力プログラム、画像出力方法および画像出力装置
JP2018067851A (ja) 撮像制御プログラム、撮像制御方法および情報処理装置
US12051148B2 (en) Image processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium
JP6987532B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP5209100B2 (ja) 撮像装置
WO2022041013A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP2018128804A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP7195782B2 (ja) 情報処理装置、制御方法及びプログラム
JP2021026435A (ja) 仮想視点映像を生成する装置、システム、方法、及びプログラム
JP7561533B2 (ja) 撮影装置、画像処理装置、撮影装置の制御方法、画像処理装置の制御方法、撮影システム
JP6670918B2 (ja) 生成装置、生成方法及び生成プログラム
JP5209139B2 (ja) 撮像装置
JP6700539B2 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19818785

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525302

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19818785

Country of ref document: EP

Kind code of ref document: A1