WO2021152955A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2021152955A1
WO2021152955A1 PCT/JP2020/042101 JP2020042101W WO2021152955A1 WO 2021152955 A1 WO2021152955 A1 WO 2021152955A1 JP 2020042101 W JP2020042101 W JP 2020042101W WO 2021152955 A1 WO2021152955 A1 WO 2021152955A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
imaging
image pickup
virtual viewpoint
range
Prior art date
Application number
PCT/JP2020/042101
Other languages
English (en)
French (fr)
Inventor
貴嗣 青木
一紀 田村
史憲 入江
真彦 宮田
泰規 村上
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021574470A priority Critical patent/JP7397890B2/ja
Publication of WO2021152955A1 publication Critical patent/WO2021152955A1/ja
Priority to US17/863,402 priority patent/US20220345680A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • a 22nd aspect according to the technique of the present disclosure is an information processing device including a processor and a memory connected to or built in the processor, wherein the processor is a plurality of image pickup device position information regarding the positions of a plurality of image pickup devices. Based on a plurality of captured images obtained by acquiring imaging direction information regarding each imaging direction of the imaging device and image angle information regarding each angle of view of a plurality of imaging devices and imaging by a plurality of imaging devices. It is an imaging range capable of generating a virtual viewpoint image, and imaging range information regarding overlapping imaging ranges by a plurality of imaging devices is derived based on the imaging device position information, imaging direction information, and image angle information, and the imaging range is obtained.
  • Information and imaging device An information processing device that outputs position information.
  • a twelfth aspect according to the technique of the present disclosure is to acquire image pickup device position information regarding the positions of a plurality of image pickup devices and image pickup direction information regarding each image pickup direction of the plurality of image pickup devices, and to be imaged by a plurality of image pickup devices.
  • the virtual viewpoint range specifying information that can specify the virtual viewpoint range that can generate the virtual viewpoint image based on the plurality of captured images obtained by the above is derived based on the image pickup device position information and the imaging direction information, and , Is an information processing method including outputting information related to virtual viewpoint range specific information.
  • a 25th aspect according to the technique of the present disclosure is an image pickup device position information regarding the positions of a plurality of image pickup devices, an image pickup direction information regarding each image pickup direction of the plurality of image pickup devices, and an image regarding each angle of view of the plurality of image pickup devices. It is an imaging range in which a virtual viewpoint image can be generated based on a plurality of captured images obtained by acquiring angle information and being imaged by a plurality of imaging devices, and relates to an overlapping imaging range by a plurality of imaging devices. It is an information processing method including deriving the imaging range information based on the imaging device position information, the imaging direction information, and the angle of view information, and outputting the imaging range information and the imaging device position information.
  • a twenty-sixth aspect according to the technique of the present disclosure is to obtain an image pickup device position information regarding the positions of a plurality of image pickup devices and an image pickup direction information regarding each image pickup direction of the plurality of image pickup devices in a computer, and a plurality of image pickup devices.
  • the virtual viewpoint range specifying information that can specify the virtual viewpoint range that can generate the virtual viewpoint image based on the plurality of captured images obtained by the image is derived based on the image pickup device position information and the imaging direction information.
  • This is a program for executing a process including outputting information related to the virtual viewpoint range specific information.
  • PLD refers to the abbreviation of "Programmable Logic Device”.
  • FPGA refers to the abbreviation of "Field-Programmable Gate Array”.
  • SoC is an abbreviation for "System-on-a-chip”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
  • CCD refers to the abbreviation of "Charge Coupled Device”.
  • EL refers to the abbreviation for "Electro-Luminescence”.
  • GPU refers to the abbreviation of "Graphics Processing Unit”.
  • 3D refers to the abbreviation of "3Dimension”.
  • USB is an abbreviation for "Universal Serial Bus”.
  • GPS is an abbreviation for "Global Positioning System”.
  • the information processing device 12 is a device corresponding to a server, and the first imaging device 14, the second imaging device 16, and the GPS terminal 18 are devices corresponding to a client terminal for the information processing device 12.
  • terminal devices when it is not necessary to distinguish between the first imaging device 14, the second imaging device 16, and the GPS terminal 18, they are referred to as “terminal devices” without reference numerals.
  • imaging apparatus when it is not necessary to distinguish between the first imaging device 14 and the second imaging device 16, they are referred to as “imaging apparatus” without reference numerals.
  • the GPS terminal 18 is attached to the clothes of the specific subject 30.
  • a form example in which the GPS terminal 18 is attached to the clothes of the specific subject 30 is shown, but this is only an example.
  • the GPS terminal 18 may be worn on the wrist of the specific subject 30 in a band format, may be incorporated in the shoes of the specific subject 30, and may be carried by the specific subject 30.
  • the specific subject 30 is an example of the "first specific subject", the "second specific subject", and the "third specific subject" according to the technique of the present disclosure.
  • the GPS terminal 18 has a GPS function, and by activating the GPS function, it acquires subject position identification information indicating the latitude, longitude, and altitude that specify the current position of the specific subject 30.
  • the subject position identification information is, for example, information indicating latitude, longitude, and altitude determined by the GPS terminal 18 receiving radio waves from a plurality of GPS satellites (not shown) including the GPS satellite 20.
  • the image pickup device is also equipped with a GPS function like the GPS terminal 18.
  • the first imaging device 14 acquires the position information of the first imaging device indicating the latitude, longitude, and altitude of the current position of the first imaging device 14 by activating the GPS function.
  • the second imaging device 16 acquires the position information of the second imaging device indicating the latitude, longitude, and altitude of the current position of the second imaging device 16 by activating the GPS function.
  • GPS is an example of GNSS, and other satellite positioning systems can also be used.
  • the subject position identification information is an example of the "subject position identification information" according to the technique of the present disclosure
  • the first image pickup device position information and the second image pickup device position information are the "imaging device” according to the present disclosure technique. This is an example of "location information”.
  • the information processing device 12 and the terminal device perform wireless communication with each other via a wireless communication base station (not shown), and the terminal device requests the information processing device 12 to provide various services, and the information processing device 12 and the terminal device request the information processing device 12 to provide various services. 12 provides the terminal device with a service in response to a request from the terminal device.
  • the first imaging direction D1 is, for example, a direction in which the specific subject 30 fits within the first angle of view ⁇ a.
  • the second imaging direction D2 is, for example, a direction in which the specific subject 30 fits within the second angle of view ⁇ b.
  • the direction in which the specific subject 30 fits within the second angle of view ⁇ b there is a direction in which the specific subject 30 fits in the central portion of the second angle of view ⁇ b.
  • the inside of the soccer field 22 is imaged from the outside of the soccer field 22 is described, but this is just an example.
  • the inside of the soccer field 22 may be imaged from the inside of the soccer field 22. Further, the image may be taken from any place as long as the inside of the soccer field 22 can be imaged.
  • the information processing device 12 assists in determining an imaging position capable of generating a virtual viewpoint image.
  • the imaging position refers to the position of the imaging device, and in the first embodiment, the imaging position is determined by, for example, the first person 26.
  • the virtual viewpoint image is generated based on the first captured image obtained by being captured by the first imaging device 14 and the second captured image obtained by being captured by the second imaging device 16. It is an image.
  • the virtual viewpoint image is an image showing the specific subject 30.
  • the first captured image is, for example, an image obtained by capturing a region including the specific subject 30 by the first imaging device 14, and the second captured image is, for example, a region including the specific subject 30. Is an image obtained by being imaged by the second imaging device 16.
  • the image pickup device is a digital camera with interchangeable lenses and no reflex mirror.
  • the image pickup apparatus includes an image pickup apparatus main body 32 and an interchangeable lens 34 that is interchangeably attached to the image pickup apparatus main body 32.
  • a digital camera having an interchangeable lens and omitting the reflex mirror is mentioned, but the technique of the present disclosure is not limited to this, and the image pickup device has a fixed lens. It may be another type of digital camera such as a formula.
  • the image pickup apparatus main body 32 is provided with a CMOS image sensor 31.
  • the interchangeable lens 34 is attached to the image pickup apparatus main body 32, the subject light indicating the subject passes through the interchangeable lens 34 along the optical axis L1 and is imaged on the CMOS image sensor 31, and the subject is formed by the CMOS image sensor 31. An image showing is generated.
  • a release button 36 and a dial 38 are provided on the upper surface of the image pickup apparatus main body 32.
  • the release button 36 is a button that gives an image pickup instruction to the image pickup apparatus main body 32 when pressed by the user.
  • the dial 38 is operated when setting the operation mode of the imaging system, the operation mode of the reproduction system, and the like, whereby the imaging device selectively sets the imaging mode and the reproduction mode as the operation modes.
  • an instruction key 42 and a touch panel display 44 are provided on the back surface of the image pickup apparatus main body 32.
  • the instruction key 42 receives various instructions.
  • the "various instructions" are, for example, an instruction to display a menu screen on which various menus can be selected, an instruction to select one or a plurality of menus, an instruction to confirm the selected contents, and an instruction to delete the selected contents. , Zoom in, zoom out, and various instructions such as frame advance.
  • the touch panel display 44 includes a display 46 and a touch panel 48 (see also FIG. 4).
  • An example of the display 46 is an organic EL display.
  • the display 46 may be another type of display such as a liquid crystal display instead of the organic EL display.
  • the display 46 displays images, character information, and the like.
  • the display 46 is used to display a live view image obtained by continuous imaging when the imaging device is in the imaging mode.
  • the display 46 is also used for displaying a still image obtained by taking an image when an instruction for taking an image for a still image is given. Further, the display 46 is also used for displaying a reproduced image and displaying a menu screen or the like when the imaging device is in the reproduction mode.
  • the live view image is displayed on the display 46.
  • the display 46 is an example of the "first display” and the "second display” according to the technique of the present disclosure.
  • the touch panel 48 is a transmissive touch panel and is superimposed on the surface of the display area of the display 46.
  • the touch panel 48 receives an instruction from the user by detecting contact with an indicator such as a finger or a stylus pen.
  • the CPU 60, the storage 62, and the memory 64 are connected via the bus 66.
  • the bus 66 includes a data bus, an address bus, a control bus, and the like.
  • the CPU 60 controls the entire imaging device.
  • the storage 62 stores various parameters and various programs.
  • the storage 62 is a non-volatile storage device.
  • EEPROM is adopted as an example of the storage 62, but the present invention is not limited to this, and a mask ROM, HDD, SSD, or the like may be used.
  • the memory 64 is a volatile storage device. Various information is temporarily stored in the memory 64.
  • the memory 64 is used as a work memory by the CPU 60.
  • DRAM is adopted as an example of the memory 64, but the present invention is not limited to this, and other types of volatile storage devices such as SRAM may be used.
  • the reception device 54 receives instructions from users of the imaging device and the like.
  • the reception device 54 includes a release button 36 (see FIG. 2), a dial 38 (see FIGS. 2 and 3), and an instruction key 42.
  • the reception device 54 is connected to the bus 66, and the instruction received by the reception device 54 is acquired by the CPU 60.
  • the CPU 60 executes processing according to the instruction received by the receiving device 54.
  • the display 46 is connected to the bus 66 and displays various information under the control of the CPU 60.
  • the speaker 56 is connected to the bus 66 and outputs sound under the control of the CPU 60. That is, under the control of the CPU 60, the speaker 56 receives an electric signal indicating sound, converts the received electric signal into sound, and outputs the converted sound to provide various information to the user and the like. To perceive.
  • the GPS receiver 58 receives radio waves from a plurality of GPS satellites (not shown) including the GPS satellite 20 in response to an instruction from the CPU 60, and outputs reception result information indicating the reception result to the CPU 60.
  • the CPU 60 obtains the above-mentioned image pickup device position information (here, as an example, information indicating latitude, longitude, and altitude that specifies the current position of the image pickup device) based on the reception result information input from the GPS receiver 58. calculate.
  • the communication I / F 52 is connected to the information processing device 12 via a wireless communication base station (not shown) so as to be capable of wireless communication.
  • Communication I / F 52 is realized, for example, by a device having an FPGA.
  • the communication I / F 52 is connected to the bus 66 and controls the exchange of various information between the information processing device 12 and the CPU 60.
  • the information processing device 12 includes a computer 70, a communication I / F 72, and a reception device 74.
  • the computer 70 includes a CPU 76, a storage 78, and a memory 80.
  • the CPU 76 is an example of the "processor” according to the technique of the present disclosure
  • the storage 78 and the memory 80 are an example of the "memory" according to the technique of the present disclosure.
  • the CPU 76 controls the entire information processing device 12.
  • the storage 78 stores various parameters and various programs.
  • the storage 78 is a non-volatile storage device.
  • EEPROM is adopted as an example of the storage 78, but the present invention is not limited to this, and a mask ROM, HDD, SSD, or the like may be used.
  • the memory 80 is a volatile storage device. Various information is temporarily stored in the memory 80.
  • the memory 80 is used as a work memory by the CPU 76.
  • DRAM is adopted as an example of the memory 80, but the present invention is not limited to this, and other types of volatile storage devices such as SRAM may be used.
  • the reception device 74 receives an instruction from a user or the like of the information processing device 12. Examples of the reception device 74 include a touch panel, hard keys, a mouse, and the like.
  • the reception device 74 is connected to the bus 82, and the instruction received by the reception device 74 is acquired by the CPU 76.
  • the CPU 76 executes processing according to the instruction received by the receiving device 74.
  • the information processing device 12 performs wireless communication with the first image pickup device 14 to obtain the above-mentioned first image pickup device position information, the first angle angle information, and the above-mentioned first image pickup image from the first image pickup device 14. To get.
  • the first angle of view information is information indicating the above-mentioned first angle of view ⁇ a.
  • the information processing device 12 performs wireless communication with the second image pickup device 16 to obtain the above-mentioned second image pickup device position information, the second angle angle information, and the above-mentioned second image pickup device 16 from the second image pickup device 16. Acquire the captured image.
  • the second angle of view information is information indicating the above-mentioned second angle of view ⁇ b.
  • the information processing device 12 acquires the above-mentioned subject position identification information from the GPS terminal 18 by performing wireless communication with the GPS terminal 18.
  • angle of view information when it is not necessary to distinguish between the first angle of view information and the second angle of view information, it is referred to as "angle of view information".
  • the first angle of view information and the second angle of view information are examples of "angle of view information" according to the technique of the present disclosure.
  • the CPU 76 of the information processing device 12 generates virtual viewpoint range specifying information and imaging range information based on various information acquired from the terminal device, and generates the generated virtual viewpoint range specifying information and imaging range information. 1 Transmission to the imaging device 14.
  • the virtual viewpoint range specifying information is an example of "virtual viewpoint range specifying information” according to the technique of the present disclosure
  • the imaging range information is an example of "imaging range information" related to the technology of the present disclosure.
  • the storage 78 of the information processing apparatus 12 stores a display mode setting program 86, a virtual viewpoint range specifying program 88, and an imaging range specifying program 90.
  • a display mode setting program 86 a virtual viewpoint range specifying program 88
  • an imaging range specifying program 90 an imaging range specifying program 90.
  • the control unit 76A causes the display 46 of the first imaging device 14 to display the operation mode selection screen 92 by performing wireless communication with the first imaging device 14.
  • the first softkey 92A and the second softkey 92B are displayed on the operation mode selection screen 92.
  • the operation mode of the information processing device 12 and the first imaging device 14 becomes the virtual viewpoint range display mode.
  • the second soft key 92B is turned on by the user (for example, the first person 26) via the touch panel 48, the operation mode of the information processing device 12 and the first imaging device 14 becomes the imaging range display mode.
  • the CPU 76 executes the virtual viewpoint range specifying program 88 in the information processing device 12. Further, when the image pickup range display mode is set for the information processing apparatus 12, the information processing apparatus 12 executes the imaging range specifying program 90 by the CPU 76.
  • the determination unit 76B acquires the position information of the first image pickup device from the first image pickup device 14 and obtains the position information of the second image pickup device from the second image pickup device 16. Acquire and acquire the subject position identification information from the GPS terminal 18. Then, the determination unit 76B is based on the first image pickup device position information, the second image pickup device position information, and the subject position identification information, the first image pickup direction information indicating the first image pickup direction D1 described above, and the second image pickup direction information described above. The second imaging direction information indicating the imaging direction D2 is acquired.
  • imaging direction information when it is not necessary to distinguish between the first imaging direction information and the second imaging direction information, it is referred to as "imaging direction information”. Further, in the following, when it is not necessary to distinguish between the first imaging direction D1 and the second imaging direction D2, the term "imaging direction" is used.
  • the first imaging direction information and the second imaging direction information are examples of the “imaging direction information” according to the technique of the present disclosure
  • the first imaging direction D1 and the second imaging direction D2 are the techniques of the present disclosure. This is an example of such "imaging direction”.
  • the virtual viewpoint range specifying unit 76C specifies the virtual viewpoint range. Specifically, when the determination unit 76B determines that the range within the angle ⁇ 1 is the virtual viewpoint range, the virtual viewpoint range specifying unit 76C uses the first image pickup device position information, the second image pickup device position information, and the second image pickup device position information. 1 Acquisition direction information and 2nd imaging direction information are acquired. Next, the virtual viewpoint range specifying unit 76C uses the virtual viewpoint range specifying information capable of specifying the virtual viewpoint range as the first imaging device position information, the second imaging device position information, the first imaging direction information, and the second imaging direction information. Derived based on. Then, the virtual viewpoint range specifying unit 76C outputs the derived virtual viewpoint range specifying information to the first imaging device 14.
  • the warning information generation unit 76D when the determination unit 76B determines that the range within the angle ⁇ 1 is not the virtual viewpoint range capable of generating a virtual viewpoint image, the warning information generation unit 76D generates warning information and first captures the generated warning information. Output to device 14.
  • the warning information refers to information that alerts the user (for example, the first person 26) that the range within the angle ⁇ 1 is not the virtual viewpoint range.
  • the warning information is information including the first image pickup device position information, the second image pickup device position information, the first image pickup direction information, and the second image pickup direction information.
  • the CPU 60 of the first imaging device 14 generates a virtual viewpoint range image and a first auxiliary message based on the virtual viewpoint range specifying information input from the virtual viewpoint range specifying unit 76C.
  • the virtual viewpoint range image is an image in which the virtual viewpoint range can be specified.
  • a hatched area in which diagonal lines are hatched with respect to the plan view image of the soccer field 22 (hereinafter, also referred to as “soccer field plan view image”) is the virtual viewpoint range. It is shown as.
  • the first auxiliary message is a message for allowing the user (for example, the first person 26) to perceive that the hatched area is within the range in which the virtual viewpoint (for example, a virtual camera) can be installed.
  • the CPU 60 causes the display 46 to display the virtual viewpoint range image and the first auxiliary message.
  • the virtual viewpoint range image is an example of the "virtual viewpoint range image" according to the technique of the present disclosure.
  • the virtual viewpoint range image includes a soccer field plan view image, a virtual viewpoint range defined by an angle ⁇ 1, a current position of the first imaging device 14, and a second imaging device 16.
  • the current position of is displayed.
  • the virtual viewpoint range image has a virtual viewpoint range, a mark indicating the current position of the first imaging device 14, and the current position of the second imaging device 16 with respect to the soccer field plan view image. It is an image in which the mark shown is superimposed and displayed.
  • the virtual viewpoint range is a range specified by the virtual viewpoint range specifying information derived by the virtual viewpoint range specifying unit 76C, and in the example shown in FIG. 10, hatching within the angle ⁇ 1 on the smaller side of the angles ⁇ 1 and ⁇ 2.
  • the area is shown as a virtual viewpoint range.
  • an image showing a human eye is shown as an image showing a virtual viewpoint, but this is only an example and may be an image showing a virtual camera. Further, the image showing the virtual viewpoint may or may not be displayed.
  • the current position of the first imaging device 14 is the position indicated by the position information of the first imaging device.
  • the current position of the second image pickup device 16 is a position indicated by the position information of the second image pickup device.
  • each of the current position of the first imaging device 14 and the current position of the second imaging device 16 is indicated by a circular mark.
  • the circular mark is only an example, and any image can be used as long as the current position of the first imaging device 14 and the current position of the second imaging device 16 are visually identifiable images. good.
  • the first image pickup device position information and the second image pickup device position information are included in the virtual viewpoint range identification information. Therefore, the CPU 60 of the first imaging device 14 causes the current position of the first imaging device 14 to be displayed on the virtual viewpoint range image based on the position information of the first imaging device included in the virtual viewpoint range specifying information. Further, the CPU 60 of the first imaging device 14 causes the current position of the second imaging device 16 to be displayed on the virtual viewpoint range image based on the position information of the second imaging device included in the virtual viewpoint range specifying information.
  • the virtual viewpoint image when the area including the specific subject 30 in the soccer field 22 is viewed from the virtual viewpoint shown in FIG. 10 is a virtual image, and as an example, as shown in FIG. 11, the first captured image. Is generated as a 3D polygon by a specific device (not shown) based on the second captured image and the second captured image.
  • the specific device include an information processing device 12, a first imaging device 14, a server, and / or a personal computer.
  • the display 46 of the first imaging device 14 is displayed.
  • the first captured image is displayed as a live view image, and the first auxiliary message and the virtual viewpoint range image are displayed.
  • an image similar to the virtual viewpoint range image shown in FIG. 10 is displayed as the virtual viewpoint range image, and as the first auxiliary message, "the virtual viewpoint can be arranged in the shaded area.”
  • the message "I will.” Is displayed.
  • the CPU 60 of the first imaging device 14 inputs from the warning information generation unit 76D as shown in FIG. 13 as an example.
  • a warning image and a warning message are generated based on the warning information provided.
  • the warning image is an image in which the virtual viewpoint range cannot be specified.
  • the warning message is a message for the user (for example, the first person 26) to perceive that the virtual viewpoint range cannot be specified.
  • the CPU 60 causes the display 46 to display a warning image and a warning message.
  • the second image pickup apparatus 16 takes an image while facing the person 26, it is not possible to generate a virtual viewpoint image based on the first captured image and the second captured image. This is because the first imaging device 14 images the specific subject 30 from the direction opposite to that of the second imaging device 16.
  • the warning image displays the soccer field plan view image, the current position of the first imaging device 14, and the current position of the second imaging device 16. Specifically, in the warning image, a mark indicating the current position of the first imaging device 14 and a mark indicating the current position of the second imaging device 16 are superimposed and displayed on the soccer field plan view image. It is an image.
  • the first captured image is a live view image on the display 46 of the first imaging device 14. Is displayed, and a warning message and a warning image are displayed. In the example shown in FIG. 15, an image similar to the warning image shown in FIG. 14 is displayed as the warning image, and the message "The virtual viewpoint image cannot be generated at the current camera position" is displayed as the warning message. Has been done.
  • the imaging range is specified as shown in FIG. 16 as an example.
  • the unit 76E acquires the position information of the first image pickup device and the first angle angle information from the first image pickup device 14, obtains the position information of the second image pickup device and the second angle angle information from the second image pickup device 16, and obtains the GPS terminal.
  • the subject position identification information is acquired from 18.
  • the imaging range specifying unit 76E is based on the first imaging device position information, the second imaging device position information, and the subject position specifying information, the first imaging direction information indicating the first imaging direction D1 described above, and the above-described first imaging direction information.
  • the second imaging direction information indicating the second imaging direction D2 is acquired. Specifically, the imaging range specifying unit 76E derives the first imaging direction information indicating the first imaging direction D1 described above based on the first imaging device position information and the subject position specifying information. Further, the imaging range specifying unit 76E derives the second imaging direction information indicating the above-mentioned second imaging direction D2 based on the second imaging device position information and the subject position specifying information.
  • the CPU 60 of the first imaging device 14 generates an imaging range image and a second auxiliary message based on the imaging range information input from the imaging range specifying unit 76E.
  • the imaging range image is an image in which the imaging range can be specified. In the example shown in FIG. 16, in the imaging range image, a grid-like hatching region is shown as an imaging range with respect to the soccer field plan view image.
  • the second auxiliary message is a message for the user (for example, the first person 26) to perceive that a virtual viewpoint image of a subject existing in the hatched area can be generated.
  • the CPU 60 causes the display 46 to display the imaging range image and the second auxiliary message.
  • the imaging range specifying unit 76E identifies the field of view of the first imaging device 14 based on the first imaging device position information, the first imaging direction information, and the first angle of view information, and the second imaging device position.
  • the field of view of the second imaging device 16 is specified based on the information, the second imaging direction information, and the second angle of view information.
  • the imaging range specifying unit 76E specifies an overlapping region between the field of view of the first imaging device 14 and the field of view of the second imaging device 16 as an imaging range.
  • the specific device described above can generate a virtual viewpoint image showing a subject existing in the imaging range based on the first captured image and the second captured image.
  • the current position of the first imaging device 14 is the position indicated by the position information of the first imaging device.
  • the current position of the second image pickup device 16 is a position indicated by the position information of the second image pickup device.
  • each of the current position of the first imaging device 14 and the current position of the second imaging device 16 is indicated by a circular mark.
  • the circular mark is only an example, and any image can be used as long as the current position of the first imaging device 14 and the current position of the second imaging device 16 are visually identifiable images. good.
  • the first imaging device position information and the second imaging device position information are included in the imaging range information. Therefore, the CPU 60 of the first imaging device 14 causes the imaging range image to display a mark indicating the current position of the first imaging device 14 based on the position information of the first imaging device included in the imaging range information. Further, the CPU 60 of the first imaging device 14 causes the imaging range image to display a mark indicating the current position of the second imaging device 16 based on the position information of the second imaging device included in the imaging range information.
  • the first captured image is displayed as a live view image on the display 46 of the first imaging device 14, and the second auxiliary message and the imaging range are displayed.
  • the image is displayed.
  • an image similar to the imaging range image shown in FIG. 17 is displayed as the imaging range image, and as the second auxiliary message, "a virtual viewpoint image of the subject in the shaded area can be generated.
  • the message ".” Is displayed.
  • the display mode setting process shown in FIG. 19 is executed by the CPU 76 according to the display mode setting program 86 when an instruction to execute the display mode setting process is received by the receiving device 54 or 74.
  • step ST10 the control unit 76A determines whether or not the mode change instruction has been accepted.
  • the mode change instruction there is an instruction given to the reception device 54 of the image pickup device (for example, the first image pickup device 14) by the user (for example, the first person 26).
  • the mode change instruction received by the first imaging device 14 is converted into a mode change signal in the first imaging device 14 and output to the control unit 76A via wireless communication.
  • the mode change signal is input to the control unit 76A in step ST10, the determination is affirmed, and the display mode setting process shifts to step ST11. If the mode change signal is not input to the control unit 76A in step ST10, the determination is denied and the display mode setting process shifts to step ST15.
  • step ST11 the control unit 76A displays the operation mode selection screen 92 (see FIG. 7) on the display 46 of the first imaging device 14 by performing wireless communication with the first imaging device 14.
  • the operation mode selection screen 92 On the operation mode selection screen 92, a first soft key 92A for selecting the virtual viewpoint range display mode and a second soft key 92B for selecting the imaging range display mode are displayed.
  • the display mode setting process proceeds to step ST12.
  • step ST12 the control unit 76A determines whether or not the virtual viewpoint range display mode is selected. Specifically, the control unit 76A determines whether or not the first softkey 92A for selecting the virtual viewpoint range display mode is turned on by the user (for example, the first person 26). When the first softkey 92A is turned on, the CPU 60 outputs a virtual viewpoint range display mode selection signal to the control unit 76A via wireless communication.
  • step ST12 When the virtual viewpoint range display mode selection signal is input to the control unit 76A in step ST12, the determination is affirmed and the display mode setting process shifts to step ST13.
  • the CPU 60 When the second softkey 92B is turned on by the user (for example, the first person 26), the CPU 60 outputs the imaging range display mode selection signal to the control unit 76A via wireless communication.
  • step ST12 when the virtual viewpoint range display mode selection signal is not input to the control unit 76A, that is, when the imaging range display mode selection signal is input to the control unit 76A, the determination is denied and the display mode is set. The process proceeds to step ST14.
  • step ST13 the control unit 76A sets the operation mode of the information processing device 12 and the first imaging device 14 to the virtual viewpoint range display mode. Specifically, the control unit 76A reads the virtual viewpoint range specifying program 88 from the storage 78, and executes the read virtual viewpoint range specifying program 88 on the memory 80 to perform the virtual viewpoint range specifying process (FIG. 20) described later. See). After that, the display mode setting process proceeds to step ST15.
  • step ST14 the control unit 76A sets the operation mode of the information processing device 12 and the first imaging device 14 to the imaging range display mode. Specifically, the control unit 76A reads the imaging range specifying program 90 from the storage 78 and executes the read imaging range specifying program 90 on the memory 80 to perform the imaging range specifying process (see FIG. 21) described later. Execute. After that, the display mode setting process proceeds to step ST15.
  • step ST15 the control unit 76A determines whether or not the condition for ending the display mode setting process (hereinafter, referred to as "display mode setting process end condition") is satisfied.
  • the display mode setting process end condition there is a condition that the instruction to end the image pickup mode is received by the reception device 74 (see FIG. 5). If the condition for ending the display mode setting process is not satisfied in step ST15, the determination is denied and the display mode setting process proceeds to step ST10. If the condition for ending the display mode setting process is satisfied in step ST15, the determination is affirmed and the display mode setting process ends.
  • the virtual viewpoint range specifying process shown in FIG. 20 is set to the virtual viewpoint range display mode when an instruction to execute the virtual viewpoint range specifying process is received by the receiving device 54 or 74, that is, in step ST13 of the display mode setting process.
  • the CPU 76 executes the program according to the virtual viewpoint range specifying program 88.
  • step ST20 the control unit 76A determines whether or not the information acquisition timing has arrived.
  • the information acquisition timing there is a timing divided by a time interval defined by the output frame rate.
  • the determination is affirmed, and the virtual viewpoint range specifying process shifts to step ST21. If the information acquisition timing has not arrived in step ST20, the determination is denied and the virtual viewpoint range specifying process shifts to step ST28.
  • step ST21 the determination unit 76B acquires the position information of the first image pickup device from the first image pickup device 14, acquires the position information of the second image pickup device from the second image pickup device 16, and obtains the subject position identification information from the GPS terminal 18. get. After that, the virtual viewpoint range specifying process proceeds to step ST22.
  • the virtual viewpoint range specifying unit 76C In step ST24, the virtual viewpoint range specifying unit 76C generates virtual viewpoint range specifying information.
  • the virtual viewpoint range specifying information is information that specifies a range within the angle ⁇ 1 as a virtual viewpoint range in which a virtual viewpoint image can be generated based on the first captured image and the second captured image.
  • the virtual viewpoint range specifying unit 76C derives the virtual viewpoint range specifying information based on the first imaging device position information, the second imaging device position information, the first imaging direction information, and the second imaging direction information. After that, the virtual viewpoint range specifying process proceeds to step ST25.
  • step ST27 the warning information generation unit 76D outputs the warning information generated in step ST26 to the first imaging device 14.
  • the CPU 60 of the first imaging device 14 generates a warning image and a warning message based on the warning information input from the warning information generation unit 76D, and displays the generated warning image and the warning message on the display 46.
  • the warning image and the warning message are images and messages for notifying the user (for example, the first person 26) that the virtual viewpoint range cannot be specified. After that, the virtual viewpoint range specifying process proceeds to step ST28.
  • step ST28 the control unit 76A determines whether or not the condition for terminating the virtual viewpoint range specifying process (hereinafter referred to as "virtual viewpoint range specifying process end condition") is satisfied.
  • the virtual viewpoint range specifying process end condition there is a condition that the mode change instruction is received by the reception device 54 or 74. If the virtual viewpoint range specifying process end condition is not satisfied in step ST28, the determination is denied and the virtual viewpoint range specifying process proceeds to step ST20. If the condition for ending the virtual viewpoint range specifying process is satisfied in step ST28, the determination is affirmed and the virtual viewpoint range specifying process ends.
  • step ST30 the control unit 76A determines whether or not the information acquisition timing has arrived.
  • the information acquisition timing there is a timing divided by a time interval defined by the output frame rate.
  • the determination is affirmed, and the imaging range specifying process shifts to step ST31. If the information acquisition timing has not arrived in step ST30, the determination is denied and the imaging range specifying process shifts to step ST35.
  • step ST31 the imaging range specifying unit 76E acquires the position information of the first imaging device and the first angle of view information from the first imaging device 14, and the position information of the second imaging device and the second angle of view from the second imaging device 16. The information is acquired, and the subject position identification information is acquired from the GPS terminal 18. After that, the imaging range specifying process proceeds to step ST32.
  • step ST32 the imaging range specifying unit 76E derives the first imaging direction information indicating the first imaging direction D1 based on the first imaging device position information and the subject position specifying information acquired in step ST31. Further, the imaging range specifying unit 76E derives the second imaging direction information indicating the second imaging direction D2 based on the second imaging device position information and the subject position specifying information acquired in step ST31. After that, the imaging range specifying process proceeds to step ST33.
  • the imaging range specifying unit 76E is derived from the first imaging device position information, the second imaging device position information, the first angle of view information, and the second angle of view information acquired in step ST31, and in step ST32.
  • the imaging range information is generated based on the first imaging direction information and the second imaging direction information.
  • the imaging range information is an imaging range in which a virtual viewpoint image can be generated based on the first captured image and the second captured image, and is information regarding overlapping imaging ranges by the first imaging device 14 and the second imaging device 16. be.
  • the imaging range specifying unit 76E outputs the imaging range information generated in step ST33 to the first imaging device 14.
  • the CPU 60 of the first imaging device 14 generates an imaging range image and a second auxiliary message based on the imaging range information input from the imaging range specifying unit 76E.
  • the imaging range image is an image showing an imaging range in which a virtual viewpoint image can be generated based on the first captured image and the second captured image, and shows an overlapping imaging range by the first imaging device 14 and the second imaging device 16. It is an image.
  • the second auxiliary message is a message for making the user (for example, the first person 26) perceive that it is possible to generate a virtual viewpoint image showing a subject existing in the imaging range.
  • the CPU 60 causes the display 46 to display the imaging range image and the second auxiliary message. After that, the imaging range specifying process proceeds to step ST35.
  • step ST35 the control unit 76A determines whether or not the condition for ending the imaging range specifying process (hereinafter, referred to as “imaging range specifying process ending condition”) is satisfied.
  • the imaging range specifying process end condition there is a condition that the mode change instruction is received by the receiving device 54 or 74 (see FIG. 5). If the condition for ending the imaging range specifying process is not satisfied in step ST35, the determination is denied and the imaging range specifying process shifts to step ST30. If the condition for ending the imaging range specifying process is satisfied in step ST35, the determination is affirmed and the imaging range specifying process ends.
  • the virtual viewpoint range is specified in the range of 0 degrees ⁇ 1 ⁇ 180 degrees, but the technique of the present disclosure is not limited to this.
  • the numerical values of 0 degree and 180 degrees are examples, and the virtual viewpoint range is appropriately set to a range in which a virtual viewpoint image can be generated.
  • the information processing device 12 acquires the image pickup device position information and the image pickup direction information.
  • the information processing device 12 generates virtual viewpoint range specifying information that can specify a range within the angle ⁇ 1 on the smaller side of the angles ⁇ 1 and ⁇ 2 formed by the first imaging direction D1 and the second imaging direction D2 as a virtual viewpoint range.
  • the generated virtual viewpoint range identification information is output to the first imaging device 14. Therefore, according to the information processing device 12 and the first imaging device 14 according to the first embodiment, it is possible to assist in determining the viewpoint position capable of generating a virtual viewpoint image.
  • step ST20 each time the information acquisition timing arrives in step ST20, the terminal position information is acquired in step ST21, and the imaging direction information is derived in step ST22. Will be done.
  • step ST23 Each time the terminal position information and the imaging direction information are acquired in step ST21 and step ST22, it is determined in step ST23 whether or not 0 degree ⁇ 1 ⁇ 180 degree is satisfied.
  • virtual viewpoint range identification information is generated in step ST24, or warning information is generated in step ST26. Therefore, as compared with the case where the virtual viewpoint range specifying information is always fixed, the virtual viewpoint range specifying information according to the current situation can be derived with high accuracy.
  • the information processing device 12 outputs the generated virtual viewpoint range specifying information to the first imaging device 14.
  • the first imaging device 14 outputs a virtual viewpoint range image indicating the virtual viewpoint range to the display 46 based on the virtual viewpoint range specifying information input from the information processing device 12. Therefore, the user can visually perceive the virtual viewpoint range as compared with the case where the virtual viewpoint range image is not output to the display 46.
  • the virtual viewpoint range is a range within the angle ⁇ 1 on the smaller side of the angles ⁇ 1 and ⁇ 2 formed by the first imaging device 14 and the second imaging device 16 with respect to the specific subject 30. .. Therefore, the virtual viewpoint image is a range within the larger angle ⁇ 2 of the angles ⁇ 1 and ⁇ 2 formed by the first imaging device 14 and the second imaging device 16 with respect to the specific subject 30. It is possible to suppress the occurrence of a situation in which is not generated.
  • the information processing device 12 outputs the imaging direction position information. Therefore, as compared with the case where the image pickup device position information is not output, the user can be made to grasp the positional relationship of the plurality of image pickup devices.
  • the information processing device 12 outputs the image pickup device position information to the first image pickup device 14 which is the same as the output destination of the virtual viewpoint range specific information. Therefore, the user can visually perceive the positional relationship of the plurality of imaging devices as well as the virtual viewpoint range.
  • the information processing device 12 acquires image pickup device position information, image pickup direction information, and image angle information of a plurality of image pickup devices, and acquires the image pickup device position information, image pickup direction information, and image.
  • the imaging range information is derived based on the angle information. Further, the information processing device 12 outputs the derived imaging range information and the imaging device position information.
  • the imaging range information is an imaging range in which a virtual viewpoint image can be generated based on images captured by a plurality of imaging devices, and is information regarding overlapping imaging ranges by a plurality of imaging devices. Therefore, as compared with the case where the imaging range information is not output, the user can grasp the imaging range in which the virtual viewpoint image can be generated.
  • the information processing device 12 outputs the image pickup range information to the first image pickup device 14 which is also the output destination of the virtual viewpoint range specific information. Therefore, compared to the case where the output destination of the imaging range information is different from the output destination of the virtual viewpoint range specific information, the user is made to visually perceive the imaging range capable of generating the virtual viewpoint image together with the virtual viewpoint range. Can be done.
  • the information processing device 12 outputs the imaging range information and the imaging device position information to the first imaging device 14. Therefore, the user can be made to perceive the imaging range and the position of the imaging device as compared with the case where the imaging range information and the imaging device position information are not output to the first imaging device 14.
  • the virtual viewpoint range image is displayed on the display 46 and set to the imaging range display mode.
  • the imaging range image is displayed, but the technique of the present disclosure is not limited to this.
  • a superimposed image in which a virtual viewpoint range image and an imaging range image are superimposed may be displayed on the display 46.
  • the shaded hatched area indicates the virtual viewpoint range
  • the grid-shaped hatched area indicates the imaging range.
  • the CPU 76 of the information processing apparatus 12 executes the virtual viewpoint range specifying program 88 and the imaging range specifying program 90 in parallel on the memory 80 to perform the virtual viewpoint range specifying process shown in FIG. 20 and the imaging shown in FIG. 21. Perform range specification processing in parallel.
  • the determination unit 76B acquires at least one of the imaging device position information and the imaging direction information at the previous information acquisition timing. It may be determined whether or not it has been changed from the information provided. If it has been changed, the determination unit 76B determines in step ST23, and depending on the determination result in step ST23, virtual viewpoint range identification information is generated in step ST24, or warning information is generated in step ST26. If it has not been changed, the virtual viewpoint range specifying process does not perform the steps after step ST23, and proceeds to step ST20.
  • the information processing device 12 outputs the generated virtual viewpoint range specifying information to the first imaging device 14, but the technique of the present disclosure is not limited to this, and the information processing device 12 is the first.
  • the virtual viewpoint range specifying information may be output to the second image pickup device 16.
  • the CPU 76 of the information processing apparatus 12 acquires the terminal position information and the imaging direction information, and generates the virtual viewpoint range specifying information based on the acquired terminal position information and the imaging direction information.
  • the techniques of the present disclosure are not limited to this.
  • the information processing device 12 outputs terminal position information and imaging direction information to the first imaging device 14 as an example of "information regarding virtual viewpoint range specific information" according to the technique of the present disclosure, and the CPU 60 of the first imaging device 14 receives
  • the terminal position information and the imaging direction information may be acquired from the information processing device 12, and the virtual viewpoint range specifying information may be generated based on the acquired terminal position information and the imaging direction information.
  • the CPU 60 outputs the generated virtual viewpoint range specific information to the display 46. In this case as well, the user can visually perceive the virtual viewpoint range as in the first embodiment.
  • the CPU 76 includes the guidance information generation unit 76F instead of the warning information generation unit 76D. It differs from the CPU 76 depending on the form. Since the other configurations of the information processing apparatus 12 according to the second embodiment are the same as those of the information processing apparatus 12 according to the first embodiment, the same components as those described in the first embodiment are the same. Reference numerals are given, and the description thereof will be omitted.
  • the storage 78 of the information processing device 12 stores a display mode setting program 86, a virtual viewpoint range specifying program 88, and an imaging range specifying program 90.
  • the display mode setting process performed by executing the display mode setting program 86 and the imaging range specifying process performed by executing the imaging range specifying program 90 are the same as the processes described in the first embodiment. , The description is omitted here.
  • the virtual viewpoint range specifying process performed by executing the virtual viewpoint range specifying program 88 will be described below.
  • the CPU 76 reads the virtual viewpoint range specifying program 88 from the storage 78 and executes the read virtual viewpoint range specifying program 88 on the memory 80 to determine the control unit 76A. It operates as a unit 76B, a virtual viewpoint range specifying unit 76C, and a guidance information generation unit 76F.
  • the range within the angle ⁇ 1 on the smaller side of the angles ⁇ 1 and ⁇ 2 formed by the first imaging direction D1 and the second imaging direction D2 with respect to the specific subject 30 (see FIG. 1) is the virtual viewpoint image. Is determined whether or not the virtual viewpoint range can be generated. That is, when the angle ⁇ 1 is equal to or less than a predetermined angle (for example, 175 degrees) and is equal to or greater than a predetermined under angle (for example, 5 degrees) as an under angle within the predetermined angle, the determination unit 76B , It is determined that the range within the angle ⁇ 1 is the virtual viewpoint range in which the virtual viewpoint image can be generated.
  • a predetermined angle for example, 175 degrees
  • a predetermined under angle for example, 5 degrees
  • the virtual viewpoint range specifying unit 76C specifies the virtual viewpoint range. Specifically, when the determination unit 76B determines that the range within the angle ⁇ 1 is the virtual viewpoint range, the virtual viewpoint range specifying unit 76C uses the first image pickup device position information, the second image pickup device position information, and the second image pickup device position information. 1 Acquisition direction information and 2nd imaging direction information are acquired. Next, the virtual viewpoint range specifying unit 76C uses the virtual viewpoint range specifying information capable of specifying the virtual viewpoint range as the first imaging device position information, the second imaging device position information, the first imaging direction information, and the second imaging direction information. Derived based on. Then, the virtual viewpoint range specifying unit 76C outputs the derived virtual viewpoint range specifying information to the first imaging device 14.
  • the virtual viewpoint range is specified in the range of 5 degrees ⁇ ⁇ 1 ⁇ 175 degrees, but the technique of the present disclosure is not limited to this.
  • the numerical values of 5 degrees and 175 degrees are examples, and the virtual viewpoint range is appropriately set to a range in which a virtual viewpoint image can be generated.
  • the under-angle is an angle that defines a range of positions of an imaging device that is not suitable for generating a virtual viewpoint image based on a plurality of captured images. Therefore, compared to the case where the under-angle is not an angle that defines the range of positions of the image pickup devices that are not suitable for generating the virtual viewpoint image, the positions of the plurality of image pickup devices are the positions where the virtual viewpoint image cannot be generated. However, it is possible to suppress the occurrence of a situation in which imaging is performed by a plurality of imaging devices without changing the position.
  • the image pickup device when the angle ⁇ 1 on the smaller side of the angles ⁇ 1 and ⁇ 2 formed by the imaging directions of the plurality of imaging devices with respect to the specific subject 30 is smaller than 5 degrees. It outputs guidance information that guides the position of at least one imaging device among the plurality of imaging devices to a position where the angle ⁇ 1 is 5 degrees or more and 175 degrees or less. Therefore, as compared with the case where the position of the image pickup device is not guided, the image pickup device can be appropriately arranged at a position where a plurality of captured images capable of generating a virtual viewpoint image can be obtained.
  • the information processing device 12 outputs the guidance information to the same output destination as the output destination of the virtual viewpoint range specific information, that is, the first imaging device 14. Therefore, the user can visually perceive the position of the imaging device for obtaining a plurality of captured images capable of generating the virtual viewpoint image together with the virtual viewpoint range.
  • the guidance information generation program 91 is stored in the storage 78, and the CPU 76 includes the viewpoint position detection unit 76G. It is different from the information processing device 12 according to the second embodiment. Since the other configurations of the information processing apparatus 12 according to the third embodiment are the same as those of the information processing apparatus 12 according to the second embodiment, the same reference numerals are given to the same components as those described in the above embodiment. The description will be omitted.
  • the storage 78 of the information processing device 12 stores a display mode setting program 86, a virtual viewpoint range specifying program 88, an imaging range specifying program 90, and a guidance information generation program 91.
  • the guidance information generation program 91 is also included. It is referred to as an "information processing device program" without a code.
  • the display mode setting process performed by executing the display mode setting program 86 and the imaging range specifying process performed by executing the imaging range specifying program 90 are the same as the processes described in the first embodiment. , The description is omitted here. Since the virtual viewpoint range specifying process performed by executing the virtual viewpoint range specifying program 88 is the same as the process described in the second embodiment, the description thereof is omitted here.
  • the guidance information generation process performed by executing the guidance information generation program 91 will be described below.
  • the CPU 76 reads the guidance information generation program 91 from the storage 78, and executes the read guidance information generation program 91 on the memory 80 to execute the control unit 76A, the determination unit 76B, the guidance information generation unit 76F, and the viewpoint position detection unit 76G. Works as.
  • FIG. 32 shows a virtual viewpoint range image displayed on the display 46 of the first imaging device 14.
  • the virtual viewpoint range image shows the hatching region within the angle ⁇ 1 on the smaller side of the angles ⁇ 1 and ⁇ 2 formed by the first imaging direction D1 and the second imaging direction D2 as the virtual viewpoint range.
  • the virtual viewpoint range has an angle ⁇ 1 that is equal to or less than a predetermined angle (for example, 175 degrees) and is predetermined as an under angle within the predetermined angle (for example, 5). It is stipulated on the condition that it is more than or equal to.
  • the determination unit 76B determines whether or not the viewpoint position specified by the user is within the virtual viewpoint range. When the viewpoint position is within the virtual viewpoint range, the determination unit 76B determines that the generation of guidance information by the guidance information generation unit 76F is unnecessary, and outputs the virtual viewpoint range identification information to the first imaging device 14. On the other hand, when the viewpoint position is outside the virtual viewpoint range, the determination unit 76B determines that the guidance information generation unit 76F needs to generate the guidance information.
  • the guidance information generation unit 76F generates guidance information and outputs the generated guidance information to the first imaging device 14.
  • the guidance information refers to the first image pickup device 14 or the second image pickup device 16 in order to obtain a plurality of captured images necessary for generating a virtual viewpoint image in which the specific subject 30 is viewed from the viewpoint position designated by the user. This is information for guiding to a position satisfying 5 degrees ⁇ angle ⁇ 1 ⁇ 175 degrees.
  • the guidance information includes a first imaging device position information, a second imaging device position information, a first imaging direction information, a second imaging direction information, and a moving direction information.
  • the moving direction information is information indicating a direction in which at least one of the first imaging device 14 and the second imaging device 16 is moved.
  • the guidance information is an example of "second guidance information" related to the technique of the present disclosure.
  • the first captured image is displayed as a live view image on the display 46 of the first imaging device 14, and a guidance message and a guidance image are displayed.
  • a guidance message and a guidance image are displayed.
  • an image similar to the guidance image shown in FIG. 33 is displayed as the guidance image, and the guidance message is "The virtual viewpoint image cannot be generated at the current imaging position. Please move in the direction. "Is displayed.
  • step ST51 the determination unit 76B acquires the virtual viewpoint range specifying information from the virtual viewpoint range specifying unit 76C, and acquires the viewpoint position information from the viewpoint position detecting unit 76G. After that, the virtual viewpoint range specifying process proceeds to step ST52.
  • step ST52 the determination unit 76B determines whether or not the viewpoint position specified by the user is outside the virtual viewpoint range based on the virtual viewpoint range specifying information and the viewpoint position information acquired in step ST51. If the viewpoint position is outside the virtual viewpoint range, the determination is affirmed, and the guidance information generation process proceeds to step ST53. If the viewpoint position is within the virtual viewpoint range, the determination is denied, and the guidance information generation process proceeds to step ST55.
  • the guidance information generation unit 76F generates guidance information.
  • the guidance information is the first image pickup device 14 or the second image pickup device 16 in order to obtain a plurality of captured images necessary for generating a virtual viewpoint image in which the specific subject 30 is viewed from the viewpoint position designated by the user. This is information to guide you whether to move in the direction.
  • the guidance information generation unit 76F derives guidance information based on the virtual viewpoint range specific information and the viewpoint position information. After that, the guidance information generation process proceeds to step ST54.
  • step ST54 the guidance information generation unit 76F outputs the guidance information derived in step ST53 to the first imaging device 14.
  • the CPU 60 of the first imaging device 14 generates a guidance image and a guidance message based on the guidance information input from the guidance information generation unit 76F.
  • the guide image includes movement direction information for guiding in which direction the first image pickup device 14 or the second image pickup device 16 should be moved.
  • the CPU 60 displays the generated guidance image and guidance message on the display 46. After that, the guidance information generation process proceeds to step ST56.
  • step ST55 the determination unit 76B outputs the virtual viewpoint range identification information to the first imaging device 14.
  • the CPU 60 of the first imaging device 14 generates a virtual viewpoint range image and a first auxiliary message based on the virtual viewpoint range identification information input from the determination unit 76B, and generates the generated virtual viewpoint range image and the first auxiliary message. It is displayed on the display 46.
  • the guidance information generation process proceeds to step ST56.
  • the information processing device 12 outputs the guidance information to the first imaging device 14 which is the same as the output destination of the virtual viewpoint range specific information. Therefore, compared to the case where the guidance information is not output to the same output destination as the output destination of the virtual viewpoint range specific information, even if the viewpoint position is outside the virtual viewpoint range, the virtual viewpoint image is displayed to the user together with the virtual viewpoint range.
  • the position of the image pickup device for obtaining a plurality of virtual viewpoint images capable of generating the image can be visually perceived.
  • the guidance information generation unit 76F generates guidance information for moving the position of the first imaging device 14, but the technique of the present disclosure is not limited to this.
  • the guidance information generation unit 76F may generate guidance information for moving the position of the second imaging device 16, or may move the positions of both the first imaging device 14 and the second imaging device 16. Guidance information may be generated.
  • the image pickup device range specifying program 89 is stored in the storage 78 instead of the virtual viewpoint range specifying program 88, and the CPU 76 warns information. It differs from the information processing device 12 according to the first embodiment in that it includes an image pickup device range specifying section 76H instead of the generation section 76D. Since the other configurations of the information processing apparatus 12 according to the fourth embodiment are the same as those of the information processing apparatus 12 according to the first embodiment, the same reference numerals are given to the same components as those described in the above embodiment. The description will be omitted.
  • the display mode setting program 86, the imaging range specifying program 90, and the imaging device range specifying program 89 are stored in the storage 78 of the information processing device 12.
  • the imaging device range specifying program 89 is also referred to as an “information processing device program” without a reference numeral.
  • the CPU 76 reads the imaging device range specifying program 89 from the storage 78, and executes the read imaging device range specifying program 89 on the memory 80 to execute the control unit 76A, the determination unit 76B, the virtual viewpoint range specifying unit 76C, and the imaging device. It operates as a range specifying unit 76H.
  • the hatched region in the sector defined by the angle ⁇ 1 is the imaging device range.
  • the angle ⁇ 1 is an angle on the smaller side of the angles ⁇ 1 and ⁇ 2 formed by the first imaging direction D1 and the second imaging direction D2, as described in the above embodiment.
  • optical zoom magnification when it is not necessary to distinguish between the first optical zoom magnification and the second optical zoom magnification, it is referred to as "optical zoom magnification".
  • the first optical zoom magnification and the second optical zoom magnification are examples of the "zoom ability" according to the technique of the present disclosure.
  • the image pickup device range specifying unit 76H derives the first image pickup direction information and the first subject distance indicating the first image pickup direction D1 based on the first image pickup device position information and the subject position identification information. Further, the image pickup device range specifying unit 76H derives the second image pickup direction information indicating the second image pickup direction D2 and the second subject distance based on the second image pickup device position information and the subject position identification information.
  • the first subject distance and the second subject distance are examples of the "subject distance” according to the technique of the present disclosure.
  • the term “subject distance” is used.
  • the image pickup device range identification unit 76H generates image pickup device range identification information based on the first subject distance, the second subject distance, the first optical zoom magnification, and the second optical zoom magnification.
  • the image pickup device range identification information is the quality of the first image pickup image and the second image pickup image acquired by the first image pickup device 14 and the second image pickup device 16 (for example, the size of the image showing the specific subject 30 and / or).
  • the resolution of the captured image) is information that can specify the range of the position of the second imaging device 16 that falls within the predetermined range.
  • the default range may be a fixed value previously derived by sensory testing and / or computer simulation or the like, or may be a variable value that can be changed according to the instructions received by the receiving device 54 or 74.
  • the image pickup device range identification information may be generated based on at least one of the subject distance and the optical zoom magnification.
  • the imaging device range specifying information is an example of "imaging device range specifying information" according to the technique of the present disclosure.
  • the determination unit 76B determines whether or not the position of the second image pickup device 16 is within the image pickup device range specified by the image pickup device range identification information.
  • the imaging device range refers to the range of positions of the second imaging device 16 in which the quality of the first captured image and the second captured image falls within the predetermined range.
  • the determination unit 76B determines that a virtual viewpoint image can be generated.
  • the virtual viewpoint range specifying unit 76C similarly to the first embodiment, the virtual viewpoint range specifying unit 76C generates virtual viewpoint range specifying information, and outputs the generated virtual viewpoint range specifying information to the first imaging device 14.
  • the CPU 60 of the first imaging device 14 generates a virtual viewpoint range image and a first auxiliary message based on the virtual viewpoint range specifying information input from the virtual viewpoint range specifying unit 76C. Since the virtual viewpoint range image and the first auxiliary message are the same as those described in the first embodiment, the description thereof will be omitted.
  • the CPU 60 of the first imaging device 14 generates an imaging device range image and a guidance message based on the imaging device range specifying information input from the imaging device range specifying unit 76H.
  • the image pickup device range image a mark indicating the current position of the first image pickup device 14, a mark indicating the current position of the second image pickup device 16, and an image pickup device range are superimposed on the soccer field plan view image. It is an image.
  • the guidance message causes the user to perceive that a virtual viewpoint image cannot be generated from the captured image obtained by capturing the image at the current position of the second imaging device 16, and guides the user to move the second imaging device 16. It is a message to do.
  • the CPU 60 causes the display 46 to display a guidance image and a guidance message.
  • the first captured image is displayed as a live view image on the display 46 of the first image pickup device 14, and a guidance message and an image pickup device range image are displayed.
  • a guidance message and an image pickup device range image are displayed.
  • an image similar to the image pickup device range image shown in FIG. 38 is displayed as the image pickup device range image, and the guidance message is "The second camera is too far from the subject. Please move it into the shaded area. "Is displayed.
  • the image pickup device range identification process is also included. It is called "information processing device side processing".
  • the imaging device range specifying process shown in FIG. 40 is virtual when an instruction to execute the virtual viewpoint range specifying process is received by the receiving device 54 or 74, that is, in step ST13 of the display mode setting process (see FIG. 19).
  • the CPU 76 executes the program according to the imaging device range specifying program 89.
  • step ST60 the control unit 76A determines whether or not the information acquisition timing has arrived.
  • the information acquisition timing there is a timing divided by a time interval defined by the output frame rate.
  • the determination is affirmed, and the imaging device range specifying process shifts to step ST61. If the information acquisition timing has not arrived in step ST60, the determination is denied, and the imaging device range specifying process shifts to step ST68.
  • step ST61 the image pickup device range specifying unit 76H acquires the first image pickup device position information, the first angle of view information, and the first optical zoom magnification from the first image pickup device 14. Further, the image pickup device range specifying unit 76H acquires the second image pickup device position information, the second angle of view information, and the second optical zoom magnification from the second image pickup device 16. Further, the imaging device range specifying unit 76H acquires the subject position specifying information from the GPS terminal 18. After that, the imaging device range specifying process proceeds to step ST62.
  • the image pickup device range identification unit 76H generates image pickup device range identification information based on the first subject distance, the second subject distance, the first optical zoom magnification, and the second optical zoom magnification.
  • the image pickup device range identification information specifies the range of positions of the second image pickup device 16 in which the quality of the first image pickup image and the second image pickup image acquired by the first image pickup device 14 and the second image pickup device 16 falls within a predetermined range. Possible information.
  • the imaging device range specifying process is performed in parallel with step ST64.
  • step ST64 the determination unit 76B determines whether or not the position of the second image pickup device 16 is within the image pickup device range specified by the image pickup device range identification information. When the position of the second imaging device 16 is within the imaging device range, the determination is affirmed, and the imaging device range specifying process proceeds to step ST65. If the position of the second image pickup device 16 is outside the range of the image pickup device, the determination is denied, and the image pickup device range identification process proceeds to step ST67.
  • step ST65 the virtual viewpoint range specifying unit 76C generates virtual viewpoint range specifying information capable of specifying the virtual viewpoint range. After that, the imaging device range specifying process proceeds to step ST66.
  • the image pickup device range specifying unit 76H generates guidance information for moving the position of the second image pickup device 16, but the technique of the present disclosure is not limited to this.
  • the image pickup device range specifying unit 76H may generate guidance information for moving the position of the first image pickup device 14, or move the positions of both the first image pickup device 14 and the second image pickup device 16. Guidance information for the purpose may be generated.
  • the virtual viewpoint range image is an image in which the virtual viewpoint range is displayed on the soccer field plan view image, but the technique of the present disclosure is not limited to this.
  • the virtual viewpoint range image may be an image in which the virtual viewpoint range is displayed on the image of the soccer field 22 viewed from diagonally above according to the height of the viewpoint of the first person 26.
  • the virtual viewpoint range image is an image in which the virtual viewpoint range is displayed on the image of the soccer field 22, but the technique of the present disclosure is not limited to this. Regardless of whether the virtual viewpoint range image is a plan view image or an image viewed from diagonally above, the image of the soccer field 22 is not displayed, and the first image pickup device 14, the second image pickup device 16, and the specific subject 30 are displayed. Only the position of and the virtual viewpoint range may be displayed as a virtual viewpoint range image. The same applies to the imaging range image and the imaging device range image.
  • a soccer field 22 may be imaged from directly above or diagonally above using a drone with GPS.
  • the soccer field plan view image is not limited to the captured image, and a sample data image showing the shape of the field is stored in advance in the information processing device 12 for each competition or each venue, and the user can appropriately select from the sample data images. You may choose the one.
  • the first person 26 since it is necessary to associate the sample data image with the terminal position information, the first person 26 may specify the position of the first imaging device 14 and the imaging direction D1 on the sample data image.
  • the second person 28 may specify the position of the second image pickup device 16 and the image pickup direction D2 on the sample data image, and all three terminal devices are their own positions. May be specified.
  • the display 46 has been described with reference to examples of forms in which various messages such as a first auxiliary message, a second auxiliary message, a warning message, and a guidance message are displayed. Not limited to this.
  • the speaker 56 may output the contents of various messages by voice.
  • the first imaging device 14 and the second imaging device 16 have been exemplified, but the technique of the present disclosure is not limited to this, and the first imaging device 14 and the second imaging device 16 are included. More than one imaging device may be applied.
  • the virtual viewpoint range specifying information capable of specifying the virtual viewpoint range capable of generating the virtual viewpoint image based on the plurality of captured images obtained by the CPU 60 or 76 being imaged by three or more imaging devices is provided. , It may be derived based on the image pickup device position information and the image pickup direction information for each image pickup device.
  • computers 50 and 70 have been illustrated, but the technology of the present disclosure is not limited to this.
  • computers 50 and / or 70 devices including ASICs, FPGAs, and / or PLDs may be applied.
  • a combination of hardware configuration and software configuration may be used.
  • the information processing device program is stored in the storage 78, but the technique of the present disclosure is not limited to this, and as shown in FIG. 41 as an example, any arbitrary device such as an SSD or a USB memory can be used.
  • the information processing device program may be stored in the portable storage medium 100.
  • the information processing device program stored in the storage medium 100 is installed in the computer 70, and the CPU 76 executes the information processing device side processing according to the information processing device program.
  • the information processing device program may be installed in the computer 50, and the CPU 60 may execute the information processing device side processing according to the information processing device program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

情報処理装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサは、複数の撮像装置の位置に関する撮像装置位置情報、及び複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得し、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、撮像装置位置情報及び撮像方向情報に基づいて導出し、仮想視点範囲特定情報に関する情報を出力する。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
 特開2019-121945号公報には、撮影画像を取得する撮像装置であって、撮像装置の位置情報を取得する位置情報取得手段と、撮影の距離情報を取得する距離情報取得手段と、撮影画像と位置情報と距離情報とを用いて、仮想的に設定した位置から見た仮想視点画像を生成する仮想視点画像生成手段と、仮想視点画像生成手段で生成した仮想視点画像に生じる欠落領域に基づいて、次に撮影を行うべき位置を決定する次撮影位置決定手段と、次撮影位置決定手段で決定した次に撮影を行うべき位置を提示する提示手段とを備えたことを特徴とする撮像装置が開示されている。
 特開2018-113683号公報には、複数視点映像を用いて、仮想カメラから見た映像である仮想視点映像を生成する画像処理装置であって、同程度の画角を有する複数の実カメラで構成されるカメラ群毎に、複数の実カメラに共通する撮影領域を導出する導出手段と、仮想カメラに関するパラメータを、GUIを介したユーザ入力に基づいて設定する設定手段と、を備え、GUIには、導出手段で導出されたカメラ群毎の撮影領域が認識可能に表示されることを特徴とする画像処理装置が開示されている。
 特開2011-172169号公報には、指定された視点での映像を処理する映像処理装置であって、視点での映像の視聴が可能な第1領域及び視点での映像の視聴が可能でない第2領域を示すマップ情報をユーザに提示する情報として生成し、第1領域の内部で視点移動を制御する制御手段と、制御手段が第1領域の内部に設定した視点での映像データを生成する映像生成手段と、を備え、制御手段は、被写体を異なる方向から撮影した複数のカメラの座標情報を少なくとも用いて、第1領域と第2領域との境界を判断してマップ情報を生成することを特徴とする映像処理装置が開示されている。
 特開2018-107793号公報には、フィールドを互いに異なる方向から撮影する複数の第1カメラにより得られる複数の撮影画像に基づいて、仮想視点の位置及び方向に応じた第1仮想視点画像を生成する第1生成手段と、フィールドの少なくとも一部を互いに異なる方向から撮影する1または複数の第2カメラにより得られる1または複数の撮影画像に基づいて第1仮想視点画像よりも高画質の第2仮想視点画像を生成するか否かを、第1生成手段により生成された第1仮想視点画像の評価結果に応じて決定する決定手段と、決定手段による決定に応じて第1仮想視点画像よりも高画質の第2仮想視点画像を生成する第2生成手段と、を備えたことを特徴とする仮想視点画像生成装置が開示されている。
 特開2019-197348号公報には、仮想視点を指定する指定手段と、指定手段により指定される仮想視点と複数のカメラが撮影した撮影画像に基づいて生成される仮想視点画像であって仮想視点に対応する仮想視点画像の画質との関係に関する情報を表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置が開示されている。
 本開示の技術の一つの実施形態は、仮想視点画像を生成可能な撮像位置の決定を補助することができる情報処理装置、情報処理方法、及びプログラムを提供する。
 本開示の技術に係る第1の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置であって、プロセッサが、複数の撮像装置の位置に関する撮像装置位置情報、及び複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得し、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、撮像装置位置情報及び撮像方向情報に基づいて導出し、仮想視点範囲特定情報に関する情報を出力する情報処理装置である。
 本開示の技術に係る第2の態様は、プロセッサが、撮像装置位置情報及び撮像方向情報のうちの少なくとも一方が変更又は取得される毎に仮想視点範囲特定情報を導出する第1の態様に係る情報処理装置である。
 本開示の技術に係る第3の態様は、プロセッサが、仮想視点範囲特定情報に関する情報を、複数の撮像装置のうちの少なくとも1つの撮像装置、又は、第1ディスプレイに出力する第1の態様又は第2の態様に係る情報処理装置である。
 本開示の技術に係る第4の態様は、少なくとも1つの撮像装置が第2ディスプレイを有し、少なくとも1つの撮像装置は、仮想視点範囲特定情報に関する情報に基づいて、仮想視点範囲を示す仮想視点範囲画像を第2ディスプレイに表示させる第3の態様に係る情報処理装置である。
 本開示の技術に係る第5の態様は、プロセッサが、第1特定被写体の位置を特定する被写体位置特定情報を更に取得し、被写体位置特定情報及び撮像装置位置情報に基づいて撮像方向情報を取得する第1の態様から第4の態様のうちの何れか一つの態様に係る情報処理装置である。
 本開示の技術に係る第6の態様は、仮想視点範囲が、第2特定被写体に対して複数の撮像装置の撮像方向が成す角度のうちの小さい側の第1角度内の範囲である第1の態様から第5の態様のうちの何れか一つの態様に係る情報処理装置である。
 本開示の技術に係る第7の態様は、仮想視点範囲が、第1角度内であり、かつ、第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である第6の態様に係る情報処理装置である。
 本開示の技術に係る第8の態様は、第1過小角度が、複数の撮像画像を基に仮想視点画像の生成に適さない撮像位置の範囲を規定する角度である第7の態様に係る情報処理装置である。
 本開示の技術に係る第9の態様は、プロセッサが、第2特定被写体に対して複数の撮像装置の撮像方向が成す角度が第1過小角度以下の場合に、複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、第1過小角度を超え、かつ、第1角度内に収まる位置に案内する第1案内情報を更に出力する第7の態様又は第8の態様に係る情報処理装置である。
 本開示の技術に係る第10の態様は、第1案内情報が、複数の撮像装置のうちの1つの撮像装置の位置を、第1過小角度を超え、かつ、第1角度内に収まる位置に案内する情報である第9の態様に係る情報処理装置である。
 本開示の技術に係る第11の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に第1案内情報を出力する第9の態様又は第10の態様に係る情報処理装置である。
 本開示の技術に係る第12の態様は、仮想視点範囲が、第3特定被写体に対して複数の撮像装置の撮像方向が成す角度のうちの小さい側の第2角度内の範囲であり、プロセッサが、仮想視点画像に対する視点位置を示す視点位置情報を受け付け、視点位置情報により示される視点位置が仮想視点範囲外の場合に、複数の撮像装置のうちの少なくとも1つの撮像装置の位置を第2角度内に収まる位置に案内する第2案内情報を更に出力する第1の態様から第11の態様のうちの何れか一つの態様に係る情報処理装置である。
 本開示の技術に係る第13の態様は、仮想視点範囲が、第2角度内であり、かつ、第2角度内の過小な角度として予め定められた第2過小角度を上回る角度内の範囲であり、第2案内情報が、複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、第2過小角度を超え、かつ、第2角度内に収まる位置に案内する情報である第12の態様に係る情報処理装置である。
 本開示の技術に係る第14の態様は、第2案内情報が、複数の撮像装置のうちの1つの撮像装置の位置を、第2過小角度を超え、かつ、第2角度内に収まる位置に案内する第13の態様に係る情報処理装置である。
 本開示の技術に係る第15の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に第2案内情報を出力する第12の態様から第14の態様のうちの何れか一つの態様に係る情報処理装置である。
 本開示の技術に係る第16の態様は、プロセッサが、撮像装置位置情報を更に出力する第1の態様から第15の態様のうちの何れか一つの態様に係る情報処理装置である。
 本開示の技術に係る第17の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に撮像装置位置情報を出力する第16の態様に係る情報処理装置である。
 本開示の技術に係る第18の態様は、プロセッサが、複数の撮像装置の各々の画角に関する画角情報を更に取得し、複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、撮像装置位置情報、撮像方向情報、及び画角情報に基づいて更に導出し、撮像範囲情報を更に出力する第1の態様から第17の態様のうちの何れか一つの態様に係る情報処理装置である。
 本開示の技術に係る第19の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に撮像範囲情報を出力する第18の態様に係る情報処理装置である。
 本開示の技術に係る第20の態様は、プロセッサが、第4特定被写体に対する複数の撮像装置の各々の被写体距離、及び、複数の撮像装置の各々のズーム能力のうちの少なくとも1つに基づいて、複数の撮像装置のうちの少なくとも1つの撮像装置の位置であって、複数の撮像画像の品質が既定範囲に収まる位置の範囲を特定可能な撮像装置範囲特定情報を導出し、撮像装置範囲特定情報を更に出力する第1の態様から第19の態様のうちの何れか一つの態様に係る情報処理装置である。
 本開示の技術に係る第21の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に撮像装置範囲特定情報を出力する第20の態様に係る情報処理装置である。
 本開示の技術に係る第22の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置であって、プロセッサが、複数の撮像装置の位置に関する撮像装置位置情報、複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び複数の撮像装置の各々の画角に関する画角情報を取得し、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、撮像装置位置情報、撮像方向情報、及び画角情報に基づいて導出し、撮像範囲情報及び撮像装置位置情報を出力する情報処理装置である。
 本開示の技術に係る第23の態様は、プロセッサが、撮像範囲情報及び撮像装置位置情報を、複数の撮像装置のうちの少なくとも1つの撮像装置に出力する第22の態様に係る情報処理装置である。
 本開示の技術に係る第24の態様は、複数の撮像装置の位置に関する撮像装置位置情報、及び複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得すること、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、撮像装置位置情報及び撮像方向情報に基づいて導出すること、並びに、仮想視点範囲特定情報に関する情報を出力することを含む、情報処理方法である。
 本開示の技術に係る第25の態様は、複数の撮像装置の位置に関する撮像装置位置情報、複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び複数の撮像装置の各々の画角に関する画角情報を取得すること、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、撮像装置位置情報、撮像方向情報、及び画角情報に基づいて導出すること、並びに、撮像範囲情報及び撮像装置位置情報を出力することを含む、情報処理方法である。
 本開示の技術に係る第26の態様は、コンピュータに、複数の撮像装置の位置に関する撮像装置位置情報、及び複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得すること、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、撮像装置位置情報及び撮像方向情報に基づいて導出すること、並びに、仮想視点範囲特定情報に関する情報を出力することを含む処理を実行させるためのプログラムである。
 本開示の技術に係る第27の態様は、コンピュータに、複数の撮像装置の位置に関する撮像装置位置情報、複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び複数の撮像装置の各々の画角に関する画角情報を取得すること、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、撮像装置位置情報、撮像方向情報、及び画角情報に基づいて導出すること、並びに、撮像範囲情報及び撮像装置位置情報を出力することを含む処理を実行させるためのプログラムである。
情報処理装置、端末装置、及び特定被写体の関係の一例を示す概念図である。 撮像装置の外観構成の一例を示す概略斜視図である。 撮像装置の外観構成の一例を示す背面図である。 撮像装置の電気系のハードウェア構成の一例を示すブロック図である。 情報処理装置の電気系のハードウェア構成の一例を示すブロック図である。 第1実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。 第1撮像装置のタッチパネル・ディスプレイに動作モード選択画面を表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。 第1実施形態に係る仮想視点範囲特定処理内容の一例の説明に供する概念図である。 第1実施形態に係る仮想視点範囲特定処理内容の一例の説明に供する概念図である。 第1実施形態に係る仮想視点範囲特定処理で生成される仮想視点範囲画像の一例の説明に供する概念図である。 第1撮像画像及び第2撮像画像から生成する仮想視点画像の一例の説明に用いる概念図である。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、仮想視点範囲画像、及び第1補助メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。 第1実施形態に係る仮想視点範囲特定処理内容の一例の説明に用いる概念図である。 第1実施形態に係る仮想視点範囲特定処理で生成される警告画像の一例の説明に供する概念図である。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、警告画像、及び警告メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。 第1実施形態に係る撮像範囲特定処理内容の一例の説明に用いる概念図である。 第1実施形態に係る撮像範囲特定処理で生成される撮像範囲画像の一例の説明に用いる概念図である。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、撮像範囲画像、及び第2補助メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。 表示モード設定処理の流れの一例を示すフローチャートである。 第1実施形態に係る仮想視点範囲特定処理の流れの一例を示すフローチャートである。 撮像範囲特定処理の流れの一例を示すフローチャートである。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像と、仮想視点範囲画像及び撮像範囲画像の重畳画像とを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。 第2実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。 第2実施形態に係る仮想視点範囲特定処理内容の一例の説明に用いる概念図である。 第2実施形態に係る仮想視点範囲特定処理内容の一例の説明に用いる概念図である。 第2実施形態に係る仮想視点範囲特定処理で生成される案内画像の一例の説明に用いる概念図である。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、案内画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。 第2実施形態に係る仮想視点範囲特定処理の流れの一例を示すフローチャートである。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、案内画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の他の一例を示す背面図である。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、案内画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の更に他の一例を示す背面図である。 第3実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。 第3実施形態に係る案内情報生成処理内容の一例の説明に供する概念図である。 第3実施形態に係る案内情報生成処理内容の一例の説明に供する概念図である。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、案内画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。 第3実施形態に係る案内情報生成処理の流れの一例を示すフローチャートである。 第4実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。 第4実施形態に係る撮像装置範囲特定処理内容の一例の説明に供する概念図である。 第4実施形態に係る撮像装置範囲特定処理内容の一例の説明に供する概念図である。 第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、撮像装置範囲画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。 第4実施形態に係る撮像装置範囲特定処理の流れの一例を示すフローチャートである。 情報処理装置プログラムが記憶されている記憶媒体から情報処理装置のコンピュータに情報処理装置プログラムがインストールされる態様の一例を示すブロック図である。
 添付図面に従って本開示の技術に係る実施形態の一例について説明する。
 先ず、以下の説明で使用される文言について説明する。
 CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。DRAMとは、“Dynamic Random Access Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。ROMとは、“Read Only Memory”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。I/Fとは、“Interface”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。3Dとは、“3 Dimension”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。GPSとは、“Global Positioning System”の略称を指す。また、GNSSとは、“Global Navigation Satellite System"の略称を指す。また、以下の説明において、ディスプレイに表示される「画像」以外で、「画像」と表現されている場合、「画像」には「画像を示すデータ」の意味も含まれる。
 [第1実施形態]
 一例として図1に示すように、情報処理システム10は、情報処理装置12、第1撮像装置14、第2撮像装置16、及びGPS端末18を備えている。ここで、情報処理装置12は本開示の技術に係る「情報処理装置」の一例であり、第1撮像装置14及び第2撮像装置16は、本開示の技術に係る「複数の撮像装置」の一例である。また、第1撮像装置14は、本開示の技術に係る「仮想視点範囲特定情報に関する情報の出力先」の一例である。
 情報処理装置12は、サーバに相当するデバイスであり、第1撮像装置14、第2撮像装置16、及びGPS端末18は、情報処理装置12に対するクライアント端末に相当するデバイスである。なお、以下では、第1撮像装置14、第2撮像装置16、及びGPS端末18を区別して説明する必要がない場合、符号を付さずに「端末装置」と称する。また、以下では、第1撮像装置14及び第2撮像装置16を区別して説明する必要がない場合、符号を付さずに「撮像装置」と称する。
 GPS端末18は、特定被写体30の衣服に取り付けられている。ここでは、GPS端末18が、特定被写体30の衣服に取り付けられている形態例を示しているが、これはあくまでも一例に過ぎない。GPS端末18は、特定被写体30の手首にバンド形式で装着されてもよいし、特定被写体30の靴に組み込まれていてもよく、特定被写体30によって携帯されていればよい。なお、特定被写体30は、本開示の技術に係る「第1特定被写体」、「第2特定被写体」、及び「第3特定被写体」の一例である。
 GPS端末18は、GPS機能を備えており、GPS機能を働かせることで特定被写体30の現在の位置を特定する緯度、経度、及び高度を示す被写体位置特定情報を取得する。被写体位置特定情報は、例えば、GPS端末18がGPS衛星20を含む複数のGPS衛星(図示省略)からの電波を受信することで割り出される緯度、経度、及び高度を示す情報である。また、撮像装置にも、GPS端末18と同様に、GPS機能が搭載されている。第1撮像装置14は、GPS機能を働かせることで第1撮像装置14の現在の位置を緯度、経度、及び高度を示す第1撮像装置位置情報を取得する。第2撮像装置16は、GPS機能を働かせることで第2撮像装置16の現在の位置を緯度、経度、及び高度を示す第2撮像装置位置情報を取得する。なお、GPSは、GNSSの一例であり、他の衛星測位システムを用いることも可能である。
 ここで、被写体位置特定情報は、本開示の技術に係る「被写体位置特定情報」の一例であり、第1撮像装置位置情報及び第2撮像装置位置情報は、本開示の技術に係る「撮像装置位置情報」の一例である。
 なお、以下では、第1撮像装置位置情報及び第2撮像装置位置情報を区別して説明する必要がない場合、「撮像装置位置情報」と称する。また、以下では、被写体位置特定情報、第1撮像装置位置情報、及び第2撮像装置位置情報を区別して説明する必要がない場合、「端末位置情報」と称する。
 情報処理システム10では、端末装置と情報処理装置12との間で無線通信によって情報の授受が行われることで、端末装置から情報処理装置12に端末位置情報が送信される。そして、端末装置から送信された端末位置情報は、情報処理装置12によって受信される。
 情報処理装置12及び端末装置は、無線通信基地局(図示省略)を介して互いに無線通信を行うことにより、端末装置は、情報処理装置12に対して各種サービスの提供を要求し、情報処理装置12は、端末装置からの要求に応じたサービスを端末装置に提供する。
 図1に示す例では、第1撮像装置14は、第1人物26によって所持され、かつ、操作される。また、第2撮像装置16は、第2人物28によって所持され、かつ、操作される。図1に示す例では、サッカーフィールド22の外側に位置している第1人物26が位置する箇所から、第1撮像装置14が、サッカーフィールド22内を第1撮像方向D1かつ第1画角θaで撮像し、第2人物28が位置する箇所から、第2撮像装置16がサッカーフィールド22内を第2撮像方向D2かつ第2画角θbで撮像する。ここでは、第1画角θaと第2画角θbは同一の画角である。しかし、本開示の技術はこれに限定されず、第1画角θaと第2画角θbは異なる画角であってもよい。
 第1撮像方向D1は、例えば、第1画角θa内に特定被写体30が収まる方向である。第1画角θa内に特定被写体30が収まる方向の一例としては、第1画角θaの中央部に特定被写体30が収まる方向が挙げられる。また、第2撮像方向D2は、例えば、第2画角θb内に特定被写体30が収まる方向である。第2画角θb内に特定被写体30が収まる方向の一例としては、第2画角θbの中央部に特定被写体30が収まる方向が挙げられる。
 また、ここでは、サッカーフィールド22の外側からサッカーフィールド22内が撮像される形態例を挙げて説明しているが、これはあくまでも一例である。サッカーフィールド22内からサッカーフィールド22内が撮像されるようにしてもよい。また、サッカーフィールド22内を撮像可能な場所であれば如何なる場所から撮像されるようにしてもよい。
 情報処理システム10では、仮想視点画像を生成可能な撮像位置の決定が情報処理装置12によって補助される。ここで、撮像位置とは、撮像装置の位置を指し、本第1実施形態において、撮像位置の決定は、例えば、第1人物26によって行われる。仮想視点画像とは、第1撮像装置14によって撮像されることで得られた第1撮像画像と、第2撮像装置16によって撮像されることで得られた第2撮像画像とを基に生成される画像である。例えば、仮想視点画像は、特定被写体30を示す画像である。この場合、第1撮像画像は、例えば、特定被写体30を含む領域が第1撮像装置14によって撮像されることで得られた画像であり、第2撮像画像は、例えば、特定被写体30を含む領域が第2撮像装置16によって撮像されることで得られた画像である。なお、以下では、第1撮像画像及び第2撮像画像を区別して説明する必要がない場合、「撮像画像」と称する。ここで、第1撮像画像及び第2撮像画像は、本開示の技術に係る「複数の撮像画像」の一例であり、仮想視点画像は、本開示の技術に係る「仮想視点画像」の一例である。
 一例として図2に示すように、撮像装置は、CMOSイメージセンサ31(図2参照)を有する撮像用のデバイスである。撮像装置には、光学式ズーム機能が搭載されている。なお、CMOSイメージセンサ31に代えてCCDイメージセンサ等の他種類のイメージセンサを採用してもよい。
 撮像装置は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置は、撮像装置本体32と、撮像装置本体32に交換可能に装着される交換レンズ34と、を備えている。なお、ここでは、撮像装置一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、撮像装置は、レンズ固定式等の他種類のデジタルカメラであってもよい。
 撮像装置本体32には、CMOSイメージセンサ31が設けられている。交換レンズ34が撮像装置本体32に装着された場合に、被写体を示す被写体光は、光軸L1に沿って交換レンズ34を透過し、CMOSイメージセンサ31に結像され、CMOSイメージセンサ31によって被写体を示す画像が生成される。
 撮像装置本体32の上面には、レリーズボタン36及びダイヤル38が設けられている。レリーズボタン36は、ユーザが押下することで撮像装置本体32に対して撮像の指示を与えるボタンである。ダイヤル38は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、これによって、撮像装置では、動作モードとして撮像モードと再生モードとが選択的に設定される。
 一例として図3に示すように、撮像装置本体32の背面には、指示キー42及びタッチパネル・ディスプレイ44が設けられている。
 指示キー42は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、1つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。
 タッチパネル・ディスプレイ44は、ディスプレイ46及びタッチパネル48(図4も参照)を備えている。ディスプレイ46の一例としては、有機ELディスプレイが挙げられる。ディスプレイ46は、有機ELディスプレイではなく、液晶ディスプレイなどの他種類のディスプレイであってもよい。
 ディスプレイ46は、画像及び文字情報等を表示する。ディスプレイ46は、撮像装置が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ46は、静止画像用の撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、ディスプレイ46は、撮像装置が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。なお、図3に示す例では、ディスプレイ46にライブビュー画像が表示されている。ここで、ディスプレイ46は、本開示の技術に係る「第1ディスプレイ」及び「第2ディスプレイ」の一例である。
 タッチパネル48は、透過型のタッチパネルであり、ディスプレイ46の表示領域の表面に重ねられている。タッチパネル48は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。
 なお、ここでは、タッチパネル・ディスプレイ44の一例として、タッチパネル48がディスプレイ46の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ44として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
 一例として図4に示すように、撮像装置は、CMOSイメージセンサ31、ディスプレイ46、タッチパネル48、コンピュータ50、通信I/F52、受付デバイス54、スピーカ56、及びGPS受信機58を備えている。コンピュータ50は、CPU60、ストレージ62、及びメモリ64を備えている。
 CPU60、ストレージ62、及びメモリ64は、バス66を介して接続されている。図4に示す例では、図示の都合上、バス66として1本のバスが図示されているが、バス66には、データバス、アドレスバス、及びコントロールバス等が含まれている。
 CPU60は、撮像装置の全体を制御する。ストレージ62は、各種パラメータ及び各種プログラムを記憶している。ストレージ62は、不揮発性の記憶装置である。ここでは、ストレージ62の一例として、EEPROMが採用されているが、これに限らず、マスクROM、HDD、又はSSD等であってもよい。メモリ64は、揮発性の記憶装置である。メモリ64には、各種情報が一時的に記憶される。メモリ64は、CPU60によってワークメモリとして用いられる。ここでは、メモリ64の一例として、DRAMが採用されているが、これに限らず、SRAM等の他の種類の揮発性の記憶装置であってもよい。
 受付デバイス54は、撮像装置の使用者等からの指示を受け付ける。受付デバイス54には、タッチパネル48の他に、レリーズボタン36(図2参照)、ダイヤル38(図2及び図3参照)、及び指示キー42が含まれている。受付デバイス54は、バス66に接続されており、受付デバイス54によって受け付けられた指示は、CPU60によって取得される。CPU60は、受付デバイス54によって受け付けられた指示に応じた処理を実行する。
 ディスプレイ46は、バス66に接続されており、CPU60の制御下で、各種情報を表示する。スピーカ56は、バス66に接続されており、CPU60の制御下で、音を出力する。すなわち、スピーカ56は、CPU60の制御下で、音を示す電気信号を受信し、受信した電気信号を音に変換し、変換して得た音を出力することで、ユーザ等に対して各種情報を知覚させる。
 GPS受信機58は、CPU60からの指示に応じてGPS衛星20を含む複数のGPS衛星(図示省略)からの電波を受信し、受信結果を示す受信結果情報をCPU60に出力する。CPU60は、GPS受信機58から入力された受信結果情報に基づいて上述の撮像装置位置情報(ここでは、一例として、撮像装置の現在の位置を特定する緯度、経度、及び高度を示す情報)を算出する。
 通信I/F52は、無線通信基地局(図示省略)を介して情報処理装置12に対して無線通信可能に接続されている。通信I/F52は、例えば、FPGAを有するデバイスによって実現される。通信I/F52は、バス66に接続されており、情報処理装置12とCPU60との間で各種情報の授受を制御する。
 一例として図5に示すように、情報処理装置12は、コンピュータ70、通信I/F72、及び受付デバイス74を備えている。コンピュータ70は、CPU76、ストレージ78、及びメモリ80を備えている。ここで、CPU76は本開示の技術に係る「プロセッサ」の一例であり、ストレージ78及びメモリ80は本開示の技術に係る「メモリ」の一例である。
 CPU76、ストレージ78、及びメモリ80は、バス82を介して接続されている。図5に示す例では、図示の都合上、バス82として1本のバスが図示されているが、バス82には、データバス、アドレスバス、及びコントロールバス等が含まれている。
 CPU76は、情報処理装置12の全体を制御する。ストレージ78は、各種パラメータ及び各種プログラムを記憶している。ストレージ78は、不揮発性の記憶装置である。ここでは、ストレージ78の一例として、EEPROMが採用されているが、これに限らず、マスクROM、HDD、又はSSD等であってもよい。メモリ80は、揮発性の記憶装置である。メモリ80は、各種情報が一時的に記憶される。メモリ80は、CPU76によってワークメモリとして用いられる。ここでは、メモリ80の一例として、DRAMが採用されているが、これに限らず、SRAM等の他の種類の揮発性の記憶装置であってもよい。
 通信I/F72は、無線通信基地局(図示省略)を介して端末装置に対して無線通信可能に接続されている。通信I/F72は、例えば、FPGAを有するデバイスによって実現される。通信I/F72は、バス82に接続されており、端末装置とCPU76との間で各種情報の授受を司る。
 受付デバイス74は、情報処理装置12の使用者等からの指示を受け付ける。受付デバイス74の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス74は、バス82に接続されており、受付デバイス74によって受け付けられた指示は、CPU76によって取得される。CPU76は、受付デバイス74によって受け付けられた指示に応じた処理を実行する。
 情報処理装置12は、第1撮像装置14との間で無線通信を行うことで、第1撮像装置14から上述の第1撮像装置位置情報、第1画角情報、及び上述の第1撮像画像を取得する。第1画角情報は、上述の第1画角θaを示す情報である。また、情報処理装置12は、第2撮像装置16との間で無線通信を行うことで、第2撮像装置16から上述の第2撮像装置位置情報、第2画角情報、及び上述の第2撮像画像を取得する。第2画角情報は、上述の第2画角θbを示す情報である。更に、情報処理装置12は、GPS端末18との間で無線通信を行うことで、GPS端末18から上述の被写体位置特定情報を取得する。なお、以下では、第1画角情報及び第2画角情報を区別して説明する必要がない場合、「画角情報」と称する。ここで、第1画角情報及び第2画角情報は、本開示の技術に係る「画角情報」の一例である。
 詳しくは後述するが、情報処理装置12のCPU76は、端末装置から取得した各種情報に基づいて仮想視点範囲特定情報及び撮像範囲情報を生成し、生成した仮想視点範囲特定情報及び撮像範囲情報を第1撮像装置14に送信する。ここで、仮想視点範囲特定情報は、本開示の技術に係る「仮想視点範囲特定情報」の一例であり、撮像範囲情報は、本開示の技術に係る「撮像範囲情報」の一例である。
 一例として図6に示すように、情報処理装置12のストレージ78には、表示モード設定プログラム86、仮想視点範囲特定プログラム88、及び撮像範囲特定プログラム90が記憶されている。なお、以下では、表示モード設定プログラム86、仮想視点範囲特定プログラム88、及び撮像範囲特定プログラム90を区別して説明する必要がない場合、符号を付さずに「情報処理装置プログラム」と称する。
 CPU76は、ストレージ78から表示モード設定プログラム86を読み出し、読み出した表示モード設定プログラム86をメモリ80上で実行することで制御部76Aとして動作する。また、CPU76は、ストレージ78から仮想視点範囲特定プログラム88を読み出し、読み出した仮想視点範囲特定プログラム88をメモリ80上で実行することで制御部76A、判定部76B、仮想視点範囲特定部76C、及び警告情報生成部76Dとして動作する。更に、CPU76は、ストレージ78から撮像範囲特定プログラム90を読み出し、読み出した撮像範囲特定プログラム90をメモリ80上で実行することで制御部76A及び撮像範囲特定部76Eとして動作する。
 一例として図7に示すように、制御部76Aは、第1撮像装置14との間で無線通信を行うことで、第1撮像装置14のディスプレイ46に対して動作モード選択画面92を表示させる。動作モード選択画面92には、第1ソフトキー92A及び第2ソフトキー92Bが表示されている。第1ソフトキー92Aがタッチパネル48を介してユーザ(例えば、第1人物26)によってオンされると、情報処理装置12及び第1撮像装置14の動作モードは、仮想視点範囲表示モードになる。また、第2ソフトキー92Bがタッチパネル48を介してユーザ(例えば、第1人物26)によってオンされると、情報処理装置12及び第1撮像装置14の動作モードは、撮像範囲表示モードになる。
 情報処理装置12に対して仮想視点範囲表示モードが設定されると、情報処理装置12では、CPU76によって仮想視点範囲特定プログラム88が実行される。また、情報処理装置12に対して撮像範囲表示モードが設定されると、情報処理装置12では、CPU76によって撮像範囲特定プログラム90が実行される。
 仮想視点範囲表示モードでは、一例として図8に示すように、判定部76Bは、第1撮像装置14から第1撮像装置位置情報を取得し、第2撮像装置16から第2撮像装置位置情報を取得し、GPS端末18から被写体位置特定情報を取得する。そして、判定部76Bは、第1撮像装置位置情報、第2撮像装置位置情報、及び被写体位置特定情報に基づいて、上述した第1撮像方向D1を示す第1撮像方向情報、及び上述した第2撮像方向D2を示す第2撮像方向情報を取得する。具体的に説明すると、判定部76Bは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、上述した第1撮像方向D1を示す第1撮像方向情報を導出する。また、判定部76Bは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、上述した第2撮像方向D2を示す第2撮像方向情報を導出する。
 なお、以下では、第1撮像方向情報及び第2撮像方向情報を区別して説明する必要がない場合、「撮像方向情報」と称する。また、以下では、第1撮像方向D1及び第2撮像方向D2を区別して説明する必要がない場合、「撮像方向」と称する。ここで、第1撮像方向情報及び第2撮像方向情報は、本開示の技術に係る「撮像方向情報」の一例であり、第1撮像方向D1及び第2撮像方向D2は、本開示の技術に係る「撮像方向」の一例である。
 判定部76Bは、特定被写体30(図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1内の範囲が、仮想視点画像を生成可能な仮想視点範囲であるか否かを判定する。すなわち、角度θ1≠0度であり、かつ、角度θ1≠180度である場合に、判定部76Bは、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲であると判定し、角度θ1=0度、又は、角度θ1=180度の場合に、判定部76Bは、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定する。なお、以下では、説明の便宜上、仮想視点画像を生成可能な仮想視点範囲を、単に「仮想視点範囲」とも称する。ここで、仮想視点範囲は、本開示の技術に係る「仮想視点範囲」の一例である。
 仮想視点範囲特定部76Cは、仮想視点範囲を特定する。具体的に説明すると、判定部76Bによって角度θ1内の範囲が仮想視点範囲であると判定された場合、仮想視点範囲特定部76Cは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報を取得する。次いで、仮想視点範囲特定部76Cは、仮想視点範囲を特定可能な仮想視点範囲特定情報を、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報に基づいて導出する。そして、仮想視点範囲特定部76Cは、導出した仮想視点範囲特定情報を第1撮像装置14へ出力する。
 一方、判定部76Bによって角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定された場合、警告情報生成部76Dは、警告情報を生成し、生成した警告情報を第1撮像装置14へ出力する。警告情報とは、角度θ1内の範囲が仮想視点範囲でないことをユーザ(例えば、第1人物26)に対してアラートする情報を指す。警告情報は、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報を含む情報である。
 一例として図9に示すように、第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成する。仮想視点範囲画像は、仮想視点範囲を特定可能な画像である。図9に示す例において、仮想視点範囲画像には、サッカーフィールド22の平面視画像(以下、「サッカーフィールド平面視画像」とも称する)に対して斜線のハッチングが施されたハッチング領域が仮想視点範囲として示されている。第1補助メッセージは、ハッチング領域内が仮想視点(例えば、仮想カメラ)を設置可能な範囲であることをユーザ(例えば、第1人物26)に対して知覚させるためのメッセージである。CPU60は、ディスプレイ46に対して、仮想視点範囲画像及び第1補助メッセージを表示させる。ここで、仮想視点範囲画像は、本開示の技術に係る「仮想視点範囲画像」の一例である。
 一例として図10に示すように、仮想視点範囲画像には、サッカーフィールド平面視画像と、角度θ1で規定された仮想視点範囲と、第1撮像装置14の現在の位置と、第2撮像装置16の現在の位置とが表示される。具体的に説明すると、仮想視点範囲画像は、サッカーフィールド平面視画像に対して、仮想視点範囲と、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークとが重畳表示された画像である。
 仮想視点範囲は、仮想視点範囲特定部76Cによって導出された仮想視点範囲特定情報により特定される範囲であり、図10に示す例では、角度θ1及びθ2のうちの小さい側の角度θ1内のハッチング領域が仮想視点範囲として示されている。また、図10に示す例では、仮想視点を示す画像として人間の眼を示す画像が示されているが、これはあくまでも一例に過ぎず、仮想カメラを示す画像であってもよい。また、仮想視点を示す画像は表示されていてもよいし、表示されていなくてもよい。
 第1撮像装置14の現在の位置は、第1撮像装置位置情報により示される位置である。第2撮像装置16の現在の位置は、第2撮像装置位置情報により示される位置である。図10に示す例では、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々は、円形マークで示されている。なお、円形マークは一例に過ぎず、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々の位置が視覚的に特定可能な画像であれば如何なる画像であってもよい。
 なお、本第1実施形態では、第1撮像装置位置情報及び第2撮像装置位置情報が仮想視点範囲特定情報に含まれている。そのため、第1撮像装置14のCPU60は、仮想視点範囲特定情報に含まれている第1撮像装置位置情報に基づいて第1撮像装置14の現在の位置を仮想視点範囲画像に表示させる。また、第1撮像装置14のCPU60は、仮想視点範囲特定情報に含まれている第2撮像装置位置情報に基づいて第2撮像装置16の現在の位置を仮想視点範囲画像に表示させる。
 例えば、図10に示す仮想視点からサッカーフィールド22内の特定被写体30を含む領域を観た場合の仮想視点画像は、仮想的な画像であり、一例として図11に示すように、第1撮像画像と第2撮像画像とに基づいて特定のデバイス(図示省略)によって3Dポリゴンとして生成される。ここで、特定のデバイスとしては、例えば、情報処理装置12、第1撮像装置14、サーバ、及び/又はパーソナル・コンピュータ等が挙げられる。
 第1撮像画像及び第2撮像画像を基に仮想視点画像を生成可能な撮像位置及び撮像方向で第1撮像装置14及び第2撮像装置16が撮像する場合、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、第1補助メッセージ及び仮想視点範囲画像が表示される。図12に示す例では、仮想視点範囲画像として、図10に示す仮想視点範囲画像と同様の画像が表示されており、第1補助メッセージとして、「斜線領域内に仮想視点を配置することができます。」というメッセージが表示されている。
 一方、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定された場合、一例として図13に示すように、第1撮像装置14のCPU60は、警告情報生成部76Dから入力された警告情報に基づいて、警告画像及び警告メッセージを生成する。警告画像は、仮想視点範囲の特定が不可能な画像である。警告メッセージは、仮想視点範囲が特定不可能であることをユーザ(例えば、第1人物26)に対して知覚させるためのメッセージである。CPU60は、ディスプレイ46に対して、警告画像及び警告メッセージを表示させる。
 一例として図14に示すように、特定被写体30(図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度が0度の場合、例えば、第1人物26の背後に第2人物28が位置した状態で第2撮像装置16が撮像を行う場合には、第1撮像装置14が第2撮像装置16と同じ方向から特定被写体30を撮像することになる。従って、この配置の場合には、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成することはできない。また、特定被写体30(図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度が180度の場合、例えば、第1人物26の真正面で第2人物28が第1人物26に対して正対している状態で第2撮像装置16が撮像を行う場合にも、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成することはできない。第1撮像装置14が第2撮像装置16と真逆の方向から特定被写体30を撮像しているためである。
 この場合、警告画像には、サッカーフィールド平面視画像と、第1撮像装置14の現在の位置と、第2撮像装置16の現在の位置とが表示される。具体的に説明すると、警告画像は、サッカーフィールド平面視画像に対して、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークとが重畳表示された画像である。
 第1撮像装置14の現在の位置は、第1撮像装置位置情報により示される位置である。第2撮像装置16の現在の位置は、第2撮像装置位置情報により示される位置である。図14に示す例では、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々は、円形マークで示されている。なお、円形マークは一例に過ぎず、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々の位置が視覚的に特定可能な画像であれば如何なる画像であってもよい。
 なお、本第1実施形態では、第1撮像装置位置情報及び第2撮像装置位置情報が警告情報に含まれている。そのため、第1撮像装置14のCPU60は、警告情報に含まれている第1撮像装置位置情報に基づいて第1撮像装置14の現在の位置を示すマークを警告画像に表示させる。また、第1撮像装置14のCPU60は、警告情報に含まれている第2撮像装置位置情報に基づいて第2撮像装置16の現在の位置を示すマークを警告画像に表示させる。
 仮想視点画像を生成不可能な撮像位置及び撮像方向で第1撮像装置14及び第2撮像装置16が撮像を行う場合、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、警告メッセージ及び警告画像が表示される。図15に示す例では、警告画像として、図14に示す警告画像と同様の画像が表示されており、警告メッセージとして、「現在のカメラの位置では仮想視点画像を生成できません。」というメッセージが表示されている。
 動作モード選択画面92(図7参照)で第2ソフトキー92Bがオンされて、情報処理装置12に対して撮像範囲表示モードが設定されると、一例として図16に示すように、撮像範囲特定部76Eは、第1撮像装置14から第1撮像装置位置情報及び第1画角情報を取得し、第2撮像装置16から第2撮像装置位置情報及び第2画角情報を取得し、GPS端末18から被写体位置特定情報を取得する。そして、撮像範囲特定部76Eは、第1撮像装置位置情報、第2撮像装置位置情報、及び被写体位置特定情報に基づいて、上述した第1撮像方向D1を示す第1撮像方向情報、及び上述した第2撮像方向D2を示す第2撮像方向情報を取得する。具体的に説明すると、撮像範囲特定部76Eは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、上述した第1撮像方向D1を示す第1撮像方向情報を導出する。また、撮像範囲特定部76Eは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、上述した第2撮像方向D2を示す第2撮像方向情報を導出する。
 撮像範囲特定部76Eは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、第2撮像方向情報、第1画角情報、及び第2画角情報に基づいて撮像範囲情報を導出する。撮像範囲情報とは、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成可能な撮像範囲であって、第1撮像装置14及び第2撮像装置16による重複した撮像範囲に関する情報を指す。撮像範囲特定部76Eは、導出した撮像範囲情報を第1撮像装置14へ出力する。なお、以下では、説明の便宜上、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成可能な撮像範囲であって、第1撮像装置14及び第2撮像装置16による重複した撮像範囲を、単に「撮像範囲」とも称する。
 第1撮像装置14のCPU60は、撮像範囲特定部76Eから入力された撮像範囲情報に基づいて、撮像範囲画像及び第2補助メッセージを生成する。撮像範囲画像は、撮像範囲を特定可能な画像である。図16に示す例において、撮像範囲画像には、サッカーフィールド平面視画像に対して格子状のハッチング領域が撮像範囲として示されている。第2補助メッセージは、ハッチング領域内に存在する被写体の仮想視点画像を生成可能であることをユーザ(例えば、第1人物26)に対して知覚させるためのメッセージである。CPU60は、ディスプレイ46に対して、撮像範囲画像及び第2補助メッセージを表示させる。
 一例として図17に示すように、撮像範囲画像には、サッカーフィールド平面視画像と、格子状のハッチング領域で示された撮像範囲と、第1撮像装置14の現在の位置と、第2撮像装置16の現在の位置とが表示される。具体的に説明すると、撮像範囲画像は、サッカーフィールド平面視画像に対して、撮像範囲と、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークとが重畳表示された画像である。
 具体的には、撮像範囲特定部76Eは、第1撮像装置位置情報、第1撮像方向情報、及び第1画角情報に基づいて第1撮像装置14の視野を特定し、第2撮像装置位置情報、第2撮像方向情報、及び第2画角情報に基づいて第2撮像装置16の視野を特定する。撮像範囲特定部76Eは、第1撮像装置14の視野と第2撮像装置16の視野との重複領域を撮像範囲として特定する。上述の特定のデバイスは、撮像範囲に存在する被写体を示す仮想視点画像を、第1撮像画像と第2撮像画像とに基づいて生成可能である。
 第1撮像装置14の現在の位置は、第1撮像装置位置情報により示される位置である。第2撮像装置16の現在の位置は、第2撮像装置位置情報により示される位置である。図17に示す例では、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々は、円形マークで示されている。なお、円形マークは一例に過ぎず、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々の位置が視覚的に特定可能な画像であれば如何なる画像であってもよい。
 なお、本第1実施形態では、第1撮像装置位置情報及び第2撮像装置位置情報が撮像範囲情報に含まれている。そのため、第1撮像装置14のCPU60は、撮像範囲情報に含まれている第1撮像装置位置情報に基づいて第1撮像装置14の現在の位置を示すマークを撮像範囲画像に表示させる。また、第1撮像装置14のCPU60は、撮像範囲情報に含まれている第2撮像装置位置情報に基づいて第2撮像装置16の現在の位置を示すマークを撮像範囲画像に表示させる。
 情報処理装置12に対して撮像範囲表示モードが設定されている場合、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、第2補助メッセージ及び撮像範囲画像が表示される。図18に示す例では、撮像範囲画像として、図17に示す撮像範囲画像と同様の画像が表示されており、第2補助メッセージとして、「斜線領域内にいる被写体の仮想視点画像を生成できます。」というメッセージが表示されている。
 次に、情報処理装置12で行われる表示モード設定処理、仮想視点範囲特定処理、及び撮像範囲特定処理の流れの一例を図19から図21を参照して説明する。なお、以下では、表示モード設定処理、仮想視点範囲特定処理、及び撮像範囲特定処理を区別して説明する必要がない場合、「情報処理装置側処理」と称する。
 一例として図19に示す表示モード設定処理は、表示モード設定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合に、CPU76によって表示モード設定プログラム86に従って実行される。
 図19に示す表示モード設定処理では、先ず、ステップST10で、制御部76Aは、モード変更指示を受け付けたか否かを判定する。モード変更指示の一例としては、ユーザ(例えば、第1人物26)によって撮像装置(例えば、第1撮像装置14)の受付デバイス54に与えられる指示が挙げられる。第1撮像装置14によって受け付けられたモード変更指示は、第1撮像装置14内でモード変更信号に変換されて、無線通信を介して制御部76Aに出力される。ステップST10において、モード変更信号が制御部76Aに入力された場合には、判定が肯定されて、表示モード設定処理はステップST11へ移行する。ステップST10において、モード変更信号が制御部76Aに入力されていない場合には、判定が否定されて、表示モード設定処理はステップST15へ移行する。
 ステップST11で、制御部76Aは、第1撮像装置14との間で無線通信を行うことで、第1撮像装置14のディスプレイ46に対して動作モード選択画面92(図7参照)を表示させる。動作モード選択画面92には、仮想視点範囲表示モードを選択するための第1ソフトキー92A、及び撮像範囲表示モードを選択するための第2ソフトキー92Bが表示されている。その後、表示モード設定処理は、ステップST12へ移行する。
 ステップST12で、制御部76Aは、仮想視点範囲表示モードが選択されたか否かを判定する。具体的には、制御部76Aは、仮想視点範囲表示モードを選択するための第1ソフトキー92Aが、ユーザ(例えば、第1人物26)によってオンされたか否かを判定する。第1ソフトキー92Aがオンされた場合には、CPU60は、無線通信を介して、仮想視点範囲表示モード選択信号を制御部76Aに出力する。
 ステップST12において、仮想視点範囲表示モード選択信号が制御部76Aに入力された場合には、判定が肯定されて、表示モード設定処理はステップST13へ移行する。一方、ユーザ(例えば、第1人物26)によって第2ソフトキー92Bがオンされた場合には、CPU60は、無線通信を介して、撮像範囲表示モード選択信号を制御部76Aに出力する。ステップST12において、仮想視点範囲表示モード選択信号が制御部76Aに入力されていない場合、すなわち撮像範囲表示モード選択信号が制御部76Aに入力された場合には、判定が否定されて、表示モード設定処理はステップST14へ移行する。
 ステップST13で、制御部76Aは、情報処理装置12及び第1撮像装置14の動作モードを仮想視点範囲表示モードに設定する。具体的には、制御部76Aは、ストレージ78から仮想視点範囲特定プログラム88を読み出し、読み出した仮想視点範囲特定プログラム88をメモリ80上で実行することで、後述する仮想視点範囲特定処理(図20参照)を実行する。その後、表示モード設定処理は、ステップST15へ移行する。
 一方、ステップST14では、制御部76Aは、情報処理装置12及び第1撮像装置14の動作モードを撮像範囲表示モードに設定する。具体的には、制御部76Aは、ストレージ78から撮像範囲特定プログラム90を読み出し、読み出した撮像範囲特定プログラム90をメモリ80上で実行することで、後述する撮像範囲特定処理(図21参照)を実行する。その後、表示モード設定処理は、ステップST15へ移行する。
 ステップST15で、制御部76Aは、表示モード設定処理を終了する条件(以下、「表示モード設定処理終了条件」と称する)を満足したか否かを判定する。表示モード設定処理終了条件の一例としては、撮像モードを終了させる指示が受付デバイス74(図5参照)によって受け付けられた、との条件が挙げられる。ステップST15において、表示モード設定処理終了条件を満足していない場合は、判定が否定されて、表示モード設定処理はステップST10へ移行する。ステップST15において、表示モード設定処理終了条件を満足した場合は、判定が肯定されて、表示モード設定処理が終了する。
 一例として図20に示す仮想視点範囲特定処理は、仮想視点範囲特定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合、すなわち、表示モード設定処理のステップST13において仮想視点範囲表示モードに設定された場合に、CPU76によって仮想視点範囲特定プログラム88に従って実行される。
 図20に示す仮想視点範囲特定処理では、先ず、ステップST20で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST20において、情報取得タイミングが到来した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST21へ移行する。ステップST20において、情報取得タイミングが到来していない場合には、判定が否定されて、仮想視点範囲特定処理はステップST28へ移行する。
 ステップST21で、判定部76Bは、第1撮像装置14から第1撮像装置位置情報を取得し、第2撮像装置16から第2撮像装置位置情報を取得し、GPS端末18から被写体位置特定情報を取得する。その後、仮想視点範囲特定処理はステップST22へ移行する。
 ステップST22で、判定部76Bは、ステップST21で取得した第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報を導出する。また、判定部76Bは、ステップST21で取得した第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報を導出する。その後、仮想視点範囲特定処理はステップST23へ移行する。
 ステップST23で、判定部76Bは、ステップST22で導出した第1撮像方向情報により示される第1撮像方向D1と、ステップST22で導出した第2撮像方向情報により示される第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1が0度よりも大きく、かつ180度よりも小さいか否かを判定する。0度<θ1<180度を満足した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST24へ移行する。0度<θ1<180度を満足していない場合、すなわちθ1=0度又はθ1=180度を満足した場合には、判定が否定されて、仮想視点範囲特定処理はステップST26へ移行する。
 ステップST24で、仮想視点範囲特定部76Cは、仮想視点範囲特定情報を生成する。仮想視点範囲特定情報は、角度θ1内の範囲を、第1撮像画像及び第2撮像画像を基に仮想視点画像を生成可能な仮想視点範囲として特定する情報である。仮想視点範囲特定部76Cは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報に基づいて、仮想視点範囲特定情報を導出する。その後、仮想視点範囲特定処理はステップST25へ移行する。
 ステップST25で、仮想視点範囲特定部76Cは、ステップST24で導出した仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成する。仮想視点範囲画像は、特定された仮想視点範囲を示す画像である。CPU60は、生成した仮想視点範囲画像及び第1補助メッセージをディスプレイ46に表示させる。その後、仮想視点範囲特定処理はステップST28へ移行する。
 一方、ステップST26で、警告情報生成部76Dは、警告情報を生成する。警告情報は、角度θ1内の範囲が仮想視点範囲でないことをユーザ(例えば、第1人物26)に対してアラートする情報である。その後、仮想視点範囲特定処理はステップST27へ移行する。
 ステップST27で、警告情報生成部76Dは、ステップST26で生成した警告情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、警告情報生成部76Dから入力された警告情報に基づいて、警告画像及び警告メッセージを生成し、生成した警告画像及び警告メッセージをディスプレイ46に表示させる。警告画像及び警告メッセージは、仮想視点範囲が特定不可能なことをユーザ(例えば、第1人物26)に知らせるための画像及びメッセージである。その後、仮想視点範囲特定処理はステップST28へ移行する。
 ステップST28で、制御部76Aは、仮想視点範囲特定処理を終了する条件(以下、「仮想視点範囲特定処理終了条件」と称する)を満足したか否かを判定する。仮想視点範囲特定処理終了条件の一例としては、モード変更指示が受付デバイス54又は74によって受け付けられた、との条件が挙げられる。ステップST28において、仮想視点範囲特定処理終了条件を満足していない場合は、判定が否定されて、仮想視点範囲特定処理はステップST20へ移行する。ステップST28において、仮想視点範囲特定処理終了条件を満足した場合は、判定が肯定されて、仮想視点範囲特定処理が終了する。
 一例として図21に示す撮像範囲特定処理は、撮像範囲特定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合、すなわち、表示モード設定処理のステップST14において撮像範囲表示モードに設定された場合に、CPU76によって撮像範囲特定プログラム90に従って実行される。
 図21に示す撮像範囲特定処理では、先ず、ステップST30で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST30において、情報取得タイミングが到来した場合には、判定が肯定されて、撮像範囲特定処理はステップST31へ移行する。ステップST30において、情報取得タイミングが到来していない場合には、判定が否定されて、撮像範囲特定処理はステップST35へ移行する。
 ステップST31で、撮像範囲特定部76Eは、第1撮像装置14から第1撮像装置位置情報及び第1画角情報を取得し、第2撮像装置16から第2撮像装置位置情報及び第2画角情報を取得し、GPS端末18から被写体位置特定情報を取得する。その後、撮像範囲特定処理はステップST32へ移行する。
 ステップST32で、撮像範囲特定部76Eは、ステップST31で取得された第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報を導出する。また、撮像範囲特定部76Eは、ステップST31で取得された第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報を導出する。その後、撮像範囲特定処理はステップST33へ移行する。
 ステップST33で、撮像範囲特定部76Eは、ステップST31で取得された第1撮像装置位置情報、第2撮像装置位置情報、第1画角情報、及び第2画角情報、及びステップST32で導出された第1撮像方向情報及び第2撮像方向情報に基づいて、撮像範囲情報を生成する。撮像範囲情報は、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成可能な撮像範囲であって、第1撮像装置14及び第2撮像装置16による重複した撮像範囲に関する情報である。その後、撮像範囲特定処理はステップST34へ移行する。
 ステップST34で、撮像範囲特定部76Eは、ステップST33で生成した撮像範囲情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、撮像範囲特定部76Eから入力された撮像範囲情報に基づいて、撮像範囲画像及び第2補助メッセージを生成する。撮像範囲画像は、第1撮像画像及び第2撮像画像を基に仮想視点画像を生成可能な撮像範囲を示す画像であり、第1撮像装置14及び第2撮像装置16による重複した撮像範囲を示す画像である。第2補助メッセージは、撮像範囲内に存在する被写体を示す仮想視点画像を生成可能であることをユーザ(例えば、第1人物26)に対して知覚させるためのメッセージである。CPU60は、ディスプレイ46に対して、撮像範囲画像及び第2補助メッセージを表示させる。その後、撮像範囲特定処理はステップST35へ移行する。
 ステップST35で、制御部76Aは、撮像範囲特定処理を終了する条件(以下、「撮像範囲特定処理終了条件」と称する)を満足したか否かを判定する。撮像範囲特定処理終了条件の一例としては、モード変更指示が受付デバイス54又は74(図5参照)によって受け付けられた、との条件が挙げられる。ステップST35において、撮像範囲特定処理終了条件を満足していない場合は、判定が否定されて、撮像範囲特定処理はステップST30へ移行する。ステップST35において、撮像範囲特定処理終了条件を満足した場合は、判定が肯定されて、撮像範囲特定処理が終了する。
 なお、本第1実施形態では、仮想視点範囲は0度<θ1<180度の範囲で特定されたが、本開示の技術はこれに限定されない。0度及び180度の数値は一例であり、仮想視点範囲は、仮想視点画像が生成可能な範囲に適宜設定される。
 以上説明したように、本第1実施形態によれば、情報処理装置12は、撮像装置位置情報及び撮像方向情報を取得する。情報処理装置12は、第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1内の範囲を仮想視点範囲として特定可能な仮想視点範囲特定情報を生成し、生成した仮想視点範囲特定情報を第1撮像装置14へ出力する。従って、第1実施形態による情報処理装置12及び第1撮像装置14によれば、仮想視点画像を生成可能な視点位置の決定を補助することができる。
 また、本第1実施形態では、図20に示す仮想視点範囲特定処理において、ステップST20で情報取得タイミングが到来する毎に、ステップST21で端末位置情報が取得され、ステップST22で撮像方向情報が導出される。ステップST21及びステップST22で端末位置情報及び撮像方向情報が取得される毎に、ステップST23で、0度<θ1<180度を満足するか否かの判定が行われる。ステップST23での判定結果に応じて、ステップST24で仮想視点範囲特定情報、又はステップST26で警告情報が生成される。従って、常に仮想視点範囲特定情報が固定されている場合に比べ、現状に応じた仮想視点範囲特定情報を高精度に導出することができる。
 また、本第1実施形態では、情報処理装置12は生成した仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14は、情報処理装置12から入力された仮想視点範囲特定情報に基づいて、仮想視点範囲を示す仮想視点範囲画像をディスプレイ46に出力する。従って、仮想視点範囲画像がディスプレイ46に出力されない場合に比べ、ユーザに対して、仮想視点範囲を視覚的に知覚させることができる。
 また、本第1実施形態では、判定部76Bは、撮像装置位置情報に加えて、特定被写体30の位置を特定する被写体位置特定情報を取得し、撮像装置位置情報及び取得した被写体位置特定情報に基づいて撮像方向情報を取得する。従って、特定被写体30の位置とは無関係な位置に関する情報を基に撮像方向情報が定められる場合に比べ、特定被写体30に対する撮像方向を高精度に得ることができる。
 また、本第1実施形態では、仮想視点範囲は、第1撮像装置14及び第2撮像装置16が特定被写体30に対して成す角度θ1及びθ2のうちの小さい側の角度θ1内の範囲である。従って、仮想視点範囲が、第1撮像装置14及び第2撮像装置16が特定被写体30に対して成す角度θ1及びθ2のうちの大きい側の角度θ2内の範囲である場合に比べ、仮想視点画像が生成されないという事態の発生を抑制することができる。
 また、本第1実施形態では、情報処理装置12は、撮像方向位置情報を出力する。従って、撮像装置位置情報が出力されない場合に比べ、ユーザに対して、複数の撮像装置の位置関係を把握させることができる。
 また、本第1実施形態では、情報処理装置12は、仮想視点範囲特定情報の出力先と同じ第1撮像装置14に撮像装置位置情報を出力する。従って、ユーザに対して、仮想視点範囲と共に、複数の撮像装置の位置関係を視覚的に知覚させることができる。
 また、本第1実施形態では、情報処理装置12は、複数の撮像装置の撮像装置位置情報、撮像方向情報、及び画角情報を取得し、取得した撮像装置位置情報、撮像方向情報、及び画角情報に基づいて撮像範囲情報を導出する。また、情報処理装置12は、導出した撮像範囲情報、及び撮像装置位置情報を出力する。撮像範囲情報は、複数撮像装置の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する情報である。従って、撮像範囲情報を出力しない場合に比べ、ユーザに対して、仮想視点画像を生成可能な撮像範囲を把握させることができる。
 また、本第1実施形態では、情報処理装置12は、撮像範囲情報を、仮想視点範囲特定情報の出力先でもある第1撮像装置14へ出力する。従って、撮像範囲情報の出力先が、仮想視点範囲特定情報の出力先と異なる場合に比べ、ユーザに対して、仮想視点範囲と共に、仮想視点画像を生成可能な撮像範囲を視覚的に知覚させることができる。
 また、本第1実施形態では、情報処理装置12は、撮像範囲情報及び撮像装置位置情報を第1撮像装置14へ出力する。従って、撮像範囲情報及び撮像装置位置情報が第1撮像装置14に出力されない場合に比べ、ユーザに対して、撮像範囲及び撮像装置の位置を知覚させることができる。
 なお、上記第1実施形態では、情報処理装置12及び第1撮像装置14が仮想視点範囲表示モードに設定された場合には、ディスプレイ46に仮想視点範囲画像が表示され、撮像範囲表示モードに設定された場合には、撮像範囲画像が表示されたが、本開示の技術はこれに限定されない。
 一例として図22に示すように、ディスプレイ46には、仮想視点範囲画像と撮像範囲画像とを重畳させた重畳画像が表示されてもよい。図22において、斜線のハッチング領域は仮想視点範囲を示しており、格子状のハッチング領域は撮像範囲を示している。この場合、図7に示す仮想視点範囲表示モードと撮像範囲表示モードとの切り替えは不要になるので、図19に示す表示モード設定処理は実行されない。情報処理装置12のCPU76は、仮想視点範囲特定プログラム88と撮像範囲特定プログラム90とをメモリ80上で並行して実行することにより、図20に示す仮想視点範囲特定処理と、図21に示す撮像範囲特定処理とを並行して行う。
 また、上記第1実施形態では、図20に示す仮想視点範囲特定処理において、ステップST21で端末位置情報、ステップST22で撮像方向情報が取得される毎に、ステップST23で0度<θ1<180度を満足するか否かの判定が行われた。ステップST23での判定結果に応じて、ステップST24で仮想視点範囲特定情報、又はステップST26で警告情報が生成されたが、本開示の技術はこれに限定されない。
 例えば、ステップST21で端末位置情報が取得され、ステップST22で撮像方向情報が導出された後、判定部76Bは撮像装置位置情報及び撮像方向情報のうちの少なくとも1つが、前回の情報取得タイミングで取得された情報から変更されているか否かを判定してもよい。変更されている場合には、判定部76BはステップST23の判定を行い、ステップST23の判定結果に応じて、ステップST24で仮想視点範囲特定情報、又はステップST26で警告情報が生成される。変更されていない場合には、仮想視点範囲特定処理はステップST23以降の工程を行わず、ステップST20へ移行する。
 また、上記第1実施形態では、情報処理装置12は、生成した仮想視点範囲特定情報を第1撮像装置14へ出力したが、本開示の技術はこれに限定されず、情報処理装置12は第1撮像装置14に加えて、第2撮像装置16に仮想視点範囲特定情報を出力してもよい。
 また、上記第1実施形態では、情報処理装置12のCPU76が、端末位置情報及び撮像方向情報を取得し、取得した端末位置情報及び撮像方向情報に基づいて仮想視点範囲特定情報を生成したが、本開示の技術はこれに限定されない。情報処理装置12は、本開示の技術に係る「仮想視点範囲特定情報に関する情報」の一例として端末位置情報及び撮像方向情報を第1撮像装置14に出力し、第1撮像装置14のCPU60が、情報処理装置12から端末位置情報及び撮像方向情報を取得し、取得した端末位置情報及び撮像方向情報に基づいて仮想視点範囲特定情報を生成してもよい。この場合、CPU60は、生成した仮想視点範囲特定情報をディスプレイ46に出力する。この場合も、上記第1実施形態と同様に、ユーザに対して、仮想視点範囲を視覚的に知覚させることができる。
 [第2実施形態]
 一例として図23に示すように、本第2実施形態に係る情報処理装置12において、CPU76は、警告情報生成部76Dに代えて、案内情報生成部76Fを備えている点で、上記第1実施形態によるCPU76と異なる。第2実施形態による情報処理装置12のその他の構成は、上記第1実施形態による情報処理装置12と同じであるので、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
 情報処理装置12のストレージ78には、表示モード設定プログラム86、仮想視点範囲特定プログラム88、及び撮像範囲特定プログラム90が記憶されている。表示モード設定プログラム86を実行することで行われる表示モード設定処理、及び撮像範囲特定プログラム90を実行することで行われる撮像範囲特定処理は、上記第1実施形態で説明した処理と同じであるので、ここでは説明を省略する。仮想視点範囲特定プログラム88を実行することで行われる仮想視点範囲特定処理について、以下に説明する。
 本第2実施形態による仮想視点範囲表示モードでは、CPU76は、ストレージ78から仮想視点範囲特定プログラム88を読み出し、読み出した仮想視点範囲特定プログラム88をメモリ80上で実行することで制御部76A、判定部76B、仮想視点範囲特定部76C、及び案内情報生成部76Fとして動作する。
 一例として図24に示すように、判定部76Bは、第1撮像装置14から第1撮像装置位置情報を取得し、第2撮像装置16から第2撮像装置位置情報を取得し、GPS端末18から被写体位置特定情報を取得する。そして、判定部76Bは、第1撮像装置位置情報、第2撮像装置位置情報、及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報、及び第2撮像方向D2を示す第2撮像方向情報を取得する。具体的に説明すると、判定部76Bは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報を導出する。また、判定部76Bは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報を導出する。
 判定部76Bは、特定被写体30(図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1内の範囲が、仮想視点画像を生成可能な仮想視点範囲であるか否かを判定する。すなわち、角度θ1が、既定角度(例えば、175度)以下であり、かつ、既定角度内の過小な角度として予め定められた過小角度(例えば、5度)以上である場合に、判定部76Bは、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲であると判定する。
 一方、角度θ1<5度、又は、角度θ1>175度の場合には、判定部76Bは、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定する。なお、過小角度は、第1撮像画像及び第2撮像画像に基づいた仮想視点画像の生成に適さない第1撮像装置14及び第2撮像装置16の位置の範囲を規定する角度である。ここで、既定角度は、本開示の技術に係る「第1角度」及び「第2角度」の一例であり、過小角度は、本開示の技術に係る「第1過小角度」及び「第2過小角度」の一例である。
 仮想視点範囲特定部76Cは、仮想視点範囲を特定する。具体的に説明すると、判定部76Bによって角度θ1内の範囲が仮想視点範囲であると判定された場合、仮想視点範囲特定部76Cは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報を取得する。次いで、仮想視点範囲特定部76Cは、仮想視点範囲を特定可能な仮想視点範囲特定情報を、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報に基づいて導出する。そして、仮想視点範囲特定部76Cは、導出した仮想視点範囲特定情報を第1撮像装置14へ出力する。
 一方、判定部76Bによって、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定された場合、案内情報生成部76Fは、案内情報を生成し、生成した案内情報を第1撮像装置14へ出力する。案内情報は、仮想視点画像を生成可能な角度θ1、すなわち、5度≦θ1≦175度を満たす角度θ1を得るために、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための情報である。案内情報は、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、第2撮像方向情報、及び移動方向情報を含む。移動方向情報とは、第1撮像装置14及び第2撮像装置16のうちの少なくとも一方を移動させる方向を示す情報である。ここで、案内情報は、本開示の技術に係る「第1案内情報」の一例である。
 一例として図25に示すように、第1撮像装置14のCPU60は、案内情報生成部76Fから入力された案内情報に基づいて、案内画像及び案内メッセージを生成する。案内画像は、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための移動方向情報が示された画像である。案内メッセージは、仮想視点範囲が特定不可能であることをユーザ(例えば、第1人物26)に対して知覚させ、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するためのメッセージである。CPU60は、ディスプレイ46に対して、案内画像及び案内メッセージを表示させる。
 一例として図26に示すように、特定被写体30(図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度のうちの小さい側の角度θ1が5度より小さい場合には、第1撮像方向D1と第2撮像方向D2は同一ではないが近似しているため、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成することは困難である。また、角度θ1が175度より大きい場合にも、第1撮像方向D1と第2撮像方向D2は真逆に近いため、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成することが困難である。
 この場合、案内画像には、サッカーフィールド平面視画像と、第1撮像装置14の現在の位置と、第2撮像装置16の現在の位置とが表示される。また、特定被写体30を基準として、第1撮像方向D1に対して5度より小さい角度を有する範囲、及び175度より大きい角度を有する範囲がハッチング領域として示される。さらに、第1撮像方向D1と第2撮像方向D2とが成す角度のうちの小さい側の角度θ1が5度≦θ1≦175度を満たすために、すなわち、第2撮像装置16をハッチング領域の外側に配置させるために、第1撮像装置14又は第2撮像装置16をどちらへ移動させればよいかを案内する矢印が、移動方向情報として示されている。具体的に説明すると、案内画像は、サッカーフィールド平面視画像に対して、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークと、ハッチング領域と、矢印とが重畳表示された画像である。
 第1撮像装置14の現在の位置は、第1撮像装置位置情報により示される位置である。第2撮像装置16の現在の位置は、第2撮像装置位置情報により示される位置である。図26に示す例では、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々は、円形マークで示されている。なお、円形マークは一例に過ぎず、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々の位置が視覚的に特定可能な画像であれば如何なる画像であってもよい。
 図26に示す位置で第1撮像装置14及び第2撮像装置16が撮像する場合、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、案内メッセージ及び案内画像が表示される。図27に示す例では、案内画像として、図26に示す案内画像と同様の画像が表示されており、案内メッセージとして、「現在の撮像位置では仮想視点画像の生成が困難です。一方のカメラをいずれかの矢印の方向へ移動させてください。」というメッセージが表示されている。
 次に、情報処理装置12で行われる仮想視点範囲特定処理の流れの一例を、図28を参照して説明する。
 一例として図28に示す仮想視点範囲特定処理は、仮想視点範囲特定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合、すなわち、表示モード設定処理(図19参照)のステップST13において仮想視点範囲表示モードに設定された場合に、CPU76によって仮想視点範囲特定プログラム88に従って実行される。
 図28に示す仮想視点範囲特定処理では、先ず、ステップST40で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST40において、情報取得タイミングが到来した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST41へ移行する。ステップST40において、情報取得タイミングが到来していない場合には、判定が否定されて、仮想視点範囲特定処理はステップST48へ移行する。
 ステップST41で、判定部76Bは、第1撮像装置14から第1撮像装置位置情報を取得し、第2撮像装置16から第2撮像装置位置情報を取得し、GPS端末18から被写体位置特定情報を取得する。その後、仮想視点範囲特定処理はステップST42へ移行する。
 ステップST42で、判定部76Bは、ステップST41で取得された第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報を導出する。また、判定部76Bは、ステップST41で取得された第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報を導出する。その後、仮想視点範囲特定処理はステップST43へ移行する。
 ステップST43で、判定部76Bは、ステップST42で導出された第1撮像方向D1と第2撮像方向D2とが成す角度のうちの小さい側の角度θ1が5度以上、かつ175度以下か否かを判定する。5度≦θ1≦175度を満足した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST44へ移行する。5度≦θ1≦175度を満足していない場合、すなわちθ1<5度又はθ1>175度を満足した場合には、判定が否定されて、仮想視点範囲特定処理はステップST46へ移行する。
 ステップST44で、仮想視点範囲特定部76Cは、仮想視点範囲特定情報を生成する。仮想視点範囲特定情報は、角度θ1内の範囲を仮想視点範囲として特定する情報である。仮想視点範囲特定部76Cは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報に基づいて、仮想視点範囲特定情報を導出する。その後、仮想視点範囲特定処理はステップST45へ移行する。
 ステップST45で、仮想視点範囲特定部76Cは、ステップST44で導出した仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成する(図9参照)。仮想視点範囲画像は、特定された仮想視点範囲を示す画像である。CPU60は、生成した仮想視点範囲画像及び第1補助メッセージをディスプレイ46に表示させる(図12参照)。その後、仮想視点範囲特定処理はステップST48へ移行する。
 一方、ステップST46で、案内情報生成部76Fは、案内情報を生成する。案内情報は、5度≦θ1≦175度を満たす角度θ1を得るために、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための情報である。その後、仮想視点範囲特定処理はステップST47へ移行する。
 ステップST47で、案内情報生成部76Fは、ステップST46で生成した案内情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、案内情報生成部76Fから入力された案内情報に基づいて、案内画像及び案内メッセージを生成し、生成した案内画像及び案内メッセージをディスプレイ46に表示させる。案内画像及び案内メッセージは、仮想視点範囲が特定不可能であることをユーザ(例えば、第1人物26)に対して知覚させ、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための画像及びメッセージである。その後、仮想視点範囲特定処理はステップST48へ移行する。
 ステップST48で、制御部76Aは、仮想視点範囲特定処理を終了する条件(以下、「仮想視点範囲特定処理終了条件」と称する)を満足したか否かを判定する。仮想視点範囲特定処理終了条件の一例としては、モード変更指示が受付デバイス74(図5参照)によって受け付けられた、との条件が挙げられる。ステップST48において、仮想視点範囲特定処理終了条件を満足していない場合は、判定が否定されて、仮想視点範囲特定処理はステップST40へ移行する。ステップST48において、仮想視点範囲特定処理終了条件を満足した場合は、判定が肯定されて、仮想視点範囲特定処理が終了する。
 なお、本第2実施形態では、図26に示すように、特定被写体30(図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度のうちの小さい側の角度θ1が5度より小さい場合を例示したが、角度θ1が175度より大きい場合も考えられる。一例として図29に示すように、案内画像には、サッカーフィールド平面視画像と、第1撮像装置14の現在の位置を示すマークと、角度θ1が175度より大きくなる位置に配置された第2撮像装置16の現在の位置を示すマークと、ハッチング領域と、移動方向情報としての矢印が重畳表示されている。図29に示す案内画面には、第1撮像装置14をどちらへ移動させればよいかを案内する矢印が示されている。
 図29に示す例では、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、案内メッセージ及び案内画像が表示される。図29に示す例では、案内メッセージとして、「現在の撮像位置では仮想視点画像の生成が困難です。カメラをいずれかの矢印の方向へ移動させてください。」という、第1撮像装置14の移動を促すメッセージが表示されている。
 なお、図29に示す案内画像では第1撮像装置14の移動を促す移動方向情報及び案内メッセージが表示されていたが、本開示の技術はこれに限定されない。一例として図30に示すように、第2撮像装置16の移動を促す移動方向情報を含む案内画像及び案内メッセージをディスプレイ46に表示させてもよい。図30に示す例では、案内メッセージとして、「現在の撮像位置では仮想視点画像の生成が困難です。第2カメラをいずれかの矢印の方向へ移動させてください。」という、第2撮像装置16の移動を促すメッセージが表示されている。
 なお、本第2実施形態では、仮想視点範囲は5度≦θ1≦175度の範囲で特定されたが、本開示の技術はこれに限定されない。5度及び175度の数値は一例であり、仮想視点範囲は、仮想視点画像が生成可能な範囲に適宜設定される。
 以上説明したように、本第2実施形態によれば、仮想視点範囲は、既定角度(例えば、175度)以内であり、かつ、既定角度内の過小な角度として予め定められた過小角度(例えば、5度)を以上の角度内の範囲である。従って、過小角度が定められていない場合に比べ、複数の撮像装置の位置が近過ぎることに起因して仮想視点画像が生成されないという事態の発生を抑制することができる。
 また、本第2実施形態によれば、過小角度は、複数の撮像画像を基に仮想視点画像の生成に適さない撮像装置の位置の範囲を規定する角度である。従って、過小角度が、仮想視点画像の生成に適さない撮像装置の位置の範囲を規定する角度でない場合に比べ、複数の撮像装置の位置が仮想視点画像を生成不可能な位置であるにも関わらず、位置を変更することなく複数の撮像装置によって撮像が行われるという事態の発生を抑制することができる。
 また、本第2実施形態によれば、情報処理装置12は、特定被写体30に対して複数の撮像装置の撮像方向がなす角度θ1及びθ2のうちの小さい側の角度θ1が5度より小さい場合に、複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、角度θ1が5度以上かつ175度以下に収まる位置に案内する案内情報を出力する。従って、撮像装置の位置が案内されない場合に比べ、撮像装置を、仮想視点画像を生成可能な複数の撮像画像を得られる位置に適切に配置することができる。
 また、本第2実施形態によれば、案内情報は、第1撮像装置14又は第2撮像装置16を、角度θ1が5度以上かつ175度以下に収まる位置に案内する情報である。従って、仮想視点画像を生成可能な複数の撮像画像を得るために第1撮像装置14及び第2撮像装置16の両方を案内する場合に比べ、撮像装置の位置の調整に要する手間を軽減することができる。
 また、本第2実施形態によれば、情報処理装置12は、仮想視点範囲特定情報の出力先と同じ出力先、すなわち、第1撮像装置14に案内情報を出力する。従って、ユーザに対して、仮想視点範囲と共に、仮想視点画像を生成可能な複数の撮像画像を得るための撮像装置の位置を視覚的に知覚させることができる。
 [第3実施形態]
 一例として図31に示すように、本第3実施形態に係る情報処理装置12は、ストレージ78に案内情報生成プログラム91が記憶されており、CPU76が視点位置検出部76Gを備えている点で、上記第2実施形態による情報処理装置12と異なる。第3実施形態による情報処理装置12のその他の構成は、上記第2実施形態による情報処理装置12と同じであるので、上記実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
 情報処理装置12のストレージ78には、表示モード設定プログラム86、仮想視点範囲特定プログラム88、撮像範囲特定プログラム90、及び案内情報生成プログラム91が記憶されている。なお、以下では、案内情報生成プログラム91を、表示モード設定プログラム86、仮想視点範囲特定プログラム88、及び撮像範囲特定プログラム90と区別して説明する必要がない場合、案内情報生成プログラム91も併せて、符号を付さずに「情報処理装置プログラム」と称する。
 表示モード設定プログラム86を実行することで行われる表示モード設定処理、及び撮像範囲特定プログラム90を実行することで行われる撮像範囲特定処理は、上記第1実施形態で説明した処理と同じであるので、ここでは説明を省略する。仮想視点範囲特定プログラム88を実行することで行われる仮想視点範囲特定処理は、上記第2実施形態で説明した処理と同じであるので、ここでは説明を省略する。案内情報生成プログラム91を実行することで行われる案内情報生成処理について、以下に説明する。
 CPU76は、ストレージ78から案内情報生成プログラム91を読み出し、読み出した案内情報生成プログラム91をメモリ80上で実行することで制御部76A、判定部76B、案内情報生成部76F、及び視点位置検出部76Gとして動作する。
 一例として図32に示すように、本第3実施形態による仮想視点範囲表示モードでは、上記第1実施形態による仮想視点範囲表示モードと同様の仮想視点範囲画像が生成される。図32は、第1撮像装置14のディスプレイ46に表示された仮想視点範囲画像を示す。仮想視点範囲画像には、第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1内のハッチング領域が、仮想視点範囲として示されている。上記第2実施形態と同様に、仮想視点範囲は、角度θ1が、既定角度(例えば、175度)以下であり、かつ、既定角度内の過小な角度として予め定められた過小角度(例えば、5度)以上であることを条件に規定される。
 ユーザが、例えば指又はスタイラスペン等の指示体を用いて、タッチパネル・ディスプレイ44上で仮想視点画像に接触した場合、視点位置検出部76Gは接触位置を視点位置として検出する。視点位置は、仮想視点画像を生成するための仮想視点の位置であり、ユーザによって指定される。図32に示す例では、タッチパネル・ディスプレイ44上の接触位置に対応するサッカーフィールド22上の位置が視点位置として示されている。
 本第3実施形態による仮想視点範囲表示モードでは、一例として図33に示すように、判定部76Bは、仮想視点範囲特定部76Cから、仮想視点範囲を示す仮想視点範囲特定情報を取得し、視点位置検出部76Gから、視点位置を示す視点位置情報を取得する。ここで、視点位置は、本開示の技術に係る「視点位置」の一例であり、視点位置情報は、本開示の技術に係る「視点位置情報」の一例である。
 判定部76Bは、ユーザにより指定された視点位置が仮想視点範囲内であるか否かを判定する。視点位置が仮想視点範囲内である場合に、判定部76Bは、案内情報生成部76Fによる案内情報の生成は不要だと判断して、仮想視点範囲特定情報を第1撮像装置14に出力する。一方、視点位置が仮想視点範囲外である場合に、判定部76Bは、案内情報生成部76Fによる案内情報の生成が必要だと判断する。
 案内情報生成部76Fは、案内情報を生成し、生成した案内情報を第1撮像装置14へ出力する。案内情報とは、ユーザによって指定された視点位置から特定被写体30を見た仮想視点画像を生成するのに必要な複数の撮像画像を得るために、第1撮像装置14又は第2撮像装置16を、5度≦角度θ1≦175度を満たす位置に案内するための情報である。案内情報は、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、第2撮像方向情報、及び移動方向情報を含む。移動方向情報は、第1撮像装置14及び第2撮像装置16のうちの少なくとも一方を移動させる方向を示す情報である。ここで、案内情報は、本開示の技術に係る「第2案内情報」の一例である。
 第1撮像装置14のCPU60は、案内情報生成部76Fから入力された案内情報に基づいて、案内画像及び案内メッセージを生成する。案内画像は、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための移動方向情報が示された画像である。案内メッセージは、現在の撮像装置の位置で撮像されることで得られた撮像画像からユーザ(例えば、第1人物26)が望む仮想視点画像を生成できない旨をユーザに対して知覚させ、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するためのメッセージである。CPU60は、ディスプレイ46に対して、案内画像及び案内メッセージを表示させる。
 一例として図34に示すように、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、案内メッセージ及び案内画像が表示される。図34に示す例では、案内画像として、図33に示す案内画像と同様の画像が表示されており、案内メッセージとして、「現在の撮像位置では仮想視点画像を生成できません。第1カメラを矢印の方向へ移動させてください。」というメッセージが表示されている。
 次に、情報処理装置12で行われる案内情報生成処理の流れの一例を、図35を参照して説明する。なお、以下では、案内情報生成処理を、表示モード設定処理、仮想視点範囲特定処理、及び撮像範囲特定処理と区別して説明する必要がない場合、案内情報生成処理も併せて「情報処理装置側処理」と称する。
 一例として図35に示す案内情報生成処理は、情報処理装置12及び第1撮像装置14が案内情報生成機能を有する場合に、第2実施形態による仮想視点範囲特定処理のステップST44(図20参照)の後に実行される。案内情報生成処理は、CPU76によって、案内情報生成プログラム91に従って実行される。
 図35に示す案内情報生成処理では、先ず、ステップST50で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST50において、情報取得タイミングが到来した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST51へ移行する。ステップST50において、情報取得タイミングが到来していない場合には、判定が否定されて、仮想視点範囲特定処理はステップST56へ移行する。
 ステップST51で、判定部76Bは、仮想視点範囲特定部76Cから仮想視点範囲特定情報を取得し、視点位置検出部76Gから視点位置情報を取得する。その後、仮想視点範囲特定処理はステップST52へ移行する。
 ステップST52で、判定部76Bは、ステップST51で取得された仮想視点範囲特定情報及び視点位置情報に基づいて、ユーザにより指定された視点位置が仮想視点範囲外か否かを判定する。視点位置が仮想視点範囲外である場合には、判定が肯定されて、案内情報生成処理はステップST53へ移行する。視点位置が仮想視点範囲内である場合には、判定が否定されて、案内情報生成処理はステップST55へ移行する。
 ステップST53で、案内情報生成部76Fは、案内情報を生成する。案内情報は、ユーザによって指定された視点位置から特定被写体30を見た仮想視点画像を生成するのに必要な複数の撮像画像を得るために、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための情報である。案内情報生成部76Fは、仮想視点範囲特定情報及び視点位置情報に基づいて、案内情報を導出する。その後、案内情報生成処理はステップST54へ移行する。
 ステップST54で、案内情報生成部76Fは、ステップST53で導出した案内情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、案内情報生成部76Fから入力された案内情報に基づいて、案内画像及び案内メッセージを生成する。案内画像には、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための移動方向情報が含まれる。CPU60は、生成した案内画像及び案内メッセージをディスプレイ46に表示させる。その後、案内情報生成処理はステップST56へ移行する。
 一方、ステップST55で、判定部76Bは、仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、判定部76Bから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成し、生成した仮想視点範囲画像及び第1補助メッセージをディスプレイ46に表示させる。その後、案内情報生成処理はステップST56へ移行する。
 ステップST56で、制御部76Aは、案内情報生成処理を終了する条件(以下、「案内情報生成処理終了条件」と称する)を満足したか否かを判定する。案内情報生成処理終了条件の一例としては、モード変更指示が受付デバイス54又は74によって受け付けられた、との条件が挙げられる。ステップST56において、案内情報生成処理終了条件を満足していない場合は、判定が否定されて、案内情報生成処理はステップST50へ移行する。ステップST56において、案内情報生成処理終了条件を満足した場合は、判定が肯定されて、案内情報生成処理が終了する。
 以上説明したように、本第3実施形態によれば、仮想視点範囲は、特定被写体30に対して複数の撮像装置の撮像方向が成す角度θ1及びθ2のうち小さい側の角度θ1の既定角度(例えば、175度)内の範囲である。情報処理装置12は、仮想視点画像に対する仮想視点を示す視点位置情報を受け付け、視点位置が仮想視点範囲外の場合に、第1撮像装置14の位置を既定角度内に収まる位置に案内する案内情報を出力する。従って、視点位置が仮想視点範囲外であったとしても、仮想視点画像を生成可能な撮像画像を得られる位置に第1撮像装置14を案内することができる。
 また、本第3実施形態によれば、仮想視点範囲は、既定角度(例えば、175度)以下であり、かつ、既定角度内の過小な角度として予め定められた過小角度(例えば、5度)以上の角度内の範囲である。案内情報は、第1撮像装置14の位置を、過小角度以上かつ既定角度以下に収まる位置に案内する情報である。従って、視点位置が仮想視点範囲外であったとしても、過小角度内の位置に第1撮像装置14が案内されることを回避することができる。
 また、本第3実施形態によれば、案内情報は、第1撮像装置14の位置を、過小角度以上かつ既定角度以下の角度に収まる位置に案内する情報である。従って、仮想視点画像を生成可能な複数の撮像画像を得るために、第1撮像装置14及び第2撮像装置16の両方の位置を案内する場合に比べ、視点位置が仮想視点範囲外であったとしても、仮想視点画像を生成可能な複数の撮像画像を得るための撮像装置の位置の調整に要する手間を軽減することができる。
 また、本第3実施形態によれば、情報処理装置12は、仮想視点範囲特定情報の出力先と同じ第1撮像装置14に案内情報を出力する。従って、仮想視点範囲特定情報の出力先と同じ出力先に案内情報が出力されない場合に比べ、視点位置が仮想視点範囲外であったとしても、ユーザに対して、仮想視点範囲と共に、仮想視点画像を生成可能な複数の仮想視点画像を得るための撮像装置の位置を視覚的に知覚させることができる。
 なお、上記第3実施形態では、案内情報生成部76Fは、第1撮像装置14の位置を移動させるための案内情報を生成したが、本開示の技術はこれに限定されない。案内情報生成部76Fは、第2撮像装置16の位置を移動させるための案内情報を生成してもよいし、又は、第1撮像装置14及び第2撮像装置16の両方の位置を移動させるための案内情報を生成してもよい。
 [第4実施形態]
 一例として図36に示すように、本第4実施形態に係る情報処理装置12は、ストレージ78に仮想視点範囲特定プログラム88の代わりに撮像装置範囲特定プログラム89が記憶されており、CPU76が警告情報生成部76Dの代わりに撮像装置範囲特定部76Hを備えている点で、上記第1実施形態による情報処理装置12と異なる。第4実施形態による情報処理装置12のその他の構成は、上記第1実施形態による情報処理装置12と同じであるので、上記実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
 情報処理装置12のストレージ78には、表示モード設定プログラム86、撮像範囲特定プログラム90、及び撮像装置範囲特定プログラム89が記憶されている。なお、以下では、撮像装置範囲特定プログラム89を、表示モード設定プログラム86、仮想視点範囲特定プログラム88、撮像範囲特定プログラム90、及び案内情報生成プログラム91と区別して説明する必要がない場合、撮像装置範囲特定プログラム89も併せて、符号を付さずに「情報処理装置プログラム」と称する。
 表示モード設定プログラム86を実行することで行われる表示モード設定処理、及び撮像範囲特定プログラム90を実行することで行われる撮像範囲特定処理は、上記第1実施形態で説明した処理と同じであるので、ここでは説明を省略する。撮像装置範囲特定プログラム89を実行することで行われる撮像装置範囲特定処理について、以下に説明する。
 CPU76は、ストレージ78から撮像装置範囲特定プログラム89を読み出し、読み出した撮像装置範囲特定プログラム89をメモリ80上で実行することで制御部76A、判定部76B、仮想視点範囲特定部76C、及び撮像装置範囲特定部76Hとして動作する。
 一例として図37に示すように、本第4実施形態による仮想視点範囲表示モードでは、複数の撮像装置の被写体距離及びズーム能力のうちの少なくとも1つに基づいて、複数の撮像画像の品質が既定範囲に収まる撮像装置の位置の範囲が、撮像装置範囲として、撮像装置範囲画像に示される。撮像装置範囲は、特定被写体30から特定の距離Rで規定される範囲であり、距離Rは複数の撮像装置の被写体距離及びズーム能力のうちの少なくとも1つに基づいて定められる。撮像装置範囲画像には、特定被写体30を中心、距離Rを半径とした円が表示される。図37で示された円の内側で、角度θ1で規定された扇形内のハッチング領域が撮像装置範囲である。角度θ1は、上記実施形態で説明したのと同様に、第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度である。
 本第4実施形態による仮想視点範囲表示モードでは、一例として図38に示すように、撮像装置範囲特定部76Hは、第1撮像装置14から第1撮像装置位置情報、第1画角情報、及び第1光学ズーム倍率を取得する。撮像装置範囲特定部76Hは、第2撮像装置16から第2撮像装置位置情報、第2画角情報、及び第2光学ズーム倍率を取得する。また、撮像装置範囲特定部76Hは、GPS端末18から被写体位置特定情報を取得する。なお、以下では、第1画角情報及び第2画角情報を区別して説明する必要がない場合、「画角情報」と称する。また、以下では、第1光学ズーム倍率及び第2光学ズーム倍率を区別して説明する必要がない場合、「光学ズーム倍率」と称する。ここで、第1光学ズーム倍率及び第2光学ズーム倍率は、本開示の技術に係る「ズーム能力」の一例である。
 撮像装置範囲特定部76Hは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報及び第1被写体距離を導出する。また、撮像装置範囲特定部76Hは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報及び第2被写体距離を導出する。なお、ここで、第1被写体距離及び第2被写体距離は、本開示の技術に係る「被写体距離」の一例である。以下では、第1被写体距離及び第2被写体距離を区別して説明する必要がない場合、「被写体距離」と称する。
 撮像装置範囲特定部76Hは、第1被写体距離、第2被写体距離、第1光学ズーム倍率、及び第2光学ズーム倍率に基づいて、撮像装置範囲特定情報を生成する。撮像装置範囲特定情報とは、第1撮像装置14及び第2撮像装置16によって取得される第1撮像画像及び第2撮像画像の品質(例えば、特定被写体30を示す画像の大きさ、及び/又は、撮像画像の解像度)が既定範囲に収まる第2撮像装置16の位置の範囲を特定可能な情報である。既定範囲は、官能試験及び/又はコンピュータ・シミュレーション等によって予め導き出された固定値であってもよいし、受付デバイス54又は74によって受け付けられた指示に従って変更可能な可変値であってもよい。なお、撮像装置範囲特定情報は、被写体距離及び光学ズーム倍率のうちの少なくとも一方に基づいて生成されてもよい。ここで、撮像装置範囲特定情報は、本開示の技術に係る「撮像装置範囲特定情報」の一例である。
 判定部76Bは、第2撮像装置16の位置が、撮像装置範囲特定情報で特定された撮像装置範囲内であるか否かを判定する。撮像装置範囲とは、第1撮像画像及び第2撮像画像の品質が既定範囲に収まる第2撮像装置16の位置の範囲を指す。
 第2撮像装置16の位置が撮像装置範囲内である場合、判定部76Bは、仮想視点画像が生成可能であると判断する。この場合、上記第1実施形態と同様に、仮想視点範囲特定部76Cは仮想視点範囲特定情報を生成し、生成した仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成する。仮想視点範囲画像及び第1補助メッセージは、上記第1実施形態で説明したものと同様であるので、説明を省略する。
 一方、第2撮像装置16の位置が撮像装置範囲外である場合、判定部76Bは仮想視点画像が生成不可能であると判断する。この場合、撮像装置範囲特定部76Hは、撮像装置範囲特定情報を第1撮像装置14へ出力する。
 第1撮像装置14のCPU60は、撮像装置範囲特定部76Hから入力された撮像装置範囲特定情報に基づいて、撮像装置範囲画像及び案内メッセージを生成する。撮像装置範囲画像は、サッカーフィールド平面視画像に対して、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークと、撮像装置範囲とが重畳された画像である。案内メッセージは、現在の第2撮像装置16の位置で撮像されることで得られた撮像画像から仮想視点画像を生成できない旨をユーザに対して知覚させ、第2撮像装置16を移動させる案内をするためのメッセージである。CPU60は、ディスプレイ46に対して、案内画像及び案内メッセージを表示させる。
 一例として図39に示すように、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、案内メッセージ及び撮像装置範囲画像が表示される。図39に示す例では、撮像装置範囲画像として、図38に示す撮像装置範囲画像と同様の画像が表示されており、案内メッセージとして、「第2カメラが被写体から遠すぎます。第2カメラを斜線領域内へ移動させてください。」というメッセージが表示されている。
 次に、情報処理装置12で行われる撮像装置範囲特定処理の流れの一例を、図40を参照して説明する。なお、以下では、撮像装置範囲特定処理を、表示モード設定処理、仮想視点範囲特定処理、撮像範囲特定処理、及び案内情報生成処理と区別して説明する必要がない場合、撮像装置範囲特定処理も併せて「情報処理装置側処理」と称する。
 一例として図40に示す撮像装置範囲特定処理は、仮想視点範囲特定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合、すなわち、表示モード設定処理(図19参照)のステップST13において仮想視点範囲表示モードに設定された場合に、CPU76によって撮像装置範囲特定プログラム89に従って実行される。
 図40に示す撮像装置範囲特定処理では、先ず、ステップST60で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST60において、情報取得タイミングが到来した場合には、判定が肯定されて、撮像装置範囲特定処理はステップST61へ移行する。ステップST60において、情報取得タイミングが到来していない場合には、判定が否定されて、撮像装置範囲特定処理はステップST68へ移行する。
 ステップST61で、撮像装置範囲特定部76Hは、第1撮像装置14から第1撮像装置位置情報、第1画角情報、及び第1光学ズーム倍率を取得する。また、撮像装置範囲特定部76Hは、第2撮像装置16から第2撮像装置位置情報、第2画角情報、及び第2光学ズーム倍率を取得する。更に、撮像装置範囲特定部76Hは、GPS端末18から被写体位置特定情報を取得する。その後、撮像装置範囲特定処理はステップST62へ移行する。
 ステップST62で、撮像装置範囲特定部76Hは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報及び第1被写体距離を導出する。また、撮像装置範囲特定部76Hは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報及び第2被写体距離を導出する。その後、撮像装置範囲特定処理はステップST63へ移行する。
 ステップST63で、撮像装置範囲特定部76Hは、第1被写体距離、第2被写体距離、第1光学ズーム倍率、及び第2光学ズーム倍率に基づいて、撮像装置範囲特定情報を生成する。撮像装置範囲特定情報とは、第1撮像装置14及び第2撮像装置16によって取得される第1撮像画像及び第2撮像画像の品質が既定範囲に収まる第2撮像装置16の位置の範囲を特定可能な情報である。その後、撮像装置範囲特定処理はステップST64平行する。
 ステップST64で、判定部76Bは、第2撮像装置16の位置が、撮像装置範囲特定情報で特定された撮像装置範囲内であるか否かを判定する。第2撮像装置16の位置が撮像装置範囲内である場合には、判定が肯定されて、撮像装置範囲特定処理はステップST65へ移行する。第2撮像装置16の位置が撮像装置範囲外である場合には、判定が否定されて、撮像装置範囲特定処理はステップST67へ移行する。
 ステップST65で、仮想視点範囲特定部76Cは、仮想視点範囲を特定可能な仮想視点範囲特定情報を生成する。その後、撮像装置範囲特定処理はステップST66へ移行する。
 ステップST66で、仮想視点範囲特定部76Cは、ステップST65で生成された仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲及び第1補助メッセージを生成する。CPU60は、生成した仮想視点範囲及び第1補助メッセージをディスプレイ46に表示させる。その後、案内情報生成処理はステップST68へ移行する。
 一方、ステップST67で、撮像装置範囲特定部76Hは、撮像装置範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、撮像装置範囲特定部76Hから入力された撮像装置範囲特定情報に基づいて、撮像装置範囲画像及び案内メッセージを生成し、生成した撮像装置範囲画像及び案内メッセージをディスプレイ46に表示させる。その後、撮像装置範囲特定処理はステップST68へ移行する。
 ステップST68で、制御部76Aは、撮像装置範囲特定処理を終了する条件(以下、「撮像装置範囲特定処理終了条件」と称する)を満足したか否かを判定する。撮像装置範囲特定処理終了条件の一例としては、モード変更指示が受付デバイス54又は74によって受け付けられた、との条件が挙げられる。ステップST68において、撮像装置範囲特定処理終了条件を満足していない場合は、判定が否定されて、撮像装置範囲特定処理はステップST60へ移行する。ステップST68において、撮像装置範囲特定処理終了条件を満足した場合は、判定が肯定されて、撮像装置範囲特定処理が終了する。
 以上説明したように、本第4実施形態によれば、情報処理装置12は、特定被写体30に対する複数の撮像装置の被写体距離及びズーム能力のうちの少なくとも1つに基づいて、複数の撮像画像の品質が既定範囲に収まる第2撮像装置16の位置の範囲を特定可能な撮像装置範囲特定情報を導出し、導出した撮像装置範囲特定情報を出力する。従って、撮像装置範囲特定情報が出力されない場合に比べ、既定品質以上の仮想視点画像を生成可能な撮像画像を得るための第2撮像装置16の位置の範囲を、ユーザに対して把握させることができる。
 また、本第4実施形態によれば、撮像装置範囲特定部76Hは、仮想視点範囲特定情報の出力先と同じ第1撮像装置14に撮像装置範囲特定情報を出力する。従って、ユーザに対して、仮想視点範囲と共に、既定品質以上の仮想視点画像を生成可能な複数の撮像画像を得るための第2撮像装置16の位置の範囲を視覚的に知覚させることができる。
 なお、上記第4実施形態では、撮像装置範囲特定部76Hは、第2撮像装置16の位置を移動させるための案内情報を生成したが、本開示の技術はこれに限定されない。撮像装置範囲特定部76Hは、第1撮像装置14の位置を移動させるための案内情報を生成してもよいし、又は、第1撮像装置14及び第2撮像装置16の両方の位置を移動させるための案内情報を生成してもよい。
 なお、上記各実施形態では、図3に示すように、第1撮像装置14及び第2撮像装置16はそれぞれディスプレイ46を有しているが、本開示の技術はこれに限定されず、第1撮像装置14及び第2撮像装置16のうち少なくとも一方の撮像装置がディスプレイ46を有していればよい。情報処理装置12は、ディスプレイ46を有する方の撮像装置に仮想視点範囲特定情報を出力する。仮想視点範囲特定情報を受け付けた撮像装置は、仮想視点範囲特定情報に基づいて、仮想視点範囲を示す仮想視点範囲画像と、第1補助メッセージとをディスプレイ46に表示する。本構成では、複数の撮像装置のうちのディスプレイ46を有する撮像装置を使用する人物が、残りの撮像装置を使用する人物に対して撮像位置を指示する。本構成によれば、全ての撮像装置がディスプレイ46を有する場合に比べて、少なくとも1つの撮像装置がディスプレイ46を有していればよいので、安価な撮像装置を用いて、仮想視点画像の生成に必要な複数の撮像画像を取得することができる。
 また、上記各実施形態では、情報処理装置12は、仮想視点範囲特定情報、撮像範囲情報、案内情報、及び撮像装置範囲特定情報を第1撮像装置14へ出力したが、本開示の技術はこれに限定されない。情報処理装置12は、仮想視点範囲特定情報、撮像範囲情報、案内情報、及び/又は撮像装置範囲特定情報を第2撮像装置16へ出力してもよく、さらに第1撮像装置14と第2撮像装置16の両方へ出力してもよい。また、情報処理装置12は、仮想視点範囲特定情報、撮像範囲情報、案内情報、及び/又は撮像装置範囲特定情報を、撮像装置と共に、又は、撮像装置に代えて、既定のデバイス(例えば、スマートデバイス、ウェアラブル端末、パーソナル・コンピュータ、及び/又はサーバ等)に出力するようにしてもよい。
 また、上記各実施形態では、情報処理装置12を例示したが、情報処理装置12の機能が撮像装置(例えば、第1撮像装置14)に搭載されるようにしてもよく、この場合、情報処理装置12は不要となる。また、情報処理装置12に含まれる上述した複数の機能(例えば、図6、図23、図31、及び図36に示す機能)の一部を撮像装置(例えば、第1撮像装置14)に担わせてもよい。
 また、上記各実施形態では、GPS端末18が特定被写体30の衣服に取り付けられており、GPS機能を働かせることで被写体位置特定情報を取得したが、本開示の技術はこれに限定されない。例えば、第1人物26は、図12に示すタッチパネル48に表示された仮想視点範囲画像上で、指又はスタイラスペン等の指示体を用いて、任意の位置を被写体位置特定情報として設定してもよい。この場合、例えば、第1人物26は、ゴール前等の撮像タイミングを逃したくない位置を、予め被写体位置特定情報に設定してもよい。第1撮像装置14及び/又は第2撮像装置16は、被写体位置特定情報に基づいて定められた位置で撮像を行うことにより、特定被写体30がゴール前に来た瞬間の仮想視点画像を逃すことなく取得することができる。
 また、上記実施形態では、仮想視点範囲画像は、サッカーフィールド平面視画像の上に仮想視点範囲を表示した画像であったが、本開示の技術はこれに限定されない。例えば、仮想視点範囲画像は、第1人物26の視点の高さに合わせて、サッカーフィールド22を斜め上方から見た画像の上に、仮想視点範囲を表示した画像であってもよい。この場合、仮想視点範囲画像をライブビュー画像に重畳して、ディスプレイ46に表示することも可能である。なお、撮像範囲画像及び撮像装置範囲画像についても同様である。
 また、上記実施形態では、仮想視点範囲画像は、サッカーフィールド22の画像の上に仮想視点範囲が表示された画像であったが、本開示の技術はこれに限定されない。仮想視点範囲画像が平面視画像であるか、斜め上方から見た画像であるかに関わらず、サッカーフィールド22の画像を表示せず、第1撮像装置14、第2撮像装置16、特定被写体30の位置、及び仮想視点範囲のみを仮想視点範囲画像として表示してもよい。なお、撮像範囲画像及び撮像装置範囲画像についても同様である。
 なお、サッカーフィールド平面視画像の取得方法としては、例えば、GPS付きのドローンを用いて、真上や斜め上方からサッカーフィールド22を撮像してもよい。また、サッカーフィールド平面視画像は撮像画像に限らず、競技毎、又は会場毎にフィールドの形状を示すサンプルデータ画像を情報処理装置12に予め記憶しておき、ユーザがサンプルデータ画像の中から適切なものを選択してもよい。この場合、サンプルデータ画像と端末位置情報との対応付けが必要になるので、第1人物26が、サンプルデータ画像上での第1撮像装置14の位置と撮像方向D1を指定してもよい。フィールドの大きさと3つの端末装置のGPS位置が分かっており、そのうちの1つの位置と撮像方向がサンプルデータ画像と対応付けられれば、他の2つの位置をサンプルデータ画像上に表示することが可能になる。また、第1人物26の代わりに、第2人物28が、サンプルデータ画像上での第2撮像装置16の位置と撮像方向D2を指定してもよく、また3つの端末装置全てが各自の位置を指定してもよい。
 また、上記各実施形態では、ディスプレイ46が第1補助メッセージ、第2補助メッセージ、警告メッセージ、及び案内メッセ―ジ等の各種メッセージを表示する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、スピーカ56によって音声で各種メッセージの内容が出力されるようにしてもよい。
 また、上記各実施形態では、第1撮像装置14及び第2撮像装置16を例示したが、本開示の技術はこれに限定されず、第1撮像装置14及び第2撮像装置16を含めた3台以上の撮像装置を適用してもよい。この場合、CPU60又は76が、3台以上の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、各撮像装置に関する撮像装置位置情報及び撮像方向情報に基づいて導出するようにすればよい。
 また、上記では、コンピュータ50及び70を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ50及び/又は70に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ50及び/又は70に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 また、上記各実施形態では、ストレージ78に情報処理装置プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図41に示すように、SSD又はUSBメモリなどの任意の可搬型の記憶媒体100に情報処理装置プログラムが記憶されていてもよい。この場合、記憶媒体100に記憶されている情報処理装置プログラムがコンピュータ70にインストールされ、CPU76は、情報処理装置プログラムに従って、情報処理装置側処理を実行する。また、情報処理装置プログラムがコンピュータ50にインストールされ、CPU60が情報処理装置プログラムに従って情報処理装置側処理を実行するようにしてもよい。
 また、通信網(図示省略)を介してコンピュータ70又は50に接続される他のコンピュータ又はサーバ装置等の記憶部に情報処理装置プログラムを記憶させておき、情報処理装置12の要求に応じて情報処理装置プログラムが情報処理装置12又は第1撮像装置14にダウンロードされるようにしてもよい。この場合、ダウンロードされた情報処理装置プログラムに基づく情報処理装置側処理がコンピュータ70のCPU76、又は第1撮像装置14のCPU60によって実行される。
 また、上記各実施形態では、CPU76を例示したが、本開示の技術はこれに限定されず、GPUを採用してもよい。また、CPU76に代えて、複数のCPUを採用してもよい。つまり、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって情報処理装置側処理が実行されるようにしてもよい。また、CPU60に代えて、GPUを採用してもよいし、複数のCPUを採用してもよく、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。
 情報処理装置側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理装置側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、他のプロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで情報処理装置側処理を実行する。
 情報処理装置側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、情報処理装置側処理を実行するハードウェア資源は1つのプロセッサであってもよい。
 1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、情報処理装置側処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、情報処理装置側処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、情報処理装置側処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
 更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
 また、上述した情報処理装置側処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
 以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (27)

  1.  プロセッサと、
     前記プロセッサに接続又は内蔵されたメモリと、を備え、
     前記プロセッサは、
     複数の撮像装置の位置に関する撮像装置位置情報、及び前記複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得し、
     前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、前記撮像装置位置情報及び前記撮像方向情報に基づいて導出し、
     前記仮想視点範囲特定情報に関する情報を出力する
     情報処理装置。
  2.  前記プロセッサは、前記撮像装置位置情報及び前記撮像方向情報のうちの少なくとも一方が変更又は取得される毎に前記仮想視点範囲特定情報を導出する請求項1に記載の情報処理装置。
  3.  前記プロセッサは、前記仮想視点範囲特定情報に関する情報を、前記複数の撮像装置のうちの少なくとも1つの撮像装置、又は、第1ディスプレイに出力する請求項1又は請求項2に記載の情報処理装置。
  4.  前記少なくとも1つの撮像装置は第2ディスプレイを有し、
     前記少なくとも1つの撮像装置は、前記仮想視点範囲特定情報に関する情報に基づいて、前記仮想視点範囲を示す仮想視点範囲画像を前記第2ディスプレイに表示させる請求項3に記載の情報処理装置。
  5.  前記プロセッサは、
     第1特定被写体の位置を特定する被写体位置特定情報を更に取得し、
     前記被写体位置特定情報及び前記撮像装置位置情報に基づいて前記撮像方向情報を取得する請求項1から請求項4の何れか一項に記載の情報処理装置。
  6.  前記仮想視点範囲は、第2特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第1角度内の範囲である請求項1から請求項5の何れか一項に記載の情報処理装置。
  7.  前記仮想視点範囲は、前記第1角度内であり、かつ、前記第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である請求項6に記載の情報処理装置。
  8.  前記第1過小角度は、前記複数の撮像画像を基に前記仮想視点画像の生成に適さない撮像位置の範囲を規定する角度である請求項7に記載の情報処理装置。
  9.  前記プロセッサは、前記第2特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度が前記第1過小角度以下の場合に、前記複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、前記第1過小角度を超え、かつ、前記第1角度内に収まる位置に案内する第1案内情報を更に出力する請求項7又は請求項8に記載の情報処理装置。
  10.  前記第1案内情報は、前記複数の撮像装置のうちの1つの撮像装置の位置を、前記第1過小角度を超え、かつ、前記第1角度内に収まる位置に案内する情報である請求項9に記載の情報処理装置。
  11.  前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記第1案内情報を出力する請求項9又は請求項10に記載の情報処理装置。
  12.  前記仮想視点範囲は、第3特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第2角度内の範囲であり、
     前記プロセッサは、
     前記仮想視点画像に対する視点位置を示す視点位置情報を受け付け、
     前記視点位置情報により示される視点位置が前記仮想視点範囲外の場合に、前記複数の撮像装置のうちの少なくとも1つの撮像装置の位置を前記第2角度内に収まる位置に案内する第2案内情報を更に出力する請求項1から請求項11の何れか一項に記載の情報処理装置。
  13.  前記仮想視点範囲は、前記第2角度内であり、かつ、前記第2角度内の過小な角度として予め定められた第2過小角度を上回る角度内の範囲であり、
     前記第2案内情報は、前記複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、前記第2過小角度を超え、かつ、前記第2角度内に収まる位置に案内する情報である請求項12に記載の情報処理装置。
  14.  前記第2案内情報は、前記複数の撮像装置のうちの1つの撮像装置の位置を、前記第2過小角度を超え、かつ、前記第2角度内に収まる位置に案内する情報である請求項13に記載の情報処理装置。
  15.  前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記第2案内情報を出力する請求項12から請求項14の何れか一項に記載の情報処理装置。
  16.  前記プロセッサは、前記撮像装置位置情報を更に出力する請求項1から請求項15の何れか一項に記載の情報処理装置。
  17.  前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記撮像装置位置情報を出力する請求項16に記載の情報処理装置。
  18.  前記プロセッサは、
     前記複数の撮像装置の各々の画角に関する画角情報を更に取得し、
     前記複数の撮像画像を基に前記仮想視点画像を生成可能な撮像範囲であって、前記複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、前記撮像装置位置情報、前記撮像方向情報、及び前記画角情報に基づいて更に導出し、
     前記撮像範囲情報を更に出力する請求項1から請求項17の何れか一項に記載の情報処理装置。
  19.  前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記撮像範囲情報を出力する請求項18に記載の情報処理装置。
  20.  前記プロセッサは、
     第4特定被写体に対する前記複数の撮像装置の各々の被写体距離、及び、前記複数の撮像装置の各々のズーム能力のうちの少なくとも1つに基づいて、前記複数の撮像装置のうちの少なくとも1つの撮像装置の位置であって、前記複数の撮像画像の品質が既定範囲に収まる位置の範囲を特定可能な撮像装置範囲特定情報を導出し、
     前記撮像装置範囲特定情報を更に出力する請求項1から請求項19の何れか一項に記載の情報処理装置。
  21.  前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記撮像装置範囲特定情報を出力する請求項20に記載の情報処理装置。
  22.  プロセッサと、
     前記プロセッサに接続又は内蔵されたメモリと、を備え、
     前記プロセッサは、
     複数の撮像装置の位置に関する撮像装置位置情報、前記複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び前記複数の撮像装置の各々の画角に関する画角情報を取得し、
     前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、前記複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、前記撮像装置位置情報、前記撮像方向情報、及び前記画角情報に基づいて導出し、
     前記撮像範囲情報及び前記撮像装置位置情報を出力する
     情報処理装置。
  23.  前記プロセッサは、前記撮像範囲情報及び前記撮像装置位置情報を、前記複数の撮像装置のうちの少なくとも1つの撮像装置に出力する請求項22に記載の情報処理装置。
  24.  複数の撮像装置の位置に関する撮像装置位置情報、及び前記複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得すること、
     前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、前記撮像装置位置情報及び前記撮像方向情報に基づいて導出すること、並びに、
     前記仮想視点範囲特定情報に関する情報を出力することを含む
     情報処理方法。
  25.  複数の撮像装置の位置に関する撮像装置位置情報、前記複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び前記複数の撮像装置の各々の画角に関する画角情報を取得すること、
     前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、前記複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、前記撮像装置位置情報、前記撮像方向情報、及び前記画角情報に基づいて導出すること、並びに、
     前記撮像範囲情報及び前記撮像装置位置情報を出力することを含む
     情報処理方法。
  26.  コンピュータに、
     複数の撮像装置の位置に関する撮像装置位置情報、及び前記複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得すること、
     前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、前記撮像装置位置情報及び前記撮像方向情報に基づいて導出すること、並びに、
     前記仮想視点範囲特定情報に関する情報を出力することを含む処理を実行させるためのプログラム。
  27.  コンピュータに、
     複数の撮像装置の位置に関する撮像装置位置情報、前記複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び前記複数の撮像装置の各々の画角に関する画角情報を取得すること、
     前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、前記複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、前記撮像装置位置情報、前記撮像方向情報、及び前記画角情報に基づいて導出すること、並びに、
     前記撮像範囲情報及び前記撮像装置位置情報を出力することを含む処理を実行させるためのプログラム。
PCT/JP2020/042101 2020-01-30 2020-11-11 情報処理装置、情報処理方法、及びプログラム WO2021152955A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021574470A JP7397890B2 (ja) 2020-01-30 2020-11-11 情報処理装置、情報処理方法、及びプログラム
US17/863,402 US20220345680A1 (en) 2020-01-30 2022-07-13 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-013717 2020-01-30
JP2020013717 2020-01-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/863,402 Continuation US20220345680A1 (en) 2020-01-30 2022-07-13 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2021152955A1 true WO2021152955A1 (ja) 2021-08-05

Family

ID=77078167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042101 WO2021152955A1 (ja) 2020-01-30 2020-11-11 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220345680A1 (ja)
JP (1) JP7397890B2 (ja)
WO (1) WO2021152955A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212593A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置、画像処理システム、情報処理方法、及び、プログラム
WO2018043225A1 (ja) * 2016-09-01 2018-03-08 パナソニックIpマネジメント株式会社 多視点撮像システム、三次元空間再構成システム、及び三次元空間認識システム
JP2018113683A (ja) * 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019095936A (ja) * 2017-11-20 2019-06-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7042561B2 (ja) * 2017-06-02 2022-03-28 キヤノン株式会社 情報処理装置、情報処理方法
JP7182865B2 (ja) * 2017-11-28 2022-12-05 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212593A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置、画像処理システム、情報処理方法、及び、プログラム
WO2018043225A1 (ja) * 2016-09-01 2018-03-08 パナソニックIpマネジメント株式会社 多視点撮像システム、三次元空間再構成システム、及び三次元空間認識システム
JP2018113683A (ja) * 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019095936A (ja) * 2017-11-20 2019-06-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20220345680A1 (en) 2022-10-27
JP7397890B2 (ja) 2023-12-13
JPWO2021152955A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
US10469744B2 (en) Mobile terminal and operating method thereof
EP3929922A1 (en) Method and device for generating multimedia resources
CN110502954B (zh) 视频分析的方法和装置
KR20200087260A (ko) 마커 포인트 위치를 표시하기 위한 방법, 전자 장치, 및 컴퓨터 판독가능 저장매체
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
US9710099B2 (en) Mobile terminal and method for controlling the same
CN115525383B (zh) 壁纸显示方法、装置、移动终端及存储介质
US10348970B2 (en) Mobile terminal and method of operating the same
JP2021520540A (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
KR20180039529A (ko) 이동 단말기 및 그의 동작 방법
CN113763228A (zh) 图像处理方法、装置、电子设备及存储介质
CN110941375A (zh) 对图像进行局部放大的方法、装置及存储介质
JP2017211811A (ja) 表示制御プログラム、表示制御方法および表示制御装置
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
US20220132261A1 (en) Information processing apparatus, information processing method, and program
CN109819314B (zh) 音视频处理方法、装置、终端及存储介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质
CN111385525B (zh) 视频监控方法、装置、终端及系统
JP2008252930A (ja) 電子カメラおよび画像表示装置および画像表示方法
CN112396076A (zh) 车牌图像生成方法、装置及计算机存储介质
WO2021152955A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2010198104A (ja) 映像表示システム、携帯端末システム、携帯端末装置及びサーバ並びにその映像表示方法
JP7335335B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3282686B1 (en) Mobile terminal and operating method thereof
JP2008160879A (ja) 電子カメラおよび画像表示装置および画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916864

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021574470

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20916864

Country of ref document: EP

Kind code of ref document: A1