WO2019107138A1 - 表示制御装置、表示制御方法、およびプログラム - Google Patents

表示制御装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
WO2019107138A1
WO2019107138A1 PCT/JP2018/041926 JP2018041926W WO2019107138A1 WO 2019107138 A1 WO2019107138 A1 WO 2019107138A1 JP 2018041926 W JP2018041926 W JP 2018041926W WO 2019107138 A1 WO2019107138 A1 WO 2019107138A1
Authority
WO
WIPO (PCT)
Prior art keywords
devices
information
imaging
display
image
Prior art date
Application number
PCT/JP2018/041926
Other languages
English (en)
French (fr)
Inventor
良樹 岩切
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019107138A1 publication Critical patent/WO2019107138A1/ja
Priority to US16/885,071 priority Critical patent/US11528472B2/en
Priority to US17/981,316 priority patent/US20230059798A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a system for generating a virtual viewpoint image.
  • the virtual viewpoint image generated in this manner is an image that represents the appearance of a virtual viewpoint that is not limited to the installation position of the imaging device.
  • Patent Document 1 discloses a technique for generating a virtual viewpoint image from a user's favorite viewpoint based on one or more images, and information of the selected image and the selected viewpoint. Patent Document 1 also discloses a UI (user interface) for causing a user to select a preferred viewpoint.
  • UI user interface
  • displaying the information of the component in the abnormal state can notify the user of the state of the system.
  • a system for generating a virtual viewpoint image it may be insufficient to just display information of a component in an abnormal state.
  • the quality of the virtual viewpoint image generated Problems such as a decrease in
  • the number of imaging devices that require adjustment, and the like differ. There is. That is, only by identifying the device in an abnormal state, the user can not easily know the magnitude of the influence of the abnormality on the quality of the virtual viewpoint image and the number of processes required for recovery from the abnormal state. There is a case.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a technique for more appropriately notifying a user of a state regarding a system for generating a virtual viewpoint image.
  • a display control device concerning the present invention has the following composition, for example. That is, an acquisition unit that acquires information related to states of a plurality of devices for acquiring a plurality of images that are used to generate a virtual viewpoint image according to designation of a viewpoint and that are based on imaging from a plurality of directions A specifying unit for specifying a device in an abnormal state among the plurality of devices based on the information acquired by the acquiring unit, and a device in an abnormal state specified by the identifying device among the plurality of devices And display control means for causing the display unit to display information indicating one or more devices having a predetermined relationship therebetween.
  • FIG. 6 is a diagram illustrating an example of an operation UI for operating the imaging device.
  • FIG. 6 is a diagram illustrating an example of an operation UI for operating the imaging device.
  • It is a flowchart which shows the example of the display process by an information display apparatus.
  • It is a figure which shows the example of the setting list regarding the error display of a group.
  • It is a figure which shows the example of the display image displayed by an information display apparatus.
  • each imaging device the installation position of each imaging device, the network connection relationship between the imaging devices, and each imaging device and the imaging target on an image that includes the area of the imaging target and simulates a stadium where the imaging device is installed.
  • An example of displaying at least one or more of the relationships with the area will be described.
  • FIG. 1 is a diagram showing an example of the configuration of an image processing system that generates a virtual viewpoint image in the present embodiment.
  • the image processing system includes an imaging system 100 having a plurality of imaging devices 100-1, 100-2, ... 100-m, an image generation device 200, a user terminal 300, an information display device 400, and the like. , And the distribution device 500.
  • Each device is communicably connected to other devices via a transmission cable for transmitting images and control information.
  • Specific examples of the transmission cable include ETHERNET (registered trademark) GBE (Gigabit Ethernet) conforming to IEEE standard and 10 GBE.
  • the transmission cable is not limited to these, and may be another type of cable.
  • each device may perform wireless communication.
  • the imaging system 100 includes m imaging devices (imaging devices 100-1, 100-2,..., 100-m) that perform imaging from different directions, and a plurality of imaging devices used for generating virtual viewpoint images. Acquire a captured image.
  • imaging devices 100-1, 100-2,..., 100-m the imaging devices included in the imaging devices 100-1, 100-2,..., 100-m will be referred to as an imaging device 100-x.
  • m described in the present embodiment and n described later represent integer values.
  • the imaging devices 100-x installed at mutually adjacent positions are mutually connected via a transmission cable.
  • the imaging device 100-x transmits the captured image and the state information of the imaging device 100-X to the image generation device 200 and the information display device 400.
  • the state information will be described later.
  • the imaging device 100-1 is mutually connected with the imaging device 100-2.
  • the imaging device 100-2 is mutually connected with another imaging device (not shown) located adjacent to the imaging device 100-2.
  • the imaging device 100-n is mutually connected to an imaging device (not shown) at a position adjacent to the imaging device 100-n. Further, the imaging device 100-n is mutually connected to the distribution device 500.
  • a plurality of imaging devices from the imaging device 100-1 to the imaging device 100-n are connected in series by a daisy chain. Further, a plurality of imaging devices from the imaging device 100- (n + 1) to the imaging device 100-m are similarly connected by a daisy chain.
  • the image processing system has two connection groups connected in a daisy chain.
  • the number of connection groups included in the image processing system is not limited to two, and may be one or three or more.
  • the connection group in the present embodiment is a device group consisting of a plurality of devices connected to one another directly or through other devices. Note that there may be a connection group consisting of a single device.
  • the connection group will be mainly described in connection with a daisy chain, but the connection form is not limited to this and may be, for example, a star connection.
  • the imaging device 100-x is arranged to surround a stadium or a specific subject such as a soccer field.
  • FIG. 2 is a diagram showing an example of the arrangement of the imaging device 100-x.
  • the plurality of imaging devices 100-x are arranged such that the stadium 210 is imaged by the plurality of imaging devices 100-x.
  • the plurality of imaging devices 100-x may image only a part of the stadium 210 instead of the entire stadium 210, or may not completely surround the subject.
  • the installation location of the imaging system 100 is not limited to the stadium, and may be a theater, a live stage, or the like.
  • the plurality of imaging devices 100-x are, for example, digital cameras, and perform imaging at substantially the same timing based on a synchronization signal from a synchronization device (not shown).
  • An image captured by the imaging device 100-x is transmitted to the image generation device 200 and the information display device 400 via the transmission cable and the distribution device 500.
  • the imaging device 100-x may be a camera that captures a still image, a camera that captures a moving image, or a camera that captures both a still image and a moving image.
  • the term “image” is described as including still images and moving images unless otherwise noted.
  • the imaging apparatus 100-x is directly connected to another imaging apparatus 100-x to transmit an image
  • the present invention is not limited to this.
  • a plurality of (for example, m) processing devices may be connected for each connection group. Then, each imaging device 100-x transmits a captured image to a processing device corresponding to the own device, and each processing device receives an imaged image received from the imaging device 100-x and an image acquired by performing image processing thereon, It may be transmitted to the generation device 200 and the information display device 400.
  • the plurality of processing devices acquire a plurality of images (images based on imaging from a plurality of directions by a plurality of imaging devices 100-x) used to generate a virtual viewpoint image, and the image generation device 200 and information It will be transmitted to the display device 400.
  • the image generation device 200 is mutually connected to the imaging device 100-x via the distribution device 500.
  • the image generation device 200 is also mutually connected with the user terminal 300 and the information display device 400.
  • the image generation device 200 accumulates the image captured by the imaging device 100-x.
  • virtual viewpoint information indicating the position and orientation of the virtual viewpoint specified based on the user's operation from the user terminal 300 is input from the user terminal 300
  • the image generation apparatus 200 uses the images captured by the plurality of imaging devices 100-x. And generates a virtual viewpoint image corresponding to the virtual viewpoint information.
  • the virtual viewpoint information is information indicating the position of the viewpoint and the direction of the line of sight, for generating a virtual viewpoint image.
  • virtual viewpoint information is information indicating the position and orientation of a virtual camera corresponding to a virtual viewpoint image.
  • the image generation apparatus 200 transmits the generated virtual viewpoint image to the user terminal 300.
  • the virtual viewpoint information at least includes position information and direction information of the designated viewpoint.
  • the position information is, for example, a position relative to a predetermined position such as the center of the stadium 210 to be imaged (the position of the viewpoint in each of the longitudinal, lateral, and vertical directions based on the predetermined position) It is information to show.
  • the position information may be information indicating absolute coordinates.
  • the direction information is, for example, information indicating the direction with respect to the predetermined position (the angle between the line of sight and each axis in a three-dimensional orthogonal coordinate system having the predetermined position as an origin and having the longitudinal direction, the lateral direction, and the vertical direction as axes) It is.
  • the direction information may be information indicating an absolute direction.
  • the image generation device 200 is, for example, a server device, and has a database function and an image processing function.
  • the database used by the image generation device 200 holds in advance an image obtained by imaging a stadium of a scene where there is no specific subject such as a player, such as a stadium before the start of a competition, as background image data. Background image data is used for foreground / background separation to extract a specific subject from a captured image.
  • the user terminal 300 has a controller for operation.
  • the user terminal 300 receives, for example, an instruction to move the position of the virtual viewpoint, change the viewing direction of the virtual viewpoint, and switch the viewpoint based on the operation of the controller by the user, and transmits signals corresponding to the content to the virtual viewpoint.
  • the information is transmitted to the image generation apparatus 200 as information.
  • the user terminal 300 displays the virtual viewpoint image received from the image generation device 200 on the display screen included in the user terminal 300.
  • the virtual viewpoint image may be a still image or a moving image.
  • the user terminal 300 is, for example, a PC or a tablet
  • the controller includes, for example, at least one of a mouse, a keyboard, a six-axis controller, and a touch panel.
  • the information display device 400 is mutually connected to the imaging device 100-x and the image generation device 200 via the distribution device 500.
  • the information display device 400 acquires a captured image captured by the imaging device 100-x and status information of the imaging device 100-x, and displays an image according to the acquired status information on a display screen (display unit 404) described later. Do.
  • the information display device 400 also acquires the installation position and identification information of the imaging device 100-x, the imaging target area included in the imaging range, and information on the connection relationship between the plurality of imaging devices, and the like, according to the acquired information.
  • the selected image on the display screen Further, the information display device 400 may acquire information of a group to which each imaging device 100-x belongs, and may display an image according to the acquired information on the display screen.
  • the information display device 400 may acquire the various types of information described above from the imaging device 100-x, or may acquire it from a database or the like held by another device, or the user performs an input operation on the information display device 400. It may be acquired based on
  • a group to which a certain imaging device 100-x belongs is one or more devices having a predetermined relationship with the imaging device 100-x.
  • the predetermined relationship is, for example, a relationship relating to at least one of a connection relationship, an installation position, and an imaging target area.
  • the present invention is not limited to this, and one or more devices having a predetermined relationship with regard to the type of device, setting information, etc. may be treated as a group.
  • the information display device 400 also receives the status information of the image generation device 200 and displays it on the display screen.
  • the information displayed on the information display device 400 is browsed by the person in charge of monitoring of the image processing system.
  • the person in charge of monitoring recognizes the state of the imaging system 100 or the image generation device 200 using the image displayed on the display screen of the information display device 400, and controls each device via the information display device 400, or It can instruct other personnel in charge of controlling the device.
  • the distribution device 500 distributes the captured image received from the imaging device 100-x to the image generation device 200 and the information display device 400.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the imaging device 100-x.
  • the imaging optical system 301 optical lens system
  • the imaging element 302 converts the light formed into an electrical signal, and outputs the electrical signal to the A / D converter 303.
  • the A / D converter 303 converts the input electric signal into a digital signal, and inputs the converted digital signal to the image processing circuit 304.
  • the image sensor 302 is a photoelectric conversion element that converts an optical signal of an image formed on a light receiving surface into an electrical signal for each light receiving pixel at a corresponding position.
  • the system controller 308 includes, for example, a CPU, a ROM, a RAM, and the like.
  • the system controller 308 controls the imaging device 100-x by executing a computer program stored in the ROM.
  • the system controller 308 controls a communication unit (not shown) included in the imaging device 100-x to transmit an image stored in the recording medium 307 to the information display device 400 or the like.
  • the image processing circuit 304 performs various types of image processing on the digital signal (image signal) input from the A / D converter 303.
  • the image processing includes, for example, white balance adjustment, color correction, and gamma correction.
  • the image signal subjected to image processing by the image processing circuit 304 is stored in the recording medium 307 or displayed by the display device 305. Further, the image processing circuit 304 executes a process of extracting a specific subject such as a player from an image captured during the competition in the stadium 210, for example, among the captured images input from the imaging unit 102.
  • the imaging optical system control circuit 306 drives a lens or the like included in the imaging optical system 301 based on a control signal from the system controller 308.
  • the configuration of the illustrated imaging device 100-x is an example, and it is not necessary to have all the configurations, and may have other configurations.
  • the display device 305 is not an essential component of the imaging device 100-x.
  • some of the illustrated components may be configured as an apparatus different from the imaging apparatus 100-x.
  • the imaging device 100-x transmits a captured image to a processing device corresponding to the own device, and each processing device acquires an image based on imaging by the imaging device 100-x. Then, the information may be transmitted to the information display device 400 or the like.
  • the processing device may have the image processing circuit 304 and the recording medium 307.
  • FIG. 4 is a flowchart for explaining an example of the operation of the imaging device 100-x of the present embodiment.
  • the flowchart in FIG. 4 is executed, for example, each time a captured image is obtained by the imaging device 100-x.
  • the process shown in the flowchart of FIG. 4 is realized by the system controller 308 executing calculation of information and control of each hardware. Note that at least part of the steps of the flowchart of FIG. 4 may be executed by dedicated hardware.
  • the dedicated hardware is, for example, an application specific integrated circuit (ASIC) or a field-programmable gate array (FPGA).
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • the imaging device 100-x acquires a captured image. Specifically, the zoom and focus of the lens are adjusted to form an incident light from an imaging target, and the formed incident light is exposed to be converted into an electric signal. Then, the converted signal is subjected to signal processing such as correction of loss of sensor output and variation of lens optical characteristics. Then, based on the result of the signal processing, the image is converted into a captured image of an image format such as RAW, JPEG (Joint Photo Graphic Experts Group), or BMP (Bitmap Image).
  • an image format such as RAW, JPEG (Joint Photo Graphic Experts Group), or BMP (Bitmap Image).
  • the imaging device 100-x receives a parameter for lens adjustment, a parameter for exposure adjustment, etc. from an external device (for example, the information display device 400), and changes the setting according to the received parameter.
  • a captured image may be acquired.
  • the parameters input from the outside include, for example, zoom, focus, aperture value (iris), ISO, shutter speed, ND (Neutral Density) filter switching, and the like.
  • the imaging device 100-x extracts a specific subject (foreground), such as a player, from among the acquired captured images, for example, from an image captured during a competition at the stadium 210 and acquires it as “foreground image data”. Do. In addition, the imaging device 100-x acquires in advance, as “background image data”, an image obtained by imaging the stadium 210 in a state in which there is no specific subject, such as an image captured before the start of the competition. Note that the remaining image obtained by removing a specific subject from the captured image may be acquired as background image data.
  • background image data an image obtained by imaging the stadium 210 in a state in which there is no specific subject, such as an image captured before the start of the competition.
  • the remaining image obtained by removing a specific subject from the captured image may be acquired as background image data.
  • image data before separation a captured image which is not separated into foreground and background is referred to as “image data before separation”.
  • a method of performing image processing including object extraction for extracting the foreground as an object can be used.
  • Object extraction is performed by extracting the difference between the captured image and the background image data.
  • the foreground may be not only the player who plays the game but also another specific person (for example, at least one of the assistant player, the director, and the referee).
  • the foreground may be an object whose image pattern is known, such as a ball or a goal.
  • a moving object may be detected and extracted.
  • the imaging device 100-X acquires state information of the own device.
  • the state information includes at least information on any of the following.
  • ⁇ Communication connection status of imaging device 100-x (whether communication with other devices is possible, etc.) -The imaging state of the imaging device 100-x (during imaging, preparation for imaging, suspension of imaging, etc.) ⁇ Operation state of the imaging device 100-z (during zoom operation, focus operation, iris setting, power off / on, etc.) ⁇ Output state of imaging device 100-x (whether or not foreground image data or background image data is being output to image generation device 200) ⁇ Error status of imaging device 100-x (during normal operation, temperature error, lens error, etc.) -Configuration of the imaging device 100-x (with or without a pan head, with or without a microphone, with or without a zoom lens, etc.) -Imaging parameters of imaging apparatus 100-x (Iris, shutter speed, white balance, exposure value, ISO sensitivity, zoom, focus, ND filter, imaging mode
  • the imaging device 100-x outputs the foreground image data background image data acquired in S502 to the image generation device 200 and the information display device 400 at a predetermined frame rate via the distribution device 500.
  • the imaging device 100-x outputs the state information acquired in S503 to the information display device 400 via the other imaging device 100-x and the distribution device 500.
  • the timing at which the state information is output may be a timing according to the frame rate, or may be a timing at which the own device has been activated or a timing at which the state of the own device has changed.
  • foreground / background separation in S502 may be performed by a processing device that has acquired a captured image from the imaging device 100-x. Then, the output of various data in S504 may also be executed by the processing device connected to the imaging device 100-x.
  • FIG. 5 is a diagram showing an example of the hardware configuration of the image generation device 200, the information display device 400, and the user terminal 300.
  • the device 7000 (which represents the user terminal 300, the image generation device 200 or the information display device 400) includes a controller unit 700, an operation unit 709, and a display device 710.
  • the controller unit 700 has a CPU 701.
  • the CPU 701 starts an OS (Operating System) according to a boot program stored in the ROM 702.
  • the CPU 701 executes an application program stored in an HDD (Hard Disk Drive) 704 on this OS.
  • the CPU 701 implements various processes by executing application programs.
  • a RAM 703 is used as a work area of the CPU 701.
  • the HDD 704 stores application programs and the like.
  • the CPU 701 is mutually connected to the ROM 702, the RAM 703, the operation unit I / F 705, the display unit I / F 706, and the communication I / F 707 via the system bus 708.
  • the operation unit I / F 705 is an interface with the operation unit 709.
  • the operation unit I / F 705 transmits information input by the user via the operation unit 709 to the CPU 701.
  • the operation unit 709 has, for example, a mouse and a keyboard.
  • the display unit I / F 706 outputs the image data to be displayed on the display device 710 to the display device 710.
  • the display device 710 has a computer display.
  • the communication I / F 707 is an interface for performing communication such as ETHERNET (registered trademark), for example, and is connected to a transmission cable.
  • the communication I / F 707 inputs / outputs information to / from an external device via a transmission cable.
  • Communication I / F 707 may be a circuit or an antenna for performing wireless communication.
  • the device 7000 can also perform display control to display an image on an external display device connected via a cable or a network. In this case, the device 7000 implements display control by outputting display data to an external display device. It is to be noted that all the configurations shown in FIG. 5 are not necessarily required in the user terminal 300, the image generation device 200, or the information display device 400. For example, in the image generating apparatus 200, the display device 710 is not an essential component.
  • FIG. 6 is a flow chart for explaining an example of the operation of the image generation apparatus 200 of the present embodiment.
  • the process in FIG. 6 is realized by the CPU 701 in FIG. 5 reading out various programs stored in the ROM 702 and executing control of each part.
  • the process of FIG. 6 is periodically executed after, for example, an instruction to generate a virtual viewpoint image is input to the image generation apparatus 200.
  • Note that at least a part of the steps of the flowchart of FIG. 6 may be executed by dedicated hardware.
  • the dedicated hardware is, for example, an ASIC or an FPGA.
  • the image generation device 200 acquires, through the distribution device 500, foreground image data and background image data output from the imaging device 100-x.
  • the foreground image data and the background image data may be input at different frame rates. If the foreground image data and the background image data are not input from the imaging device 100-x, the process skips S902 and proceeds to S903 described later.
  • the image generating apparatus 200 stores the input foreground image data and background image data in a database.
  • step S903 the image generation apparatus 200 determines whether virtual viewpoint information has been acquired. As a result of the determination, if virtual viewpoint information is not acquired, the process returns to S901.
  • the image generation apparatus 200 acquires foreground image data and background image data corresponding to the virtual viewpoint information from the database in S904.
  • the user terminal 300 changes the position of the virtual viewpoint based on the operation by the user via the controller connected to the user terminal 300, Accept change and view switching instructions. Then, the user terminal 300 transmits a transmission signal indicating the content to the image generation apparatus 200.
  • the image generation apparatus 200 acquires virtual viewpoint information by converting the transmission signal input from the user terminal 300 into virtual viewpoint information as described above.
  • the image generation apparatus 200 generates a virtual viewpoint image by synthesizing the acquired foreground image data and background image data by image processing.
  • a method of generating a virtual viewpoint image for example, a method using Model-Based Rendering (MBR) can be mentioned.
  • MBR is a method of generating a virtual viewpoint image using a three-dimensional model generated based on a plurality of captured images obtained by capturing an object from a plurality of directions.
  • the MBR uses the three-dimensional shape (model) of the target scene obtained by a three-dimensional shape restoration method such as the visual volume intersection method or Multi-View-Stereo (MVS) to make the scene visible from a virtual viewpoint.
  • a technology to generate as an image.
  • the method of generating the virtual viewpoint image is not limited to the method using the MBR.
  • a rendering method other than the MBR such as image-based rendering may be used.
  • the image generation apparatus 200 converts the generated virtual viewpoint image into a transmission signal that can be transmitted to the user terminal 300 and outputs the transmission signal.
  • the user terminal 300 receives specification of the position and direction of the virtual viewpoint from the user, receives a virtual viewpoint image according to the specified viewpoint from the image generation apparatus 200, and displays it on the display screen provided in the user terminal 300. . By doing this, the user can view and listen to the content from the viewpoint according to the user's operation.
  • the user terminal 300 is, for example, a PC or a tablet
  • the controller is, for example, a mouse, a keyboard, a six-axis controller, a touch panel, or the like. The user can operate the virtual viewpoint using these controllers, and can display a virtual viewpoint image from an arbitrary viewpoint on the display screen provided on the user terminal 300.
  • FIG. 7 is a diagram showing an example of a functional configuration of the information display apparatus 400 of the present embodiment.
  • FIG. 8 is a flow chart for explaining an example of the operation of the information display apparatus 400 of the present embodiment.
  • the information display device 400 is a display that displays a display indicating the state of the imaging device 100-x or the image generation device 200 based on the information held in the data holding unit 401 described later and the information acquired by the state acquisition unit 405. It is an example of an apparatus.
  • the information display apparatus 400 includes a data holding unit 401, a data input / read unit 402, a UI generation unit 403, a display unit 404, a state acquisition unit 405, a control unit 406, a user input unit 407, and a control signal output unit 408. These are mutually connected by the internal bus 409, and can transmit and receive data mutually under the control of the control unit 406.
  • the data holding unit 401 of FIG. 7 is realized by the HDD 704 of FIG. 5, and the data input / read unit 402, the UI generation unit 403, and the control unit 406 of FIG. 7 are realized by the CPU 701 of FIG. Further, the state acquisition unit 405 and the control signal output unit 408 of FIG. 7 are realized by the communication I / F 707 of FIG. 5, and the display unit 404 of FIG. 7 is realized by the display I / F 706 and the display device 710.
  • the process shown in FIG. 8 and the process to be described later performed by the information display apparatus 400 are realized by the CPU 701 in FIG. 5 reading various programs stored in the ROM 702 and executing control of each part.
  • the processing in FIG. 8 is started at the timing when the information display device 400 is set to the mode for displaying a UI image.
  • the start timing of the process of FIG. 8 is not limited to this.
  • at least part of the steps in FIG. 8 and in the flowchart described below performed by the information display apparatus 400 may be executed by dedicated hardware.
  • the dedicated hardware is, for example, an ASIC or an FPGA.
  • each component of the information display device 400 will be described in detail.
  • the data holding unit 401 holds data necessary for the UI generation unit 403 to display a UI.
  • the data includes at least one of the following: ⁇ Layout data of the stadium 210 ⁇ Identification information of the imaging device 100-x ⁇ Information of the connection group to which the imaging device 100-x belongs ⁇ Connection destination of the imaging device 100-x ⁇ Installation area of the imaging device 100-x ⁇ Imaging device 100 -X installation coordinate information, imaging target area of imaging device 100-x, center coordinate information of imaging target area of imaging device 100-x, area information of installation area of imaging device 100-x
  • FIG. 9A shows an example of data held by the data holding unit 401.
  • the data shown in FIG. 9A is, for example, the coordinates (x1 of the installation area of “R1” in which “imaging device 100-1” belongs to a connection group of “L1” and is mutually connected with “imaging device 100-2”.
  • Y1 is shown.
  • the installation coordinate information is information indicating XY coordinates when the predetermined position (for example, the center of the stadium 210) is the origin.
  • FIG. 9B An example of other data held by the data holding unit 401 is shown in FIG. 9B.
  • Area center coordinates (information indicating the center coordinates of the imaging target area shown in FIG. 9A) are represented by XY coordinates when the predetermined position (for example, the center of the stadium 210) is the origin.
  • the plurality of imaging devices 100-x corresponding to the common imaging target area are installed such that the optical axis is directed to the position indicated by the area center coordinates. That is, the centers of a plurality of images captured by a plurality of imaging devices 100-x corresponding to the same imaging target area are all positions indicated by the same area center coordinates.
  • the positions corresponding to the centers of the plurality of images do not have to completely coincide with each other, as long as they fall within a predetermined range.
  • effective area information is information which shows the area
  • An area suitable for generating a virtual viewpoint image is, for example, an area included in any imaging range of a plurality of imaging devices 100-x corresponding to a common imaging target area.
  • the virtual viewpoint image is generated using a plurality of images captured by a plurality of imaging devices 100-x that capture a common imaging target area.
  • FIG. 9C An example of other data held by the data holding unit 401 is shown in FIG. 9C.
  • the installation place for example, a stadium
  • the imaging system 100 is installed is divided into a plurality of predetermined installation areas, and one or more imaging devices 100-x are installed in each installation area.
  • each installation area is represented by coordinate information of three or more vertices, and the area surrounded by these vertices corresponds to the installation area which is a part of the installation location.
  • the data holding unit 401 may acquire these pieces of information based on the input according to the operation by the user, or may acquire them based on the state information output from the imaging device 100-x.
  • the data holding unit 401 does not have to be in the information display device 400, and may be an external recording device. Further, information on the imaging device 100-x may be stored in each imaging device 100-x.
  • the control unit 406 issues a control instruction to each unit of the information display device 400 based on the information according to the user operation input via the user input unit 407. For example, when the control unit 406 receives operation information indicating a display image type switching instruction from the user input unit 407, the control unit 406 converts the operation information into information indicating the display image type, and transmits the information to the UI generation unit 403. The specific content of the display image will be described later.
  • the user input unit 407 receives a user operation via a controller (not shown), and outputs operation information to the control unit 406.
  • the controller is, for example, at least one of a keyboard, a mouse, and a touch panel.
  • the control signal output unit 408 outputs the control signal input from the control unit 406 to the outside.
  • the output destination is, for example, the imaging device 100-x.
  • the control signal is, for example, a signal for setting imaging parameters such as zoom, focus, iris, ISO, shutter speed, and ND filter switching of the imaging device 100
  • the data input / read unit 402 reads various data from the data holding unit 401 and outputs the data to the UI generation unit 403.
  • the UI generation unit 403 uses the data output from the data input / readout unit 402 and the status information output from the status acquisition unit 405 to indicate information indicating the status of the image processing system or the imaging device 100-x. To generate a UI image. The state information and the UI image example will be described later. Then, the UI generation unit 403 outputs the generated UI image as a display image to the display unit 404.
  • the display unit 404 has a frame buffer and a display panel.
  • the display unit 404 stores (overwrites) the display image output from the UI generation unit 403 in the frame buffer. Then, in step S1103, the display unit 404 reads the display image stored in the frame buffer at a predetermined refresh rate and displays the read image on the display panel.
  • the display panel is, for example, a liquid crystal panel or an organic EL panel.
  • the state acquisition unit 405 acquires the state information of each imaging device 100-x and the state information of the image generation device 200, and outputs the state information to the UI generation unit 403.
  • the UI generation unit 403 determines whether the state information has changed. If the state information has changed, the process returns to step S1102 to update the UI image. On the other hand, if the state information has not changed, the process returns to S1104 and waits until the state information changes.
  • the information display apparatus 400 acquires the state information on the imaging apparatus 100-x and displays the information according to the acquired state information.
  • the acquisition source of the state information is imaging It is not limited to the device 100-x.
  • the information display device 400 acquires state information from the processing device You may
  • the state information acquired here may be information indicating the state of the imaging device 100-x, or may be information indicating the state of the processing device.
  • the information display device 400 may acquire state information from another device in the image processing system such as the image generation device 200, and may perform display according to the acquired information.
  • FIG. 10 is a view showing an example of a display image displayed by the information display apparatus 400 of the present embodiment.
  • the following information is displayed on a map 1201 which is information indicating the stadium 210.
  • ⁇ Installation area for example, installation area 1202 where imaging device 100-x is installed -Imaging device 100-x and its installation position (for example, icon 1203)
  • Connection relationship and connection state between multiple imaging devices 100-x for example, connection 1204)
  • Imaging target area for example, effective area 1205)
  • the center point of the imaging target area for example, center point 1206)
  • Correspondence between imaging device 100-x and imaging target area for example, dotted line 1207)
  • the information display device 400 displays the connection state between the image generation device 200 or the information display device 400 and the imaging device 100-x.
  • devices such as the information display device 400 and the image generation device 200 are installed in a broadcast relay vehicle existing outside the stadium, in FIG. 10, these devices are collectively displayed as a relay vehicle ing.
  • the information display apparatus 400 can make the user easily grasp the information related to the imaging system 100 having a plurality of imaging apparatuses.
  • the information display device 400 can display which imaging device is disposed where and how it is connected. Further, for example, the information display device 400 can distinguish an icon indicating the imaging device 100-x in a state capable of imaging and an icon indicating an imaging device 100-x in failure or during adjustment and not in a state capable of imaging. It may be displayed on By doing this, the user can easily identify the imaging device 100-x in which the failure has occurred, and easily grasp where the imaging device 100-x is disposed.
  • the information display device 400 displays information indicating an imaging target area corresponding to each of the plurality of imaging devices 100-x, a virtual viewpoint that may cause a problem when a failure occurs in the imaging device 100-x.
  • the user can know the position of
  • the information display device 400 displays information indicating an imaging target area corresponding to each of the plurality of imaging devices 100-x. As a result, the user can be made to know whether or not the imaging system 100 has an arrangement capable of capturing a captured image sufficient to generate a virtual viewpoint image.
  • FIG. 11 shows a processing flow for the UI generation unit 403 of the information display apparatus 400 to generate the display image of FIG.
  • FIG. 12 shows a specific display image drawn by each process in the flow of FIG.
  • the process of FIG. 11 is executed, for example, at the timing of S1102 of FIG. Note that the timing and order of processing are not limited to this.
  • the process in FIG. 16 and each display process described later are realized by the CPU 701 in FIG. 7 reading out various programs stored in the ROM 702 and executing control of each unit. Note that at least part of the steps in FIG. 16 and the flowchart of each display process may be executed by dedicated hardware.
  • the dedicated hardware is, for example, an ASIC or an FPGA.
  • the UI generation unit 403 draws layout data of the stadium 210 output from the data input / read unit 402 (FIG. 12A).
  • the UI generation unit 403 draws an area in the stadium 210 where the imaging device 100-x is to be installed (FIG. 12B).
  • an example in which there are four installation areas (R1, R2, R3, and R4) is shown. These installation areas are drawn based on the coordinate information shown in FIG. 9C.
  • the UI generation unit 403 draws the icon of the imaging device 100-x in the installation area in which each imaging device 100-x is installed (FIG. 12C). These icons are drawn based on the information shown in FIG. 9A.
  • the UI generation unit 403 draws the connection relationship between the plurality of imaging devices 100-x (FIG. 12D).
  • FIG. 12D an example in which there are two connection groups (L1, L2) is shown.
  • the information indicating the connection relationship is drawn based on the information on the connection group and the information on the connection destination shown in FIG. 9A.
  • the UI generation unit 403 draws an imaging target area corresponding to each imaging device 100-x (FIG. 12E).
  • Each imaging target area is represented by a center point 1206 of the imaging target area and an effective area 1205 of the imaging target area.
  • An effective area 1205 indicates an area suitable for generating a virtual viewpoint image.
  • imaging target areas are drawn based on the information shown in FIG. 9B.
  • the UI generation unit 403 connects these as information associating each imaging device 100-x with the imaging target area (FIG. 12F). As described later, each image shown in FIG. 12 is drawn as an image of another layer.
  • the icon 1203-2 of the imaging device and the dotted line 1207-2 connecting the imaging target area is the icon 1203 of another imaging device. May overlap with -1.
  • the UI generation unit 403 confirms the presence or absence of such an overlap. If an overlap occurs, in step S1408, the UI generation unit 403 changes the drawing position of the icon 1203-1 of the imaging apparatus to a position where the overlap does not occur in the same installation area. That is, the information display apparatus 400 performs display control so that the line connecting the information indicating the imaging device 100-x and the central point of the imaging target area does not overlap with the information indicating the other line or the other imaging device 100-x. I do. By doing this, it is possible to display the imaging target area of each imaging device 100-x so as to be easily understood by the user. However, the processes of S1407 and S1408 are not essential.
  • the UI generation unit 403 divides the image into a plurality of layers based on the information of FIG.
  • a layer is a collection of data stored in each of a plurality of recording areas included in the UI generation unit 403.
  • the UI generation unit 403 generates the display image of FIG. 10 by superimposing images of a plurality of layers.
  • FIG. 12A The stadium 210 (FIG. 12A) ⁇ Installation area (Figure 12B) -Imaging device 100-x (FIG. 12C) ⁇ Connection group ( Figure 12D) -Imaging target area (FIG. 12E) ⁇ Line connecting the imaging device 100-x and the imaging target area (FIG. 12F)
  • FIG. 14 is an image diagram of a layer drawing process by the UI generation unit 403.
  • the map 1201 shown in FIG. 12A is drawn as the lowermost layer, and the images of the respective installation areas are superimposed as a higher layer. Then, an image in which the connection between the imaging device 100-x and the imaging target area is drawn as the uppermost layer is superimposed.
  • the order of superposition of the layers may be changed as appropriate. Also, it is not always necessary to overlap multiple layers.
  • a display image as shown in FIG. 10 may be generated by overwriting the content shown in FIG. 12B to FIG. 12F on the image of FIG. 12A.
  • the display image can be easily switched by performing the drawing process for each layer. The points will be described in detail below.
  • FIG. 15 shows a flow of a process of switching the display of the display image drawn by the process of FIG. 11 based on the operation information input via the user input unit 407.
  • the process of FIG. 15 is executed, for example, in S1102 of FIG.
  • step S2501 when operation information is input via a controller such as a keyboard, the user input unit 407 outputs the operation information to the control unit 406.
  • step S2502 the control unit 406 that has received the operation information identifies the display content to be displayed or not displayed based on the operation information, and outputs the content as a display switching instruction to the UI generation unit 403.
  • the control unit 406 has information indicating in advance the correspondence between the input operation information and the content to be displayed or not displayed.
  • step S2503 the UI generation unit 403 outputs an image of a layer to be displayed to the display unit 404 after adding or deleting a drawing layer to be displayed according to the input display switching instruction.
  • FIG. 16 is an example of a UI image generated by the process of FIG. Specifically, FIG. 15 shows the result of the display switching for displaying the information of only the imaging device 100-x belonging to the connection group L1 among the plurality of imaging devices 100-x in the image processing system. .
  • the information display device 400 can display information of only the imaging device 100-x installed in the installation area R1 by the process of FIG. Further, the information display device 400 can display information of only the imaging device 100-x arbitrarily designated by the process of FIG. In addition, the information display device 400 can display information of only the imaging device 100-x corresponding to the same imaging target area by the process of FIG.
  • the present invention is not limited to this, and the layer to be displayed by the information display device 400 may be automatically selected.
  • the information display device 400 receives information indicating that at least one device in the image processing system is in an error state
  • a layer suitable for displaying the state of the device in an error state is automatically displayed. It may be selected and displayed.
  • a warning may be popped up according to the display of the image of the layer.
  • the information display apparatus 400 displays the state of the imaging system 100 by appropriately combining or deleting the respective layers. Therefore, even when the imaging system 100 includes many imaging devices 100-x, the information display device 400 can display only the state of a desired imaging device group, and improves the visibility. be able to.
  • FIG. 17 is a diagram for describing an example in which the icon of the imaging device 100-x on the display image shown in FIG. 10 is displayed as an image according to the state of the imaging device 100-x.
  • the state acquisition unit 405 of the information display device 400 outputs the state information to the UI generation unit 403.
  • the UI generation unit 403 updates the image of the icon of the imaging device 100-x on the display image of FIG. 10 based on the state information.
  • FIG. 17 shows a part of the imaging device 100-x included in a certain connection group.
  • the display of the state of the imaging device 100-x is as follows. ⁇ A state in which the imaging device 100-x is connected to the information display device 400 or another imaging device 100-x and can communicate (icon 2401 in FIG. 17A) The state in which the imaging device 100-x can not communicate with the information display device 400 or another imaging device 100-x (icon 2402 in FIG. 17A)
  • the information display device 400 also displays the state of the imaging device 100-x itself as follows.
  • the imaging apparatus 100-x is in an error state (icon 2403 in FIG. 17B)
  • the imaging device 100-x is in a warning state (icon 2404 in FIG. 17B)
  • the imaging device 100-x is in the bypass state (icon 2405 in FIG. 17B)
  • a failure occurs in the imaging device 100-x, and the imaging device 100-x can not normally perform imaging, or the imaging device 100-x normally outputs or transmits an image. It can not be done.
  • Specific examples of the failure that imaging can not be normally performed include that the temperature of the imaging device 100-x exceeds the range in which the imaging device 100 can normally operate, and distortion and dirt occur on the lens for imaging.
  • Specific examples of the failure that the image output and transmission can not be normally performed include failure of the communication I / F 707 of the imaging device 100-x, disconnection of the transmission cable connected to the communication I / F 707, and transmission The connection between the cable and the communication I / F 707 may be disconnected.
  • the warning state is a state in which the imaging device 100-x can operate normally, but there is a high probability that a defect will occur in generation of a virtual viewpoint image.
  • the state in which the temperature of the imaging device 100-x is higher than a predetermined desirable range, or the magnitude of the synchronization deviation between the imaging device 100-x and a synchronization device (not shown) is out of the predetermined range. It is a state etc.
  • a state in which the device is not in a normal state including an error state and a warning state is described as an abnormal state. That is, the apparatus in the abnormal state in the present embodiment is synchronized with the apparatus in the state in which the predetermined operation can not be performed, the apparatus in which the parameter regarding the state of the apparatus is out of the predetermined range, and other apparatuses. There are no devices included.
  • the device in an abnormal state may include a device in which parameters relating to the device state are different from other devices (for example, other imaging devices 100-x in the imaging system 100).
  • the information display device 400 also displays the configuration of the imaging device 100-x as follows.
  • the zoom lens is attached to the imaging device 100-x (icon 2406 in FIG. 17C)
  • a sound collection microphone is attached to the imaging device 100-x (icon 2407 in FIG. 17C)
  • the camera platform is attached to the imaging device 100-x (icon 2408 in FIG. 17C)
  • the information display device 400 also displays the output state of the imaging device 100-x as follows. ⁇ Foreground image data and background image data based on imaging by the imaging device 100-x are being output to the image generation device 200 and the information display device 400 via the distribution device 500 at a predetermined frame rate (icon 2409 in FIG. 17D)
  • the information display device 400 may display information indicating the output destination of the data output from the imaging device 100-x and the frame rate of the output.
  • the information display device 400 may display information (for example, data size, image size, file format, and the like) regarding an image output by the imaging device 100-x.
  • the information display device 400 also displays the mechanical operation state of the imaging device 100-x as follows.
  • the mechanical operation includes, for example, the operation of the zoom lens, the operation of the camera platform, the operation of autofocus, and the like.
  • the zoom lens of the imaging device 100-x is operating (icon 2410 in FIG. 17E)
  • the content to be displayed is not limited to this.
  • the synchronization state between each imaging device 100-x and the synchronization device may be displayed.
  • the contents set for each imaging device, the completion state of the process for reflecting the setting, and the like may be displayed.
  • the state of the imaging device 100-x may be displayed by a message. Further, the user may select an item to be displayed among the information indicating the state of the imaging device 100-x. Further, the user may select whether or not to display the state of the imaging device 100-x.
  • the information display device 400 may select the imaging device 100-x corresponding to the position of the cursor operated by the user, and may display information indicating the state of the imaging device 100-x. In addition, the information display device 400 may display information indicating the state of the imaging device 100-x designated by the user's operation on the touch panel.
  • the information display device 400 may display imaging parameters set in the imaging device 100-x as information indicating the state of the imaging device 100-x.
  • the information display device 400 is an image when the state of the imaging device 100-x is in a state where problems may occur in generation of a virtual viewpoint image, such as an error state, a warning state, and a state in which communication is impossible.
  • the warning may be displayed by color or message.
  • the information display apparatus 400 is not limited to the imaging apparatus 100-x, and in the case where the state of the image processing system may cause a problem in generation of a virtual viewpoint image, “a problem may occur in generation of a virtual viewpoint image There may be a warning message such as “Please perform repair or check the setting as soon as possible.” And a message may be displayed to urge the user to solve the problem.
  • the information display device 400 can use the information related to the imaging system 100 having the plurality of imaging devices 100-x as a user. Can be made to understand. Further, the information display device 400 can allow the user to easily grasp which imaging device 100-x is in what state. Further, for example, the information display device 400 can allow the user to grasp the imaging device 100-x in which an error occurs by displaying so that the imaging device 100-x in which an error occurs in imaging can be identified. .
  • FIG. 18 is an example of a list of states of the imaging device 100-x displayed together with the display image shown in FIG.
  • FIG. 18A is an example in which the state of the imaging device 100-x for each imaging target area group is displayed as a list.
  • a device group including a plurality of imaging devices 100-x including the designated same imaging target area in the imaging range is referred to as an imaging target area group.
  • a device group including a plurality of processing devices that perform acquisition and transmission of images based on imaging by the plurality of imaging devices 100-x may be treated as an imaging target area group.
  • the list display shown in FIG. 18A is called a group state list display.
  • the contents of the group state list display of the imaging target area group include the following. ⁇ Whether multiple imaging devices 100-x included in the imaging subject area group are all in the connected state ⁇ Whether the imaging subject area group includes the imaging device 100-x in the error state ⁇ Imaging subject area group Whether the imaging device 100-x in the warning state is included or not, whether the imaging device 100-x in the bypass state is included in the imaging target area group, the configuration of the imaging device 100-x included in the imaging target area group There is no platform, no microphone, etc.) ⁇ Output status of imaging device 100-x included in imaging target area group (during output / no output) -Mechanical operating state of the imaging device 100-x included in the imaging target area group (operating / non-operating)
  • an asterisk is displayed as information representing the state. doing.
  • a warning may be displayed by other information.
  • a warning may be displayed with a message such as “the exposure condition of the imaging device of the imaging target area group does not match, and a problem may occur in the virtual viewpoint image” or the like.
  • the warning display may be performed by displaying a color or an image meaning a warning.
  • the information display apparatus 400 displays a group state list of imaging target area groups. Therefore, it is possible to easily make the user recognize the possibility that the virtual viewpoint image may be uncomfortable due to the states of the plurality of imaging devices 100-x being different from each other, and to take measures therefor.
  • FIG. 18B is an example in which the state of each imaging device 100-x belonging to the imaging target area group V2 shown in FIG. 18A is displayed as a list.
  • this list display is referred to as an individual state list display.
  • the individual state list display unlike the group state list display, the state of each of the imaging devices 100-x belonging to the group can be known. Therefore, when the user finds a warning display in the group status list display, for example, the display can be switched to the individual status list display, so that the imaging device 100-x in an error state can be specifically identified.
  • FIG. 18B it can be understood that a warning display (asterisk) appears in the error state in the group state list display shown in FIG. 18A because the imaging device 100-2 causes a temperature error.
  • the UI generation unit 403 displays the group status list and the individual status list based on the operation information of the display switching operation input through the user input unit 407.
  • Switch display between display and display For example, when displaying information in a group state list, the information display device 400 may receive an individual tap operation or an instruction operation on a position corresponding to “V2” that is identification information of an imaging target area group. Switch to list display.
  • the information display device 400 switches to displaying a group state list when a tap operation or an instruction operation to a position corresponding to a “return” message icon (not shown) is received.
  • the contents displayed in the list shown in FIG. 18 are not limited to the above.
  • the synchronization state between each imaging device 100-x and the synchronization device may be displayed.
  • the contents set for each imaging device, the completion state of the process for reflecting the setting, and the like may be displayed.
  • the groups are not limited to the imaging target area groups, and may be displayed as a list for each connection group, or the installation areas may be displayed as a single group.
  • FIG. 19 is a diagram showing an example of an operation UI for operating the imaging device 100-x displayed by the information display device 400 of the present embodiment.
  • FIG. 19A shows a UI for receiving a user instruction to operate the individual imaging device 100-x displayed by the information display device 400.
  • the information display device 400 transmits setting information of imaging parameters of the imaging device 100-x and information for operating the imaging device 100-x to the imaging device 100-x in accordance with an operation by the user. For example, an image for setting the zoom, the focus, the ISO, the iris, the shutter speed, and the ND filter of the imaging device 100-x is displayed on the operation UI.
  • an image for setting PAN (pan) and TILT (tilt) is also displayed.
  • FIG. 19B shows a UI for collectively operating the imaging devices 100-x belonging to the imaging target area group displayed by the information display device 400.
  • the operation UI for collective operation for example, an image for setting ISO, iris, shutter speed, and ND filter for determining an exposure condition is displayed.
  • the information display device 400 receives from the user an instruction for the plurality of imaging devices 100-x belonging to the imaging target area group, and the setting and operation according to the instruction are made to the plurality of imaging devices 100-x It can be reflected. Therefore, compared with the case where the setting or operation instruction is received for each imaging device 100-x, the time and effort of the user's operation can be reduced. For example, when a situation such as the intensity of external light changes during imaging, it is possible to collectively change the exposure conditions of imaging target area groups imaging the same imaging target area.
  • the information display device 400 can display the state of the individual imaging device 100-x in the display image shown in FIG.
  • the information display apparatus 400 in the present embodiment can display the state in connection group units or imaging target area group units in a display image.
  • a virtual viewpoint image is obtained based on the positional relationship or connection relationship between the imaging device 100-x in an abnormal state and the other imaging devices 100-x
  • the impact on the generation of may be different. For example, when one of the imaging devices 100-x included in a single imaging target area group fails, if the number of imaging devices 100-x in a normal state included in the group is large, the image quality of the virtual viewpoint image is degraded And the generation of the virtual viewpoint image can be continued. On the other hand, if the number of imaging devices 100-x in a normal state included in the group is small, the degree of degradation of the image quality of the virtual viewpoint image may be large, and generation of the virtual viewpoint image may not be continued.
  • the information display device 400 displays the information indicating the group in which the abnormality occurs.
  • the influence of the abnormality can be notified to the user. Then, if the user can easily know the influence of the abnormality, for example, appropriate measures such as repair or adjustment of the imaging device 100-x can be performed quickly, and problems such as degradation of the quality of the virtual viewpoint image can be suppressed. be able to.
  • FIG. 20 shows a flow of display control processing by the information display device 400.
  • the process of FIG. 20 is performed after the display image as shown in FIG. 10 is displayed.
  • the start timing of the process of FIG. 20 is not limited to this.
  • the processing in FIG. 20 is realized by the CPU 701 in FIG. 5 reading out various programs stored in the ROM 702 and executing control of each part. Note that at least part of the processing illustrated in the flowchart of FIG. 20 may be executed by dedicated hardware.
  • the dedicated hardware is, for example, an ASIC or an FPGA.
  • the state acquisition unit 405 acquires state information of the imaging device 100-x from the state information holding unit 104 of each imaging device 100-x.
  • the state acquisition unit 405 determines whether the states of all the imaging devices 100-x in the image processing system have been acquired. If there is an imaging device 100-x for which status information can not be acquired, the process returns to S4001 to acquire unacquired status information. On the other hand, if the states of all the imaging devices 100-x can be acquired, the process advances to step S4003. Note that the state acquisition unit 405 may acquire only the state information of some of the imaging devices 100-x in the image processing system, and the process may proceed to S4003.
  • step S4003 the UI generation unit 403 determines whether there is an imaging device 100-x in an error state among the plurality of imaging devices 100-x in the image processing system based on the state information acquired in step S4001. Do. If there is no imaging device 100-x in an error state, the information display device 400 ends the process of FIG. If there is no imaging device 100-x in an error state, the process may return to S4001. On the other hand, if there is an imaging device 100-x in an error state, the imaging device 100-x in an error state is specified based on the acquired state information, and the process advances to step S4004.
  • the UI generation unit 403 specifies a group to which the imaging device 100-x in an error state belongs.
  • a connection group mutually connected, an imaging target area group corresponding to the same imaging target area, and an installation area group installed in the same installation area will be exemplified as the specified groups.
  • the group specified by the UI generation unit 403 may be one or more devices having a predetermined relationship with the imaging device 100-x in an error state, and is not limited to these examples. The identification of a group will be described using the example of FIG.
  • the UI generation unit 403 refers to the data held by the data holding unit 401, and determines the group to which the imaging device 100-5 belongs. Check. By this, ⁇ Connection group: L1 ⁇ Installation area group: R2 Imaging target area group: V1 Can be identified. In this way, it can be specified which group the error of the imaging device 100-5 affects.
  • step S4005 the UI generation unit 403 acquires, from the data holding unit 401, information for determining which type of group an error is to be displayed.
  • FIG. 21 is an example of information held by the data holding unit 401.
  • the data holding unit 401 has information of ON / OFF of error display for each type of group.
  • the connection group L1 is displayed on the display image drawn by the UI generation unit 403 as a group in which an error occurs.
  • the error display of the installation area group and the imaging target area group is OFF, these groups are not displayed as a group in which an error has occurred.
  • the setting of ON / OFF of the error display for each group type as shown in FIG. 21 may be set in advance by the user operating the information display device 400, or according to the configuration and operation state of the image processing system. It may be set automatically. For example, when the image processing system is not generating a virtual viewpoint image, the error display of the installation area group is set to ON. As a result, a monitoring person who monitors the image processing system can quickly recognize in which installation area a device abnormality has occurred, and can immediately notify, for example, a manager who manages the devices in the installation area. That is, the display is optimal for repairing a device in which an error has occurred. At this time, the information display device 400 may display information for the supervisor to contact the administrator who manages the devices in the installation area.
  • the information display device 400 registers in advance the contact information of the administrator (number of mobile phone, identification information of wireless communication device, etc.) for each area, and the administrator of the area corresponding to the device where the error occurred. Contacts may be displayed.
  • the supervisor performs a selection operation on the information of the administrator displayed on the display unit 404, communication connection may be automatically performed so as to be able to talk with the administrator.
  • the error display of the imaging target area group is set to ON.
  • the display is optimal for securing the quality of the virtual viewpoint image.
  • step S4006 the UI generation unit 403 generates an image for error display of the group determined to display an error (a group in which the error display is set to ON). That is, the information display device 400 causes the display unit 404 to display information indicating the group to which the imaging device 100-x in an error state belongs.
  • the information indicating the group includes, for example, information indicating the position of the device group configuring the group, information indicating the connection relationship of the device group, and information indicating an imaging target area corresponding to the group.
  • FIG. 22 shows an example of an error display for each group type.
  • the imaging apparatus 100-5 represented by the icon 4101 is in an error state.
  • FIG. 22A shows a display example when the error display of the connection group is turned on.
  • the imaging apparatus 100-5 belongs to the connection group L1, and displays an error of the connection group L1 by highlighting a line 4102 corresponding to the connection group L1.
  • FIG. 22B shows a display example when the error display of the installation area group is turned on.
  • the imaging apparatus 100-5 belongs to the installation area group R2, and displays an error of the installation area group R2 by highlighting the area 4103 corresponding to the installation area group R2.
  • FIG. 22C shows a display example when the error display of the imaging target area group is turned on.
  • the imaging target area 4104 corresponding to the imaging target area group V1 is highlighted to display an error of the imaging target area group V1.
  • FIG. 22C shows an example in which the imaging target area 4104 and the icon 4101 of the imaging device 100-5 are highlighted, the icons of the other imaging devices 100-x belonging to the imaging target area group V1 are also highlighted and displayed. It is also good.
  • the information display device 400 indicates the information indicating the group to which the imaging device 100-x belongs, the installation place of the imaging system 100 (for example, the stadium).
  • the error display is performed by superimposing on the image showing.
  • the information display device 400 is selected according to an instruction from the user among the information indicating the connection group corresponding to the imaging device 100-x in an abnormal state, the information indicating the installation area, and the information indicating the imaging target area.
  • the display information is displayed on the display unit 404.
  • the error display is not limited to what is displayed superimposed on the map indicating the installation location, and may be displayed separately from the map, or may be displayed in characters instead of an icon or the like.
  • information on the state of the group for example, information indicating the temperature and connection state of the imaging device 100-x included in the group
  • a warning message At least one of the above may be displayed.
  • the warning message may be, for example, "The number of cameras capable of capturing the imaging target area V1 has decreased, so generation of a virtual viewpoint image can not be continued. Please perform recovery processing of the camera in which an error occurs.” Is displayed.
  • a warning message such as “The camera in the connection group L1 has an abnormality. Please restart the cameras belonging to the connection group L1.” May be displayed.
  • the warning message and the information on the state of the group together, the user can easily recognize the contents of the generated abnormality. As a result, for example, the user can quickly determine whether or not to perform repair immediately, and it is possible to suppress a defect related to generation of a virtual viewpoint image.
  • the display method is not limited to this, and the group to which the imaging device 100-x in which the error has occurred belongs and The other groups may be displayed in a distinguishable manner. More specifically, the imaging device 100- in which an error has occurred in at least one of information indicating a connection group corresponding to the imaging device 100-x in which an error has occurred, information indicating an installation area, and information indicating an imaging target area It may be displayed separately from these pieces of information not corresponding to x. Further, for example, the information display device 400 may hide information indicating a group other than the group to which the imaging device 100-x in which the error has occurred belongs. Also by such a display method, the user can easily recognize the influence of the generated error. In the following description, detailed description of the same parts as those of the embodiments already described is omitted.
  • FIG. 23 is a flow of display control processing by the information display device 400, and shows a modified example of the processing described using FIG.
  • the processes from S4001 to S4004 are the same as those described above with reference to FIG.
  • the UI generation unit 403 acquires mode information indicating the set error display mode from the data holding unit 401 in S4201.
  • FIG. 24 shows an example of mode information.
  • the mode of error display includes, for example, the following modes.
  • -Imaging device display mode Displays an imaging device in which an error occurs
  • Connection group display mode Displays a connection group to which an imaging device in which an error occurs belongs
  • Imaging target area display mode An error occurs The imaging target area corresponding to the imaging device being displayed is displayed.
  • Full display mode In addition to the display of the information of the imaging device in which an error has occurred, the information of the imaging device in the normal state is also displayed
  • the mode of the error display may be set in advance by the user operating the information display apparatus 400, or may be set automatically according to the configuration or operation state of the image processing system. If the error display mode indicated by the mode information acquired in step S4201 is the full display mode, the UI generation unit 403 in step S4203 is similar to the display method described above with reference to FIG. Display an error for the group to which it belongs.
  • the UI generation unit 403 erases a part of the display in S4202 according to the set mode. For example, when the error display mode is set to the imaging device display mode, the information of the imaging device 100-x in a normal state where no error has occurred is deleted from the display image. Further, when the error display mode is set to the connection group display mode, the information of the connection group not including the imaging device 100-x in the error state is erased from the display image. In addition, when the error display mode is set to the imaging target area display mode, information of an imaging target area different from the imaging target area corresponding to the imaging device 100-x in the error state is erased from the display image. After deleting the display according to the set mode, the UI generation unit 403 performs an error display with the information that has not been deleted in S4203.
  • FIG. 24 shows an example of display for each error display mode.
  • the imaging device 100-5 represented by the icon 5101 is in an error state.
  • FIG. 25A shows a display example when the imaging device display mode is set. All icons representing the imaging devices 100-x other than the imaging device 100-5 are erased, and only the icon 5101 is displayed.
  • FIG. 25B shows a display example when the connection group display mode is set. Information indicating the imaging device 100-x not included in the connection group L1 to which the imaging device 100-5 belongs is not displayed (the information of the connection group L2 displayed in the lower half of FIG. 22B is erased), and the connection group L1 is displayed. Is displayed.
  • FIG. 25C shows a display example when the imaging target area display mode is set. Since the imaging apparatus 100-5 belongs to the imaging target area group V1, the information of another imaging target area group V2 (the imaging target area displayed in the right half of FIG. 22C) is erased, and the imaging target area group V1 Only the area 5103 indicating is displayed.
  • the error display is performed by hiding information other than the information such as the group to which the imaging device 100-x in which the error has occurred belongs, so that only the information necessary for the user is displayed. Can be easily recognized by the user.
  • the information display apparatus 400 hides the information of the group including the imaging apparatus 100-x in the error state and includes the imaging apparatus 100-x in the error state, contrary to the display method illustrated in FIG. There may be no group information displayed. According to this display, the user can easily make the user recognize the imaging device 100-x and the imaging target area which are not affected by the generated error. For example, the user appropriately determines whether the generation of the virtual viewpoint image can be continued or not. become able to.
  • the information display device 400 may notify the user of the error by a method other than displaying information on the display unit 404.
  • the information display device 400 may include a voice output unit, and may have a function of notifying the user of an error by outputting an error notification sound. Further, for example, the information display device 400 may notify an error by outputting a control signal for causing the lamp to emit light. With the information display device 400 having such a function, even when the user does not look at the display unit 404, it is possible to make the user recognize the occurrence of an error.
  • the information display apparatus 400 acquires a plurality of images used for generation of a virtual viewpoint image according to designation of a viewpoint, which are based on imaging from a plurality of directions. To get information about multiple devices to Further, the information display device 400 specifies a device in an abnormal state among the plurality of devices based on the acquired information. Then, the information display device 400 causes the display unit 404 to display information indicating one or more devices in a predetermined relationship with the device in the abnormal state among the plurality of devices. As a result, even when the number of devices included in the image processing system is large, for example, the user can easily know the influence of abnormality of the devices included in the system.
  • the information display apparatus 400 can switch between display and non-display for each information, such as displaying only a connection group or displaying only an imaging target area group. As a result, even when the number of imaging devices 100-x in the image processing system and the number of groups are large, it is possible to hide unnecessary information and improve the visibility of the display.
  • the information display apparatus 400 mainly displays the information on the imaging apparatus 100-x, but the present invention is not limited to this. That is, the information display apparatus 400 of the present embodiment includes other components included in a system for generating a virtual viewpoint image in addition to or in place of the information of the imaging apparatus 100-x. You may display information about For example, the information display device 400 displays the state of a processing device that transmits an image based on imaging by the imaging device 100-x, a network device such as a switch or a router, the distribution device 500, the image generation device 200, and a synchronization device. May be That is, the information display apparatus 400 can display an image indicating the state of the component of the system for generating a virtual viewpoint image. Furthermore, when a component of the system is in an abnormal state, the information display device 400 displays information indicating the above influence range, such as information for specifying another component affected by the abnormality of the component. It is also good.
  • the information display device 400 has been described focusing on an example in which the occurrence of the state change in the imaging device 100-x is detected based on the content of the state information output from the imaging device 100-x. Not limited to this example. For example, when the imaging device 100-x periodically transmits the state information in the normal state, and the information display device 400 can not receive the state information from the imaging device 100-x for a certain period, the imaging device 100-x May be determined to be in an error state.
  • the information display apparatus 400 determines that an apparatus in the image processing system such as the imaging apparatus 100-x is in an error state, information indicating a group including the apparatus in an error state is displayed.
  • the description has focused on the case of displaying an error such as.
  • the information display apparatus 400 is not limited to an error state, and when it is determined that an apparatus in the image processing system is in an abnormal state such as a warning state having a high probability of causing a problem, information indicating a group including the apparatus An error display such as displaying may be performed.
  • the system to which the present embodiment is applied is not limited thereto.
  • information indicating the state of a camera in a surveillance camera system having a plurality of cameras as components may be displayed.
  • information indicating a group of cameras imaging the same area as the camera in the abnormal state or a group of cameras installed in the same area as the camera in the abnormal state may be displayed.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be realized by a circuit (for example, an ASIC or the like) that realizes one or more functions. Also, the program may be provided by being recorded on a computer readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)

Abstract

情報表示装置４００は、視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮像に基づく複数の画像を取得するための複数の装置に関する情報を取得する。また情報表示装置４００は、当該複数の装置のうち異常状態にある装置を、取得した情報に基づいて特定する。そして情報表示装置４００は、当該複数の装置のうち異常状態にある装置との間で所定の関係にある１又は複数の装置を示す情報を表示部４０４に表示させる。

Description

表示制御装置、表示制御方法、およびプログラム
　本発明は、仮想視点画像を生成するためのシステムに関する。
　従来、異なる位置に設置された複数の撮像装置により複数の方向から同期して被写体を撮像し、当該撮像により得られた複数の撮像画像（複数視点画像）を用いて仮想視点画像を生成する技術が提案されている。このように生成される仮想視点画像は、撮像装置の設置位置に限定されない仮想的な視点における見えを表す画像である。
　特許文献１には、一つ以上の画像に基づいてユーザが好みの視点を選択し、当該画像と選択された視点の情報とから仮想視点画像を生成する技術が開示されている。また、特許文献１では、ユーザに好みの視点を選択させるためのＵＩ（ユーザインターフェース）に関しても開示している。
特開２０１４－２１５８２８号公報
　複数の装置から構成される種々のシステムにおいて、その構成要素の何れかが異常状態にある場合に、異常状態にある構成要素の情報を表示することで、ユーザにシステムの状態を知らせることができる。しかしながら、仮想視点画像を生成するシステムにおいては、異常状態にある構成要素の情報を表示するだけでは不十分な場合が考えられる。
　例えば、システムに含まれる複数の撮像装置の少なくとも一つが、故障したり、正常な撮像ができなかったり、撮像画像を出力できなかったりなどの異常状態にある場合、生成される仮想視点画像の品質の低下などの不具合が生じ得る。このとき、異常状態にある撮像装置と他の撮像装置との位置関係や接続関係などによって、仮想視点画像の生成を継続できるか否かや、調整が必要となる撮像装置の数などが異なることがある。すなわち、異常状態にある装置が特定されるだけでは、その異常による仮想視点画像の品質への影響の大きさや、異常状態からの復旧に要する処理の多さなどをユーザが容易に知ることができない場合がある。一方、異常による影響の大きさなどをユーザが容易に知ることができれば、例えば撮像装置の修理や調整などの適切な対応を素早く行うことができ、仮想視点画像の品質の低下などの不具合を抑制することができる。
　本発明は上記の課題に鑑みてなされたものであり、その目的は、仮想視点画像を生成するためのシステムに関する状態をより適切にユーザに知らせるための技術を提供することである。
　上記の課題を解決するため、本発明に係る表示制御装置は、例えば以下の構成を有する。すなわち、視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮像に基づく複数の画像を取得するための複数の装置の状態に関する情報を取得する取得手段と、前記複数の装置のうち異常状態にある装置を、前記取得手段により取得される情報に基づいて特定する特定手段と、前記複数の装置のうち前記特定手段により特定される異常状態にある装置との間で所定の関係にある１又は複数の装置を示す情報を表示部に表示させる表示制御手段とを有する。
画像処理システムの構成を示す図である。 撮像装置の配置を示す図である。 撮像装置のハードウェアの構成を示す図である。 撮像装置の動作の例を示すフローチャートである。 装置のハードウェアの構成を示す図である。 画像生成装置の動作の例を示すフローチャートである。 情報表示装置の機能的な構成の例を示す図である。 情報表示装置の動作の例を示すフローチャートである。 情報表示装置のデータ保持部が保持するデータの例を示す図である。 情報表示装置のデータ保持部が保持するデータの例を示す図である。 情報表示装置のデータ保持部が保持するデータの例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置のＵＩ生成部の処理の例を示すフローチャートである。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部による表示調整処理について説明するための図である。 情報表示装置のＵＩ生成部による表示調整処理について説明するための図である。 情報表示装置のＵＩ生成部によるレイヤー描画処理のイメージ図である。 情報表示装置のＵＩ生成部による表示切替処理の例を示すフローチャートである。 情報表示装置のＵＩ生成部による表示切替に関する表示イメージ例を示す図である。 表示イメージ上における撮像装置の状態を示す情報の例を示す図である。 表示イメージ上における撮像装置の状態を示す情報の例を示す図である。 表示イメージ上における撮像装置の状態を示す情報の例を示す図である。 表示イメージ上における撮像装置の状態を示す情報の例を示す図である。 表示イメージ上における撮像装置の状態を示す情報の例を示す図である。 撮像装置の状態をリスト表示した例を示す図である。 撮像装置の状態をリスト表示した例を示す図である。 撮像装置を操作するための操作ＵＩの例を示す図である。 撮像装置を操作するための操作ＵＩの例を示す図である。 情報表示装置による表示処理の例を示すフローチャートである。 グループのエラー表示に関する設定リストの例を示す図である。 情報表示装置により表示される表示イメージの例を示す図である。 情報表示装置により表示される表示イメージの例を示す図である。 情報表示装置により表示される表示イメージの例を示す図である。 情報表示装置による表示処理の例を示すフローチャートである。 エラー表示のモードに関する設定リストの例を示す図である。 情報表示装置により表示される表示イメージの例を示す図である。 情報表示装置により表示される表示イメージの例を示す図である。 情報表示装置により表示される表示イメージの例を示す図である。
　以下、図面を参照して、実施形態を説明する。本実施形態では、撮像対象の領域を含み且つ撮像装置の設置場所である競技場を模した画像上に、各撮像装置の設置位置、撮像装置間のネットワーク接続関係、及び各撮像装置と撮像対象エリアとの関係のうち少なくとも１つ以上を表示する例を説明する。
　図１は、本実施形態における仮想視点画像を生成する画像処理システムの構成の一例を示す図である。本実施形態の画像処理システムは、複数の撮像装置１００－１、１００－２、・・・１００－ｍを有する撮像システム１００と、画像生成装置２００と、ユーザ端末３００と、情報表示装置４００と、分配装置５００とを有する。各々の装置は、画像や制御情報を伝送する為の伝送ケーブルを介して他の装置と通信可能に接続される。伝送ケーブルの具体例としては、ＥＴＨＥＲＮＥＴ（登録商標）であるＩＥＥＥ標準準拠のＧＢＥ（ギガビットイーサーネット）や１０ＧＢＥが挙げられる。ただし、伝送ケーブルは、これらに限定されず、他の種別のケーブルであってもよい。また、各々の装置は無線通信を行ってもよい。
　撮像システム１００は、それぞれ異なる方向から撮像を行うｍ個の撮像装置（撮像装置１００－１、１００－２、・・・、１００－ｍ）を有し、仮想視点画像の生成に用いられる複数の撮像画像を取得する。以下、撮像装置を区別しない場合、撮像装置１００－１、１００－２、・・・、１００－ｍに含まれる撮像装置を、撮像装置１００－ｘと記載する。なお、本実施形態で記載されるｍ及び後述のｎは、整数値を表す。
　相互に隣り合う位置に設置される撮像装置１００－ｘ同士（例えば、撮像装置１００－１と撮像装置１００－２）は、伝送ケーブルを介して相互に接続される。撮像装置１００－ｘは、撮像画像や撮像装置１００－Ｘの状態情報を画像生成装置２００および情報表示装置４００へ送信する。状態情報については後述する。図１では、撮像装置１００－１は、撮像装置１００－２と相互に接続される。また、撮像装置１００－２は、撮像装置１００－１に加え、撮像装置１００－２と隣り合う位置にある不図示のもう１つの撮像装置と相互に接続される。そして、撮像装置１００－ｎは、撮像装置１００－ｎと隣り合う位置にある不図示の撮像装置と相互に接続される。また、撮像装置１００－ｎは、分配装置５００と相互に接続される。すなわち、撮像装置１００－１から撮像装置１００－ｎまでの複数の撮像装置は、デイジーチェーンにより直列的に接続される。また、撮像装置１００－（ｎ＋１）から撮像装置１００－ｍまでの複数の撮像装置も、同様にデイジーチェーンにより接続される。
　このように本実施形態において画像処理システムは、デイジーチェーンで接続される接続グループを２つ有する。なお、画像処理システムに含まれる接続グループの数は２つに限らず、１つでも３つ以上あってもよい。本実施形態における接続グループは、直接又は他の装置を介して相互に接続される複数の装置からなる装置群である。なお、単一の装置からなる接続グループがあってもよい。本実施形態では接続グループがデイジーチェーンで接続される場合を中心に説明するが、接続形態はこれに限らず、例えばスター型で接続されていてもよい。
　撮像装置１００－ｘは、サッカー場などの競技場や特定の被写体を取り囲むように配置される。図２は、撮像装置１００－ｘの配置の一例を示す図である。図２に示す例では、競技場２１０が複数の撮像装置１００－ｘで撮像されるように、複数の撮像装置１００－ｘが配置される。なお、複数の撮像装置１００－ｘは競技場２１０の全体でなく一部だけを撮像してもよいし、被写体を完全に取り囲んでいなくてもよい。また、撮像システム１００の設置場所は競技場に限らず、劇場やライブステージなどであってもよい。
　複数の撮像装置１００－ｘは、例えばデジタルカメラであり、不図示の同期装置からの同期信号に基づき、略同一のタイミングで撮像を行う。撮像装置１００－ｘにより撮像された画像は、伝送ケーブルと分配装置５００とを介し、画像生成装置２００および情報表示装置４００に伝送される。撮像装置１００－ｘは、静止画像を撮像するカメラであっても、動画像を撮像するカメラであっても、静止画像および動画像の双方を撮像するカメラであってもよい。本実施形態では、画像という文言を、特に断りがない限り静止画および動画を含むものとして説明する。
　なお、本実施形態では撮像装置１００－ｘが他の撮像装置１００－ｘと直接接続されて画像の伝送を行う場合を中心に説明するが、これに限らない。例えば、複数の撮像装置１００－ｘの代わりに、複数（例えばｍ台）の処理装置が、接続グループごとに接続されていてもよい。そして、各撮像装置１００－ｘは自装置に対応する処理装置へ撮像画像を送信し、各処理装置は撮像装置１００－ｘから受信した撮像画像やそれに画像処理を行って取得した画像を、画像生成装置２００及び情報表示装置４００へ伝送してもよい。すなわちこの場合、複数の処理装置が、仮想視点画像の生成に用いられる複数の画像（複数の撮像装置１００－ｘによる複数の方向からの撮像に基づく画像）を取得し、画像生成装置２００や情報表示装置４００へ伝送することになる。
　画像生成装置２００は、分配装置５００を介して撮像装置１００－ｘと相互に接続される。また、画像生成装置２００は、ユーザ端末３００や情報表示装置４００とも相互に接続される。画像生成装置２００は、撮像装置１００－ｘにより撮像された画像を蓄積する。画像生成装置２００は、ユーザ端末３００からユーザによる操作に基づいて指定される仮想視点の位置や向きを示す仮想視点情報が入力された場合、複数の撮像装置１００－ｘにより撮像された画像を用いて、仮想視点情報に対応する仮想視点画像を生成する。仮想視点情報は、仮想視点画像を生成するための、視点の位置及び視線の方向を示す情報である。言い換えると、仮想視点情報は、仮想視点画像に対応する仮想カメラの位置及び姿勢を示す情報である。
　画像生成装置２００は、生成した仮想視点画像を、ユーザ端末３００に伝送する。ここで、仮想視点情報には、指定された視点の位置情報と方向情報とが少なくとも含まれる。位置情報は、例えば、撮像対象である競技場２１０の中央などの所定位置に対する相対的な位置（所定位置を基準とした場合の、前後方向、左右方向、および上下方向それぞれにおける視点の位置）を示す情報である。なお、位置情報は絶対的な座標を示す情報であってもよい。方向情報は、例えば、その所定位置に対する向きを示す情報（所定の位置を原点とし、前後方向、左右方向、上下方向を軸とする３次元直交座標系における各軸と視線方向とがなす角度）である。また、方向情報は、絶対的な方向を示す情報であってもよい。
　画像生成装置２００は、例えば、サーバ装置であり、データベース機能や、画像処理機能を有する。画像生成装置２００が用いるデータベースは、例えば競技の開始前の競技場など、選手などの特定の被写体が存在しない場面の競技場を撮像した画像を背景画像データとして、予め保持する。背景画像データは、撮像画像から特定の被写体を抽出するための前景背景分離に用いられる。
　ユーザ端末３００は、操作用のコントローラを有する。ユーザ端末３００は、ユーザによるコントローラの操作に基づいて、例えば、仮想視点の位置の移動、仮想視点の視線方向の変更、および視点の切り替え等の指示を受け付け、その内容に応じた信号を仮想視点情報として画像生成装置２００へ伝送する。また、ユーザ端末３００は、画像生成装置２００から受信した仮想視点画像をユーザ端末３００が備える表示画面に表示する。仮想視点画像は、静止画像であっても動画像であってもよい。ここで、ユーザ端末３００は、例えば、ＰＣやタブレットであり、コントローラは、例えば、マウス、キーボード、６軸コントローラ、およびタッチパネルの少なくとも１つを有する。
　情報表示装置４００は、分配装置５００を介して撮像装置１００－ｘや画像生成装置２００と相互に接続される。情報表示装置４００は、撮像装置１００－ｘにより撮像された撮像画像や撮像装置１００－ｘの状態情報を取得し、取得した状態情報に応じた画像を後述する表示画面（表示部４０４）に表示する。また、情報表示装置４００は、撮像装置１００－ｘの設置位置や識別情報、撮像範囲に含まれる撮像対象エリア、及び複数の撮像装置間の接続関係に関する情報なども取得し、取得した情報に応じた画像を表示画面に表示する。また、情報表示装置４００は、各撮像装置１００－ｘが属するグループの情報を取得し、取得した情報に応じた画像を表示画面に表示してもよい。情報表示装置４００は上記の各種の情報を、撮像装置１００－ｘから取得してもよいし、他の装置が保持するデータベースなどから取得してもよいし、ユーザによる情報表示装置４００に対する入力操作に基づいて取得してもよい。
　本実施形態において、ある撮像装置１００－ｘが属するグループとは、その撮像装置１００－ｘとの間で所定の関係にある１又は複数の装置である。所定の関係は例えば、接続関係、設置位置及び撮像対象エリアの少なくとも何れかに関する関係である。ただしこれに限らず、装置の種別や設定情報などに関して所定の関係を有する１又は複数の装置をグループとして扱ってもよい。
　また、情報表示装置４００は、画像生成装置２００の状態情報も受信し、表示画面に表示する。情報表示装置４００に表示された情報は画像処理システムの監視担当者により閲覧される。監視担当者は、情報表示装置４００の表示画面に表示された画像を用いて撮像システム１００や画像生成装置２００の状態を認識し、例えば情報表示装置４００を介して各装置を制御したり、各装置の制御を担当する他の担当者に指示を出したりできる。分配装置５００は、撮像装置１００－ｘから受信した撮像画像を、画像生成装置２００および情報表示装置４００に分配する。
　次に、撮像装置１００－ｘの構成の一例について説明する。図３は、撮像装置１００－ｘのハードウェアの構成の一例を示す図である。撮像光学系３０１（光学レンズ系）は、被写体からの光を撮像素子３０２に結像する。撮像素子３０２は、結像された光を電気信号に変換し、その電気信号をＡ／Ｄコンバータ３０３に出力する。Ａ／Ｄコンバータ３０３は、入力された電気信号をデジタル信号に変換し、変換したデジタル信号を画像処理回路３０４に入力する。尚、撮像素子３０２は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。
　システムコントローラ３０８は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する。システムコントローラ３０８は、ＲＯＭに記録されたコンピュータプログラムを実行すること等により撮像装置１００－ｘを制御する。例えば、システムコントローラ３０８は、撮像装置１００－ｘが備える不図示の通信部を制御して、記録媒体３０７に保存された画像を情報表示装置４００などへ送信する。
　画像処理回路３０４は、Ａ／Ｄコンバータ３０３から入力されたデジタル信号（画像信号）に対して各種の画像処理を行う。画像処理としては、例えば、例えば、ホワイトバランス調整、色補正、およびガンマ補正などが含まれる。画像処理回路３０４により画像処理された画像信号は記録媒体３０７に保存されたり、表示装置３０５により表示されたりする。また、画像処理回路３０４は、撮像部１０２から入力された撮像画像のうち、例えば競技場２１０で競技中に撮像された画像から、選手などの特定の被写体を抽出する処理を実行する。撮像光学系制御回路３０６は、システムコントローラ３０８からの制御信号に基づいて、撮像光学系３０１に含まれるレンズなどを駆動する。
　なお、図示した撮像装置１００－ｘの構成は例示であり、必ずしもすべての構成を有する必要はなく、他の構成を有していてもよい。例えば、表示装置３０５は撮像装置１００－ｘに必須の構成ではない。また、図示した構成要素の一部が撮像装置１００－ｘとは別の装置として構成されていてもよい。例えば、図１を用いた説明において上述したように、撮像装置１００－ｘが自装置に対応する処理装置へ撮像画像を送信し、各処理装置が撮像装置１００－ｘによる撮像に基づく画像を取得して情報表示装置４００などへ伝送してもよい。この場合、画像処理回路３０４や記録媒体３０７を処理装置が有していてもよい。
　図４は、本実施形態の撮像装置１００－ｘの動作の一例を説明するフローチャートである。尚、図４のフローチャートは、例えば、撮像装置１００－ｘで撮像画像が得られる度に実行される。図４のフローチャートに示す処理は、システムコントローラ３０８が情報の演算や各ハードウェアの制御を実行することで実現される。なお、図４のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅ　Ａｒｒａｙ）である。
　Ｓ５０１において、撮像装置１００－ｘは撮像画像を取得する。具体的には、レンズのズームやフォーカスを調整して撮像対象からの入射光を結像し、結像された入射光の露出動作を行い電気信号に変換する。そして、変換後の信号に対して、センサの出力の欠損やレンズ光学特性のバラつきの補正などの信号処理を施す。そして、信号処理の結果に基づいて、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ　ＰｈｏｔｏＧｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）、もしくはＢＭＰ（Ｂｉｔｍａｐ　Ｉｍａｇｅ）などの画像フォーマットの撮像画像に変換する。
　なお、撮像装置１００－ｘは、レンズの調整のためのパラメータや露出調整のためのパラメータなどを外部の装置（例えば情報表示装置４００）から受信し、受信したパラメータに応じて設定を変更して撮像画像を取得してもよい。外部から入力されるパラメータとしては、例えば、ズーム、フォーカス、絞り値（アイリス）、ＩＳＯ、シャッタースピード、ＮＤ（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ）フィルタ切替などがある。
　Ｓ５０２において、撮像装置１００－ｘは、取得した撮像画像のうち例えば競技場２１０で競技中に撮像された画像から、選手などの特定の被写体（前景）を抽出して「前景画像データ」として取得する。また、撮像装置１００－ｘは、例えば競技の開始前に撮像された画像など、特定の被写体が存在しない状態の競技場２１０を撮像した画像を予め「背景画像データ」として取得する。なお、撮像画像から特定の被写体を除いた残りの画像を背景画像データとして取得してもよい。以下、前景背景分離していない撮像画像を、「前景画像データ」および「背景画像データ」と区別するために「分離前画像データ」と称する。
　特定の被写体である前景の分離方法として、例えば、前景をオブジェクトとして抽出するオブジェクト抽出を含む画像処理を行う方法を用いることができる。オブジェクト抽出は、撮像画像と背景画像データとの差分を抽出することにより行われる。尚、前景は、競技を行う選手だけでなく、他の特定人物（例えば、控え選手、監督、審判の少なくとも何れか１人）であってもよい。また、前景は、ボールやゴールなど、画像パターンが既知の物体であってもよい。また、前景を抽出するためのその他の方法として、例えば、動体を検出して抽出してもよい。
　Ｓ５０３において、撮像装置１００－Ｘは、自装置の状態情報を取得する。状態情報には少なくとも以下のいずれかに関する情報が含まれる。
・撮像装置１００－ｘの通信接続状態（他の装置との通信が可能な状態か否かなど）
・撮像装置１００－ｘの撮像状態（撮像中、撮像準備中、撮像停止中など）
・撮像装置１００－ｚの動作状態（ズーム動作中、フォーカス動作中、アイリス設定中、電源ＯＦＦ／ＯＮなど）
・撮像装置１００－ｘの出力状態（前景画像データや背景画像データを画像生成装置２００へ出力中であるか否かなど）
・撮像装置１００－ｘのエラー有無状態（正常動作中、温度エラー発生中、レンズエラー発生中など）
・撮像装置１００－ｘの構成（雲台の有無、マイクの有無、ズームレンズの有無など）
・撮像装置１００－ｘの撮像パラメータ（アイリス、シャッタースピード、ホワイトバランス、露出値、ＩＳＯ感度、ズーム、フォーカス、ＮＤフィルタ、撮像モードなど）
　Ｓ５０４において、撮像装置１００－ｘは、Ｓ５０２で取得した前景画像データ背景画像データを、分配装置５００を介して、画像生成装置２００および情報表示装置４００へ所定のフレームレートで出力する。また、撮像装置１００－ｘは、Ｓ５０３で取得した状態情報を、他の撮像装置１００－ｘや分配装置５００を介して、情報表示装置４００へ出力する。尚、状態情報を出力するタイミングは、フレームレートに準じたタイミングであってもよいし、自装置が起動したタイミングや自装置の状態が変化したタイミングであってもよい。
　なお、図４に示した処理の一部を他の装置が実行してもよい。例えば、Ｓ５０２における前景背景分離は、撮像装置１００－ｘから撮像画像を取得した処理装置により実行されてもよい。そして、Ｓ５０４における各種データの出力も、撮像装置１００－ｘに接続された処理装置により実行されてもよい。
　次に、画像生成装置２００、情報表示装置４００及びユーザ端末３００の構成の一例について説明する。図５は、画像生成装置２００、情報表示装置４００及びユーザ端末３００のハードウェアの構成の一例を示す図である。装置７０００（ユーザ端末３００、画像生成装置２００または情報表示装置４００を表す）は、コントローラユニット７００、操作ユニット７０９、および表示装置７１０を含む。
　コントローラユニット７００は、ＣＰＵ７０１を有する。ＣＰＵ７０１は、ＲＯＭ７０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）を起動する。ＣＰＵ７０１は、このＯＳ上で、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）７０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ７０１は、アプリケーションプログラムの実行によって各種処理を実現する。ＣＰＵ７０１の作業領域としてはＲＡＭ７０３が用いられる。ＨＤＤ７０４は、アプリケーションプログラムなどを格納する。
　ＣＰＵ７０１は、システムバス７０８を介して、ＲＯＭ７０２、ＲＡＭ７０３、操作部Ｉ／Ｆ７０５、表示部Ｉ／Ｆ７０６、および通信Ｉ／Ｆ７０７と相互に接続される。操作部Ｉ／Ｆ７０５は、操作ユニット７０９とのインタフェースである。操作部Ｉ／Ｆ７０５は、操作ユニット７０９を介してユーザにより入力された情報をＣＰＵ７０１に送出する。操作ユニット７０９は、例えば、マウスおよびキーボードなどを有する。表示部Ｉ／Ｆ７０６は、表示装置７１０に表示すべき画像データを表示装置７１０に対して出力する。表示装置７１０は、コンピュータディスプレイを有する。通信Ｉ／Ｆ７０７は、例えばＥＴＨＥＲＮＥＴ（登録商標）などの通信を行うためのインタフェースであり、伝送ケーブルに接続される。通信Ｉ／Ｆ７０７は、伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信Ｉ／Ｆ７０７は、無線通信を行うための回路やアンテナであってもよい。また、装置７０００は、ケーブルやネットワークを介して接続された外部の表示装置に画像を表示させる表示制御を行うことも可能である。この場合、装置７０００は、表示データを外部の表示装置に出力することで表示制御を実現する。なお、図５で示した構成のすべてがユーザ端末３００、画像生成装置２００または情報表示装置４００において必須の構成とは限らない。例えば画像生成装置２００において、表示装置７１０は必須の構成ではない。
　図６は、本実施形態の画像生成装置２００の動作の一例を説明するフローチャートである。図６の処理は、図５のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。図６の処理は、例えば画像生成装置２００に仮想視点画像の生成指示が入力されたのち定期的に実行される。なお、図６のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。
　Ｓ９０１において、画像生成装置２００は、撮像装置１００－ｘから出力された前景画像データおよび背景画像データを、分配装置５００を介して取得する。ここで、前景画像データと背景画像データは各々異なるフレームレートで入力されてもよい。前景画像データおよび背景画像データを撮像装置１００－ｘから入力されていない場合、Ｓ９０２を省略して後述のＳ９０３に進む。Ｓ９０２において、画像生成装置２００は、入力された前景画像データおよび背景画像データをデータベースへ保存する。
　Ｓ９０３において、画像生成装置２００は、仮想視点情報を取得したか否かを判定する。この判定の結果、仮想視点情報が取得されていない場合、Ｓ９０１に戻る。一方、仮想視点情報が入力されている場合、Ｓ９０４において画像生成装置２００は、仮想視点情報に対応する前景画像データおよび背景画像データを、データベースから取得する。仮想視点情報の取得の方法としては、例えば、前述したようにユーザ端末３００が、ユーザ端末３００に接続されたコントローラを介したユーザによる操作に基づいて、仮想視点の位置の変更、視線の方向の変更、および視点の切り替えの指示を受け付ける。そして、ユーザ端末３００は、その内容を示す伝送信号を画像生成装置２００へ伝送する。画像生成装置２００は、このようにしてユーザ端末３００から入力された伝送信号を仮想視点情報に変換することで、仮想視点情報を取得する。
　Ｓ９０５において、画像生成装置２００、取得した前景画像データおよび背景画像データを画像処理により合成することで仮想視点画像を生成する。仮想視点画像を生成する方式としては、例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）を用いる方式が挙げられる。ＭＢＲとは、被写体を複数の方向から撮像した複数の撮像画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的にＭＢＲは、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。尚、仮想視点画像の生成方法は、ＭＢＲを用いる方法に限定されず、例えば、イメージベースレンダリングなどＭＢＲ以外のレンダリング手法を用いてもよい。Ｓ９０６において、画像生成装置２００は、生成された仮想視点画像をユーザ端末３００へ伝送可能な伝送信号に変換して出力する。
　ユーザ端末３００は、ユーザからの仮想視点の位置や方向の指定を受け付け、指定された視点に応じた仮想視点画像を画像生成装置２００から受信し、ユーザ端末３００に備えられた表示画面に表示する。このようにすることで、ユーザは、自身による操作に応じた視点でコンテンツを視聴できる。前述したように、ユーザ端末３００は、例えばＰＣやタブレットであり、コントローラは、例えばマウス、キーボード、６軸コントローラ、タッチパネルなどである。ユーザは、これらのコントローラを用いて仮想視点を操作し、ユーザ端末３００に備えられた表示画面に任意の視点からの仮想視点画像を表示させることができる。
　次に、情報表示装置４００の構成の一例について説明する。図７は、本実施形態の情報表示装置４００の機能的な構成の一例を示す図である。図８は、本実施形態の情報表示装置４００の動作の一例を説明するためのフローチャートである。情報表示装置４００は、後述のデータ保持部４０１に保持されている情報と、状態取得部４０５が取得した情報に基づいて、撮像装置１００－ｘや画像生成装置２００の状態を示す表示を行う表示装置の一例である。情報表示装置４００は、データ保持部４０１、データ入力／読出部４０２、ＵＩ生成部４０３、表示部４０４、状態取得部４０５、制御部４０６、ユーザ入力部４０７、及び制御信号出力部４０８を有する。これらは、内部バス４０９によって相互に接続され、制御部４０６による制御の下、相互にデータを送受信することができる。なお、図７のデータ保持部４０１は図５のＨＤＤ７０４により実現され、図７のデータ入力／読出部４０２、ＵＩ生成部４０３、及び制御部４０６は、図５のＣＰＵ７０１により実現される。また、図７の状態取得部４０５、及び制御信号出力部４０８は図５の通信Ｉ／Ｆ７０７により実現され、図７の表示部４０４は、表示部Ｉ／Ｆ７０６と表示装置７１０により実現される。
　図８に示す処理や情報表示装置４００が行う後述の処理は、図５のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。図８の処理は、情報表示装置４００がＵＩ画像を表示するモードに設定されたタイミングで開始される。ただし図８の処理の開始タイミングはこれに限定されない。なお、図８や情報表示装置４００が行う後述のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。以下、情報表示装置４００の各構成要素について詳細に説明する。
　データ保持部４０１は、ＵＩ生成部４０３がＵＩを表示するために必要なデータを保持する。当該データには少なくとも以下のいずれかが含まれる。
・競技場２１０のレイアウトデータ
・撮像装置１００－ｘの識別情報
・撮像装置１００－ｘが属する接続グループの情報
・撮像装置１００－ｘの接続先
・撮像装置１００－ｘの設置エリア
・撮像装置１００－ｘの設置座標情報
・撮像装置１００－ｘの撮像対象エリア
・撮像装置１００－ｘの撮像対象エリアの中心座標情報
・撮像装置１００－ｘの設置エリアの領域情報
　図９Ａにデータ保持部４０１が保持するデータの例を示す。図９Ａに示すデータは、例えば、「撮像装置１００－１」が「Ｌ１」という接続グループに属し、「撮像装置１００－２」と相互に接続され、「Ｒ１」という設置エリアの、座標（ｘ１、ｙ１）に設置されることを示している。なお、設置座標情報は、所定の位置（例えば、競技場２１０の中央）を原点とした場合のＸＹ座標を示す情報である。
　また、データ保持部４０１が保持する他のデータの例を図９Ｂに示す。エリア中心座標（図９Ａに示す撮像対象エリアの中心座標を示す情報）は、所定の位置（例えば、競技場２１０の中央）を原点とした場合のＸＹ座標で表される。なお、共通の撮像対象エリアに対応する複数の撮像装置１００－ｘは、エリア中心座標が示す位置に光軸が向くように設置される。即ち、同じ撮像対象エリアに対応する複数の撮像装置１００－ｘが撮像する複数の画像の中心は、いずれも同一のエリア中心座標が示す位置となる。なお、これら複数の画像の中心に対応する位置は完全に一致してなくてもよく、所定の範囲内に収まっていればよい。また有効エリア情報とは、仮想視点画像の生成に適した領域を、エリア中心座標からの半径で示す情報である。仮想視点画像の生成に適した領域とは、例えば、共通の撮像対象エリアに対応する複数の撮像装置１００－ｘいずれの撮像範囲にも含まれる領域である。なお、仮想視点画像は、共通の撮像対象エリアを撮像する複数の撮像装置１００－ｘが撮像した複数の画像を用いて生成される。
　また、データ保持部４０１が保持する他のデータの例を図９Ｃに示す。撮像システム１００が設置される設置場所（例えば競技場）は予め定められた複数の設置エリアに区分され、各設置エリアに１以上の撮像装置１００－ｘが設置される。図９Ｃに示すデータにおいては、各設置エリアが３つ以上の頂点の座標情報で表されており、これらの頂点で囲まれる領域が、設置場所の一部分である設置エリアに対応する。データ保持部４０１は、これらの情報をユーザによる操作に応じた入力に基づいて取得してもよいし、撮像装置１００－ｘから出力される状態情報に基づいて取得してもよい。なお、データ保持部４０１は、情報表示装置４００内にある必要はなく、外部の記録装置であってもよい。また、撮像装置１００－ｘに関する情報は、各々の撮像装置１００－ｘ内に記憶されていてもよい。
　制御部４０６は、ユーザ入力部４０７を介して入力されたユーザ操作に応じた情報に基づき、情報表示装置４００の各部に制御指示を出す。例えば、制御部４０６は、ユーザ入力部４０７から表示イメージ種別の切替指示を示す操作情報を受信すると、その操作情報を表示イメージ種別を示す情報に変換し、ＵＩ生成部４０３に送信する。表示イメージの具体的な内容については後述する。ユーザ入力部４０７は、不図示のコントローラを介したユーザ操作を受け付け、操作情報を制御部４０６に出力する。コントローラは、例えば、キーボード、マウス、およびタッチパネルの少なくとも何れか１つである。制御信号出力部４０８は、制御部４０６から入力された制御信号を外部に出力する。出力先は例えば撮像装置１００－ｘである。制御信号は、例えば、撮像装置１００－ｘのズーム、フォーカス、アイリス、ＩＳＯ、シャッタースピード、ＮＤフィルタ切替などの撮像パラメータを設定するための信号である。
　図８のＳ１１０１において、データ入力／読出部４０２は、データ保持部４０１から各種データを読み出し、ＵＩ生成部４０３へ出力する。Ｓ１１０２において、ＵＩ生成部４０３は、データ入力／読出部４０２から出力されたデータと、状態取得部４０５から出力された状態情報を元に、画像処理システムや撮像装置１００－ｘの状態を示す情報であるＵＩ画像を生成する。状態情報、及びＵＩ画像例については後述する。そしてＵＩ生成部４０３は、生成したＵＩ画像を表示イメージとして表示部４０４に出力する。
　表示部４０４は、フレームバッファおよび表示パネルを有する。表示部４０４は、ＵＩ生成部４０３から出力された表示イメージをフレームバッファに格納する（上書きする）。そしてＳ１１０３において、表示部４０４は、フレームバッファに格納された表示イメージを所定のリフレッシュレートで読み出して表示パネルにて表示する。表示パネルとは、例えば、液晶パネルや有機ＥＬパネルである。Ｓ１１０４において、状態取得部４０５は、各撮像装置１００－ｘの状態情報や画像生成装置２００の状態情報を取得し、ＵＩ生成部４０３へ出力する。Ｓ１１０５において、ＵＩ生成部４０３は、前記状態情報が変化したか否かを判断し、変化している場合にはＳ１１０２に戻ってＵＩ画像を更新する。一方、状態情報が変化していない場合には、Ｓ１１０４に戻って状態情報が変化するまで待つ。
　なお、上記の図８の説明では、情報表示装置４００が撮像装置１００－ｘに関する状態情報を取得し、取得した状態情報に応じた表示を行う例を説明したが、状態情報の取得元は撮像装置１００－ｘに限らない。例えば、図１を用いた説明において上述したように、撮像装置１００－ｘとは別の処理装置が撮像に基づく画像の伝送を行う場合において、情報表示装置４００は当該処理装置から状態情報を取得してもよい。ここで取得される状態情報は、撮像装置１００－ｘの状態を示す情報であってもよいし、処理装置の状態を示す情報であってもよい。また例えば、情報表示装置４００は、画像生成装置２００など画像処理システム内の他の装置から状態情報を取得し、取得した情報に応じた表示を行ってもよい。
　（競技場レイアウト表示の説明）
　図１０は、本実施形態の情報表示装置４００により表示される表示イメージの一例を示す図である。図１０では、競技場２１０を示す情報であるマップ１２０１上に、以下の情報が表示されている。
・撮像装置１００－ｘが設置される設置エリア（例えば、設置エリア１２０２）
・撮像装置１００－ｘとその設置位置（例えば、アイコン１２０３）
・複数の撮像装置１００－ｘ間の接続関係及び接続状態（例えば、接続１２０４）
・撮像対象エリア（例えば、有効エリア１２０５）
・撮像対象エリアの中心点（例えば、中心点１２０６）
・撮像装置１００－ｘと撮像対象エリアの対応関係（例えば、点線１２０７）
　また、図１０に示すように、情報表示装置４００は、画像生成装置２００や情報表示装置４００と撮像装置１００－ｘとの接続状態を表示する。なお、図１０の例では、情報表示装置４００及び画像生成装置２００などの装置は競技場外に存在する放送中継車内に設置されているため、図１０ではこれらの装置をまとめて中継車と表示している。
　図１０のような表示を行うことで、情報表示装置４００は、複数の撮像装置を有する撮像システム１００に関する情報をユーザに容易に把握させることができる。また、情報表示装置４００は、どの撮像装置がどこに配置され、どのように接続されているかを表示させることができる。また、例えば、情報表示装置４００は、撮像可能な状態である撮像装置１００－ｘを示すアイコンと、故障中や調整中であり撮像可能な状態でない撮像装置１００－ｘを示すアイコンとを識別可能に表示してもよい。このようにすることで、ユーザに、故障が生じた撮像装置１００－ｘを容易に特定させ、その撮像装置１００－ｘがどこに配置されているかを容易に把握させることができる。また、情報表示装置４００は、複数の撮像装置１００－ｘのそれぞれに対応する撮像対象エリアを示す情報を表示するので、撮像装置１００－ｘに故障が生じた場合に、不具合が生じ得る仮想視点の位置をユーザに把握させることができる。また、情報表示装置４００は、複数の撮像装置１００－ｘのそれぞれに対応する撮像対象エリアを示す情報を表示する。これにより、撮像システム１００が仮想視点画像を生成するために十分な撮像画像を撮像できる配置となっているか否かをユーザに把握させることができる。
　図１１は、情報表示装置４００のＵＩ生成部４０３が、図１０の表示イメージを生成するための処理フローを示す。また図１２は、図１１のフロー内の各処理によって描画される具体的な表示イメージを示す。図１１の処理は、例えば図８のＳ１１０２のタイミングで実行される。なお、処理のタイミングや順序はこれに限定されない。また、図１６の処理及び後述する各表示処理は、図７のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図１６や各表示処理のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。
　Ｓ１４０１において、ＵＩ生成部４０３は、データ入力／読出部４０２から出力された競技場２１０のレイアウトデータを描画する（図１２Ａ）。Ｓ１４０２において、ＵＩ生成部４０３は、競技場２１０の中で撮像装置１００－ｘを設置するエリアを描画する（図１２Ｂ）。ここでは設置エリアが４つ（Ｒ１、Ｒ２、Ｒ３、及びＲ４）ある例を示す。これらの設置エリアは図９Ｃに示した座標情報に基づいて描画される。Ｓ１４０３において、ＵＩ生成部４０３は、撮像装置１００－ｘのアイコンをそれぞれの撮像装置１００－ｘが設置される設置エリア内に描画する（図１２Ｃ）。これらのアイコンは図９Ａに示した情報に基づいて描画される。
　Ｓ１４０４において、ＵＩ生成部４０３は、複数の撮像装置１００－ｘの間の接続関係を描画する（図１２Ｄ）。ここでは２つの接続グループ（Ｌ１、Ｌ２）がある場合の例を示す。これらの接続関係を示す情報は図９Ａに示した接続グループの情報及び接続先の情報に基づいて描画される。Ｓ１４０５において、ＵＩ生成部４０３は、各撮像装置１００－ｘに対応する撮像対象エリアを描画する（図１２Ｅ）。ここでは二つの撮像対象エリアがある場合の例を示す。各撮像対象エリアは、撮像対象エリアの中心点１２０６と、撮像対象エリアの有効エリア１２０５により表される。有効エリア１２０５は仮想視点画像を生成するために適した領域を示す。これらの撮像対象エリアは図９Ｂに示した情報に基づいて描画される。Ｓ１４０６において、ＵＩ生成部４０３は、各撮像装置１００－ｘと撮像対象エリアを関連付ける情報としてこれらを結線する（図１２Ｆ）。なお、後述するように、図１２に示す各画像は、それぞれ別レイヤーの画像として描画される。
　複数の撮像装置１００－ｘが近傍に描画されると、図１３Ａに示すように、撮像装置のアイコン１２０３－２とその撮像対象エリアを結線した点線１２０７－２が、別の撮像装置のアイコン１２０３－１と重なることがある。Ｓ１４０７においてＵＩ生成部４０３は、このような重なりの有無を確認する。重なりが発生する場合は、Ｓ１４０８においてＵＩ生成部４０３は、撮像装置のアイコン１２０３－１の描画位置を同一の設置エリア内で重なりが発生しない位置へ変更する。即ち、情報表示装置４００は、撮像装置１００－ｘを示す情報と撮像対象エリアの中心点とを結ぶ線が、他の線や他の撮像装置１００－ｘを示す情報と重ならないように表示制御を行う。このようにすることで、各撮像装置１００－ｘの撮像対象エリアがユーザにとってわかりやすいように表示することができるようになる。ただし、Ｓ１４０７及びＳ１４０８の処理は必須ではない。
　（レイヤー表示とユーザ操作による表示切替）
　なお、ＵＩ生成部４０３は、図１１の処理フローによって表示イメージを描画する際、図９の情報を元に、複数のレイヤーに分けて画像を描画する。ここでレイヤーとは、ＵＩ生成部４０３が内包する複数の記録領域それぞれに記憶されるデータの集まりである。ＵＩ生成部４０３は複数のレイヤーの画像を重ねあわせることで、図１０の表示イメージを生成する。
　個々の描画レイヤーには、具体的には以下が描画される。
・競技場２１０（図１２Ａ）
・設置エリア（図１２Ｂ）
・撮像装置１００－ｘ（図１２Ｃ）
・接続グループ（図１２Ｄ）
・撮像対象エリア（図１２Ｅ）
・撮像装置１００－ｘと撮像対象エリアとを結ぶ線（図１２Ｆ）
　上述のとおり、図１０や図１２の例では、設置エリアはＲ１、Ｒ２、Ｒ３及びＲ４の４つである。そのため、Ｓ１４０２では、４つのレイヤーに分けて画像が描画される。同様に、接続グループはＬ１及びＬ２の２つであるため、Ｓ１４０３では２つのレイヤーに分けて画像が描画される。図１４は、ＵＩ生成部４０３によるレイヤー描画処理のイメージ図である。最下層のレイヤーとして図１２Ａに示すマップ１２０１が描画され、より上位層のレイヤーとして各設置エリアの画像が重ねあわされる。そして、最上層のレイヤーとして撮像装置１００－ｘと撮像対象エリアの結線を描画した画像が重ねられる。なお、各レイヤーの重ね合わせの順序は適宜組み替えてもよい。また、必ずしも複数のレイヤーを重ね合わせなければならないわけではない。例えば、図１２Ａの画像に、図１２Ｂから図１２Ｆで示した内容を上書きすることで、図１０に示すような表示イメージが生成されるようにしても良い。しかしながら、レイヤーごとに描画処理を行うことによって、表示イメージの切替えが容易になるというメリットがある。係る点について、以下で詳述する。
　図１５は、ユーザ入力部４０７を介して入力された操作情報に基づいて、図１１の処理により描画された表示イメージの表示を切り替える処理のフローを示す。図１５の処理は、例えば図８のＳ１１０２において実行される。Ｓ２５０１において、ユーザ入力部４０７は、キーボードなどのコントローラを介して操作情報が入力されると、その操作情報を制御部４０６へ出力する。操作情報を受信した制御部４０６は、Ｓ２５０２において、その操作情報に基づいて表示もしくは非表示にすべき表示内容を特定し、その内容を表示切替指示として、ＵＩ生成部４０３へ出力する。なお、制御部４０６は、入力される操作情報と表示もしくは非表示にすべき内容との対応関係を示す情報を予め有している。例えば、キーボードで「Ａ」というキーが押された場合は、Ｌ１の接続グループに属するカメラを表示する、などの情報を有している。Ｓ２５０３において、ＵＩ生成部４０３は、入力された表示切替指示に応じて、表示する描画レイヤーを追加もしくは削除したのち、表示部４０４へ表示すべきレイヤーの画像を出力する。
　図１６は、図１５の処理により生成されるＵＩ画像の一例である。具体的には図１５は、画像処理システム内の複数の撮像装置１００－ｘのうち接続グループＬ１に属する撮像装置１００－ｘのみの情報を表示するための表示切替を行った結果を示している。これに限らず、例えば、情報表示装置４００は図１５の処理により、設置エリアＲ１に設置された撮像装置１００－ｘのみの情報を表示させることができる。また、情報表示装置４００は、図１５の処理により、任意に指定された撮像装置１００－ｘのみの情報を表示させることができる。また、情報表示装置４００は、図１５の処理により、同一の撮像対象エリアに対応する撮像装置１００－ｘのみの情報を表示させることができる。
　なお、上記では表示させるレイヤーをユーザに選択させる例を示したが、これに限らず、情報表示装置４００が表示させるレイヤーを自動で選択してもよい。例えば、情報表示装置４００は、画像処理システム内の少なくとも一つの装置がエラー状態であることを示す情報を受信した場合、エラー状態となった装置の状態を表示するのに適したレイヤーを自動で選択して表示させるようにしてもよい。また、当該レイヤーの画像の表示に合わせて、警告をポップアップ表示してもよい。このようにすることで、ユーザは、仮想視点画像の品質の低下などの不具合が発生し得ることを把握でき、その対策を行うことができる。
　このように、情報表示装置４００は、各レイヤーを適宜組み合わせたり、削除したりして、撮像システム１００の状態の表示を行う。したがって、情報表示装置４００は、撮像システム１００が多くの撮像装置１００－ｘを有している場合であっても、所望の撮像装置群の状態のみを表示することができ、視認性を向上させることができる。
　（撮像装置１００－Ｘの状態表示の説明）
　図１７は、図１０に示した表示イメージ上の撮像装置１００－ｘのアイコンを、撮像装置１００－ｘの状態に応じた画像として表示する例について説明するための図である。情報表示装置４００の状態取得部４０５は、撮像装置１００－ｘの状態情報保持部１０４から撮像装置１００－ｘの状態情報を取得すると、ＵＩ生成部４０３に出力する。ＵＩ生成部４０３は、その状態情報に基づいて、図１０の表示イメージ上の撮像装置１００－ｘのアイコンの画像を更新する。図１７は、具体的には、ある接続グループに含まれる撮像装置１００－ｘの一部を示している。例えば、撮像装置１００－ｘの状態の表示には以下のものがある。
・撮像装置１００－ｘが情報表示装置４００や他の撮像装置１００－ｘと接続されて通信可能な状態（図１７Ａのアイコン２４０１）
・撮像装置１００－ｘが情報表示装置４００や他の撮像装置１００－ｘと通信不可となっている状態（図１７Ａのアイコン２４０２）
　また、情報表示装置４００は図１７Ａに示すような接続状態の表示に加えて、撮像装置１００－ｘ自体の状態も以下のように表示する。
・撮像装置１００－ｘがエラー状態（図１７Ｂのアイコン２４０３）
・撮像装置１００－ｘがワーニング状態（図１７Ｂのアイコン２４０４）
・撮像装置１００－ｘがバイパス状態（図１７Ｂのアイコン２４０５）
　ここで、エラー状態とは、撮像装置１００－ｘに障害が発生しており、撮像装置１００－ｘが正常に撮像を行えない状態や、撮像装置１００－ｘが画像の出力や伝送を正常に行えない状態である。撮像が正常に行えなくなる障害の具体例としては、撮像装置１００－ｘの温度が正常に動作可能な範囲を超えてしまうことや、撮像のためのレンズに歪みや汚れが発生することなどがある。画像の出力や伝送を正常に行えなくなる障害の具体例としては、撮像装置１００－ｘの通信Ｉ／Ｆ７０７が故障することや、通信Ｉ／Ｆ７０７に接続された伝送ケーブルが断線することや、伝送ケーブルと通信Ｉ／Ｆ７０７との接続が外れてしまうことなどがある。
　また、ワーニング状態とは、撮像装置１００－ｘが正常に動作できているが、仮想視点画像の生成に不具合が生じる蓋然性が高くなっている状態である。例えば、撮像装置１００－ｘの温度が所定の望ましい範囲より高くなっている状態や、撮像装置１００－ｘと不図示の同期装置との間の同期ずれの大きさが所定範囲外となっている状態などである。
　本実施形態では、エラー状態及びワーニング状態を含む、装置が正常な状態ではなくなった状態を、異常状態と記載する。すなわち、本実施形態における異常状態にある装置には、所定の動作が行えない状態にある装置や、装置の状態に関するパラメータが所定の範囲外となっている装置、及び他の装置と同期していない装置などが含まれる。また、異常状態にある装置には、装置の状態に関するパラメータが他の複数の装置（例えば撮像システム１００内の他の撮像装置１００－ｘ）と異なっている装置などが含まれてもよい。
　また、バイパス状態とは、撮像装置１００－ｘにより取得される画像が出力されておらず、その撮像装置１００－ｘが他装置から取得したデータの伝送のみを実行する状態である。
　また、情報表示装置４００は、撮像装置１００－ｘの構成も以下のように表示する。
・撮像装置１００－ｘにズームレンズが装着されている（図１７Ｃのアイコン２４０６）
・撮像装置１００－ｘに集音マイクが装着されている（図１７Ｃのアイコン２４０７）
・撮像装置１００－ｘに雲台が装着されている（図１７Ｃのアイコン２４０８）
　また、情報表示装置４００は、撮像装置１００－ｘの出力状態も以下のように表示する。
・撮像装置１００－ｘによる撮像に基づく前景画像データや背景画像データが、分配装置５００を介して、画像生成装置２００および情報表示装置４００へ所定のフレームレートで出力中（図１７Ｄのアイコン２４０９）
　なお、情報表示装置４００は、撮像装置１００－ｘの出力するデータの出力先や出力のフレームレートを示す情報を表示してもよい。また、情報表示装置４００は、撮像装置１００－ｘが出力する画像に関する情報（例えばデータサイズ、画像サイズ及びファイル形式など）を表示してもよい。
　また、情報表示装置４００は、撮像装置１００－ｘの機械的な動作状態も以下のように表示する。機械的な動作には、例えば、ズームレンズの動作、雲台の動作やオートフォーカスの動作などが含まれる。
・撮像装置１００－ｘのズームレンズが動作中（図１７Ｅのアイコン２４１０）
　上記では撮像装置１００－ｘの状態の表示例を示したが、表示する内容はこれに限定されない。例えば、各撮像装置１００－ｘと同期装置との同期状態を表示してもよい。またこうした状態情報に加え、各撮像装置について設定された内容や、その設定を反映する処理の完了状態などを表示してもよい。
　なお上記では、撮像装置１００－ｘの状態を、図１７Ａから図１７Ｅに示す画像で表示する例を説明したが、メッセージで撮像装置１００－ｘの状態を表示してもよい。また、撮像装置１００－ｘの状態を示す情報のうち表示される項目をユーザが選択可能であってもよい。また、撮像装置１００－ｘの状態の表示可否もユーザが選択可能であってもよい。また、情報表示装置４００は、ユーザにより操作されるカーソルの位置に対応する撮像装置１００－ｘを選択し、その撮像装置１００－ｘの状態を示す情報を表示してもよい。また、情報表示装置４００は、ユーザによるタッチパネルに対する操作により指定された撮像装置１００－ｘの状態を示す情報を表示してもよい。
　また、情報表示装置４００は、撮像装置１００－ｘの状態を示す情報として撮像装置１００－ｘに設定されている撮像パラメータを表示してもよい。また、情報表示装置４００は、撮像装置１００－ｘの状態が、例えば、エラー状態、ワーニング状態、及び通信不可能な状態など、仮想視点画像の生成に不具合が生じ得る状態の場合に、画像、色またはメッセージにより警告を表示してもよい。また、情報表示装置４００は、撮像装置１００－ｘに限らず、画像処理システムの状態が仮想視点画像の生成に不具合が生じ得る状態の場合に、「仮想視点画像の生成に不具合が生じる恐れがあります。至急、修理や設定の確認を行ってください。」などのようにメッセージで警告表示を行うと共に不具合を解消することをユーザに促すための表示を行ってもよい。
　本実施形態によれば、図１７に示す撮像装置１００－ｘの状態を示す情報の表示を行うことにより、情報表示装置４００は、複数の撮像装置１００－ｘを有する撮像システム１００に関する情報をユーザに把握させることができる。また、情報表示装置４００は、どの撮像装置１００－ｘがどのような状態であるかをユーザに容易に把握させることができる。また、例えば、情報表示装置４００は、撮像にエラーが生じた撮像装置１００－ｘが識別可能となるように表示することにより、ユーザにエラーが生じた撮像装置１００－ｘを把握させることができる。
　（グループ概要リスト表示の説明）
　図１８は、図１０に示した表示イメージと併せて表示される撮像装置１００－ｘの状態のリストの例である。図１８Ａは、撮像対象エリアグループごとの撮像装置１００－ｘの状態をリスト表示した例である。本実施形態では、指定された同一の撮像対象エリアを撮像範囲に含む複数の撮像装置１００－ｘからなる装置群を撮像対象エリアグループと呼ぶ。ただし、これら複数の撮像装置１００－ｘによる撮像に基づく画像の取得と伝送を行う複数の処理装置からなる装置群を撮像対象エリアグループとして扱ってもよい。また、単一の装置からなる撮像対象エリアグループがあってもよい。図１８Ａに示すリスト表示をグループ状態リスト表示と呼ぶ。
　例えば、撮像対象エリアグループのグループ状態リスト表示の内容には以下のものがある。
・撮像対象エリアグループに含まれる複数の撮像装置１００－ｘがすべて接続状態であるか否か
・撮像対象エリアグループにエラー状態の撮像装置１００－ｘが含まれるか否か
・撮像対象エリアグループにワーニング状態の撮像装置１００－ｘが含まれるか否か
・撮像対象エリアグループにバイパス状態の撮像装置１００－ｘが含まれるか否か
・撮像対象エリアグループに含まれる撮像装置１００－ｘの構成（雲台有り／無し、マイク有／無しなど）
・撮像対象エリアグループに含まれる撮像装置１００－ｘの出力状態（出力中／出力なし）
・撮像対象エリアグループに含まれる撮像装置１００－ｘの機械的な動作状態（動作中／非動作中）
　また、図１８Ａに示すグループ状態リスト表示では、上記以外に以下の状態も表示する。
・撮像対象エリアグループに含まれる撮像装置１００－ｘのＩＳＯ値
・撮像対象エリアグループに含まれる撮像装置１００－ｘのアイリス値
・撮像対象エリアグループに含まれる撮像装置１００－ｘのシャッタースピード値
・撮像対象エリアグループに含まれる撮像装置１００－ｘのＮＤフィルタ値
　図１８Ａでは、１以上の撮像装置１００－ｘの状態と同一の撮像対象エリアグループに含まれる他の撮像装置１００－ｘの状態とが異なっている場合に、その状態を表す情報としてアスタリスクを表示している。ただし、他の情報により警告表示を行ってもよい。例えば、「撮像対象エリアグループの撮像装置の露光条件が一致していないため、仮想視点画像に不具合が生じる恐れがあります。」などのようにメッセージで警告表示を行ってもよい。また、警告を意味する色や画像を表示することで警告表示を行ってもよい。このように情報表示装置４００は、撮像対象エリアグループのグループ状態リスト表示を行う。したがって、複数の撮像装置１００－ｘの状態が互いに異なることで仮想視点画像に違和感が生じる可能性を容易にユーザに認識させ、その対策を取らせることが可能になる。
　（グループ詳細リスト表示の説明）
　図１８Ｂは、図１８Ａに示した撮像対象エリアグループＶ２に属する各撮像装置１００－ｘの状態をリスト表示した例である。以下ではこのリスト表示を個別状態リスト表示と呼ぶ。個別状態リスト表示によれば、グループ状態リスト表示と異なり、グループに属する撮像装置１００－ｘそれぞれの状態がわかる。そのため、ユーザは例えば、グループ状態リスト表示で警告表示を見つけた場合に、個別状態リスト表示へ表示切替することで、エラー状態にある撮像装置１００－ｘを具体的に特定できる。図１８Ｂの例によれば、撮像装置１００－２が温度エラーを起こしていることにより、図１８Ａに示すグループ状態リスト表示でエラー状態に警告表示（アスタリスク）が出ていたことがわかる。
　リスト表示の表示切替の動作方法としては、具体的には、ＵＩ生成部４０３が、ユーザ入力部４０７を介して入力された表示切替操作の操作情報に基づいて、グループ状態リスト表示と個別状態リスト表示との間で表示の切り替えを行う。例えば、情報表示装置４００は、グループ状態リスト表示をしている際に、撮像対象エリアグループの識別情報である「Ｖ２」に対応する位置に対するユーザによるタップ操作や指示操作を受け付けた場合、個別状態リスト表示に切り替える。また、情報表示装置４００は、グループ状態リスト表示をしている際に、不図示の「戻る」のメッセージアイコンに対応する位置に対するタップ操作や指示操作を受け付けた場合、グループ状態リスト表示に切り替える。
　なお、図１８に示すリストに表示される内容は上記に限定されない。例えば各撮像装置１００－ｘと同期装置との同期状態を表示してもよい。またこうした状態情報に加え、各撮像装置について設定された内容や、その設定を反映する処理の完了状態などを表示してもよい。また、グループは撮像対象エリアグループに限定されず、接続グループ毎にリスト表示してもよいし、設置エリアを一つのグループとしてリスト表示してもよい。
　（操作ＵＩの説明）
　図１９は、本実施形態の情報表示装置４００により表示される撮像装置１００－ｘを操作するための操作ＵＩの一例を示す図である。図１９Ａには、情報表示装置４００が表示する、個別の撮像装置１００－ｘを操作するユーザ指示を受け付けるためのＵＩを示す。情報表示装置４００は、ユーザによる操作に応じて、撮像装置１００－ｘの撮像パラメータの設定情報や撮像装置１００－ｘを操作するための情報を撮像装置１００－ｘに送信する。操作ＵＩには、例えば撮像装置１００－ｘのズーム、フォーカス、ＩＳＯ、アイリス、シャッタースピード、及びＮＤフィルタの設定を行うための画像が表示される。また、撮像装置１００－ｘが雲台を有する場合、ＰＡＮ（パン）やＴＩＬＴ（チルト）の設定を行うための画像も表示される。
　図１９Ｂには、情報表示装置４００が表示する、撮像対象エリアグループに属する撮像装置１００－ｘを一括で操作するためのＵＩを示す。一括操作用の操作ＵＩには、例えば露出条件を決めるＩＳＯ、アイリス、シャッタースピード、及びＮＤフィルタの設定を行うための画像が表示される。このような表示を行うことで、撮像対象エリアグループに属する複数の撮像装置１００－ｘに対する指示を情報表示装置４００がユーザから受け付け、指示に応じた設定や操作を複数の撮像装置１００－ｘに反映することができる。そのため、撮像装置１００－ｘごとに設定や操作の指示を受け付ける場合と比べて、ユーザによる操作の手間が削減できる。例えば、撮像中に外光の強さなどの状況が変化した場合に、同一の撮像対象エリアを撮像している撮像対象エリアグループの露出条件を一括で変更することができる。
　（異常状態を通知するための画像表示）
　以降では、撮像装置１００－ｘが異常状態にある場合の情報表示装置４００による表示処理について説明する。図１７を用いて上述したように、情報表示装置４００は、個別の撮像装置１００－ｘの状態を図１０などに示す表示イメージに表示することができる。これに加えて、本実施形態における情報表示装置４００は、接続グループ単位や撮像対象エリアグループ単位での状態を表示イメージに表示することができる。
　画像処理システム内の撮像装置１００－ｘの一つに異常が生じた場合、異常状態にある撮像装置１００－ｘと他の撮像装置１００－ｘとの位置関係や接続関係などによって、仮想視点画像の生成への影響が異なる場合がある。例えば、単一の撮像対象エリアグループに含まれる撮像装置１００－ｘの一つが故障した場合、そのグループに含まれる正常状態の撮像装置１００－ｘの数が多ければ、仮想視点画像の画質の低下の程度が小さく、仮想視点画像の生成を継続できることがありうる。一方、そのグループに含まれる正常状態の撮像装置１００－ｘの数が少なければ、仮想視点画像の画質の低下の程度が大きく、仮想視点画像の生成を継続できないことがありうる。また例えば、単一の接続グループに含まれる撮像装置１００－ｘの一つが故障した場合に、そのグループに含まれる複数の撮像装置１００－ｘすべてに対して調整や再設定を行わなければならないことがありうる。この場合には、グループに含まれる撮像装置１００－ｘの数に応じて、復帰処理に要する手間や時間が異なる。
　このように、異常が生じた撮像装置１００－ｘが属するグループの構成によって異常の影響が異なる場合に、本実施形態の情報表示装置４００は、異常が生じたグループを示す情報を表示させることで、異常による影響をユーザに知らせることができる。そして、異常による影響をユーザが容易に知ることができれば、例えば撮像装置１００－ｘの修理や調整などの適切な対応を素早く行うことができ、仮想視点画像の品質の低下などの不具合を抑制することができる。
　図２０は、情報表示装置４００による表示制御処理のフローを示す。図２０の処理は、図１０に示すような表示イメージが表示された後に実行される。ただし図２０の処理の開始タイミングはこれに限定されない。図２０の処理は、図５のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図２０のフローチャートに示す処理の少なくとも一部が専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。
　Ｓ４００１において、状態取得部４０５は、各撮像装置１００－ｘの状態情報保持部１０４から撮像装置１００－ｘの状態情報を取得する。Ｓ４００２において、状態取得部４０５は、画像処理システム内の全ての撮像装置１００－ｘの状態を取得したか否かを判定する。状態情報を取得できていない撮像装置１００－ｘがある場合、Ｓ４００１に戻り、未取得の状態情報を取得する。一方、すべての撮像装置１００－ｘの状態を取得できた場合、Ｓ４００３に進む。なお、状態取得部４０５は、画像処理システム内の一部の撮像装置１００－ｘの状態情報のみを取得してＳ４００３に進んでもよい。
　Ｓ４００３において、ＵＩ生成部４０３は、Ｓ４００１において取得した状態情報に基づいて、画像処理システム内の複数の撮像装置１００－ｘのうちエラー状態にある撮像装置１００－ｘが存在するか否かを判定する。エラー状態にある撮像装置１００－ｘが存在しない場合、情報表示装置４００は図２０の処理を終了する。なお、エラー状態にある撮像装置１００－ｘが存在しない場合に、Ｓ４００１に戻ってもよい。一方、エラー状態にある撮像装置１００－ｘが存在する場合には、取得した状態情報に基づいてエラー状態にある撮像装置１００－ｘを特定し、Ｓ４００４に進む。
　Ｓ４００４において、ＵＩ生成部４０３は、エラー状態にある撮像装置１００－ｘが属するグループを特定する。ここでは特定されるグループとして、相互に接続される接続グループ、同一の撮像対象エリアに対応する撮像対象エリアグループ、及び同一の設置エリア内に設置される設置エリアグループを例に挙げる。ただし、ＵＩ生成部４０３により特定されるグループは、エラー状態にある撮像装置１００－ｘとの間で所定の関係にある１又は複数の装置であればよく、これらの例に限定されない。グループの特定について、図９の例を用いて説明する。例えば撮像装置１００－５がエラー状態であることを示す状態情報を取得した場合、ＵＩ生成部４０３は、データ保持部４０１が保持しているデータを参照し、撮像装置１００－５が属するグループを確認する。これにより、
・接続グループ：Ｌ１
・設置エリアグループ：Ｒ２
・撮像対象エリアグループ：Ｖ１
であることが特定できる。このようにして、撮像装置１００－５のエラーがどのグループに影響を及ぼすかを特定することができる。
　Ｓ４００５において、ＵＩ生成部４０３は、データ保持部４０１から、どの種別のグループについてエラー表示するかを決定するための情報を取得する。図２１は、データ保持部４０１が保持する情報の一例である。データ保持部４０１は、グループの種別毎にエラー表示のＯＮ／ＯＦＦの情報を持つ。図２１に示す例においては、接続グループのみがエラー表示ＯＮとなっているため、ＵＩ生成部４０３により描画される表示イメージ上では、接続グループＬ１がエラーの発生したグループとして表示される。一方、設置エリアグループ、及び撮像対象エリアグループのエラー表示はＯＦＦとなっているため、これらのグループについてはエラーの発生したグループとしての表示はされない。
　図２１に示すようなグループ種別ごとのエラー表示のＯＮ／ＯＦＦの設定は、ユーザが情報表示装置４００を操作することにより予め設定されてもよいし、画像処理システムの構成や動作状態に応じて自動的に設定されてもよい。例えば、画像処理システムが仮想視点画像を生成中でない場合は、設置エリアグループのエラー表示がＯＮに設定される。これにより、どの設置エリアで装置の異常が起きたかを、画像処理システムを監視する監視者が素早く認識し、例えば当該設置エリア内の装置を管理する管理者に即座に連絡することができる。すなわち、エラーが発生した装置の修復に最適な表示となる。なおこの際、情報表示装置４００は、監視者が当該設置エリア内の装置を管理する管理者に連絡するための情報を表示させてもよい。例えば、情報表示装置４００は、エリアごとに管理者の連絡先（携帯電話の番号や無線通信機の識別情報など）を予め登録しておき、エラーが発生した装置に対応するエリアの管理者の連絡先を表示させてもよい。また、表示部４０４に表示された管理者の情報に対して監視者が選択操作を行うことで、当該管理者と会話ができるように自動で通信の接続が行われてもよい。
　また、画像処理システムが仮想視点画像を生成中である場合は、撮像対象エリアグループのエラー表示がＯＮに設定される。これにより、生成される仮想視点画像の画質が低下する虞が高い撮像対象エリアを、仮想視点を操作する操作者に予め通知し、例えばその領域へ仮想カメラを向けないようにさせることができる。すなわち、仮想視点画像の品質を保障するために最適な表示となる。
　Ｓ４００６において、ＵＩ生成部４０３は、エラー表示することが決定されたグループ（エラー表示がＯＮに設定されたグループ）のエラー表示を行う画像を生成する。すなわち、情報表示装置４００は、エラー状態にある撮像装置１００－ｘが属するグループを示す情報を表示部４０４に表示させる。グループを示す情報には、例えばグループを構成する装置群の位置を示す情報、装置群の接続関係を示す情報、及びグループに対応する撮像対象エリアを示す情報の少なくとも何れかが含まれる。
　図２２は、グループ種別ごとのエラー表示の例を示す。ここではアイコン４１０１で表される撮像装置１００－５がエラー状態にあるものとする。図２２Ａは、接続グループのエラー表示をＯＮにした場合の表示例を示す。撮像装置１００－５は接続グループＬ１に属しており、接続グループＬ１に対応する線４１０２を強調表示することで、接続グループＬ１のエラー表示をしている。図２２Ｂは、設置エリアグループのエラー表示をＯＮにした場合の表示例を示す。撮像装置１００－５は設置エリアグループＲ２に属しており、設置エリアグループＲ２に対応するエリア４１０３を強調表示することで、設置エリアグループＲ２のエラー表示をしている。図２２Ｃは、撮像対象エリアグループのエラー表示をＯＮにした場合の表示例を示す。撮像装置１００－５は撮像対象エリアグループＶ１に属しているため、撮像対象エリアグループＶ１に対応する撮像対象エリア４１０４を強調表示することで、撮像対象エリアグループＶ１のエラー表示をしている。なお、図２２Ｃでは撮像対象エリア４１０４と撮像装置１００－５のアイコン４１０１を強調表示する例を示しているが、撮像対象エリアグループＶ１に属する他の撮像装置１００－ｘのアイコンも強調表示してもよい。
　このように、情報表示装置４００は、撮像装置１００－ｘが異常状態にある場合に、その撮像装置１００－ｘが属しているグループを示す情報を、撮像システム１００の設置場所（例えば競技場）を示す画像に重畳させて表示することでエラー表示を行う。また、情報表示装置４００は、異常状態にある撮像装置１００－ｘに対応する接続グループを示す情報、設置エリアを示す情報、及び撮像対象エリアを示す情報のうち、ユーザによる指示に応じて選択された情報を表示部４０４に表示させる。これにより、発生した異常の影響範囲をユーザが容易に認識することができ、ユーザは画像処理システムの修復などの対応を素早く行えたり、生成される仮想視点画像の品質を保てるような操作をできたりするなどの効果が得られる。
　なお、エラー表示は設置場所を示すマップに重畳して表示されるものに限らず、マップとは別に表示されてもよいし、アイコン等ではなく文字で表示されてもよい。また、異常状態にある撮像装置１００－ｘが属するグループを示す情報と併せて、そのグループの状態に関する情報（例えばグループに含まれる撮像装置１００－ｘの温度や接続状態を示す情報）及び警告メッセージの少なくとも何れかが表示されてもよい。警告メッセージとしては例えば、「撮像対象エリアＶ１を撮像可能なカメラ台数が少なくなったため、仮想視点画像の生成が継続できません。エラーの発生したカメラの復旧処理を行ってください。」というような内容が表示される。また例えば、「接続グループＬ１のカメラに異常が発生しています。接続グループＬ１に属するカメラの再起動を行ってください。」というような警告メッセージを表示してもよい。これらの警告メッセージやグループの状態に関する情報を併せて表示させることで、発生した異常の内容をユーザが容易に認識することができる。その結果、例えば直ちに修理を行うべきか否かをユーザが素早く判断することができ、仮想視点画像の生成に係る不具合を抑制することができる。
　また、上記ではエラーが発生した撮像装置１００－ｘが属するグループの情報を強調表示する場合について説明したが、表示の方法はこれに限らず、エラーが発生した撮像装置１００－ｘが属するグループとそれ以外のグループとを識別可能に表示すればよい。具体的には、エラーが発生した撮像装置１００－ｘに対応する接続グループを示す情報、設置エリアを示す情報、及び撮像対象エリアを示す情報の少なくとも何れかが、エラーが発生した撮像装置１００－ｘに対応しないこれらの情報と区別して表示されればよい。また例えば、情報表示装置４００は、エラーが発生した撮像装置１００－ｘが属するグループ以外のグループを示す情報を非表示にしてもよい。このような表示方法によっても、発生したエラーの影響をユーザが容易に認識することができる。以下の説明において、すでに説明した実施形態と同様の部分については詳細な説明を省略する。
　図２３は、情報表示装置４００による表示制御処理のフローであり、図２０を用いて説明した処理の変形例を示す。Ｓ４００１からＳ４００４までの処理は、図２０を用いて上述したものと同様である。Ｓ４００４においてエラーが発生した撮像装置１００－ｘが属するグループを特定した後、Ｓ４２０１においてＵＩ生成部４０３は、データ保持部４０１から、設定されたエラー表示のモードを示すモード情報を取得する。図２４は、モード情報の一例を示す。エラー表示のモードには、例えば以下のモードが含まれる。
・撮像装置表示モード：エラーが発生している撮像装置を表示する
・接続グループ表示モード：エラーが発生している撮像装置が属している接続グループを表示する
・撮像対象エリア表示モード：エラーが発生している撮像装置に対応する撮像対象エリアを表示する
・全表示モード：エラーが発生している撮像装置の情報の表示に加え、正常状態の撮像装置の情報も表示する
　エラー表示のモードは、ユーザが情報表示装置４００を操作して予め設定していてもよいし、画像処理システムの構成や動作状態に応じて自動的に設定されてもよい。Ｓ４２０１において取得されたモード情報が示すエラー表示モードが全表示モードである場合、Ｓ４２０３においてＵＩ生成部４０３は、図２２を用いて上述した表示方法と同様に、エラー状態の撮像装置１００－ｘが属しているグループをエラー表示する。
　一方、Ｓ４２０１において全表示モード以外のエラー表示モードが示される場合、Ｓ４２０２においてＵＩ生成部４０３は、設定されたモードに応じて一部の表示を消去する。例えば、エラー表示モードが撮像装置表示モードに設定されている場合、エラーが発生していない正常状態の撮像装置１００－ｘの情報を表示イメージから消去する。また、エラー表示モードが接続グループ表示モードに設定されている場合、エラー状態の撮像装置１００－ｘを含まない接続グループの情報を表示イメージから消去する。また、エラー表示モードが撮像対象エリア表示モードに設定されている場合、エラー状態の撮像装置１００－ｘに対応する撮像対象エリアとは異なる撮像対象エリアの情報を表示イメージから消去する。設定されたモードに応じた表示の消去を行った後、Ｓ４２０３においてＵＩ生成部４０３は、消去されていない情報によるエラー表示を行う。
　図２４は、エラー表示モードごとの表示の例を示す。ここではアイコン５１０１で表される撮像装置１００－５がエラー状態にあるものとする。図２５Ａは、撮像装置表示モードが設定されている場合の表示例を示す。撮像装置１００－５以外の撮像装置１００－ｘを表すアイコンは全て消去され、アイコン５１０１のみが表示されている。図２５Ｂは、接続グループ表示モードが設定されている場合の表示例を示す。撮像装置１００－５が属する接続グループＬ１に含まれない撮像装置１００－ｘを示す情報は表示されず（図２２Ｂの下半分に表示されていた接続グループＬ２の情報は消去され）、接続グループＬ１を表す線５１０２が表示されている。図２５Ｃは、撮像対象エリア表示モードが設定されている場合の表示例を示す。撮像装置１００－５は撮像対象エリアグループＶ１に属しているため、別の撮像対象エリアグループＶ２（図２２Ｃの右半分に表示されていた撮像対象エリア）の情報が消去され、撮像対象エリアグループＶ１を示すエリア５１０３のみが表示されている。
　以上のように、エラーが発生した撮像装置１００－ｘが属しているグループ等の情報以外の情報を非表示にしてエラー表示を行うことで、ユーザにとって必要な情報のみを表示させ、エラーの影響をユーザにより容易に認識させることができる。なお、情報表示装置４００は、図２５に例を示した表示方法とは逆に、エラー状態の撮像装置１００－ｘを含むグループの情報を非表示にし、エラー状態の撮像装置１００－ｘを含まないグループの情報を表示してもよい。この表示によれば、発生したエラーの影響を受けない撮像装置１００－ｘや撮像対象エリアをユーザに容易に認識させることができ、例えば仮想視点画像の生成の継続可否などをユーザが適切に判断できるようになる。
　なお、情報表示装置４００は、エラーを検知した際に、表示部４０４に情報を表示する以外の方法でユーザにエラーを通知してもよい。例えば、情報表示装置４００は音声出力部を備え、エラー通知音を出力することでユーザにエラーを通知する機能を持っていてもよい。また例えば、情報表示装置４００はランプを発光させるための制御信号を出力することで、エラーの通知を行ってもよい。情報表示装置４００がこのような機能を有することで、ユーザが表示部４０４を見ていない場合においても、ユーザにエラーの発生を認識させることができる。
　以上説明したように、本実施形態に係る情報表示装置４００は、視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮像に基づく複数の画像を取得するための複数の装置に関する情報を取得する。また情報表示装置４００は、当該複数の装置のうち異常状態にある装置を、取得した情報に基づいて特定する。そして情報表示装置４００は、当該複数の装置のうち異常状態にある装置との間で所定の関係にある１又は複数の装置を示す情報を表示部４０４に表示させる。これにより、例えば画像処理システムに含まれる装置の数が多い場合であっても、システムに含まれる装置の異常による影響をユーザが容易に知ることができるようになる。また、情報表示装置４００は、接続グループのみの表示や、撮像対象エリアグループのみの表示を行うなど、情報ごとの表示と非表示を切り替えることができる。これにより、画像処理システム内の撮像装置１００－ｘの数やグループの数などが多い場合であっても、不要な情報を非表示にして表示の見やすさを向上することができる。
　なお、上記の実施形態では、情報表示装置４００が撮像装置１００－ｘに関する情報を表示させる例を中心に説明したが、これに限らない。つまり、本実施形態の情報表示装置４００は、撮像装置１００－ｘの情報に加えて、又は撮像装置１００－の情報に代えて、仮想視点画像の生成のためのシステムに含まれる他の構成要素に関する情報を表示させてもよい。例えば、情報表示装置４００は、撮像装置１００－ｘによる撮像に基づく画像を伝送する処理装置、スイッチやルータなどのネットワーク機器、分配装置５００、画像生成装置２００、及び同期装置などの状態を表示させてもよい。すなわち、情報表示装置４００は、仮想視点画像の生成のためのシステムの構成要素の状態を示す画像を表示させることができる。さらに、情報表示装置４００は、システムの構成要素が異常状態にある場合に、当該構成要素の異常の影響を受ける別の構成要素を特定する情報など、以上の影響範囲を示す情報を表示させてもよい。
　また、本実施形態では、情報表示装置４００が、撮像装置１００－ｘから出力される状態情報の内容に基づいて、撮像装置１００－ｘにおける状態変化の発生を検出する例を中心に説明したが、この例に限らない。例えば、撮像装置１００－ｘは正常状態において定期的に状態情報を送信し、情報表示装置４００は、撮像装置１００－ｘから状態情報を一定期間受信できかった場合に、当該撮像装置１００－ｘがエラー状態にあると判定してもよい。
　また、本実施形態では、情報表示装置４００が、撮像装置１００－ｘなどの画像処理システム内の装置がエラー状態にあると判定した場合に、エラー状態の装置を含むグループを示す情報を表示するなどのエラー表示を行う場合を中心に説明した。ただし情報表示装置４００は、エラー状態に限らず、不具合が生じる蓋然性が高いワーニング状態など、画像処理システム内の装置が何らかの異常状態にあると判定した場合に、その装置を含むグループを示す情報を表示するなどのエラー表示を行ってもよい。例えばワーニング状態の装置を含むグループを表示することで、装置のエラーが生じる前に、エラーが生じた場合の影響をユーザに認識させることができ、ユーザは影響の大きさに応じたエラーの予防措置などをとることができる。
　また、本実施形態では、仮想視点画像を生成するためのシステムの構成要素の状態に関する情報が表示される場合について説明したが、本実施形態の適用対象となるシステムはこれに限定されない。例えば、複数のカメラを構成要素とする監視カメラシステムにおけるカメラの状態を示す情報が表示されてもよい。また、異常状態にあるカメラと同一のエリアを撮像しているカメラのグループや、異常状態にあるカメラと同一のエリアに設置されているカメラのグループを示す情報などが表示されてもよい。
　（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年１１月２８日提出の日本国特許出願特願２０１７－２２８３３５を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (19)

  1. 　仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮像に基づく複数の画像を取得するための複数の装置に関する情報を取得する取得手段と、
    　前記複数の装置のうち異常状態にある装置を、前記取得手段により取得される情報に基づいて特定する特定手段と、
    　前記複数の装置のうち前記特定手段により特定される異常状態にある装置との間で所定の関係にある１又は複数の装置を示す情報を表示部に表示させる表示制御手段とを有することを特徴とする表示制御装置。
  2. 　前記複数の装置は、前記複数の方向からの撮像を行う複数の撮像装置、及び、前記複数の撮像装置による撮像に基づく画像の取得と伝送を行う複数の処理装置の、少なくとも何れかを含むことを特徴とする請求項１に記載の表示制御装置。
  3. 　前記特定手段により特定される装置との間で前記所定の関係にある装置は、前記特定される装置との間で接続関係、設置位置及び撮像対象エリアの少なくとも何れかに関して所定の関係にある装置であることを特徴とする請求項１又は２に記載の表示制御装置。
  4. 　前記特定手段により特定される装置との間で前記所定の関係にある装置は、前記特定される装置と同一の接続グループに含まれる装置、前記特定される装置と同一の設置エリア内に設置される装置、又は前記特定される装置と同一の撮像対象エリアに対応する装置であることを特徴とする請求項１乃至３の何れか１項に記載の表示制御装置。
  5. 　前記同一の接続グループに含まれる装置は、直接又は他の装置を介して相互に接続され、
    　前記同一の設置エリア内に設置される装置は、前記複数の装置の設置場所の一部分である予め定められた同一のエリア内に設置される複数の装置であり、
    　前記同一の撮像対象エリアに対応する装置は、指定された同一の領域を撮像範囲に含む複数の撮像装置、又は当該複数の撮像装置による撮像に基づく画像の取得と伝送を行う複数の処理装置であることを特徴とする請求項４に記載の表示制御装置。
  6. 　前記複数の装置のうち異常状態にある装置は、所定の動作が行えない状態にある装置、装置の状態に関するパラメータが所定の範囲外となっている装置、装置の状態に関するパラメータが他の複数の装置と異なっている装置、及び他の装置と同期していない装置の少なくとも何れかを含むことを特徴とする請求項１乃至５の何れか１項に記載の表示制御装置。
  7. 　前記取得手段により取得される情報は、前記複数の装置の接続の状態に関する情報、前記複数の装置の出力の状態に関する情報、前記複数の装置の温度に関する情報、及び前記複数の装置の撮像パラメータに関する情報の少なくとも何れかを含むことを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
  8. 　前記取得手段により取得される情報は、前記複数の装置の識別情報、前記複数の装置の接続関係に関する情報、前記複数の装置の設置位置に関する情報、及び前記複数の装置に対応する撮像対象エリアに関する情報の少なくとも何れかを含むことを特徴とする請求項１乃至７の何れか１項に記載の表示制御装置。
  9. 　前記表示制御手段は、前記１又は複数の装置の位置を示す情報、前記１又は複数の装置の接続関係を示す情報、及び前記１又は複数の装置に対応する撮像対象エリアを示す情報の少なくとも何れかを前記表示部に表示させることを特徴とする請求項１乃至８の何れか１項に記載の表示制御装置。
  10. 　前記表示制御手段は、前記１又は複数の装置を示す情報を、前記複数の装置の設置場所を示す画像に重畳させて前記表示部に表示させることを特徴とする請求項１乃至９の何れか１項に記載の表示制御装置。
  11. 　前記複数の装置の設置場所を示す画像は、競技場を示す画像であることを特徴とする請求項１０に記載の表示制御装置。
  12. 　前記表示制御手段は、前記１又は複数の装置に対応する接続グループを示す情報、前記１又は複数の装置に対応する設置エリアを示す情報、及び前記１又は複数の装置に対応する撮像対象エリアを示す情報の少なくとも何れかを、前記１又は複数の装置に対応しない接続グループを示す情報、前記１又は複数の装置に対応しない設置エリアを示す情報、及び前記１又は複数の装置に対応しない撮像対象エリアを示す情報と区別して前記表示部に表示させることを特徴とする請求項１乃至１１の何れか１項に記載の表示制御装置。
  13. 　前記表示制御手段は、前記１又は複数の装置に対応する接続グループを示す情報、前記１又は複数の装置に対応する設置エリアを示す情報、及び前記１又は複数の装置に対応する撮像対象エリアを示す情報のうち、ユーザによる指示に応じて選択された情報を前記表示部に表示させることを特徴とする請求項１乃至１２の何れか１項に記載の表示制御装置。
  14. 　前記表示制御手段は、前記１又は複数の装置を示す情報を前記表示部に表示させ、且つ、前記１又は複数の装置に含まれない装置を示す情報を前記表示部に表示させないことを特徴とする請求項１乃至１３の何れか１項に記載の表示制御装置。
  15. 　前記表示制御手段は、前記１又は複数の装置を示す情報と併せて、前記１又は複数の装置の状態に関する情報及び警告メッセージの少なくとも何れかを前記表示部に表示させることを特徴とする請求項１乃至１４の何れか１項に記載の表示制御装置。
  16. 　視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮像に基づく複数の画像を取得するための複数の装置に関する情報を取得する取得工程と、
    　前記複数の装置のうち異常状態にある装置を、前記取得工程において取得される情報に基づいて特定する特定工程と、
    　前記複数の装置のうち前記特定工程において特定される異常状態にある装置との間で所定の関係にある１又は複数の装置を示す情報を表示部に表示させる表示制御工程とを有することを特徴とする表示制御方法。
  17. 　前記複数の装置は、前記複数の方向からの撮像を行う複数の撮像装置、及び、前記複数の撮像装置による撮像に基づく画像の取得と伝送を行う複数の処理装置の、少なくとも何れかを含むことを特徴とする請求項１６に記載の表示制御方法。
  18. 　前記特定工程において特定される装置との間で前記所定の関係にある装置は、前記特定される装置との間で接続状態、設置位置及び撮像範囲の少なくとも何れかに関して前記所定の関係にある装置であることを特徴とする請求項１６又は１７に記載の表示制御方法。
  19. 　コンピュータを、請求項１乃至１５の何れか１項に記載の表示制御装置の各手段として機能させるためのプログラム。
PCT/JP2018/041926 2017-11-28 2018-11-13 表示制御装置、表示制御方法、およびプログラム WO2019107138A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/885,071 US11528472B2 (en) 2017-11-28 2020-05-27 Display control apparatus, display control method, and non-transitory computer-readable storage medium
US17/981,316 US20230059798A1 (en) 2017-11-28 2022-11-04 Display control apparatus, display control method, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-228335 2017-11-28
JP2017228335A JP7182865B2 (ja) 2017-11-28 2017-11-28 表示制御装置、表示制御方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/885,071 Continuation US11528472B2 (en) 2017-11-28 2020-05-27 Display control apparatus, display control method, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2019107138A1 true WO2019107138A1 (ja) 2019-06-06

Family

ID=66665627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041926 WO2019107138A1 (ja) 2017-11-28 2018-11-13 表示制御装置、表示制御方法、およびプログラム

Country Status (3)

Country Link
US (2) US11528472B2 (ja)
JP (2) JP7182865B2 (ja)
WO (1) WO2019107138A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363699A (zh) * 2019-07-29 2022-04-15 创新先进技术有限公司 动画文件播放方法、装置及终端设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7289746B2 (ja) 2019-07-11 2023-06-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7397890B2 (ja) * 2020-01-30 2023-12-13 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
WO2022220065A1 (ja) * 2021-04-14 2022-10-20 キヤノン株式会社 撮像装置、制御方法およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284423A (ja) * 1993-03-29 1994-10-07 Atsumi Denki Kk 監視カメラシステム
JP2000298516A (ja) * 1999-04-14 2000-10-24 Toshiba Corp Ｉｔｖ監視方法及びｉｔｖ監視装置
JP2000347730A (ja) * 1999-06-01 2000-12-15 Toshiba Corp 運転支援システム
JP2006345114A (ja) * 2005-06-07 2006-12-21 Matsushita Electric Ind Co Ltd 撮影領域調整装置および方法
JP2008131443A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd 監視システム、及び、その障害状況表示方法
JP2009199387A (ja) * 2008-02-22 2009-09-03 Atsumi Electric Co Ltd 警備システム及び警備システムの通信不通表示方法
JP2009206617A (ja) * 2008-02-26 2009-09-10 Nec Corp 顔認証を用いた防犯システム
JP2009260616A (ja) * 2008-04-16 2009-11-05 Hitachi Kokusai Electric Inc Ｃｃｔｖ設備状態監視システム
JP2013101462A (ja) * 2011-11-08 2013-05-23 Secom Co Ltd 監視装置
JP2017208702A (ja) * 2016-05-18 2017-11-24 キヤノン株式会社 情報処理装置及びその制御方法、撮影システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002995A (en) * 1995-12-19 1999-12-14 Canon Kabushiki Kaisha Apparatus and method for displaying control information of cameras connected to a network
US6014163A (en) * 1997-06-09 2000-01-11 Evans & Sutherland Computer Corporation Multi-camera virtual set system employing still store frame buffers for each camera
JP3710257B2 (ja) * 1997-06-10 2005-10-26 キヤノン株式会社 カメラ制御システムおよびその制御方法およびその制御を実行するプログラムを記憶した記憶媒体
SE0302065D0 (sv) * 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
JP5562103B2 (ja) * 2010-04-16 2014-07-30 キヤノン株式会社 画像処理装置および方法
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
US10523929B2 (en) * 2016-04-27 2019-12-31 Disney Enterprises, Inc. Systems and methods for creating an immersive video content environment
WO2018021068A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284423A (ja) * 1993-03-29 1994-10-07 Atsumi Denki Kk 監視カメラシステム
JP2000298516A (ja) * 1999-04-14 2000-10-24 Toshiba Corp Ｉｔｖ監視方法及びｉｔｖ監視装置
JP2000347730A (ja) * 1999-06-01 2000-12-15 Toshiba Corp 運転支援システム
JP2006345114A (ja) * 2005-06-07 2006-12-21 Matsushita Electric Ind Co Ltd 撮影領域調整装置および方法
JP2008131443A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd 監視システム、及び、その障害状況表示方法
JP2009199387A (ja) * 2008-02-22 2009-09-03 Atsumi Electric Co Ltd 警備システム及び警備システムの通信不通表示方法
JP2009206617A (ja) * 2008-02-26 2009-09-10 Nec Corp 顔認証を用いた防犯システム
JP2009260616A (ja) * 2008-04-16 2009-11-05 Hitachi Kokusai Electric Inc Ｃｃｔｖ設備状態監視システム
JP2013101462A (ja) * 2011-11-08 2013-05-23 Secom Co Ltd 監視装置
JP2017208702A (ja) * 2016-05-18 2017-11-24 キヤノン株式会社 情報処理装置及びその制御方法、撮影システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363699A (zh) * 2019-07-29 2022-04-15 创新先进技术有限公司 动画文件播放方法、装置及终端设备
CN114363699B (zh) * 2019-07-29 2024-03-12 创新先进技术有限公司 动画文件播放方法、装置及终端设备

Also Published As

Publication number Publication date
US20230059798A1 (en) 2023-02-23
JP7494273B2 (ja) 2024-06-03
JP2019102845A (ja) 2019-06-24
JP7182865B2 (ja) 2022-12-05
US11528472B2 (en) 2022-12-13
US20200288119A1 (en) 2020-09-10
JP2023016874A (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
WO2019107138A1 (ja) 表示制御装置、表示制御方法、およびプログラム
JP6482696B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US10699473B2 (en) System and method for generating a virtual viewpoint apparatus
JP6620394B2 (ja) 制御装置、制御方法及びプログラム
US20180013958A1 (en) Image capturing apparatus, control method for the image capturing apparatus, and recording medium
US11709370B2 (en) Presentation of an enriched view of a physical setting
US20230209180A1 (en) Information processing apparatus, method, and non-transitory computer-readable storage medium
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
CN111246224A (zh) 一种视频直播方法及视频直播系统
JP2018005091A (ja) 表示制御プログラム、表示制御方法および表示制御装置
WO2018235762A1 (ja) 表示制御装置、表示制御方法、およびプログラム
US11528462B2 (en) Display control apparatus, method for controlling display control apparatus, and storage medium
JP7130976B2 (ja) 表示情報作成装置、撮影システムおよびプログラム
US20150365595A1 (en) Imaging control apparatus and method for generating a display image, and storage medium
JP2016109904A (ja) レンズ装置、カメラ装置及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18882809

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18882809

Country of ref document: EP

Kind code of ref document: A1