WO2018070121A1 - 画像処理システム、画像処理装置、及び、制御方法 - Google Patents

画像処理システム、画像処理装置、及び、制御方法 Download PDF

Info

Publication number
WO2018070121A1
WO2018070121A1 PCT/JP2017/030697 JP2017030697W WO2018070121A1 WO 2018070121 A1 WO2018070121 A1 WO 2018070121A1 JP 2017030697 W JP2017030697 W JP 2017030697W WO 2018070121 A1 WO2018070121 A1 WO 2018070121A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
image processing
cameras
abnormality
Prior art date
Application number
PCT/JP2017/030697
Other languages
English (en)
French (fr)
Inventor
熊取谷　昭彦
祐矢 太田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to EP17859697.9A priority Critical patent/EP3528200A4/en
Publication of WO2018070121A1 publication Critical patent/WO2018070121A1/ja
Priority to US16/372,482 priority patent/US11037364B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • the present invention relates to an image processing system including a plurality of cameras for photographing a subject from a plurality of directions.
  • a technology that installs a plurality of cameras at different positions, performs synchronous shooting from multiple viewpoints, and generates virtual viewpoint content using a plurality of viewpoint images obtained by the shooting has attracted attention.
  • the technology for generating virtual viewpoint content from a plurality of viewpoint images for example, a highlight scene of soccer or basketball can be viewed from various angles, which gives a higher sense of presence to the user than a normal image I can do it.
  • Virtual viewpoint content based on multi-viewpoint images is generated by an image processing unit such as a server that aggregates images taken by multiple cameras, generates a three-dimensional model, and performs processing such as rendering. To the user terminal.
  • an image processing unit such as a server that aggregates images taken by multiple cameras, generates a three-dimensional model, and performs processing such as rendering.
  • Patent Document 1 discloses a technique for generating and displaying an arbitrary virtual viewpoint image by arranging a plurality of cameras so as to surround the same range, and using images obtained by shooting the same range with a plurality of cameras. Has been.
  • an appropriate virtual viewpoint image may not be generated.
  • some of the multiple cameras fail or the power is turned off.
  • an object may be placed in front of the camera.
  • the above-described problem may occur not in a daisy chain but also in a system that connects a camera and a server in a star shape, for example. Furthermore, not only the generation of a virtual viewpoint image, but also when an image is generated using captured images of a plurality of cameras, such as a panoramic image, the same problem may occur.
  • an image processing system that has been made in view of the above-described problem and reduces the possibility that an appropriate image is not generated from images captured by a plurality of cameras is disclosed.
  • an image processing system has the following arrangement. That is, An image processing system for generating a virtual viewpoint image based on images taken by a plurality of cameras for photographing a subject from a plurality of directions, Detecting means for detecting an abnormality of at least one of the plurality of cameras; Generating means for generating a virtual viewpoint image using a photographed image of a camera in which an abnormality is not detected by the detecting means among the plurality of cameras, as an image of a photographing region of the camera in which the abnormality is detected by the detecting means; Have
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing system 100 according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the camera adapter 120.
  • FIG. 3 is a sequence diagram for explaining generation and transmission of a foreground / background image in a normal state.
  • FIG. 4 is a sequence diagram for explaining generation and transmission of foreground / background images at the time of failure.
  • FIG. 5 is a flowchart for explaining generation and transmission of foreground / background images.
  • FIG. 6 is a flowchart for explaining generation and transmission of foreground / background images.
  • FIG. 7 is a diagram for explaining an arrangement example of a camera and a camera adapter.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing system 100 according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the camera adapter 120.
  • FIG. 3 is a sequence diagram for explaining generation and transmission of
  • FIG. 8 is a diagram for explaining a captured image and a background image of the camera.
  • FIG. 9 is a diagram for explaining the data format of the background image.
  • FIG. 10 is a block diagram illustrating a configuration example of the camera adapter 120 according to the embodiment.
  • FIG. 11 is a diagram illustrating the arrangement and field-of-view range of a plurality of imaging units in the embodiment.
  • FIG. 12 is a diagram illustrating an outline from photographing to generation of a wide visual field range in the embodiment.
  • FIG. 13 is a diagram illustrating processing of the abnormality detection unit in the embodiment.
  • FIG. 14 is a diagram illustrating the change of the output image in the embodiment.
  • FIG. 15 is a flowchart illustrating wide-field image generation processing according to the embodiment.
  • FIG. 16A is a diagram illustrating an outline of transmission processing in the embodiment.
  • FIG. 16B is a diagram illustrating an overview of transmission processing in the embodiment.
  • FIG. 17 is a diagram illustrating the change of the output image in the embodiment.
  • FIG. 18 is a diagram illustrating an outline of processing according to the embodiment.
  • FIG. 19 is a diagram illustrating processing of the imaging control unit of the embodiment.
  • FIG. 20 is a diagram illustrating an outline of processing in the embodiment.
  • FIG. 21 is a diagram illustrating processing in the embodiment.
  • the image processing system 100 includes sensor systems 110a to 110z, an image computing server 200, a controller 300, a switching hub 180, and an end user terminal 190.
  • a configuration in which a virtual viewpoint image is generated based on a plurality of captured images obtained from a plurality of cameras will be described.
  • the controller 300 includes a control station 310 and a virtual camera operation UI 330.
  • the control station 310 performs operation state management, parameter setting control, and the like for each block constituting the image processing system 100 through a network (310a to 310c, 180a, 180b) and a daisy chain (170a to 170y).
  • the network may be GbE (Gigabit Ethernet) or 10 GbE, which is an Ethernet (registered trademark) standard, or may be configured by combining interconnect Infiniband, industrial Ethernet, and the like.
  • GbE Gigabit Ethernet
  • 10 GbE which is an Ethernet (registered trademark) standard
  • the sensor systems 110a to 110z are connected by a daisy chain (170a to 170y).
  • the sensor system 110 when it is not necessary to distinguish the 26 sets of systems from the sensor systems 110a to 110z, they are referred to as the sensor system 110.
  • the devices in each sensor system 110 are described as a microphone 111, a camera 112, a camera platform 113, an external sensor 114, and a camera adapter 120 when there is no need for distinction.
  • FIG. 1 shows a case where the number of sensor systems is 26 sets, this is merely an example, and the number of sensor systems is not limited to this.
  • the term “image” will be described as including the concept of a moving image and a still image unless otherwise specified. That is, the image processing system 100 according to the present embodiment can process both still images and moving images.
  • the virtual viewpoint content provided by the image processing system 100 includes a virtual viewpoint image and a virtual viewpoint sound
  • audio may not be included in the virtual viewpoint content.
  • the sound included in the virtual viewpoint content may be a sound collected by a microphone closest to the virtual viewpoint.
  • the description of the sound is partially omitted, but it is basically assumed that both the image and the sound are processed.
  • the sensor systems 110a to 110z each have one camera 112a to 112z. That is, the image processing system 100 includes a plurality of cameras for photographing the subject from a plurality of directions.
  • the plurality of sensor systems 110 are connected by a daisy chain (170a to 170y). With this connection form, there is an effect that the number of connection cables can be reduced and wiring work can be saved in increasing the capacity of image data as the captured image is increased to 4K or 8K and the frame rate is increased.
  • the connection form between the plurality of sensor systems 110 is not limited to this. For example, a star-type network configuration in which each of the sensor systems 110a to 110z is connected to the switching hub 180 and transmits and receives data between the sensor systems 110 via the switching hub 180 may be used.
  • FIG. 1 shows a configuration in which all of the sensor systems 110a to 110z are cascade-connected so as to form a daisy chain
  • the present invention is not limited to this.
  • a plurality of sensor systems 110 may be divided into several groups, and a connection form in which the sensor systems 110 are daisy chain connected in units of divided groups may be used.
  • the camera adapter 120 that is the end of each division unit may be connected to the switching hub and input an image to the image computing server 200.
  • Such a configuration is particularly effective in a stadium.
  • a stadium is composed of a plurality of floors and the sensor system 110 is deployed on each floor can be considered.
  • the system can be made flexible.
  • control of image processing in the image computing server 200 is switched depending on whether the number of camera adapters 120 that are connected in a daisy chain and input images to the image computing server 200 is one or two or more. . That is, control in the image computing server 200 is switched according to whether the sensor system 110 is divided into a plurality of groups.
  • the sensor system 110 is divided into a plurality of groups.
  • image data from all cameras is gathered by performing image transmission through daisy chain connection, and therefore the timing at which all image data is gathered in the image computing server 200 is synchronized. It has been taken. That is, if the sensor system 110 is not divided into groups, synchronization can be achieved.
  • the delay may differ depending on the lane (path) of each daisy chain. . For this reason, it is necessary to perform subsequent image processing while checking the collection of image data by performing synchronization control in which the image computing server 200 waits until image data from all the cameras are collected and synchronizes.
  • the sensor system 110 in this embodiment includes a microphone 111, a camera 112, a pan head 113, an external sensor 114, and a camera adapter 120.
  • the present invention is not limited to this configuration, and the sensor system 110 only needs to include at least one camera adapter 120 and one camera 112.
  • the sensor system 110 may be configured with one camera adapter 120 and a plurality of cameras 112, or may be configured with one camera 112 and a plurality of camera adapters 120. That is, the plurality of cameras 112 and the plurality of camera adapters 120 in the image processing system 100 correspond to N to M (N and M are both integers of 1 or more).
  • the sensor system 110 may include devices other than the microphone 111, the camera 112, the camera platform 113, and the camera adapter 120.
  • the front end server 230 may have at least a part of the functions of the camera adapter 120.
  • the sensor systems 110a to 110z have the same configuration, but the sensor systems 110a to 110z do not have to have the same configuration.
  • the sound collected by the microphone 111a of the sensor system 110a and the image photographed by the camera 112a and subjected to image processing described below are transmitted from the camera adapter 120a to the camera adapter 120b of the sensor system 110b through the daisy chain 170a. Is done.
  • the sensor system 110b transmits the collected sound and the captured image together with the image and sound transmitted from the sensor system 110a to the sensor system 110c.
  • images and sounds acquired by the sensor systems 110a to 110z are transmitted from the sensor system 110z to the switching hub 180 using the network 180b. Then, the image and sound transmitted to the switching hub 180 are transmitted from the switching hub 180 to the image computing server 200.
  • the cameras 112a to 112z and the camera adapters 120a to 120z are separated from each other. However, they may be integrated in the same casing. In that case, the microphones 111a to 111z may be incorporated in the integrated camera 112 or may be connected to the outside of the camera 112.
  • the image computing server 200 of this embodiment processes data acquired from the sensor system 110z.
  • Data acquired from the sensor system 110z by the daisy chain described above includes image data acquired by the sensor systems 110a to 110z.
  • the image computing server 200 includes a front end server 230, a database 250, a back end server 270, and a time server 290.
  • the time server 290 has a function of distributing time and synchronization signals, and distributes time and synchronization signals to the sensor systems 110a to 110z via the network 291 and the switching hub 180.
  • the camera adapters 120a to 120z that have received the time and the synchronization signal cause the cameras 112a to 112z to be Genlock based on the time and the synchronization signal, and perform image frame synchronization. That is, the time server 290 synchronizes the shooting timings of the plurality of cameras 112.
  • the time server 290 manages time synchronization of the plurality of cameras 112, but is not limited thereto. For example, each camera 112 or each camera adapter 120 may perform processing for time synchronization independently.
  • the front-end server 230 reconstructs the segmented transmission packet from the image and sound acquired from the sensor system 110z and converts the data format, and then stores it in the database 250 according to the camera identifier, data type, and frame number. Write. As a result, the database 250 stores a frame number, image, and audio data in association with each camera.
  • the back-end server 270 accepts the designation of the viewpoint from the virtual camera operation UI 330, reads the corresponding image and audio data from the database 250 based on the accepted viewpoint, performs rendering processing, and outputs the virtual viewpoint image and the temporary viewpoint audio. Generate.
  • the configuration of the image computing server 200 is not limited to this.
  • at least two of the front-end server 230, the database 250, and the back-end server 270 may be configured integrally.
  • a plurality of at least one of the front-end server 230, the database 250, and the back-end server 270 may be included.
  • a device other than the above devices may be included in an arbitrary position in the image computing server 200.
  • the end user terminal 190 and the virtual camera operation UI 330 may have at least a part of the functions of the image computing server 200.
  • the rendered image (virtual viewpoint image) is transmitted from the back-end server 270 to the end user terminal 190.
  • a user who operates the end user terminal 190 can view images and sounds according to the designation of the viewpoint. That is, the back-end server 270 generates virtual viewpoint content based on captured images (multiple viewpoint images) captured by the plurality of cameras 112 and viewpoint information. More specifically, for example, the back-end server 270 uses a virtual viewpoint based on image data of a predetermined area extracted from images captured by the plurality of cameras 112 by a plurality of camera adapters 120 and a viewpoint specified by a user operation. Generate content. Then, the back-end server 270 provides the generated virtual viewpoint content to the end user terminal 190. Details of extraction of the predetermined area by the camera adapter 120 will be described later.
  • the virtual viewpoint content in the present embodiment is content including a virtual viewpoint image as an image obtained when a subject is photographed from a virtual viewpoint.
  • the virtual viewpoint image is an image representing the appearance at the designated viewpoint.
  • the virtual viewpoint may be specified by the user, or may be automatically specified based on the result of image analysis or the like. That is, the virtual viewpoint image may be an arbitrary viewpoint image (free viewpoint image) corresponding to a viewpoint arbitrarily designated by the user, an image corresponding to the viewpoint designated by the user from a plurality of candidates, or an apparatus automatically. It may be an image corresponding to a specified viewpoint.
  • audio data audio data
  • the back-end server 270 converts the virtual viewpoint image to H.264.
  • the data may be compressed and encoded by a standard technique typified by H.264 or HEVC and transmitted to the end user terminal 190 using the MPEG-DASH protocol.
  • the virtual viewpoint image may be transmitted to the end user terminal 190 without being compressed.
  • the former performing compression encoding assumes a smartphone or a tablet as the end user terminal 190
  • the latter not performing compression encoding assumes a display capable of displaying an uncompressed image as the end user terminal 190.
  • the image format may be switched according to the type of the end user terminal 190.
  • the image transmission protocol is not limited to MPEG-DASH, and for example, HLS (HTTP Live Streaming) or other transmission methods may be used.
  • the image processing system 100 has three functional domains: a video collection domain, a data storage domain, and a video generation domain.
  • the video collection domain includes sensor systems 110a to 110z
  • the data storage domain includes a database 250, a front-end server 230, and a back-end server 270
  • the video generation domain includes a virtual camera operation UI 330 and an end user terminal 190.
  • the virtual camera operation UI 330 may directly acquire images from the sensor systems 110a to 110z.
  • a method of arranging data storage functions in the middle is used instead of a method of directly acquiring images from the sensor systems 110a to 110z.
  • the front-end server 230 converts image data and audio data generated by the sensor systems 110 a to 110 z and meta information of those data into a common schema and data type of the database 250.
  • the front end server 230 can absorb the change caused by the change of the model and register it in the database 250.
  • the camera 112 is changed to another model camera, it is possible to reduce a possibility that the virtual camera operation UI 330 does not operate properly.
  • the virtual camera operation UI 330 is configured to access via the backend server 270 without directly accessing the database 250.
  • the back-end server 270 performs common processing related to image generation processing, and the virtual camera operation UI 330 performs a difference portion of the application related to the operation UI.
  • the back-end server 270 can add or delete common processing related to image generation processing in response to a request from the virtual camera operation UI 330. Accordingly, it is possible to flexibly respond to the request of the virtual camera operation UI 330.
  • the virtual viewpoint image is generated by the back-end server 270 based on the image data based on the photographing by the plurality of cameras 112 for photographing the subject from a plurality of directions.
  • the image processing system 100 in the present embodiment is not limited to the physical configuration described above, and may be logically configured.
  • the camera adapter 120 includes a network adapter 410, a transmission unit 420, an image processing unit 430, and an external device control unit 440.
  • the network adapter 410 includes a data transmission / reception unit 411 and a time control unit 412.
  • the data transmission / reception unit 411 transmits / receives data to / from another camera adapter 120 via the daisy chain 170.
  • the camera adapters (120a, 120z) at the first stage and the last stage of the daisy chain 170 perform data communication with the front end server 230, the time server 290, and the control station 310 via the networks 180a, 180b.
  • the data transmission / reception unit 411 outputs the foreground image and the background image separated by the foreground / background separation unit 431 from the image captured by the camera 112 to the other camera adapter 120.
  • the output camera adapter 120 is the next camera adapter 120 in the order determined in advance according to the processing of the data routing processing unit 422 among the camera adapters 120 in the image processing system 100.
  • Each camera adapter 120 outputs a foreground image and a background image, thereby generating a virtual viewpoint image based on the foreground image and the background image taken from a plurality of viewpoints.
  • the time control unit 412 has a function of storing a time stamp of data transmitted to and received from the time server 290 and a function of performing time synchronization with the time server 290 in conformity with, for example, the IEEE 1588 standard Ordinary Clock.
  • IEEE 1588 is not limited to IEEE 1588, and time synchronization with the time server 290 may be realized by another EtherAVB standard or a unique protocol.
  • NIC Network Interface Card
  • the network adapter 410 is not limited to NIC, and other similar interfaces may be used.
  • IEEE 1588 has been updated as a standard, such as IEEE 1588-2002 and IEEE 1588-2008, and the latter is also called PTPv2 (Precision Time Protocol Version 2).
  • the transmission unit 420 has a function of controlling transmission of data to the switching hub 180 and the like via the network adapter 410, and includes the following functional units.
  • the data compression / decompression unit 421 has a function of compressing data transmitted / received via the data transmission / reception unit 411 by applying a predetermined compression method, compression rate, and frame rate, and a function of decompressing the compressed data have.
  • the data routing processing unit 422 determines the routing destination of the data received by the data transmitting / receiving unit 411 and the data processed by the image processing unit 430 using data held by the data routing information holding unit 425 described later. Further, the data routing processing unit 422 has a function of transmitting data to the determined routing destination. As a routing destination, it is preferable to use the camera adapter 120 corresponding to the camera 112 focused on the same gazing point in performing image processing. This is because the image frame correlation between the cameras 112 increases. In accordance with the determination by the data routing processing unit 422 of each of the plurality of camera adapters 120, the order of the camera adapters 120 that output the foreground image and the background image in the relay format in the image processing system 100 is determined.
  • the synchronization control unit 423 has a function of performing processing related to time synchronization with the time server 290 in accordance with IEEE 1588 standard PTP (Precision Time Protocol). In addition, it is not limited to PTP, and time synchronization may be performed using another similar protocol.
  • PTP Precision Time Protocol
  • the image / sound transmission processing unit 424 has a function of creating a message for transmitting image data or sound data to another camera adapter 120 or the front-end server 230 via the data transmission / reception unit 411.
  • the message includes image data or audio data, and meta information of each data.
  • the meta information of the present embodiment includes a time code or sequence number when an image is taken or audio is sampled, a data type, an identifier indicating an individual of the camera 112 or the microphone 111, and the like.
  • image data or audio data to be transmitted may be data compressed by the data compression / decompression unit 421.
  • the image / sound transmission processing unit 424 receives a message from another camera adapter 120 via the data transmission / reception unit 411.
  • the image / audio transmission processing unit 424 restores the data information fragmented to the packet size specified by the transmission protocol into image data or audio data according to the data type included in the message. If data is compressed when the data is restored, the data compression / decompression unit 421 performs decompression processing.
  • the data routing information holding unit 425 has a function of holding address information for determining a transmission destination of data transmitted / received by the data transmitting / receiving unit 411.
  • the image processing unit 430 has a function of processing image data captured by the camera 112 and image data received from another camera adapter 120 under the control of the camera control unit 441.
  • the image processing unit 430 includes a foreground / background separation unit 431, a 3D model information generation unit 432, and a calibration control unit 433.
  • the foreground / background separator 431 has a function of separating image data captured by the camera 112 into a foreground image and a background image. That is, the foreground / background separation unit 431 extracts a predetermined region from an image captured by the corresponding camera 112 (the camera 112 connected to the camera adapter 120) of the plurality of cameras 112.
  • the predetermined area is, for example, a foreground image obtained as a result of object detection on the photographed image, and the foreground / background separation unit 431 separates the photographed image into the foreground image and the background image by this extraction.
  • the object is, for example, a person.
  • the object may be a specific person (player, manager, and / or referee, etc.), or may be an object with a predetermined image pattern such as a ball or a goal.
  • a moving object may be detected as the object.
  • An image of a portion corresponding to the object of the virtual viewpoint image generated in the image processing system 100 by separating and processing a foreground image including an important object such as a person and a background region not including such an object Can improve the quality. Further, the foreground and the background are separated by each of the plurality of camera adapters 120, whereby the load on the image processing system 100 including the plurality of cameras 112 can be distributed.
  • the predetermined area is not limited to the foreground image, but may be a background image, for example.
  • the 3D model information generation unit 432 uses the foreground image separated by the foreground / background separation unit 431 and the foreground image received from the other camera adapter 120, and uses, for example, the principle of a stereo camera to obtain image information related to the 3D model. It has the function to generate.
  • the calibration control unit 433 has a function of acquiring image data necessary for calibration from the camera 112 via the camera control unit 441 and transmitting the image data to the front-end server 230 that performs arithmetic processing related to calibration. .
  • calculation processing related to calibration is performed by the front-end server 230, but a node that performs calculation processing is not limited to the front-end server 230.
  • the arithmetic processing may be performed in other nodes such as the control station 310 and the camera adapter 120 (including other camera adapters 120).
  • the calibration control unit 433 has a function of performing calibration during shooting (dynamic calibration) on the image data acquired from the camera 112 via the camera control unit 441 according to a preset parameter. is doing.
  • the external device control unit 440 has a function of controlling a device connected to the camera adapter 120.
  • the external device control unit 440 includes a camera control unit 441, a microphone control unit 442, a pan head control unit 443, and a sensor control unit 444 as functional blocks.
  • the camera control unit 441 is connected to the camera 112 and has functions of controlling the camera 112, acquiring a captured image, providing a synchronization signal, setting a time, and the like.
  • the control of the camera 112 is, for example, setting and referring to shooting parameters (such as the number of pixels, color depth, frame rate, and white balance), and the state of the camera 112 (shooting, stopping, synchronizing, error, etc.). Includes acquisition, shooting start / stop, and focus adjustment instructions.
  • focus adjustment is performed via the camera 112.
  • the camera adapter 120 is connected to the lens, and the camera adapter 120 directly zooms and zooms. Lens adjustment such as focusing may be performed.
  • the camera adapter 120 may perform lens adjustment such as zoom and focus via the camera 112.
  • the synchronization signal provision is performed by providing the camera 112 with the photographing timing (control clock) using the time when the synchronization control unit 423 synchronizes with the time server 290.
  • the time setting is performed by providing the time at which the synchronization control unit 423 synchronizes with the time server 290 using, for example, a time code conforming to the SMPTE12M format.
  • the provided time code is added to the image data received from the camera 112.
  • the format of the time code is not limited to SMPTE12M, and may be another format.
  • the camera control unit 441 may not provide the time code to the camera 112 but may add the time code to the image data received from the camera 112.
  • the microphone control unit 442 is connected to the microphone 111, and has a function of controlling the microphone 111, starting and stopping sound collection, and obtaining collected sound data.
  • the control of the microphone 111 is, for example, gain adjustment, status acquisition, and the like.
  • the microphone control unit 442 provides audio sampling timing and time code to the microphone 111.
  • clock information that is the timing of audio sampling
  • the time information from the time server 290 is converted into a word clock of 48 KHz, for example, and supplied to the microphone 111.
  • the pan head control unit 443 is connected to the pan head 113 and has a function of controlling the pan head 113. Examples of the control of the camera platform 113 include pan / tilt control and pan / tilt state acquisition.
  • the sensor control unit 444 is connected to the external sensor 114 and has a function of acquiring sensor information sensed by the external sensor 114. For example, when a gyro sensor is used as the external sensor 114, information representing vibration (vibration information) can be acquired.
  • the image processing unit 430 can generate an image in which vibration is suppressed prior to processing by the foreground / background separation unit 431 using the vibration information acquired by the sensor control unit 444. For example, it is used when image data of an 8K camera is cut out with a size smaller than the original 8K size in consideration of vibration information and is aligned with an image of an adjacent camera 112.
  • the sensor of the sensor system 110 is not limited to the external sensor 114, and may be built in the camera 112 or the camera adapter 120, for example.
  • the camera control unit 441 acquires a captured image from the camera 112 connected to the camera control unit 441 (S501).
  • the foreground / background separation unit 431 separates the captured image acquired in S501 into a foreground image and a background image (S502).
  • the foreground image in the present embodiment is an image determined based on a detection result of a predetermined object with respect to a captured image acquired from the camera 112.
  • the predetermined object is, for example, a person. However, the object may be a specific person (player, manager, and / or referee, etc.), or may be an object with a predetermined image pattern such as a ball or a goal. A moving object may be detected as the object.
  • the data compression / decompression unit 421 performs compression processing of the separated foreground image and background image (S503). Lossless compression is performed on the foreground image, and the foreground image maintains high image quality. The background image is compressed with loss, and the amount of transmission data is reduced.
  • the image / sound transmission processing unit 424 transmits the compressed foreground image and background image to the next camera adapter 120 via the data transmission / reception unit 411 (S504).
  • the background image may be transmitted by thinning out the transmission frame instead of transmitting every frame. For example, when the captured image is 60 fps, the foreground image is transmitted every frame, but the background image is transmitted only one frame out of 60 frames per second. As a result, there is a specific effect that the amount of transmission data can be reduced.
  • the image / sound transmission processing unit 424 may add meta information when transmitting the foreground image and the background image to the next camera adapter 120.
  • the identifier of the camera adapter 120 or the camera 112 the position (xy coordinates) of the foreground image in the frame, the data size, the frame number, the shooting time, and the like can be given as meta information.
  • gazing point group information for identifying a gazing point, data type information for identifying a foreground image and a background image, and the like may be added as meta information.
  • the content of data given as meta information is not limited to these, and other data may be given.
  • the camera adapter 120 transmits data through the daisy chain, only the captured image of the camera 112 having a high correlation with the camera 112 connected to the camera adapter 120 is selectively processed, thereby reducing the transmission processing load on the camera adapter 120. Can be reduced. Further, in the daisy chain transmission, robustness can be ensured by configuring the system so that the data transmission between the camera adapters 120 does not stop even if any camera adapter 120 fails.
  • FIG. 7 is a diagram for explaining a gaze point and a camera arrangement in the present embodiment.
  • Each camera 112 is installed such that the optical axis faces a specific gazing point 702.
  • the cameras 112 classified into the same gaze point group 701 are installed so as to face the same gaze point 702.
  • the image processing system 100 shown in FIG. 1 includes 26 cameras 112 and a camera adapter 120.
  • two cameras (112b and 112c) and four camera adapters (120a and 120b) are included.
  • 120c, 120d The camera 112b and the camera adapter 120b, and the camera 112c and the camera adapter 120c are connected to each other.
  • the cameras (112a and 112d) connected to the camera adapter 120a and the camera adapter 120d, the microphone 111, the camera platform 113, and the external sensor 114 connected to each camera adapter 120 are omitted. Also, it is assumed that the camera adapters 120a to 120d have completed time synchronization with the time server 290 and are in a shooting state.
  • the camera 112b and the camera 112c transmit the shot image (1) and the shot image (2) to the camera adapters 120b and 120c, respectively (F301, F302).
  • the camera adapters 120b and 120c perform calibration processing in the calibration control unit 433 on the received captured image (1) or captured image (2) (F303, F304).
  • the calibration process is, for example, color correction or blur correction. Although the calibration process is performed in the present embodiment, it is not always necessary to perform the calibration process.
  • foreground / background separation processing is performed by the foreground / background separation unit 431 on the photographed image (1) or the photographed image (2) that has been subjected to calibration processing (F305, F306).
  • the separated foreground image and background image are compressed by the data compression / decompression unit 421 (F307, F308).
  • the compression rate may be changed according to the importance of the separated foreground image and background image. In some cases, compression may not be performed.
  • the camera adapter 120 compresses at least the background image of the foreground image and the background image and outputs the compressed image to the next camera adapter 120 so that the compression ratio of the foreground image is lower than that of the background image.
  • the foreground image including an important shooting target is subjected to lossless compression, and the background image not including the shooting target is compressed with loss.
  • the data amount transmitted to the next camera adapter 120c or the camera adapter 120d after this can be reduced efficiently.
  • the amount of transmitted data is reduced. It can be greatly reduced.
  • the camera adapter 120b or the camera adapter 120c may change the frame rate of the image output to the next camera adapter 120c or the camera adapter 120d according to the importance. For example, output a foreground image that includes important shooting targets at a high frame rate, and output a background image that does not include shooting targets at a low frame rate so that the output frame rate of the background image is lower than the foreground image. May be. As a result, the amount of data transmitted to the next camera adapter 120c or camera adapter 120d can be further reduced. Further, the compression rate and the transmission frame rate may be changed for each camera adapter 120 in accordance with the installation location of the camera 112, the shooting location, and / or the performance of the camera 112.
  • the camera adapter 120 may transmit an image excluding the spectator seat portion from the background image.
  • image rendering focused on players in the game is performed by using the stadium three-dimensional structure generated in advance, and the amount of data transmitted and stored in the entire system can be reduced. The effect that it can be obtained.
  • each camera adapter 120 transmits the compressed foreground image and background image to the adjacent camera adapter 120 (F310, F311, F312).
  • the foreground image and the background image are transmitted simultaneously, but each may be transmitted separately.
  • the camera adapter 120b transmits the foreground image and the background image received from the camera adapter 120a to the camera adapter 120c (F315).
  • the camera adapter 120c transmits the foreground image and the background image to the camera adapter 120d.
  • the foreground image and the background image are transmitted simultaneously, but each may be transmitted separately.
  • the camera adapter 120c transmits the foreground image and the background image created by the camera adapter 120b and received from the camera adapter 120b to the camera adapter 120d (F316). Further, the camera adapter 120c transmits the foreground image and the background image created by the camera adapter 120a and received from the camera adapter 120b to the camera adapter 120d (F317).
  • FIG. 4 shows a case where a captured image cannot be obtained due to a failure of the camera 112b or the camera adapter 120b. In the following description, it is assumed that the camera adapter 120b has failed.
  • the camera 112b and the camera 112c transmit the shot image (1) and the shot image (2) to the camera adapters 120b and 120c, respectively (F401, F402). Since the camera adapter 120b is out of order, the captured image (1) cannot be received from the camera 112b, and the calibration process cannot be performed in the calibration control unit 433 (F403). In addition, the foreground / background separation processing cannot be performed by the foreground / background separation unit 431 (F405). Further, the foreground image and the background image cannot be compressed by the data compression / decompression unit 421 (F407). Further, since the camera adapter 120b does not generate the foreground / background image (1), it cannot be transmitted to the camera adapter 120c (F411).
  • the calibration control unit 433 performs a calibration process on the captured image (2) received from the camera 112c (F404).
  • the foreground / background separation unit 431 performs the foreground / background separation process on the calibrated captured image (2) (F406).
  • the data compression / decompression unit 421 compresses the separated foreground image and background image (F408).
  • the image / sound transmission processing unit 424 and the data transmission / reception unit 411 transmit the compressed foreground / background image (2) to the camera adapter 120d (F412).
  • the operations of F410, F415, and F416 are the same as those of F310, F315, and F316 in FIG.
  • the camera adapters 120b and 120c transmit foreground and background images transmitted between the camera adapters to the camera adapters 120c and 120d, respectively, in addition to the captured images of the connected cameras 112b and 112c.
  • the camera adapter 120b cannot receive the captured image (1) from the camera 112b due to a failure of the camera adapter 120b, the foreground / background image (1) is not generated. Therefore, the foreground / background image (1) cannot be transmitted from the camera adapter 120b to the camera adapter 120c.
  • the foreground / background separation unit 431 of the camera adapter 120c replaces the image captured by the camera 112c with an alternative background image ( 1) is generated (F413).
  • the data compression / decompression unit 421 compresses the generated background image (1) (F414).
  • the compressed background image (1) is transmitted to the camera adapter 120d by the image / sound transmission processing unit 424 and the data transmitting / receiving unit 411 (F416).
  • an alternative image may be generated and transmitted for both the foreground image and the background image, in this embodiment, only the alternative background image is generated and transmitted. The reason is as follows.
  • 8a in FIG. 8 shows a captured image
  • 8b in FIG. 8 shows a background image to be transmitted.
  • the background image has little movement, and the overlapping portion between the cameras 112a, 112b, 112c, and 112d is large. For this reason, as for the background image, the difference excluding the overlapping portion is transmitted to the next stage.
  • the strip-shaped background image shown by 8b of FIG. 8 has shown the difference of the background image obtained from a different camera, respectively.
  • the background image (1) is generated from the captured image (1) transmitted from the camera 112b by the camera adapter 120b, but from the captured image (2) temporarily held by the camera adapter 120c when the camera 112b fails.
  • a background image (1) is generated. That is, in the present embodiment, there is an overlapping area in the shooting range of the adjacent camera 112. Therefore, even if a certain camera 112 breaks down, a background image to be generated from an image captured by the failed camera can be generated from an image captured by the camera 112 adjacent to the failed camera.
  • a photographed image of the camera in which the abnormality is not detected among the plurality of cameras is used as an image of the photographing region of the camera in which the abnormality is detected.
  • a virtual viewpoint image is generated.
  • the background image is transmitted with the difference between adjacent cameras. Therefore, if the background image is not transmitted due to a camera failure, the difference portion is lost and compensated for from other images. I can't.
  • each part of the foreground image is overlapped by the foreground images from a plurality of cameras. Therefore, it is possible to complement at the time of synthesis without generating an alternative foreground image.
  • the transmission frame rate of the background image is lowered in order to reduce the amount of transmission data, if the background image is missing, the missing state continues for a long time. Therefore, in this embodiment, a substitute image is generated and transmitted for the background image, and no substitute image is generated for the foreground image.
  • the whole may be transmitted and the above differences may be transmitted.
  • the foreground image and the background image created by the camera adapters 120a to 120d are sequentially transmitted between the camera adapters 120 connected to the network and transmitted to the front end server 230.
  • the calibration processing, foreground / background separation processing, and compression processing of the camera adapter 120a and the camera adapter 120d are omitted.
  • the camera adapter 120a and the camera adapter 120d also perform the same processing as the camera adapter 120b and the camera adapter 120c, and create a foreground image and a background image.
  • the data transmission sequence between the four camera adapters 120 has been described here, the same processing is performed even if the number of camera adapters 120 increases.
  • the camera adapter 120 In response to the synchronization signal from the time server 290, the camera adapter 120 enters a state of waiting for data reception from the adjacent camera adapter 120 (S601).
  • the image / audio transmission processing unit 424 of the camera adapter 120 determines whether its own transmission mode is the bypass control mode (S602). In the bypass control mode, the image / sound transmission processing unit 424 transmits the data received from the previous camera adapter 120 to the next camera adapter 120 as it is (S606).
  • the image / sound transmission processing unit 424 executes the shooting of the corresponding camera 112 according to the synchronization signal and receives the shot image within a predetermined time from the camera adapter 120 in the previous stage. It is determined whether a background image has been received (S603). When the camera adapter 120 receives the foreground / background image within a predetermined time, for example, normal processing shown in F316 and F317 in FIG. 3 is performed (S604). If the foreground / background image cannot be received within the predetermined time, it is determined that there is a failure, and for example, the processing shown in F413 to F416 in FIG. 6 is performed. That is, the foreground / background separation unit 431 generates a missing background image that cannot be received, and the image / sound transmission processing unit 424 transmits the generated background image to the adjacent camera adapter (S605).
  • FIG. 9 is a diagram showing the data format of the background image transmitted between the camera adapters 120.
  • the transmitted background image includes header information and background image data.
  • the header information further includes a transmission source ID, a gaze point ID, a frame number, a data type, and image area information.
  • the transmission source ID is an ID indicating the camera adapter 120 that is the transmission source.
  • the gazing point ID is an ID indicating the gazing point of the camera 112 connected to the camera adapter 120 that is the transmission source.
  • the frame number indicates the shooting time of the image data attached to the header information.
  • the data type is an ID indicating the type of data attached to the header information.
  • the image area information is coordinate information indicating the range of the gazing point area of the image accompanying the header information.
  • the camera adapter 120 collects the transmitted background image and the coordinate information in the gazing point area of the camera 112 connected to the camera adapter 120, and calculates the coordinate information of the missing background image. Then, a background image missing from the image taken by the camera 112 is generated. More specifically, the camera adapter 120 determines a cutout range of the captured image based on the coordinate information of the missing background image, and generates a missing background image from the determined cutout range image.
  • the coordinate of the background image which each camera 112 takes charge in normal time may be decided beforehand.
  • the coordinate information of the background image that needs to be generated can be obtained by specifying the transmission source ID of the background image that is not transmitted within the predetermined time.
  • the second embodiment will be described from a different point of view from the first embodiment.
  • a configuration in which a virtual viewpoint image is generated from images simultaneously captured by a plurality of cameras a configuration in which a captured image of the camera is complemented when some cameras break down or the power is turned off.
  • a technique for generating a composite image using captured images from a plurality of cameras for example, there is generation of a wide-field image (panoramic image) in addition to generation of an arbitrary viewpoint image.
  • a plurality of photographed images obtained by synchronous photographing of a plurality of cameras are transmitted to a computer (server), aggregated, and synthesized as a wide-field image.
  • shooting failure means that, for example, if shooting is not possible due to a camera failure or power off, or if the user moves greatly and shakes during continuous shooting, an object that moves suddenly during shooting will be reflected later. There are cases where matching of points becomes impossible.
  • the wide-field image generated in the second embodiment can also be used to generate a virtual viewpoint image. That is, the server of the present embodiment can generate a wide-field image from captured images of a plurality of cameras, and can generate a virtual viewpoint image using the wide-field image and viewpoint information regarding the position of the virtual viewpoint. The method for generating the virtual viewpoint image is as described in the first embodiment with reference to FIG.
  • FIG. 10 is a block diagram illustrating a configuration example of the camera adapter 120 in the sensor system 110 according to the second embodiment. 10, the same reference numerals as those in FIG. 2 are assigned to the same configurations as those in the first embodiment (FIG. 2).
  • the image processing unit 430 is provided with an abnormality detection unit 435 and a trimming unit 436.
  • the abnormality detection unit 435 detects the occurrence or presence of an abnormality in a captured image captured by the camera 112 or a partial image obtained from the captured image by trimming.
  • the trimming unit 436 performs trimming to cut out a partial area necessary for generating a wide-field image from the captured image.
  • the cameras 112a to 112z can be general digital cameras or digital video cameras.
  • Each camera 112 is arranged at a position where it can shoot different visual field ranges, and obtains a digital image by shooting a moving image at a predetermined frame rate. It is assumed that the shooting frame rate can be selected from 1 fps to 60 fps. However, the shooting frame rate is not limited to this. All the cameras 112 perform shooting at the same shooting frame rate and the same timing, that is, synchronous shooting.
  • the synchronization signal for the synchronized shooting is transmitted from the time server 290 to each sensor system 110, for example.
  • FIG. 11 is a diagram illustrating an example of the arrangement of the cameras 112.
  • the number and arrangement of cameras are not limited to those shown in FIG.
  • the camera 112 a captures the visual field range 1101
  • the camera 112 b captures the visual field range 1102.
  • the trimming unit 436 of the camera adapter 120 trims the captured image so as to leave an overlapping range necessary for subsequent wide-field image generation among the viewing range overlapping with the camera 112 of the other sensor system 110 (FIG. 12). Will be described later).
  • the trimmed image data is transmitted to the image computing server 200 (front-end server 230) by the image / sound transmission processing unit 424 and the data transmission / reception unit 411.
  • the purpose of trimming is to improve transmission efficiency.
  • the trimming range is defined in advance by the image generation method (wide-field image generation method) in the back-end server 270, and is assumed to be grasped by each camera adapter 120.
  • the data compression / decompression unit 421 of the camera adapter 120 performs data compression in order to improve transmission efficiency when transmitting image data to the network unit 103.
  • the data compression method is not particularly limited, and may be a reversible compression method such as JPEG-LS or an irreversible compression method such as MPEG.
  • the camera adapter 120z connected to the network 180b performs packing, packet division, addition of a network header, and the like to transmit the image data to the network, and transmits the image data to the network unit 103.
  • the sensor systems 110 are connected in a daisy chain, and the terminal sensor systems 110a and 110z are connected to the network.
  • Ethernet registered trademark
  • the captured image captured by the camera 112 becomes image data trimmed by the camera adapter 120 and is collected in the database 250 via the network 180b and the front-end server 230.
  • the network format is not particularly limited, and may be another network standard such as FDDI connected in a ring format using an optical fiber or InfiniBand used for high-speed transmission between servers.
  • Each unit connected to the network includes, for example, a 10 GBASE NIC (Network Interface Card) which is a 10 Gbit Ethernet (registered trademark) standard as a network IF.
  • the 10 GBASE Ethernet (registered trademark) standard is defined by IEEE (The Institute of Electrical and Electronics Engineers).
  • the database 250 as a storage medium includes, for example, an SSD (Solid State Drive).
  • a PC Personal Computer
  • WS Work Station
  • the user may select the optimal network IF and computer type according to the number of cameras 112, the resolution of data to be captured, the contents of trimming, and the connection format with the network unit.
  • the front-end server 230 stores the image data (strip image) transmitted from the sensor system 110 in the database 250. Therefore, the database 250 has a function as an image storage unit.
  • the back-end server 270 has a function of an image generation unit that generates a wide-field image (panoramic image) in a desired visual field range by combining image data groups stored in the database 250 as an image storage unit.
  • the back-end server 270 (image generation unit) and the database 250 (image storage unit) are included in the image computing server 200 and are physically the same, but may be configured separately.
  • the back-end server 270 is not limited to generating a panoramic image, and includes a function for pasting a captured image to a 3D model.
  • a 3D model of the space photographed by the camera 112 there is a case where there is a 3D model of the space photographed by the camera 112, and the correspondence between the photographed image and the spatial coordinates of the 3D model is obtained, and the photographed image is projected as a texture on the plane of the 3D model.
  • the 3D model is stored in advance in the image computing server 200, and the spatial positional relationship between each camera 112 and the 3D model can be grasped in advance.
  • CPU type and operating frequency there are no particular restrictions on the CPU type and operating frequency in the image computing server 200.
  • a coprocessor or a GPU may be used together for the purpose of accelerating the generation of an image.
  • An appropriate type of device may be selected according to the generation speed of the wide-field image required by the user.
  • a photographed image 1201 photographed by the camera 112 is trimmed in a field-of-view range necessary for the camera adapter 120, and image data shown as a rectangular partial image (strip image) 1202 is generated.
  • the partial image obtained by trimming is referred to as a strip image.
  • the name of the strip image is for convenience, and the strip image is not limited to a vertically long image.
  • each of the strip images has an overlapping range that overlaps with the adjacent strip image. In FIG. 12, ten strip images are used to generate a wide-field image, but the present invention is not limited to this.
  • the strip images generated by the sensor systems 110a to 110y by the daisy chain are transmitted to the sensor system 110z.
  • the strip images obtained from all the sensor systems including the strip image generated by itself are transmitted to the front end server 230 via the network 180b.
  • the front end server 230 aggregates and stores the transmitted strip images in the database 250.
  • the back-end server 270 generates a wide-field image using the strip image stored in the database 250.
  • the back-end server 270 cannot appropriately combine adjacent images, and the wide-field image Cannot be generated.
  • the anomaly detection unit 435 of the sensor system 110 detects an anomaly that an anomaly exists in the captured image, for example, when the camera 112 cannot capture an appropriate image.
  • An example of a captured image in which an abnormality exists is shown in FIG.
  • the abnormality detection unit 435 compares the captured image 1301 captured at time t with the camera 112 and the captured image 1302 captured at time t + 1.
  • the time t + 1 is the shooting timing of the synchronous shooting next to the synchronous shooting at a certain time t.
  • the region 1303 is greatly different.
  • the abnormality detection unit 435 detects an abnormality of the captured image when a change in the captured image that is greater than or equal to a threshold value occurs, and sends an abnormality notification to the camera adapter 120.
  • a region 1303 that is a difference between the captured image 1301 and the captured image 1302 is assumed to be a case where something is placed in front of the camera 112, for example. The same applies to the case where the camera 112 itself fails and the area 1303 cannot be captured correctly.
  • the method for detecting an abnormality is not limited to the above, and various other methods are conceivable.
  • the image comparison is performed on a pixel basis in the above description, but the comparison may be performed not on all pixels but on a pixel obtained as a result of thinning.
  • the camera 112 itself has a function of analyzing its own captured image, and when an abnormality occurs in the captured image, an abnormality flag may be set on the metadata attached to the captured image. .
  • the abnormality detection unit 435 detects the occurrence of an abnormality based on the abnormality flag.
  • an abnormality of a captured image may be detected by comparing images of adjacent cameras 112 having a close visual field range.
  • the camera adapter 120 changes the output image, that is, the strip image, by changing the trimming range for the captured image from the camera 112 when there is an abnormality detection notification from the previous sensor system 110. Note that if the trimming range cannot be changed in a captured image obtained under normal shooting conditions, the angle of view and / or the shooting direction of the camera 112 is changed.
  • the number of cameras 112 is ten.
  • a strip image in the region 1403 is cut out from the photographed image 1401 photographed by the camera 112 in charge of the strip 3, and a strip image in the region 1404 is cut out from the photographed image 1402 photographed by the camera 112 in charge of the strip 4.
  • the strip image of the area 1403 is transmitted from the camera adapter 120 of the camera 112 that is in charge of the strip 3.
  • the strip image of the area 1404 is transmitted from the camera adapter 120 of the camera 112 in charge of the strip 4.
  • 14b in FIG. 14 shows a case where an abnormality has occurred in the captured image 1401 output from the camera 112 in charge of the strip 3.
  • the camera adapter 120 detects an abnormality in the captured image 1401
  • the camera adapter 120 notifies that fact to the next sensor system 110 (the sensor system 110 to which the camera 112 in charge of the strip 4 belongs in FIG. 14b).
  • the camera adapter 120 triming unit 436) of the camera 112 in charge of the strip 4 adds the region 1405 corresponding to the strip 3 to the region 1404 corresponding to the strip 4 as a strip image. cut.
  • the camera adapter 120 in charge of the strip 4 does not transmit the strip image of the region 1403 in which the abnormality is detected, and the region 1406 including the region 1404 and the region 1405 of the photographed image 1402, that is, the strip including the strip 3 and the strip 4 region. Transmit the image as alternative data.
  • the changed area range information is added to the metadata area of the strip image in the area 1406. It is assumed that the area range information of the metadata area is given every frame.
  • the back-end server 270 can cope with a case where an abnormality occurs by combining based on the area range information of each frame.
  • the backend server 270 generates a wide-field image using an alternative strip image according to the notification information included in the meta information of the strip image.
  • the abnormality detection unit 435 detects an abnormality in the captured image of the camera 112
  • the detected abnormality may be notified to the back-end server 270 (image generation unit) via the network.
  • the contents of the abnormality notification are specifically the frame time (or frame number) at which the abnormality has occurred, the sensor system 110 instructed to change the output image, and the contents of the change.
  • the backend server 270 generates a wide-field image using an alternative strip image according to the notification information included in the meta information of the strip image. In this way, it is possible to omit the provision of the area range information to the metadata area in the sensor system 110.
  • the camera adapter 120 determines whether or not the shooting condition needs to be changed based on whether or not the image data metadata received from the previous stage includes information indicating the presence of an abnormality (S1501). For example, when the area of the strip image in the previous stage is not included in the captured image obtained under normal shooting conditions, it is necessary to change the shooting conditions such as the angle of view and / or the shooting direction of the camera 112. If it is determined that the shooting conditions need to be changed (YES in S1501), for example, the camera control unit 441 and the pan head control unit 443 change the shooting conditions of the camera 112 (S1502). If it is not necessary to change the shooting conditions (NO in S1501), the shooting conditions are returned to the normal state (S1503).
  • the camera adapter 120 determines whether it is a shooting timing by waiting for a synchronization signal from the front-end server 230 (S1504). If it is determined that the shooting timing is reached (YES in S1504), the camera control unit 441 executes shooting with the camera 112 to obtain a shot image (S1505).
  • the trimming unit 436 determines whether the trimming range needs to be changed based on whether the image data received from the previous stage includes information indicating the presence of an abnormality (S1506). If it is determined that the trimming range needs to be changed (YES in step S1506), the trimming unit 436 changes the trimming range so that the strip image including the previous strip image area is cut out from the captured image acquired in step S1505. Then, trimming is performed (S1507). That is, the trimming unit 436 trims the captured image acquired in step S1505 so as to include the strip image region that the user is responsible for and the strip image region that should be obtained from the sensor system 110 in the previous stage.
  • the trimming unit 436 performs normal trimming to cut out the strip image. That is, the trimming unit 436 trims the captured image acquired in step S1505 so as to obtain a strip image of itself.
  • the abnormality detection unit 435 checks whether or not the photographed image acquired in S1505 (or the strip image cut out in S1507 or S1508) is a photographed image having an abnormality (S1509). If the abnormality detection unit 435 determines that the captured image is abnormal (YES in S1510), the abnormality detection unit 435 notifies the image / audio transmission processing unit 424 to that effect (S1511). The image / sound transmission processing unit 424 describes the information indicating the presence in the metadata of the image data of the strip image cut out in S1507 or S1508.
  • the camera adapter 120 transmits the strip image and metadata obtained as described above to the sensor system 110 in the next stage together with the image data acquired by the upstream sensor system and transmitted to the camera adapter 120. (S1512). Further, the camera adapter 120 receives image data from the previous stage (S1513). The metadata of the image data received here is used for the determination in S1501 and S1506 described above.
  • each camera adapter 120 transmits the image data generated by itself together with the image data received from the previous sensor system 110.
  • the last-stage sensor system 110z transmits the image data generated by the sensor systems 110a to 110y and the image data generated by itself to the front-end server 230.
  • the front end server 230 stores the transmitted image data in the database 250.
  • the front end server 230 generates a wide-field image using image data necessary for generating a wide-field image stored in the database 250.
  • the strip images 1601, 1602, 1603, and 1604, which are image data, are strip images of strip 1, strip 2, strip 3, and strip 4 at the shooting time t, respectively.
  • the abnormality detection unit 435 detects an abnormality in the strip image 1602.
  • the detected abnormality of the strip image 1602 may be notified from the abnormality detection unit 435 to the sensor system 110 in the next stage, or may be recorded as metadata of the strip image 1602.
  • FIG. 16A shows transmission data groups 1607, 1608, and 1609 transmitted from each sensor system 110.
  • Each transmission data includes a strip image generated by itself and a strip image generated by the preceding sensor system 110.
  • transmission data 1605 including a strip image 1602 generated from a photographed image in which an abnormality has occurred is transmitted to the sensor system 110 of the adjacent strip 3.
  • the strip 3 at the photographing time t is included in the transmission data 1610 and transmitted to the sensor system 110 of the strip 4.
  • the sensor system 110 of the strip 3 recognizes that there is an abnormality in the shot image of the strip 2 at the previous time (shooting time t). Therefore, the sensor system 110 of the strip 3 changes the trimming area (imaging condition if necessary), generates a strip image 1606 of the strip 3 (shooting time t + 1) including the strip 2 area, and uses this as transmission data 1611. The data is transmitted to the sensor system 110 of the adjacent strip 4.
  • the strip image 1606 is image data including substitute data that substitutes for the strip 2 at the photographing time t.
  • the strip 2 is acquired normally at the shooting time t + 1, and the transmission data 1612 at the shooting time t + 2 is normal transmission data that does not include alternative data.
  • FIG. 16A not all data to be transmitted is illustrated for the sake of explanation. For example, there are past data from the shooting time t in the transmission data group 1607 at the shooting time t and the transmission data group 1608 at the shooting time t + 1, but the figure is complicated and unnecessary for explanation. Not shown.
  • the configuration described above is effective when there are a plurality of sensor systems 110 having the cameras 112, which are connected in a daisy chain and send photographing data to adjacent sensor systems 110.
  • the abnormality detection unit 435 that has detected the abnormality notifies the adjacent sensor system 110 that is the destination of the image data, and the adjacent sensor system 110 corresponds to this.
  • Such processing makes it possible to replace such image data with alternative data before the abnormal image data reaches the front-end server 230.
  • each sensor system 110 may be connected to the switching hub 180 in a star shape. Even when connected in a star shape, the camera 112 adjacent to each camera 112 can be set and defined as a logical structure such as a communication partner, so that this embodiment can be applied.
  • the trimming area is changed, and two continuous strip areas are set to 1 as shown in 14b of FIG. Although it is cut out as two strips, it is not limited to this.
  • the strip image corresponding to the area of the strip 3 and the strip image corresponding to the area of the strip 4 may be cut out from the captured image 1402 individually.
  • the strip image of the strip 3 and the transmission data 1611 including the alternative data 1620 separate from the strip 3 are transmitted.
  • the alternative data 1620 is a strip image obtained by the trimming unit 436 obtaining an image corresponding to the area of the strip 2 from the photographed image obtained at the photographing time t + 1, and the strip 2 at the photographing time t. Is used as alternative data.
  • the wide-field image is generated even if an abnormality occurs in the captured image in some of the plurality of cameras. Can be generated.
  • the content detected by the abnormality detection unit 435 is notified to the image generation unit of the back-end server 270, and the image generation unit that has received the notification responds. With such correspondence, the process of embedding in the metadata of the strip image transmitted by the camera adapter 120 becomes unnecessary.
  • the abnormality detection unit 435 notifies the abnormality of the captured image to the sensor system 110 in the next stage, and the trimming area is changed in the sensor system 110 in the next stage to complement the image data in which the abnormality has occurred. did.
  • the abnormality detection unit 435 that detects the abnormality of the image data notifies the two or more sensor systems 110 of the occurrence of the abnormality, so that the two or more sensor systems 110 change the trimming region, and the abnormality is detected.
  • the image data in which this occurs is shared and complemented.
  • the configuration of the third embodiment is the same as that of the second embodiment (FIGS. 1 and 10).
  • the processing (how to change the trimming area) of the camera adapter 120 that receives the notification from the abnormality detection unit 435 is different from that in the second embodiment.
  • the process of the third embodiment will be described with reference to FIG.
  • the number of sensor systems 110 in FIG. 17 is five, but it goes without saying that the number is not limited to this.
  • a region 1701 indicates the field of view of the entire wide field image.
  • an area 1702 in the area 1701 as the wide-field image is an area in charge of the sensor system 110 a of the strip 1.
  • the sensor system 110a of the strip 1 is in charge of the area 1702 at a normal time when no abnormality occurs in the captured image.
  • the strip 2 sensor system 110b is responsible for the area 1703
  • the strip 3 sensor system 110c is responsible for the area 1704
  • the strip 4 sensor system 110d is responsible for the area 1705
  • the strip 5 sensor system 110e is responsible for the area 1706.
  • the abnormality detection unit 435b of the sensor system 110b changes the trimming position for the purpose of changing the field of view for the sensor systems 110a, 110c, 110c, and 110e in charge of the strips 1, 3, 4, and 5, respectively.
  • Abnormal occurrence is indicated.
  • five cameras 112 allocate an equal area to the entire wide field of view, but if there is an abnormality in the captured image, the other four cameras 112 have no abnormality.
  • Change the trimming position so that the entire field of view is allocated in the image.
  • the sensor system 110 a changes the area of the strip image from the area 1702 to the area 1707.
  • the sensor systems 110c to 110e the strip image area is changed from the area 1704 to the area 1708, from the area 1705 to the area 1709, and from the area 1706 to the area 1710, respectively.
  • the size of the strip image output from the sensor system 110 of the strip 3 is larger than that of the other sensor systems 110 in the second embodiment.
  • the back-end server 270 that generates the wide-field image needs to handle the strip image including the areas 1404 and 1405 in FIG. 14b differently from the other strip images.
  • the size of the strip image can be changed uniformly, and the load in generating the wide-field image is reduced as compared with the second embodiment.
  • the third embodiment is particularly effective when an abnormal state of one camera continues for a relatively long period.
  • the abnormality detection unit 435 when an abnormality occurs in the captured image or the strip image, the abnormality detection unit 435 that detects the abnormality notifies at least a plurality of sensor systems 110 that should change the trimming area. Notification of abnormality may be performed via a daisy chain, or may be realized by other methods.
  • the abnormality detection unit 435 may notify the image computing server 200 and the image computing server 200 may notify the sensor system 110 that needs to change the trimming area.
  • a necessary trimming area is obtained from the position and size in the field-of-view range (area 1701) of the wide-field image of the strip image cut out by the instructed sensor system. Information necessary for obtaining the trimming area may be held in advance by each sensor unit, may be notified from a sensor system that notifies abnormality, or may be notified from the image computing server 200. Good.
  • all the cameras 112 have the same size as the strip region, and the image generation unit (back-end server 270) performs special processing only on the specific strip region. There is no need.
  • the trimming of the captured images from all the cameras (cameras 112a, 112c to 112e) other than the camera in charge of the strip 2 has been changed. is not.
  • the trimming of the captured images from the cameras 112a and 112c adjacent to the camera 112b may be changed to cover the area of the strip 2.
  • ⁇ Fourth embodiment> when an abnormality is detected in a captured image of a camera, a strip image to be obtained from the camera is trimmed using a normal captured image obtained from another camera. Complemented by the image obtained by changing the area of.
  • a buffer is provided in the sensor system 110 to hold a captured image that has been successfully acquired in preparation for a failed acquisition of the captured image.
  • the strip image in which an abnormality is detected is complemented using the captured image held in the buffer.
  • the configurations of the image processing system 100 and the camera adapter 120 of the fourth embodiment are the same as those of the second embodiment (FIGS. 1 and 10). The operation of the fourth embodiment will be described below with reference to FIG. Note that FIG. 18 illustrates an example in which the number of sensor systems 110 is ten.
  • FIG. 18 shows processing in the fourth embodiment in the case where there is an abnormality in the captured image.
  • the sensor system 110 includes a buffer 1802 as a temporary storage area for image data.
  • the buffer 1802 always holds a photographed image taken at the photographing time t ⁇ 1, which is the photographing timing immediately before the certain photographing time t in the synchronous photographing.
  • the abnormality detection unit 435 detects an abnormality in the captured image of the camera 112 in charge of the strip 3.
  • the camera adapter 120 generates a strip image by trimming the photographed image 1803 at the photographing time t ⁇ 1 held in the buffer 1802 as an alternative to the photographed image 1801 at the photographing time t when photographing failed.
  • Output data is assumed in which the abnormality detection unit 435 detects an abnormality in the captured image of the camera 112 in charge of the strip 3.
  • the camera adapter 120 generates a strip image by trimming the photographed image 1803 at the photographing time t ⁇ 1 held in the buffer 1802 as an alternative to the photographed image 1801
  • the captured image is held in the buffer 1802 in the above, the present invention is not limited to this.
  • the strip image obtained by trimming the captured image at the capturing time t-1 is held in the buffer 1802, and when an abnormality is detected in the captured image at the capturing time t, the strip image stored in the buffer 1802 is stored. You may make it transmit.
  • the buffer 1802 may hold a captured image or a strip image when the abnormality detection unit 435 detects no abnormality.
  • the buffer 1802 is provided for each sensor system 110 (for each camera 112).
  • the buffer 1802 may be provided in the database 250.
  • the camera adapter 120 sets a flag indicating imaging abnormality in the metadata attached to the strip image transmitted to the next stage. Since the database 250 stores normal images for the purpose of image generation, no additional storage area is required.
  • the front-end server 230 when a flag indicating a shooting abnormality is set in the metadata of the strip image at the shooting time t (the strip image obtained from the shot image 1801), the strip image at the past time t-1 in the buffer 1802. Are stored in the database 250 as alternative data of the shooting time t.
  • the abnormality detection unit 435 directly notifies the front-end server 230 of the abnormality, and the front-end server that has received the notification uses the image data (captured image 1803) at the past time t ⁇ 1 as the substitute data at the capture time t. To instruct.
  • the camera adapter 120 may transmit abnormality information indicating the occurrence of abnormality to the subsequent stage.
  • the fourth embodiment it is possible to generate a wide-field image without providing the sensor system or the image generation unit with a special function of changing the trimming range. Since the substitute data corresponds to the photographed image at the photographing time t ⁇ 1, there is a difference in photographing time from the other strip images. However, since the background image occupying a large part of the image data has a small temporal change, even if a strip image having a different time is used, the influence is small. In some cases, only some of the strip images become image data at the past time t ⁇ 1, so that it is not possible to match the strip images (image data) at other times t. In this case, the strip image at time t-1 may be used for other strip images.
  • FIG. 19 illustrates the case where the number of cameras 112 (sensor system 110) is ten.
  • the camera 112 performs continuous shooting at a fixed interval 1904 with a shooting time t ⁇ 1 (1901), a shooting time t (1902), and a shooting time t + 1 (1903). These shooting times are the shooting timings of synchronous shooting. Each photographing time is a time synchronized with all the cameras. Although not shown, continuous shooting is also performed at a constant interval 1904 at a time before the shooting time t ⁇ 1 and at a time after the shooting time t + 1. Here, it is assumed that photographing at the photographing time t (1902) has failed, an abnormality has occurred in the image data, and an abnormality has been detected. In this case, in the fifth embodiment, additional shooting is performed without waiting for the next shooting time t + 1 (1903). In FIG. 19, additional shooting is performed at time 1905.
  • the abnormality detection unit 435 When the abnormality detection unit 435 detects an abnormality in the image captured by the camera 112 at time 1902, the abnormality detection unit 435 instructs the camera control unit 441 to perform additional shooting. Upon receiving the instruction for additional shooting, the camera control unit 441 performs additional shooting at the fastest possible timing after receiving the instruction.
  • the case where the photographing at the photographing time t (1902) fails, but the case where the photographing succeeds at the photographing time 1905 is a case where the cause of the photographing failure is eliminated in a very short time. For example, there may be a case where an obstacle is reflected for a short time in front of the photographing device, but the obstacle moves immediately. Note that if the shooting failure continues even during the additional shooting at the shooting time 1905, the additional shooting is performed again before the shooting at the shooting time t + 1.
  • the normal captured image area 1907 obtained by performing additional imaging can be used as alternative image data.
  • the additional shooting time is earlier than time t + 1 (1903), which is the normal shooting time, and there is little difference from the shooting time t. Therefore, the difference between the images due to the time lag is smaller in the captured image obtained by the additional shooting compared to the captured image at the shooting time t + 1. If the time from detection of a shooting failure until additional shooting exceeds the shooting interval 1904, additional shooting is not performed and shooting at time t + 1 (1903), which is the next shooting time, is performed. Do.
  • the shooting time is recorded in metadata attached to image data.
  • the shooting time metadata is referred to in order to aggregate and use a plurality of image data at the same time.
  • image data obtained by additional photographing after the photographing time t and before the photographing time t + 1 is transmitted.
  • the back-end server 270 combines the image data in which the time closest to the shooting time t that should have been shot is recorded with the other image data shot at the shooting time t, so that the wide-field image is obtained. Generate.
  • the shooting time t of the synchronous shooting in which an abnormality of the shot image is detected may be recorded as the shooting time.
  • the shooting time t may be recorded in a strip image obtained by additional shooting at time 1905.
  • the back-end server 270 does not need to perform a special process on the shooting time on the metadata, and can perform a normal synthesis process.
  • the shooting frame rate of the camera 112 and the transmission frame rate of the camera adapter 120 are the same. Therefore, in principle, all captured data is transmitted.
  • the sixth embodiment it is possible to cope with a case where an abnormality occurs in a captured image by setting the captured frame rate higher than the transmission frame rate in advance.
  • the configurations of the image processing system 100 and the camera adapter 120 of the sixth embodiment are the same as those of the second embodiment (FIGS. 1 and 10). The operation of the sixth embodiment will be described below with reference to FIG. FIG. 20 illustrates the case where the number of cameras 112 is ten in this embodiment.
  • transmission of strip images is performed at intervals of transmission time T (time 2001, time 2002, time 2003).
  • the photographing of the camera 112 is performed at an interval of photographing time t (in this example, an interval of 1/12 of time T). That is, photographing is performed 12 times between transmission time T (2002) and transmission time T + 1 (2003).
  • the shooting time interval is 1/12 of the transmission time interval, but the present invention is not limited to this.
  • 2004 is an example of shooting timing by the camera 112.
  • the sensor system 110 includes a buffer that temporarily stores image data acquired from the captured image. If there is no abnormality in the captured image, the sensor system 110 updates the strip image stored in the buffer. At the transmission timing, the latest strip image stored in the temporary storage buffer is transmitted.
  • a normal captured image is acquired until time 2007 (period 2005), and an abnormality is detected in the captured image from the next imaging timing after imaging time 2007 to time 2002 (transmission time T). (Period 2006).
  • the image data stored in the temporary storage buffer is not updated.
  • the strip image obtained at the photographing time t-3 is held in the buffer as the latest strip image.
  • the last acquired normal captured image that is, a strip image obtained from the captured image at time 2007 is transmitted.
  • the image data at the shooting time 2007 is a strip image obtained from the shot image at the closest time before the time 2002 (transmission time T).
  • a captured image 2008 at time t, a captured image 2009 at time t-1, and a captured image 2010 at time t-2 are captured images at the time of capturing failure.
  • the buffer holds a strip image obtained from the photographed image 2011 at time t-3, and the strip image cut out from the photographed image 2011 is transmitted at the transmission time T.
  • the shooting time information on the metadata given to the shooting data is given a shooting time different from the transmission timing time, as in the fifth embodiment.
  • the transmission time T may be added to the alternative data as it is regardless of the actual shooting time.
  • ⁇ Seventh embodiment> when an abnormality is detected in a photographed image of the camera 112 (first camera) of a certain sensor system 110, the photographed image obtained by the camera 112 (second camera) of the sensor system 110 in the next stage. Substitute data is generated from Therefore, when a photographed image in which an abnormality is detected is obtained from the first camera, the substitute data is generated from the photographed image obtained from the second camera arranged at a position and orientation different from the first camera. Is done.
  • the substitute data for the first camera is generated using the captured image obtained from the second camera, the positional relationship between the first camera and the second camera is considered. .
  • the configurations of the image processing system 100 and the camera adapter 120 of the sixth embodiment are the same as those of the second embodiment (FIGS. 1 and 10).
  • the strip image corresponding to the second camera and the substitute data for the strip image corresponding to the first camera are acquired separately.
  • the trimming process of the camera adapter 120 according to the seventh embodiment will be described with reference to FIG. Similar to the processing of the second embodiment, a case is assumed where the strip image of the strip 3 (image data of the region 2101) is abnormal.
  • the sensor system 110 in charge of the strip 4 adds a strip image (region 2103) in addition to the strip image (region 2102) of the strip 4, and uses the image of the region 2103 as substitute data for the region 2101 of the strip 3.
  • the process up to this point is the same as in the second embodiment.
  • processing that considers the difference in the arrangement of the camera 112a in charge of the strip 3 and the camera 112b in charge of the strip 4 is added to the image data in the area 2103.
  • the camera 112a in charge of the strip 3 and the camera 112b in charge of the strip 4 have overlapping portions in the field of view to be photographed, but in the region 2101 and the region 2103, an image due to a difference in camera position and orientation. Differences occur as data.
  • parameters related to the position and orientation of the camera are shared between the sensor systems 110 in advance. Then, when changing the trimming range as alternative data of the other sensor system 110, geometric correction processing is performed on the alternative data based on the difference in the photographing position by the camera.
  • geometric correction processing is performed on the data in the area 2103 so that the position and orientation difference (conceptually indicated by an angle 2104 in the figure) matches the data photographed from the camera 112 a in charge of the strip 3.
  • An angle 2104 is a difference between the position and orientation of the strip 4 camera 112 b with respect to the area 2103 and the position and orientation of the strip 3 camera 112 a with respect to the area 2101. The difference between the positions and orientations is caused by the difference between the physical arrangement positions of the cameras 112a and 112b.
  • correction processing homography (projection transformation matrix) that matches the shooting plane of another camera is obtained from the camera position and orientation parameters that have been grasped in advance, and matrix calculation is performed on the data in the alternative data area portion.
  • correction processing it is possible to obtain alternative data as if it were photographing data by the camera 112a in charge of the strip 3.
  • the correction processing described above can also be applied to the strip image 1606 obtained in FIG. 16A. In that case, the correction process may be applied to a portion corresponding to the area of the strip 2 in the strip image 1606 (the area 1405 of 14b in FIG. 14).
  • the abnormality detection unit 435 is provided for each sensor system 110, that is, for each camera 112.
  • a single abnormality detection unit 435 may detect the presence of abnormality in the captured images or strip images of the plurality of sensor systems 110. In this case, the single abnormality detection unit 435 notifies the sensor system 110 from which the photographed image in which the abnormality is detected is acquired that the photographed image or the strip image has an abnormality.
  • a single abnormality detection unit 435 can be configured to notify two or more sensor units that require trimming change.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus execute the program. It can also be realized by a process of reading and executing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus execute the program. It can also be realized by a process of reading and executing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • ASIC application specific integrated circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムは、複数のカメラのうち、少なくとも１つのカメラの異常を検知し、異常が検知されたカメラの撮影領域の画像として、複数のカメラのうち、異常が検知されていないカメラの撮影画像を用いて仮想視点画像を生成する。

Description

画像処理システム、画像処理装置、及び、制御方法
　本発明は、被写体を複数の方向から撮影するための複数のカメラを含む画像処理システムに関する。
　昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高い臨場感を与えることが出来る。
　複数視点画像に基づく仮想視点コンテンツは、サーバなどの画像処理部が複数のカメラにより撮影された画像を集約し、三次元モデルを生成し、レンダリングなどの処理を施すことで生成され、閲覧のためにユーザ端末に伝送される。
　特許文献１には、複数のカメラを同一の範囲を取り囲むように配置して、その同一の範囲を複数のカメラで撮影した画像を用いて、任意の仮想視点画像を生成、表示する技術が開示されている。
特開２０１４－２１５８２８号公報
　しかしながら、複数のカメラのうち１つ以上のカメラの状態によっては、適切な仮想視点画像が生成されなくなる恐れがあった。例えば、複数のカメラの間をデイジーチェーン接続するなどしてネットワークの伝送負荷を低減する画像システムにて仮想視点画像を生成する場合において、複数のカメラのうち一部が故障したり、電源が落ちたり、カメラの前に物が置かれたりする場合がありうる。このような場合、例えば、故障したカメラよりもデイジーチェーン接続において前段のカメラによる撮影画像が仮想視点画像の生成のために使用できなくなる可能性がある。そうすると、仮想視点画像の一部に抜けが生じたり、画質が低くなったりする恐れがある。また、上記の課題は、デイジーチェーンではなく、例えばスター型でカメラとサーバを接続するシステムにおいても生じうる。さらに、仮想視点画像の生成に限らず、パノラマ画像など、複数のカメラの撮像画像を用いて画像を生成する場合においても、同様の課題が生じうる。
　本発明の一実施形態では、上記の課題に鑑みてなされたものであり、複数のカメラによる撮影画像から適切な画像が生成されなくなる可能性を低減する画像処理システムが開示される。
　上記の目的を達成するための、本発明の一態様による画像処理システムは、以下の構成を有する。すなわち、
　被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムであって、
　前記複数のカメラのうち、少なくとも１つのカメラの異常を検知する検知手段と、
　前記検知手段により異常が検知されたカメラの撮影領域の画像として、前記複数のカメラのうち、前記検知手段により異常が検知されていないカメラの撮影画像を用いて仮想視点画像を生成する生成手段とを有する。
　本発明によれば、複数のカメラによる撮影画像から適切な画像が生成されなくなる可能性を低減できる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
図１は、第１実施形態の画像処理システム１００の構成例を示すブロック図である。 図２は、カメラアダプタ１２０の機能構成例を説明するブロック図である。 図３は、通常時の前景・背景画像の生成および伝送を説明するシーケンス図である。 図４は、障害時の前景・背景画像の生成および伝送を説明するシーケンス図である。 図５は、前景・背景画像の生成および伝送を説明するフローチャートである。 図６は、前景・背景画像の生成および伝送を説明するフローチャートである。 図７は、カメラおよびカメラアダプタの配置例を説明する図である。 図８は、カメラの撮影画像および背景画像について説明する図である。 図９は、背景画像のデータフォーマットを説明する図である。 図１０は、実施形態のカメラアダプタ１２０の構成例を示すブロック図である。 図１１は、実施形態における複数の撮影部の配置と視野範囲を示す図である。 図１２は、実施形態における撮影から広視野範囲の生成までの概要を示す図である。 図１３は、実施形態における異常検知部の処理を説明する図である。 図１４は、実施形態における出力画像の変更を説明する図である。 図１５は、実施形態の広視野画像生成処理を示すフローチャートである。 図１６Ａは、実施形態における伝送処理の概要を説明する図である。 図１６Ｂは、実施形態における伝送処理の概要を説明する図である。 図１７は、実施形態における出力画像の変更を説明する図である。 図１８は、実施形態の処理概要を説明する図である。 図１９は、実施形態の撮影制御部の処理を説明する図である。 図２０は、実施形態における処理概要を説明する図である。 図２１は、実施形態における処理を説明する図である。
　以下、添付の図面を参照して本発明の実施形態の一例について説明する。
　＜第１実施形態＞
　競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１のシステム構成図を用いて説明する。画像処理システム１００は、センサシステム１１０ａ～１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。第１実施形態では、複数のカメラから得られた複数の撮影画像に基づいて仮想視点画像を生成する構成を説明する。
　コントローラ３００は制御ステーション３１０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３１０は画像処理システム１００を構成するそれぞれのブロックに対してネットワーク（３１０ａ～３１０ｃ、１８０ａ、１８０ｂ）及びデイジーチェーン（１７０ａ～１７０ｙ）を通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、無線ネットワークなど他の種別のネットワークであってもよい。
　最初に、センサシステム１１０ａ～１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。本実施形態の画像処理システム１００では、センサシステム１１０ａ～１１０ｚがデイジーチェーン（１７０ａ～１７０ｙ）により接続されている。
　なお、以下の実施形態において、センサシステム１１０ａ～１１０ｚまでの２６セットのシステムを区別する必要が無い場合にはセンサシステム１１０と記載する。各々のセンサシステム１１０内の装置についても同様に、区別の必要がない場合は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、図１ではセンサシステムの台数が２６セットの場合を示しているが、あくまでも一例であり、台数をこれに限定するものではない。また、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
　センサシステム１１０ａ～１１０ｚは、それぞれ１台ずつのカメラ１１２ａ～１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーン（１７０ａ～１７０ｙ）により接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なお、複数のセンサシステム１１０間の接続形態はこれに限られるものではない。例えば、センサシステム１１０ａ～１１０ｚの各々がスイッチングハブ１８０に接続され、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行う、スター型のネットワーク構成でもよい。
　また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ～１１０ｚの全てがカスケード接続されている構成を示したがこれに限定されるものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続する接続形態でもよい。この場合、それぞれの分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができ、全てのセンサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
　また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて画像コンピューティングサーバ２００における制御が切り替えられる。画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行うことで全てのカメラからの画像データが揃うため、画像コンピューティングサーバ２００において全ての画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。
　一方、画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、画像コンピューティングサーバ２００において全てのカメラからの画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。
　本実施形態でのセンサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０を有する。なお、この構成に限定されるものではなく、センサシステム１１０は、少なくとも１台のカメラアダプタ１２０と、１台のカメラ１１２を有していれば良い。また例えば、センサシステム１１０は１台のカメラアダプタ１２０と、複数のカメラ１１２で構成されてもよいし、１台のカメラ１１２と複数のカメラアダプタ１２０で構成されてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０以外の装置を含んでいてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。本実施形態では、図１に示されるように、センサシステム１１０ａ～１１０ｚは、同様の構成を有しているものとするが、センサシステム１１０ａ～１１０ｚが全て同じ構成である必要はない。
　センサシステム１１０ａのマイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影され、後述の画像処理が施された画像は、デイジーチェーン１７０ａを通してカメラアダプタ１２０ａからセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。センサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから伝送された画像及び音声と合わせてセンサシステム１１０ｃに伝送する。このような動作を続けることにより、センサシステム１１０ａ～１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝送される。そして、スイッチングハブ１８０に伝送された画像及び音声は、スイッチングハブ１８０から画像コンピューティングサーバ２００へ伝送される。
　なお、第１実施形態では、カメラ１１２ａ～１１２ｚとカメラアダプタ１２０ａ～１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ～１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。
　次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。上述したデイジーチェーンにより、センサシステム１１０ｚから取得されるデータは、センサシステム１１０ａ～１１０ｚで取得された画像データを含んでいる。画像コンピューティングサーバ２００はフロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、タイムサーバ２９０を有する。
　タイムサーバ２９０は時刻及び同期信号を配信する機能を有し、ネットワーク２９１およびスイッチングハブ１８０を介してセンサシステム１１０ａ～１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ～１２０ｚは、カメラ１１２ａ～１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ、画像フレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限られるものではない。例えば、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。
　フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。結果、データベース２５０には、カメラごとに、フレーム番号と画像及び音声データが対応付けて格納される。バックエンドサーバ２７０では、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像と仮視点音声を生成する。
　なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
　レンダリング処理された画像（仮想視点画像）は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信される。エンドユーザ端末１９０を操作するユーザは、視点の指定に応じた画像及び音声の視聴が出来る。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。カメラアダプタ１２０による所定領域の抽出の詳細については後述する。
　本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像は、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）であってもよいし、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像であってもよい。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を説明するが、必ずしも音声データが含まれていなくても良い。
　また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されてもよい。例えば、圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、圧縮符号化を行わない後者はエンドユーザ端末１９０として非圧縮画像を表示可能なディスプレイを想定している。このように、エンドユーザ端末１９０の種別に応じて画像フォーマットを切り替えることを可能としてもよい。また、画像の送信プロトコルはＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ　Ｌｉｖｅ　Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。
　この様に、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０ａ～１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含み、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接にセンサシステム１１０ａ～１１０ｚから画像を取得するようにしてもよい。本実施形態では、センサシステム１１０ａ～１１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法を用いている。具体的には、センサシステム１１０ａ～１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報を、フロントエンドサーバ２３０がデータベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ～１１０ｚのカメラ１１２が他機種のカメラに変更されても、機種の変更に起因した変化分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種カメラに変更された場合に、仮想カメラ操作ＵＩ３３０が適切に動作しなくなるという虞を低減できる。
　また、第１実施形態では、仮想カメラ操作ＵＩ３３０が、データベース２５０に直接にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成となっている。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。
　このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
　次に、本実施形態におけるカメラアダプタ１２０の機能ブロックについて図２を利用して説明する。カメラアダプタ１２０は、ネットワークアダプタ４１０、伝送部４２０、画像処理部４３０及び、外部機器制御部４４０を有する。
　ネットワークアダプタ４１０は、データ送受信部４１１及び時刻制御部４１２を含む。データ送受信部４１１は、デイジーチェーン１７０を介して他のカメラアダプタ１２０とデータの送受信を行う。また、デイジーチェーン１７０の先頭段と最終段のカメラアダプタ（１２０ａ、１２０ｚ）は、ネットワーク１８０ａ、１８０ｂを介して、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えばデータ送受信部４１１は、カメラ１１２による撮影画像から前景背景分離部４３１により分離された前景画像と背景画像とを、他のカメラアダプタ１２０に対して出力する。ここで、出力先のカメラアダプタ１２０は、画像処理システム１００内のカメラアダプタ１２０のうち、データルーティング処理部４２２の処理に応じて予め定められた順序において次のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在してもよい。
　時刻制御部４１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙＣｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う機能とを有する。なお、ＩＥＥＥ１５８８に限定されるものではなく、他のＥｔｈｅｒＡＶＢ規格または独自プロトコルによってタイムサーバ２９０との時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ４１０としてＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を利用するが、ＮＩＣに限定するものではなく、同様の他のＩｎｔｅｒｆａｃｅを利用してもよい。また、ＩＥＥＥ１５８８はＩＥＥＥ１５８８－２００２、ＩＥＥＥ１５８８－２００８のように標準規格として更新されており、後者については、ＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ　Ｔｉｍｅ　Ｐｒｏｔｏｃｏｌ　Ｖｅｒｓｉｏｎ　２）とも呼ばれる。
　伝送部４２０は、ネットワークアダプタ４１０を介してスイッチングハブ１８０等へのデータの伝送を制御する機能を有し、以下の機能部を含む。
　データ圧縮・伸張部４２１は、データ送受信部４１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能を有している。
　データルーティング処理部４２２は、後述するデータルーティング情報保持部４２５が保持するデータを利用し、データ送受信部４１１が受信したデータ及び画像処理部４３０で処理されたデータのルーティング先を決定する。さらに、データルーティング処理部４２２は、決定したルーティング先へデータを送信する機能を有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが画像処理を行う上で好適である。それぞれのカメラ１１２同士の画像フレーム相関が高くなるからである。複数のカメラアダプタ１２０それぞれのデータルーティング処理部４２２による決定に応じて、画像処理システム１００内において前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。
　同期制御部４２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ　Ｔｉｍｅ　Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく他の同様のプロトコルを利用して時刻同期してもよい。
　画像・音声伝送処理部４２４は、画像データ又は音声データを、データ送受信部４１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ伝送するためのメッセージを作成する機能を有する。メッセージには画像データ又は音声データ、及び各データのメタ情報が含まる。本実施形態のメタ情報には画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。なお送信する画像データまたは音声データはデータ圧縮・伸張部４２１でデータ圧縮されていてもよい。また、画像・音声伝送処理部４２４は、他のカメラアダプタ１２０からデータ送受信部４１１を介してメッセージを受取る。そして、画像・音声伝送処理部４２４は、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データまたは音声データに復元する。なお、データを復元した際にデータが圧縮されている場合は、データ圧縮・伸張部４２１が伸張処理を行う。
　データルーティング情報保持部４２５は、データ送受信部４１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。
　画像処理部４３０は、カメラ制御部４４１の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有する。画像処理部４３０は、前景背景分離部４３１、三次元モデル情報生成部４３２、キャリブレーション制御部４３３を含む。
　前景背景分離部４３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離する機能を有している。すなわち、前景背景分離部４３１は、複数のカメラ１１２のうちの対応するカメラ１１２（当該カメラアダプタ１２０と接続されているカメラ１１２）による撮影画像から所定領域を抽出する。所定領域は例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部４３１は、撮影画像を前景画像と背景画像に分離する。なお、オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景領域を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上させることができる。また、前景と背景の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は前景画像に限らず、例えば背景画像であってもよい。
　三次元モデル情報生成部４３２は、前景背景分離部４３１で分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用し、例えばステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能を有している。
　キャリブレーション制御部４３３は、キャリブレーションに必要な画像データを、カメラ制御部４４１を介してカメラ１１２から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有している。なお本実施形態ではキャリブレーションに係わる演算処理をフロントエンドサーバ２３０で行っているが、演算処理を行うノードはフロントエンドサーバ２３０に限定されない。例えば、制御ステーション３１０やカメラアダプタ１２０（他のカメラアダプタ１２０を含む）など他のノードで演算処理が行われてもよい。またキャリブレーション制御部４３３は、カメラ制御部４４１を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション（動的キャリブレーション）を行う機能を有している。
　外部機器制御部４４０は、カメラアダプタ１２０に接続する機器を制御する機能を有する。外部機器制御部４４０は、機能ブロックとして、カメラ制御部４４１、マイク制御部４４２、雲台制御部４４３、センサ制御部４４４を含む。
　カメラ制御部４４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御は、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始、停止、ピント調整の指示などを含む。なお、本実施形態ではカメラ１１２を介してピント調整を行っているが、取り外し可能なレンズがカメラ１１２に装着されている場合は、カメラアダプタ１２０とレンズを接続し、カメラアダプタ１２０が直接ズームやピント等のレンズの調整を行ってもよい。また、カメラアダプタ１２０がカメラ１１２を介してズームやピント等のレンズ調整を行ってもよい。
　同期信号提供は、同期制御部４２３がタイムサーバ２９０と同期した時刻を利用して、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、同期制御部４２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部４４１は、カメラ１１２に対するタイムコードの提供はせず、カメラ１１２から受取った画像データに自身がタイムコードを付与してもよい。
　マイク制御部４４２は、マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止や収音された音声データの取得などを行う機能を有している。マイク１１１の制御は例えば、ゲイン調整や、状態取得などである。またカメラ制御部４４１と同様に、マイク制御部４４２は、マイク１１１に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ２９０からの時刻情報が例えば４８ＫＨｚのワードクロックに変換されてマイク１１１に供給される。
　雲台制御部４４３は雲台１１３と接続し、雲台１１３の制御を行う機能を有している。雲台１１３の制御には、例えば、パン・チルト制御や、パン・チルトの状態取得などがある。
　センサ制御部４４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、振動を表す情報（振動情報）を取得することができる。画像処理部４３０は、センサ制御部４４４が取得した振動情報を用いて、前景背景分離部４３１での処理に先立って、振動を抑えた画像を生成することができる。例えば、８Ｋカメラの画像データを、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像との位置合わせを行う場合に利用される。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬しても、カメラアダプタ１２０に配備された上記の機能で位置合わせを行うことができる。その結果、電子的に防振された画像データを生成することができ、画像コンピューティングサーバ２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。なお、センサシステム１１０のセンサは外部センサ１１４に限定されるものではなく、例えばカメラ１１２やカメラアダプタ１２０に内蔵されてもよい。
　次に、カメラアダプタ１２０が前景画像及び背景画像を生成して次のカメラアダプタ１２０へ伝送する処理について図５のフローチャートを参照して説明する。
　カメラ制御部４４１は、自身に接続されているカメラ１１２から撮影画像を取得する（Ｓ５０１）。次に、前景背景分離部４３１は、Ｓ５０１で取得された撮影画像を前景画像及び背景画像に分離する（Ｓ５０２）。なお、本実施形態における前景画像は、カメラ１１２から取得した撮影画像に対する所定オブジェクトの検出結果に基づいて決定される画像である。所定オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。
　次に、データ圧縮・伸張部４２１は、分離した前景画像及び背景画像の圧縮処理を行う（Ｓ５０３）。前景画像に対してはロスレス圧縮が行われ、前景画像は高画質を維持する。背景画像に対してはロスあり圧縮が行われ、伝送データ量が削減される。次に、画像・音声伝送処理部４２４は、圧縮した前景画像と背景画像を、データ送受信部４１１を介して次のカメラアダプタ１２０へ伝送する（Ｓ５０４）。なお背景画像に関しては毎フレーム伝送するのではなく伝送フレームを間引いて伝送してもよい。例えば、撮影画像が６０ｆｐｓである場合に、前景画像は毎フレーム伝送されるが、背景画像は１秒間の６０フレーム中１フレームのみが伝送される。これにより伝送データ量の削減を行う事ができる特有の効果がある。
　また画像・音声伝送処理部４２４は、次のカメラアダプタ１２０へ前景画像及び背景画像を伝送する際に、メタ情報を付与するようにしてもよい。例えば、カメラアダプタ１２０またはカメラ１１２の識別子や、フレーム内の前景画像の位置（ｘｙ座標）や、データサイズ、フレーム番号、及び撮影時刻などがメタ情報として付与され得る。また注視点を識別するための注視点グループ情報や、前景画像及び背景画像を識別するデータ種別情報などがメタ情報として付与されてもよい。但しメタ情報として付与されるデータの内容はこれらに限定される訳ではなく、他のデータが付与されてもよい。
　なお、カメラアダプタ１２０がデイジーチェーンを通じてデータを伝送する際に、自身に接続されたカメラ１１２と相関の高いカメラ１１２の撮影画像のみを選択的に処理することで、カメラアダプタ１２０における伝送処理負荷を軽減することができる。また、デイジーチェーン伝送において、何れかのカメラアダプタ１２０において故障が発生してもカメラアダプタ１２０間のデータ伝送が停止しないようにシステムを構成することで、ロバスト性を確保できる。
　図７は、本実施形態における注視点とカメラ配置を説明する図である。各カメラ１１２は光軸が特定の注視点７０２を向くように設置されている。同じ注視点グループ７０１に分類されるカメラ１１２は、同じ注視点７０２を向くように設置される。
　まず、通常時の、複数のカメラアダプタ１２０（１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄ）が連動する処理シーケンスについて図３を用いて説明する。なお、処理の順番は図に示したものに限定される訳ではない。また、図１に示される画像処理システム１００には２６台のカメラ１１２とカメラアダプタ１２０が含まれるが、ここでは２台のカメラ（１１２ｂ、１１２ｃ）、及び、４台のカメラアダプタ（１２０ａ、１２０ｂ、１２０ｃ、１２０ｄ）に注目して説明する。カメラ１１２ｂとカメラアダプタ１２０ｂ、及びカメラ１１２ｃとカメラアダプタ１２０ｃは、其々接続されている。なおカメラアダプタ１２０ａおよびカメラアダプタ１２０ｄに接続するカメラ（１１２ａ、１１２ｄ）や、各カメラアダプタ１２０に接続するマイク１１１、雲台１１３、及び外部センサ１１４については省略されている。また、カメラアダプタ１２０ａ～１２０ｄはタイムサーバ２９０と時刻同期が完了し、撮影状態となっているものとする。
　同期した撮影タイミング（時刻ｔとする）において、カメラ１１２ｂおよびカメラ１１２ｃは其々カメラアダプタ１２０ｂ及び１２０ｃに対して撮影画像（１）及び撮影画像（２）を送信する（Ｆ３０１、Ｆ３０２）。カメラアダプタ１２０ｂ及び１２０ｃは、受信した撮影画像（１）または撮影画像（２）に対して、キャリブレーション制御部４３３においてキャリブレーション処理を行う（Ｆ３０３、Ｆ３０４）。キャリブレーション処理は例えば色補正やブレ補正等である。なお、本実施形態ではキャリブレーション処理が実施されているが、必ずしも実施しなくてもよい。次に、キャリブレーション処理済の撮影画像（１）または撮影画像（２）に対して、前景背景分離部４３１によって前景背景分離処理が行われる（Ｆ３０５、Ｆ３０６）。
　次に、分離された前景画像及び背景画像其々に対してデータ圧縮・伸張部４２１において圧縮が行われる（Ｆ３０７、Ｆ３０８）。なお分離した前景画像及び背景画像の其々の重要度に応じて圧縮率が変更されてもよい。また、場合によっては圧縮を行わなくてもよい。例えば、カメラアダプタ１２０は、背景画像よりも前景画像の圧縮率が低くなるように、前景画像と背景画像とのうち少なくとも背景画像を圧縮して次のカメラアダプタ１２０に対して出力する。前景画像も背景画像も圧縮する場合、重要な撮影対象を含む前景画像はロスレス圧縮を行い、撮影対象を含まない背景画像に対してはロスあり圧縮を行う。これにより、この後に次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに伝送されるデータ量を効率的に削減する事ができる。例えばサッカー、ラグビー及び野球等が開催されるスタジアムのフィールドを撮影した場合には、画像の大半が背景画像で構成され、プレーヤ等の前景画像の領域が小さいという特徴があるため、伝送データ量を大きく削減できる。
　さらには、カメラアダプタ１２０ｂ又はカメラアダプタ１２０ｃは、重要度に応じて、次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに対して出力する画像のフレームレートを変更してもよい。例えば、前景画像よりも背景画像の出力フレームレートが低くなるように、重要な撮影対象を含む前景画像は高フレームレートで出力し、撮影対象を含まない背景画像は低フレームレートで出力するようにしてもよい。この事によって、次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに伝送されるデータ量を更に削減する事ができる。またカメラ１１２の設置場所、撮影場所、及び／又はカメラ１１２の性能などに応じて、カメラアダプタ１２０毎に圧縮率や伝送フレームレートを変更してもよい。また、スタジアムの観客席等の三次元構造は図面を用いて事前に確認することができるため、カメラアダプタ１２０は背景画像から観客席の部分を除いた画像を伝送するようにしてもよい。これにより、後述のレンダリングの時点で、事前に生成したスタジアム三次元構造を利用することで試合中のプレーヤに重点化した画像レンダリングを実施し、システム全体で伝送及び記憶されるデータ量の削減ができるという効果が得られる。
　次に各カメラアダプタ１２０は、圧縮した前景画像及び背景画像を隣接するカメラアダプタ１２０に伝送する（Ｆ３１０、Ｆ３１１、Ｆ３１２）。なお、本実施形態では前景画像及び背景画像は同時に伝送されているが、其々が個別に伝送されてもよい。
　次に、カメラアダプタ１２０ｂはカメラアダプタ１２０ａから受信した前景画像及び背景画像をカメラアダプタ１２０ｃへ伝送する（Ｆ３１５）。カメラアダプタ１２０ｃも同様にカメラアダプタ１２０ｄへ前景画像及び背景画像を伝送する。なお、本実施形態では前景画像及び背景画像は同時に伝送されているが、其々が個別に伝送されてもよい。カメラアダプタ１２０ｃは、カメラアダプタ１２０ｂが作成し、カメラアダプタ１２０ｂから受信した前景画像及び背景画像をカメラアダプタ１２０ｄへ伝送する（Ｆ３１６）。さらに、カメラアダプタ１２０ｃは、カメラアダプタ１２０ａが作成し、カメラアダプタ１２０ｂから受信した前景画像及び背景画像をカメラアダプタ１２０ｄへ伝送する（Ｆ３１７）。
　次に、カメラアダプタ１２０ｂが故障時に複数のカメラアダプタ１２０（１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄ）が連動する処理シーケンスについて図４を用いて説明する。なお、処理の順番は図に示したものに限定される訳ではない。なお、図４において、カメラアダプタ１２０ａ～１２０ｄはタイムサーバ２９０と時刻同期が完了し、撮影状態となっているものとする。なお、図４では、カメラ１１２ｂまたはカメラアダプタ１２０ｂの故障などにより撮影画像を得ることができない場合を示している。以下、カメラアダプタ１２０ｂが故障したとして説明する。
　同期した撮影タイミング（時刻ｔとする）において、カメラ１１２ｂおよびカメラ１１２ｃは其々カメラアダプタ１２０ｂ及び１２０ｃに対して撮影画像（１）及び撮影画像（２）を送信する（Ｆ４０１、Ｆ４０２）。カメラアダプタ１２０ｂは故障しているため、カメラ１１２ｂから撮影画像（１）を受信できず、キャリブレーション制御部４３３においてキャリブレーション処理を行うことができない（Ｆ４０３）。また、前景背景分離部４３１によって前景背景分離処理を行うことができない（Ｆ４０５）。また、前景画像及び背景画像其々に対してデータ圧縮・伸張部４２１において圧縮を行うことができない（Ｆ４０７）。また、カメラアダプタ１２０ｂでは、前景・背景画像（１）が生成されないため、カメラアダプタ１２０ｃに伝送することができない（Ｆ４１１）。
　一方、カメラアダプタ１２０ｃでは、カメラ１１２ｃから受信した撮影画像（２）に対して、キャリブレーション制御部４３３がキャリブレーション処理を行う（Ｆ４０４）。また、カメラアダプタ１２０ｃでは、キャリブレーション処理済の撮影画像（２）に対して前景背景分離部４３１が前景背景分離処理を行う（Ｆ４０６）。また、分離された前景画像及び背景画像其々に対してデータ圧縮・伸張部４２１が圧縮を行う（Ｆ４０８）。また、画像・音声伝送処理部４２４とデータ送受信部４１１が、圧縮した前景・背景画像（２）をカメラアダプタ１２０ｄに伝送する（Ｆ４１２）。なお、Ｆ４１０、Ｆ４１５、Ｆ４１６の動作は、図３のＦ３１０、Ｆ３１５、Ｆ３１６と同様である。
　カメラアダプタ１２０ｂ、１２０ｃは接続しているカメラ１１２ｂ、１１２ｃの撮影画像のほかにカメラアダプタ間で伝送される前景・背景画像を各々カメラアダプタ１２０ｃ、１２０ｄに伝送する。しかし、上述したようにカメラアダプタ１２０ｂの故障等によりカメラアダプタ１２０ｂがカメラ１１２ｂからの撮影画像（１）を受信することができない場合、前景・背景画像（１）は生成されない。したがって、カメラアダプタ１２０ｂからカメラアダプタ１２０ｃに前景・背景画像（１）を伝送することもできない。
　カメラアダプタ１２０ｃが、時刻ｔから所定時間内に、カメラアダプタ１２０ｂから前景・背景画像（１）を受信できない場合、カメラアダプタ１２０ｃの前景背景分離部４３１がカメラ１１２ｃによる撮影画像から代替の背景画像（１）を生成する（Ｆ４１３）。続いて、データ圧縮・伸張部４２１が、生成された背景画像（１）に対して圧縮を行う（Ｆ４１４）。圧縮された背景画像（１）は、画像・音声伝送処理部４２４とデータ送受信部４１１によりカメラアダプタ１２０ｄに伝送される（Ｆ４１６）。なお、前景画像、背景画像の両方について代替の画像を生成し、伝送するようにしてもよいが、本実施形態では、代替の背景画像のみを生成し、伝送している。その理由は以下のとおりである。
　まず、撮影画像と伝送される背景画像（０）、背景画像（１）、背景画像（２）について説明する。図８の８ａは撮影画像、図８の８ｂは伝送される背景画像を示す。背景画像は動きが少なく、カメラ１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ間で重複する部分が大きい。このため背景画像は、重複部分を除いた差分が次段に伝送される。図８の８ｂに示される短冊状の背景画像は、それぞれ別のカメラから得られる背景画像の差分を示している。通常時には、カメラアダプタ１２０ｂがカメラ１１２ｂから伝送された撮影画像（１）から背景画像（１）が生成されるが、カメラ１１２ｂの故障時にはカメラアダプタ１２０ｃが一時保持していた撮影画像（２）から背景画像（１）が生成される。つまり、本実施形態においては隣接するカメラ１１２の撮影範囲には重複領域が存在する。従って、仮にあるカメラ１１２が故障したとしても、当該故障カメラの撮影画像から生成されるべき背景画像は、当該故障カメラに隣接するカメラ１１２による撮影画像から生成できる。こうして、複数のカメラのうち、少なくとも１つのカメラの異常が検知されると、異常が検知されたカメラの撮影領域の画像として、複数のカメラのうち異常が検知されていないカメラの撮影画像を用いて仮想視点画像が生成される。
　なお、上述の通り、本実施形態では、背景画像は隣接カメラ間の差分が伝送されるため、カメラの故障により背景画像が伝送されないと、当該差分の部分が欠落し、他の画像から補うことができない。対して、前景画像は、撮影範囲の全体が伝送されるので、前景画像の各部は複数のカメラからの前景画像によって重複している。したがって、代替の前景画像を生成しなくても、合成時に補完することができる。また、上述したように、伝送データ量を削減するために背景画像の伝送フレームレートを低くした場合には、背景画像に欠落があると、その欠落した状態が長く続いてしまう。したがって、本実施形態では、背景画像について代替画像を生成して伝送し、前景画像については代替画像を生成していない。なお、代替画像として生成された背景画像については、その全体が伝送されてもよいし、上述のような差分が伝送されてもよい。
　カメラアダプタ１２０ａ～１２０ｄが作成した前景画像、背景画像はネットワーク接続されたカメラアダプタ１２０間を逐次伝送され、フロントエンドサーバ２３０に伝送される。
　なお、図３、図４ではカメラアダプタ１２０ａ及びカメラアダプタ１２０ｄのキャリブレーション処理、前景背景分離処理、及び圧縮処理については記載を省略している。しかし実際には、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｄも、カメラアダプタ１２０ｂやカメラアダプタ１２０ｃと同様の処理を行い、前景画像及び背景画像を作成している。また、ここでは４台のカメラアダプタ１２０間のデータ伝送シーケンスについて説明したが、カメラアダプタ１２０の数が増えても同様の処理が行われる。
　次に、カメラアダプタ１２０が隣のカメラアダプタ１２０からデータを受信した時の処理のフローについて図６を使用して説明する。
　まず、タイムサーバ２９０からの同期信号に応じて、カメラアダプタ１２０は隣接するカメラアダプタ１２０からのデータの受信待ちの状態となる（Ｓ６０１）。カメラアダプタ１２０の画像・音声伝送処理部４２４は自身の伝送モードがバイパス制御モードか否かを判断する（Ｓ６０２）。バイパス制御モードの場合、画像・音声伝送処理部４２４は、次段のカメラアダプタ１２０へ、前段のカメラアダプタ１２０から受信したデータをそのまま伝送する（Ｓ６０６）。
　バイパス制御モードでない場合は、画像・音声伝送処理部４２４は、同期信号に応じて対応するカメラ１１２の撮影を実行し撮影画像を受信してから所定時間内に、前段のカメラアダプタ１２０より前景・背景画像を受信したか否か判断する（Ｓ６０３）。カメラアダプタ１２０が所定時間内に前景・背景画像を受信した場合は、例えば図３のＦ３１６、Ｆ３１７に示した通常処理を行う（Ｓ６０４）。所定時間内に前景・背景画像を受信できなかった場合には故障と判断し、例えば図６のＦ４１３～Ｆ４１６に示した処理が行われる。すなわち、前景背景分離部４３１が受信できずに欠落した背景画像を生成し、生成した背景画像を画像・音声伝送処理部４２４が隣接するカメラアダプタに送信する（Ｓ６０５）。
　図９はカメラアダプタ１２０間で伝送される背景画像のデータフォーマットを示した図である。図９に示されるように、伝送される背景画像はヘッダ情報と背景画像データを含む。ヘッダ情報は更に送信元ＩＤ、注視点ＩＤ、フレームナンバー、データ種別、画像領域情報を含む。送信元ＩＤは送信元であるカメラアダプタ１２０を示すＩＤである。注視点ＩＤは送信元であるカメラアダプタ１２０に接続したカメラ１１２の注視点を示すＩＤである。フレームナンバーはヘッダ情報に付随する画像データの撮影時刻を示すものである。データ種別はヘッダ情報に付随するデータの種類を示すＩＤである。画像領域情報はヘッダ情報に付随する画像の注視点領域の範囲を示す座標情報である。
　カメラアダプタ１２０は伝送される背景画像やカメラアダプタ１２０に接続したカメラ１１２の注視点領域での座標情報を収集し、欠落した背景画像の座標情報を算出する。そしてカメラ１１２が撮影した画像より欠落した背景画像を生成する。より具体的には、カメラアダプタ１２０は、欠落した背景画像の座標情報に基づいて、撮影画像の切り出し範囲を決定し、当該決定された切り出し範囲の画像から、欠落した背景画像を生成する。
　なお、背景画像の座標情報をヘッダ情報から取り出し、欠落した背景画像の座標を算出する例を示したが、予め各カメラ１１２が通常時に担当する背景画像の座標を決めておいてもよい。その場合は所定時間内に伝送されない背景画像の送信元ＩＤを特定することにより、生成する必要がある背景画像の座標情報を得ることができる。
　以上のように、複数のカメラ１１２および複数のセンサシステム１１０（画像処理装置）のうちの一部で障害が発生して所定領域の画像が伝送されない場合、次段のセンサシステム１１０が欠落した画像を生成して更に次段の画像処理装置に出力することができる。このため、障害が発生したり、画像処理装置を間引いたりしても画像の欠落がない画像処理システムを実現できる。したがって第１実施形態によれば、カメラ１１２のうち一部が故障したり、電源を落としたりしていても、欠落した背景画像を補完し、仮想視点画像を安定して生成することが出来る。
　＜第２実施形態＞
　次に第２実施形態について、第１実施形態とは異なる観点で説明する。第１実施形態では、複数のカメラで同時に撮影した画像から仮想視点の画像を生成する構成において、一部のカメラが故障したり電源が落ちたりした場合に、当該カメラの撮影画像を補完する構成を説明した。複数のカメラからの撮影画像を用いて合成画像を生成する技術として、任意視点画像の生成のほかに、たとえば、広視野画像（パノラマ画像）の生成がある。複数のカメラの同期撮影で得られた複数の撮影画像が計算機（サーバ）に伝送、集約され、広視野画像として合成される。
　撮影から広視野画像の生成までをリアルタイムもしくはこれに準じた速度で実行することを想定した場合、大量の画像データを扱うため、効率的なデータ伝送や、高速な演算処理が求められる。たとえば、撮影画像に対して予め必要な領域のみを切り出して得られた部分画像を伝送することで、伝送帯域の節約になり、伝送先の計算機における処理対象データも少なくすることが可能となる。しかしながら、このような構成において、複数のカメラのうちの何れかが撮影に失敗すると画像の合成ができなくなってしまう。伝送される画像データが他のカメラの領域をカバーしないからである。なお、撮影に失敗するとは、例えば、カメラの故障や電源オフにより撮影できない場合、連続撮影中にユーザが大きく動いてぶれてしまった場合、撮影中に急に動く物体が映り込んで後から特徴点のマッチングが取れなくなってしまう場合、などがある。第２実施形態では、上記のような構成において、複数のカメラのうちの何れかが撮影に失敗した場合でも、広視野画像の生成を可能にする画像処理システムを説明する。なお、第２実施形態にて生成される広視野画像は、仮想視点画像を生成するために用いることもできる。つまり、本実施形態のサーバは、複数のカメラの撮影画像から広視野画像を生成し、当該広視野画像と、仮想視点の位置に関する視点情報を用いて、仮想視点画像を生成することができる。仮想視点画像の生成方法は、図１を用いて第１実施形態で説明した通りである。
　第２実施形態の画像処理システム１００の構成は第１実施形態（図１）と同様であるが、カメラアダプタ１２０の構成が異なる。図１０は、第２実施形態によるセンサシステム１１０におけるカメラアダプタ１２０の構成例を示すブロック図である。図１０において、第１実施形態（図２）と同様の構成には図２と同一の参照番号を付してある。図１０に示されるように、第２実施形態のカメラアダプタ１２０は、画像処理部４３０に異常検知部４３５とトリミング部４３６が設けられている。異常検知部４３５は、カメラ１１２が撮影した撮影画像またはトリミングにより撮影画像から得られた部分画像における異常の発生、存在を検知する。トリミング部４３６は、撮影画像から広視野画像の生成に必要な部分領域を切り出すためのトリミングを行う。
　なお、第１実施形態と同様にカメラ１１２ａ～１１２ｚは、一般的なデジタルカメラやデジタルビデオカメラを用いることができる。カメラ１１２はそれぞれ異なる視野範囲を撮影可能な位置に配置されており、予め定められたフレームレートで動画撮影を行うことによりデジタル画像を得る。なお、撮影フレームレートは１ｆｐｓから６０ｆｐｓまで選択可能であるとする。但し、撮影フレームレートはこれに限定されない。全てのカメラ１１２は同じ撮影フレームレートかつ同じタイミングでの撮影、すなわち同期撮影を実施する。この同期撮影のための同期信号は、たとえばタイムサーバ２９０から各々のセンサシステム１１０へ送信される。
　図１１は、カメラ１１２の配置の一例を示す図である。但し、カメラの台数、配置は、図１１に示されるものに限定されない。図１１において、カメラ１１２ａは視野範囲１１０１を撮影し、カメラ１１２ｂは視野範囲１１０２を撮影する。図１１の場合、カメラ１１２ａ～１１２ｚで撮影した異なる視野範囲の画像を合わせると全周囲（３６０度）の視野がカバーされる。カメラアダプタ１２０のトリミング部４３６は、他のセンサシステム１１０のカメラ１１２と重複している視野範囲のうち、後の広視野画像生成に必要な重複範囲を残すように撮影画像をトリミングする（図１２により後述する）。トリミングした結果の画像データは、画像・音声伝送処理部４２４とデータ送受信部４１１により、画像コンピューティングサーバ２００（フロントエンドサーバ２３０）に伝送される。トリミングの目的は伝送効率の向上である。なお、トリミングする範囲についてはバックエンドサーバ２７０での画像生成方法（広視野画像の生成方法）により予め規定されており、それぞれのカメラアダプタ１２０が把握しているものとする。
　また、第１実施形態と同様に、カメラアダプタ１２０のデータ圧縮・伸張部４２１は、画像データをネットワーク部１０３に伝送する際に、伝送効率を向上させるためにデータ圧縮を行う。データ圧縮の方式については特に限定はなく、ＪＰＥＧ－ＬＳなどの可逆圧縮方式でも、ＭＰＥＧなどの非可逆圧縮方式でもよい。また、ネットワーク１８０ｂに接続されるカメラアダプタ１２０ｚは、画像データをネットワークに送信するためにパッキング、パケット分割、ネットワークヘッダの付与などを行い、画像データをネットワーク部１０３へ送信する。
　第１実施形態と同様にセンサシステム１１０同士はデイジーチェーンで接続されており、末端のセンサシステム１１０ａと１１０ｚがネットワークに接続されている。ネットワークとしては、コンピュータネットワークの分野で一般的に使用されているＥｔｈｅｒｎｅｔ（登録商標）を用い得る。カメラ１１２により撮影された撮影画像は、カメラアダプタ１２０においてトリミングされた画像データとなり、ネットワーク１８０ｂとフロントエンドサーバ２３０を介してデータベース２５０に集約される。なお、ネットワークの形式は特に限定されるものではなく、光ファイバを使用してリング形式で接続するＦＤＤＩやサーバ間の高速伝送に使用されるＩｎｆｉｎｉＢａｎｄなど他のネットワーク規格でもよい。
　本実施形態では高負荷、高速な処理要求を想定している。ネットワークに接続される各部は、たとえば、ネットワークＩＦとして１０ＧｂｉｔのＥｔｈｅｒｎｅｔ（登録商標）規格である１０ＧＢＡＳＥのＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）を備えている。なお、１０ＧＢＡＳＥのＥｔｈｅｒｎｅｔ（登録商標）規格はＩＥＥＥ（Ｔｈｅ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ）で規定されている。また、保存媒体としてのデータベース２５０は、たとえばＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）を備える。画像コンピューティングサーバ２００としては、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ　Ｓｔａｔｉｏｎ）などを用いることができるが、特にその種類は問わない。カメラ１１２の台数や撮影するデータの解像度、トリミングの内容やネットワーク部との接続形式によって最適なネットワークＩＦやコンピュータの種類をユーザが選択すればよい。
　フロントエンドサーバ２３０は、センサシステム１１０から伝送された画像データ（短冊画像）をデータベース２５０に保存する。したがって、データベース２５０は画像保存部としての機能を有する。バックエンドサーバ２７０は、画像保存部としてのデータベース２５０に格納された画像データ群を合成することで所望の視野範囲の広視野画像（パノラマ画像）を生成する画像生成部の機能を有する。バックエンドサーバ２７０（画像生成部）およびデータベース２５０（画像保存部）は、画像コンピューティングサーバ２００に含まれており、物理的に同体であるとするが、別体で構成されてもよい。
　なお、バックエンドサーバ２７０は、パノラマ画像の生成に限らず、撮影画像を３Ｄモデルに張り付けるような機能も含むとする。例えば、カメラ１１２によって撮影された空間の３Ｄモデルが存在し、撮影画像と３Ｄモデルの空間的な座標の対応を求め、３Ｄモデルの平面にテクスチャとして撮影画像を射影するようなケースが想定される。この場合、３Ｄモデルは予め画像コンピューティングサーバ２００内に格納されており、それぞれのカメラ１１２と３Ｄモデルの空間的な位置関係についても予め把握できているものとする。
　なお、画像コンピューティングサーバ２００内のＣＰＵの種類や動作周波数については特に制限はない。また、画像の生成をアクセラレーションする目的でコプロセッサやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を併用してもよい。ユーザが必要とする広視野画像の生成速度に応じて適切な種類のデバイスを選択すればよい。
　次に、図１２を参照して、個々のカメラ１１２から得られた撮影画像から広視野画像の生成までを概念的に説明する。カメラ１１２で撮影された撮影画像１２０１は、カメラアダプタ１２０において必要な視野範囲部分がトリミングされ、矩形の部分画像（短冊画像）１２０２として示される画像データが生成される。以降、トリミングにより得られた部分画像を短冊画像と呼ぶ。但し、短冊画像という呼称は便宜的なものであり、短冊画像が縦長の画像に限られるものではない。図１２の最下段の広視野画像に示されるように、短冊画像のそれぞれは隣接する短冊画像との間で重複する重複範囲が設けてある。また、図１２では、広視野画像の生成に１０枚の短冊画像が用いられているが、これに限定されるものではない。
　デイジーチェーンによりセンサシステム１１０ａ～１１０ｙで生成された短冊画像はセンサシステム１１０ｚに伝送される。センサシステム１１０ｚからは、自身が生成した短冊画像を含めて、全てのセンサシステムから得られた短冊画像が、ネットワーク１８０ｂを介してフロントエンドサーバ２３０に伝送される。フロントエンドサーバ２３０は、伝送された短冊画像をデータベース２５０に集約、格納する。バックエンドサーバ２７０は、データベース２５０に格納された短冊画像を使用して広視野画像を生成する。
　以上のようにして広視野画像を生成する際に、一部のカメラからの撮影画像に異常が存在する場合、バックエンドサーバ２７０は隣接した画像を適切に合成することができなくなり、広視野画像を生成できなくなる。
　センサシステム１１０の異常検知部４３５は、たとえば、カメラ１１２で適切な撮影ができなかった場合に、撮影画像に異常が存在するとして異常を検知する。異常が存在する撮影画像の一例を図１３に示す。異常検知部４３５は、カメラ１１２で時刻ｔに撮影された撮影画像１３０１と時刻ｔ＋１で撮影された撮影画像１３０２を比較する。ここで時刻ｔ＋１とはある時刻ｔでの同期撮影の次の同期撮影の撮影タイミングである。撮影画像１３０１と撮影画像１３０２について画素単位で比較すると、領域１３０３が大きく異なっている。この場合、異常検知部４３５は、撮影画像にある閾値以上の変化が生じた場合は撮影画像の異常として検知し、異常通知をカメラアダプタ１２０に送る。撮影画像１３０１と撮影画像１３０２の差異である領域１３０３は、例えばカメラ１１２の前に何か物が置かれた場合が想定される。その他、カメラ１１２自体が故障して領域１３０３について正しく撮影できなくなった場合も同様である。
　なお、異常を検知する方法は上記に限定されるものではなく、他にも様々な方法が考えられる。たとえば、上記では画素単位で画像比較を行っているが、比較を行う単位を全画素ではなく間引いた結果の画素で比較してもよい。さらに、画素そのものではなく画像データのヒストグラムを常に取得しておいて、ヒストグラムから撮影画像の異常を判断するようにしてもよい。また、カメラ１１２自体が自身の撮影画像を解析する機能を備えており、撮影画像に異常が生じた際には撮影画像に付与されているメタデータ上に異常フラグを設定するようにしてもよい。その場合、異常検知部４３５は、異常フラグに基づいて異常の発生を検知する。他にも、隣接している視野範囲の近いカメラ１１２同士の画像を比較することで撮影画像の異常が検知されてもよい。
　カメラアダプタ１２０は、前段のセンサシステム１１０から異常の検知通知があると、カメラ１１２からの撮影画像に対するトリミングの範囲を変更することで出力画像、すなわち短冊画像を変更する。なお、通常の撮影条件で得られた撮影画像ではトリミング範囲の変更を行えない場合は、カメラ１１２の画角および／または撮影方向を変更する。
　図１４を用いて短冊画像（トリミング範囲）の変更について説明する。ここではカメラ１１２の数は１０台である。短冊３を担当するカメラ１１２により撮影された撮影画像１４０１から領域１４０３の短冊画像が切り出され、短冊４を担当するカメラ１１２により撮影された撮影画像１４０２から領域１４０４の短冊画像が切り出されている。図１４の１４ａに示されるように、撮影画像に異常がない場合（正常時）、短冊３を担当するカメラ１１２のカメラアダプタ１２０からは、領域１４０３の短冊画像が伝送される。また、短冊４を担当するカメラ１１２のカメラアダプタ１２０からは、領域１４０４の短冊画像が伝送される。
　一方、図１４の１４ｂでは短冊３を担当するカメラ１１２から出力される撮影画像１４０１に異常が生じた場合を示している。撮影画像１４０１の異常を異常検知部４３５が検知すると、その旨がカメラアダプタ１２０から次段のセンサシステム１１０（図１４の１４ｂでは短冊４を担当するカメラ１１２が属するセンサシステム１１０）に通知される。この通知を受け付けた、短冊４を担当するカメラ１１２のカメラアダプタ１２０（トリミング部４３６）は、短冊４に対応する領域１４０４に短冊３に対応する領域１４０５を加えた領域１４０６の画像を短冊画像として切り出す。短冊４を担当するカメラアダプタ１２０は、異常が検出された領域１４０３の短冊画像を伝送せず、撮影画像１４０２の領域１４０４と領域１４０５を含む領域１４０６、すなわち短冊３と短冊４の領域を含む短冊画像を代替データとして伝送する。この場合、短冊画像として切り出す領域が変更されるので、バックエンドサーバ２７０に対してトリミング領域の変更が通知される必要がある。そのため、領域１４０６の短冊画像のメタデータ領域に変更後の領域範囲情報が付与される。メタデータ領域の領域範囲情報は毎フレーム付与されていることとする。バックエンドサーバ２７０は、毎フレームの領域範囲情報に基づいて合成することで異常が発生した場合にも対応可能となる。バックエンドサーバ２７０は短冊画像のメタ情報に含まれている通知情報に従い、代替の短冊画像を利用した広視野画像の生成を実施する。
　なお、異常検知部４３５が、カメラ１１２の撮影画像について異常を検知した場合に、ネットワークを経由してバックエンドサーバ２７０（画像生成部）に検知した異常を通知するようにしてもよい。異常の通知の内容は、具体的には異常が発生したフレーム時刻（もしくはフレーム番号）、出力画像の変更を指示したセンサシステム１１０とその変更内容である。バックエンドサーバ２７０は短冊画像のメタ情報に含まれている通知情報に従い、代替の短冊画像を利用した広視野画像の生成を実施する。このようにすれば、センサシステム１１０においてメタデータ領域への領域範囲情報の付与を省略することができる。
　次に図１５のフローチャートを参照して、上述したカメラアダプタ１２０による短冊画像の伝送処理について説明する。まず、カメラアダプタ１２０は、前段から受信した画像データのメタデータに異常の存在を示す情報が含まれているか否かにより、撮影条件の変更が必要か否かを判定する（Ｓ１５０１）。たとえば、前段の短冊画像の領域が通常の撮影条件で得られる撮影画像に含まれないような場合、カメラ１１２の画角および／または撮影方向などの撮影条件を変更する必要がある。撮影条件の変更が必要と判定されると（Ｓ１５０１でＹＥＳ）、たとえばカメラ制御部４４１や雲台制御部４４３は、カメラ１１２の撮影条件を変更する（Ｓ１５０２）。撮影条件の変更が必要でなければ（Ｓ１５０１でＮＯ）、撮影条件を通常の状態に戻す（Ｓ１５０３）。
　カメラアダプタ１２０は、フロントエンドサーバ２３０からの同期信号を待つことにより撮影タイミングか否かを判定する（Ｓ１５０４）。撮影タイミングと判定されると（Ｓ１５０４でＹＥＳ）、カメラ制御部４４１はカメラ１１２による撮影を実行し、撮影画像を得る（Ｓ１５０５）。
　トリミング部４３６は、前段から受信した画像データに異常の存在を示す情報が含まれているか否かにより、トリミング範囲の変更が必要か否かを判定する（Ｓ１５０６）。トリミングの範囲の変更が必要と判定されると（Ｓ１５０６でＹＥＳ）、トリミング部４３６は、前段の短冊画像の領域を含む短冊画像がＳ１５０５で取得された撮影画像から切り出されるようにトリミング範囲を変更し、トリミングを行う（Ｓ１５０７）。すなわち、トリミング部４３６は、自身が担当する短冊画像の領域と前段のセンサシステム１１０から得られるべき短冊画像の領域を含むように、Ｓ１５０５で取得された撮影画像をトリミングする。他方、トリミングの範囲変更が必要ないと判定されると（Ｓ１５０６でＮＯ）、トリミング部４３６は、通常のトリミングを行なって短冊画像を切り出す。すなわち、トリミング部４３６は、自身の短冊画像を得るようにＳ１５０５で取得された撮影画像をトリミングする。
　次に、異常検知部４３５は、Ｓ１５０５で取得された撮影画像（または、Ｓ１５０７またはＳ１５０８で切り出された短冊画像）が、異常が存在する撮影画像か否かをチェックする（Ｓ１５０９）。異常検知部４３５が異常な撮影画像であると判定した場合（Ｓ１５１０でＹＥＳ）、異常検知部４３５はその旨を画像・音声伝送処理部４２４に通知する（Ｓ１５１１）。画像・音声伝送処理部４２４は、Ｓ１５０７またはＳ１５０８で切り出された短冊画像の画像データのメタデータに、以上の存在を示す情報を記述する。
　カメラアダプタ１２０は、以上のようにして得られた短冊画像とメタデータを、上流側のセンサシステムで取得されて当該カメラアダプタ１２０へ伝送された画像データとともに、次段のセンサシステム１１０へ伝送する（Ｓ１５１２）。また、カメラアダプタ１２０は前段から画像データを受信する（Ｓ１５１３）。ここで受信された画像データのメタデータは、上述したＳ１５０１およびＳ１５０６の判定に用いられる。Ｓ１５１２における画像データの伝送では、各カメラアダプタ１２０は、前段のセンサシステム１１０から受け取った画像データと合わせて自身で生成した画像データを伝送している。こうして、最終段のセンサシステム１１０ｚは、センサシステム１１０ａ～１１０ｙで生成された画像データと、自身で生成した画像データをフロントエンドサーバ２３０へ伝送する。フロントエンドサーバ２３０は、伝送された画像データをデータベース２５０に格納する。フロントエンドサーバ２３０は、データベース２５０に格納された、広視野画像の生成に必要な画像データを用いて広視野画像の生成を実施する。
　以上説明した短冊画像の伝送処理について、図１６Ａを用いて更に説明する。画像データである短冊画像１６０１，１６０２，１６０３，１６０４は、それぞれ撮影時刻ｔにおける短冊１、短冊２、短冊３、短冊４の短冊画像である。異常検知部４３５により短冊画像１６０２に異常が検出されたとする。検出された短冊画像１６０２の異常は異常検知部４３５から次段のセンサシステム１１０に通知されてもよいし、短冊画像１６０２のメタデータとして記録されてもよい。
　図１６Ａの下部が各々のセンサシステム１１０から伝送される伝送データ群１６０７，１６０８，１６０９を示している。各伝送データには、自身で生成した短冊画像と、前段のセンサシステム１１０で生成された短冊画像が含まれる。撮影時刻ｔの伝送データ群１６０７の中で、異常が生じた撮影画像から生成された短冊画像１６０２を含む伝送データ１６０５は隣接した短冊３のセンサシステム１１０に伝送される。また、撮影時刻ｔの短冊３は伝送データ１６１０に含められ、短冊４のセンサシステム１１０に伝送される。
　次の撮影時刻ｔ＋１において、短冊３のセンサシステム１１０は、前回（撮影時刻ｔ）の短冊２の撮影画像に異常があることを認識している。そのため、短冊３のセンサシステム１１０はトリミング領域（必要に応じて撮影条件）を変更し、短冊２の領域を含む短冊３（撮影時刻ｔ＋１）の短冊画像１６０６を生成し、これを伝送データ１６１１として隣接した短冊４のセンサシステム１１０に伝送する。短冊画像１６０６は、撮影時刻ｔの短冊２を代替する代替データを含む画像データである。撮影時刻ｔ＋１において短冊２は正常に取得されており、撮影時刻ｔ＋２の伝送データ１６１２は代替データの含まれていない通常の伝送データとなる。
　なお、図１６Ａでは説明のため、伝送される全てのデータを図示してはいない。たとえば、撮影時刻ｔの伝送データ群１６０７や撮影時刻ｔ＋１の伝送データ群１６０８内には撮影時刻ｔよりも過去のデータが存在しているが、図が煩雑となることと、説明に不要なため不図示としている。
　以上のような構成とすることで、カメラ１１２を有するセンサシステム１１０が複数存在し、数珠繋ぎ（デイジーチェーン）に接続され、隣接したセンサシステム１１０に撮影データを送付していく場合に有効になる。異常を検知した異常検知部４３５は、画像データの送付先である隣接したセンサシステム１１０に通知を行い、隣接したセンサシステム１１０がこれに対応する。このような処理により、異常のある画像データがフロントエンドサーバ２３０に到達する前にそのような画像データを代替データへ置き換えることが可能となる。
　なお、上記第２の実施形態では複数のセンサシステム１１０がデイジーチェーンで接続された形態を示したが、これに限られるものではない。たとえば、それぞれのセンサシステム１１０がスイッチングハブ１８０とスター型で接続された構成でもよい。スター型で接続した際も、通信相手など論理的な構造として、各カメラ１１２に対して隣接したカメラ１１２を設定、定義することは可能であるため、本実施形態の適応は可能である。
　また、第２実施形態では、前段からの画像データ（短冊画像）について異常が検知された場合に、トリミング領域を変更し、図１４の１４ｂに示されるように２つの連続した短冊の領域を１つの短冊として切り出しているが、これに限られるものではない。たとえば、図１４の１４ｂにおいて、撮影画像１４０２から短冊３の領域に対応する短冊画像と短冊４の領域に対応する短冊画像を個別に切り出してもよい。その場合、図１６Ｂに示されるように、撮影時刻ｔ＋１では、短冊３の短冊画像と、短冊３とは別個の代替データ１６２０を含む伝送データ１６１１が伝送されることになる。代替データ１６２０は、トリミング部４３６が、撮影時刻ｔ＋１で得られた撮影画像から、短冊２の領域に対応する画像をトリミングにより取得することにより得られた短冊画像であり、撮影時刻ｔの短冊２を代替するデータとして用いられる。
　なお、第２実施形態では１つのカメラ１１２による撮影画像に異常が存在する場合について述べたが、複数のカメラ１１２による撮影画像に同時に異常が発生した場合も同様に対応が可能であることは明らかである。また、連続する複数のカメラ１１２からの画像データに異常がある場合は、トリミングにより切り出される領域を、それら異常が検出された画像データの領域を含むように拡張すればよい。
　以上のように第２実施形態によれば、画像を切り出して伝送後に合成して広視野画像を生成する構成において、複数のカメラの一部において撮影画像に異常が生じても、広視野画像を生成することが可能となる。
　また、異常検知部４３５が検知した内容をバックエンドサーバ２７０の画像生成部に通知し、通知を受けた画像生成部が対応することでも対応が可能となる。このような対応により、カメラアダプタ１２０が伝送する短冊画像のメタデータに埋め込む処理は不要となる。
　＜第３実施形態＞
　第２実施形態では、異常検知部４３５は次段のセンサシステム１１０へ撮影画像の異常を通知し、その次段のセンサシステム１１０においてトリミング領域を変更することで、異常の生じた画像データを補完した。第３実施形態では、画像データの異常を検知した異常検知部４３５が２つ以上のセンサシステム１１０に異常の発生を通知することで、２つ以上のセンサシステム１１０がトリミング領域を変更し、異常の生じた画像データを分担して補完する。
　第３実施形態の構成は第２実施形態（図１、図１０）と同様である。第３実施形態では、異常検知部４３５からの通知を受けたカメラアダプタ１２０の処理（トリミング領域の変更の仕方）が第２実施形態とは異なる。以下、図１７を参照して第３実施形態の処理を説明する。なお、説明を簡易にするため、図１７ではセンサシステム１１０の台数は５台とするが、これに限定されないことは言うまでもない。
　図１７において、領域１７０１は広視野画像全体の視野範囲を示している。例えば、広視野画像としての領域１７０１の中の領域１７０２が、短冊１のセンサシステム１１０ａの担当する領域であるとする。撮影画像に異常が発生していない通常時、短冊１のセンサシステム１１０ａは領域１７０２を担当している。同様に短冊２のセンサシステム１１０ｂは領域１７０３、短冊３のセンサシステム１１０ｃは領域１７０４、短冊４のセンサシステム１１０ｄは領域１７０５、短冊５のセンサシステム１１０ｅは領域１７０６を担当している。
　ここで、短冊２のセンサシステム１１０ｂにおいて撮影画像の異常が発生したとする。この場合、センサシステム１１０ｂの異常検知部４３５ｂは、短冊１、３、４、５それぞれの担当のセンサシステム１１０ａ、１１０ｃ、１１０ｃ、１１０ｅに対し、担当視野範囲を変更する目的で、トリミング位置の変更（異常の発生）を指示する。通常時は広視野全体に対し５台のカメラ１１２で均等の領域を割り振っているが、撮影画像に異常が発生した場合には、他の４台のカメラ１１２からの異常が発生していない撮影画像で広視野全体の領域を割り振るようにトリミング位置を変更する。図１７ではセンサシステム１１０ａは短冊画像の領域を領域１７０２から領域１７０７に変更する。同様にセンサシステム１１０ｃ～１１０ｅにおいても、それぞれ短冊画像の領域を領域１７０４から領域１７０８へ、領域１７０５から領域１７０９へ、領域１７０６から領域１７１０へ変更する。
　撮影画像又は短冊画像の異常が発生した場合に、第２実施形態の場合は短冊３のセンサシステム１１０から出力される短冊画像の大きさが他のセンサシステム１１０と比較して大きくなる。そのため、広視野画像を生成するバックエンドサーバ２７０は図１４の１４ｂの領域１４０４、１４０５を含む短冊画像に対して他の短冊画像と異なる対応が必要となる。これに対して、第３実施形態では、短冊画像の大きさを均等に変更することが可能であり、広視野画像の生成における負荷が第２実施形態に比べて軽減される。第３実施形態は、１つのカメラの異常状態が比較的長い期間続くような場合に特に有効である。
　なお、第３実施形態では、撮影画像又は短冊画像の異常が発生した場合、異常を検知した異常検知部４３５が、少なくともトリミング領域を変更するべき複数のセンサシステム１１０にその旨を通知する。異常の通知はデイジーチェーンを介して行われてもよいし、他の方法で実現されてもよい。たとえば、異常検知部４３５から画像コンピューティングサーバ２００に通知し、画像コンピューティングサーバ２００からトリミング領域の変更が必要なセンサシステム１１０に通知するようにしてもよい。トリミング領域の変更が指示されたセンサシステム１１０では、指示を行ったセンサシステムが切り出す短冊画像の広視野画像の視野範囲（領域１７０１）における位置や大きさから、必要なトリミング領域を求める。トリミング領域を求めるのに必要な情報は、各センサユニットが予め保持してもよいし、異常を通知するセンサシステムから通知されてもよいし、画像コンピューティングサーバ２００から通知されるようにしてもよい。
　第３実施形態によれば、全てのカメラ１１２が短冊領域としては同様の大きさを持つことになり、画像生成部（バックエンドサーバ２７０）は特定の短冊領域のみに対して特別な処理を行う必要がなくなる。なお、図１７では、短冊２の領域をカバーするために、短冊２を担当するカメラ以外の全てのカメラ（カメラ１１２ａ、１１２ｃ～１１２ｅ）からの撮影画像のトリミングを変更したがこれに限られるものではない。たとえば、カメラ１１２ｂの両隣のカメラ１１２ａ、１１２ｃからの撮影画像のトリミングを変更して短冊２の領域をカバーするようにしてもよい。
　＜第４実施形態＞
　第２実施形態および第３実施形態では、あるカメラの撮影画像に異常が検知された場合に、当該カメラから得られるべき短冊画像を、他のカメラから得られる正常な撮影画像を用いてにおけるトリミングの領域を変更して得られた画像により補完した。第４実施形態では、センサシステム１１０にバッファを設けておき、撮影画像の取得失敗に備えて取得に成功した撮影画像を保持してく。バッファに保持された撮影画像を用いて異常が検知された短冊画像を補完する。第４実施形態の画像処理システム１００及びカメラアダプタ１２０の構成は第２実施形態（図１、図１０）と同様である。以下、図１８を参照して、第４実施形態の動作について説明する。なお、図１８では、センサシステム１１０の台数が１０台の場合を例として説明している。
　図１８を用いて撮影画像に異常があった場合の第４実施形態における処理を示す。第４実施形態では、センサシステム１１０はバッファ１８０２を画像データの一時保存領域として備えている。同期撮影におけるある撮影時刻ｔに対して一つ前の撮影タイミングである撮影時刻ｔ－１で撮影した撮影画像をバッファ１８０２に常に保持しておく。図１８において、短冊３を担当するカメラ１１２の撮影画像に対して、異常検知部４３５が異常を検知した場合を想定する。この場合、カメラアダプタ１２０は撮影に失敗した撮影時刻ｔの撮影画像１８０１の代替として、バッファ１８０２に保持してある撮影時刻ｔ－１の撮影画像１８０３をトリミングして短冊画像を生成し、その画像データを出力する。なお、上記では撮影画像をバッファ１８０２に保持したがこれに限られるものではない。撮影時刻ｔ－１の撮影画像のトリミングにより得られた短冊画像をバッファ１８０２に保持しておき、撮影時刻ｔの撮影画像に異常が検出された場合に、バッファ１８０２に保持されている短冊画像を伝送するようにしてもよい。また、バッファ１８０２には、異常検知部４３５が異常を検知しなかった場合の撮影画像または短冊画像が保持されるようにしてもよい。
　また、上記ではセンサシステム１１０ごと（カメラ１１２ごと）にバッファ１８０２を設けた構成としているが、バッファ１８０２をデータベース２５０に設けた構成としてもよい。その場合、短冊３を担当するセンサシステム１１０では、カメラアダプタ１２０が次段へ伝送される短冊画像に付与されるメタデータに撮影異常を示すフラグを立てる。データベース２５０は画像生成の目的で通常画像を保存しているため、特に追加の保存領域は必要ない。フロントエンドサーバ２３０は、撮影時刻ｔの短冊画像（撮影画像１８０１から得られた短冊画像）のメタデータに撮影異常を示すフラグが立っていた場合、バッファ１８０２内の過去時刻ｔ－１の短冊画像を撮影時刻ｔの代替データとしてデータベース２５０に格納する。
　また、カメラ１１２が故障し、後段に画像データを出力できない場合は、画像データに付加されたメタデータでの対応ができない。この場合は、異常検知部４３５がフロントエンドサーバ２３０に直接に異常を通知し、通知を受けたフロントエンドサーバは過去時刻ｔ－１の画像データ（撮影画像１８０３）を撮影時刻ｔの代替データとするように指示する。或いは、後段に伝送すべき短冊画像が得られない場合に、カメラアダプタ１２０が異常の発生を示す異常情報を後段へ伝送させるようにしてもよい。
　以上のように、第４実施形態によれば、センサシステムや画像生成部にトリミング範囲の変更という特別な機能を持たせることなく、広視野画像生成が可能となる。なお、代替データは撮影時刻ｔ－１の撮影画像に対応しているため、他の短冊画像との間に撮影時刻のずれがある。しかしながら、画像データの大きな部分を占める背景画像は時間的な変化が小さいので時間が最小限に異なる短冊画像が用いられても影響は少ない。なお、一部の短冊画像のみが過去時刻ｔ－１の画像データとなることにより他の時刻ｔの短冊画像（画像データ）と整合が取れなくなる場合がある。この場合、他の短冊画像についても時刻ｔ－１の短冊画像が用いられるようにしてもよい。
　＜第５実施形態＞
　第５実施形態の画像処理システム１００およびカメラアダプタ１２０の構成は第２実施形態（図１、図１０）と同様である。第５実施得形態では、撮影の失敗時に通常の撮影タイミングを待たずに、追加撮影を実施することにより、異常のない短冊画像を得る。以下、図１９を用いて第５実施形態を説明する。なお、図１９ではカメラ１１２（センサシステム１１０）の台数が１０台の場合を例示している。
　カメラ１１２は、図１９に示すように撮影時刻ｔ－１（１９０１）、撮影時刻ｔ（１９０２）、撮影時刻ｔ＋１（１９０３）と一定の間隔１９０４で連続撮影を実施する。これらの撮影時刻は同期撮影の撮影タイミングである。各撮影時刻は、すべてのカメラで同期した時刻である。なお、図示されてはいないが撮影時刻ｔ－１より前の時刻、および撮影時刻ｔ＋１より後の時刻も同様に一定の間隔１９０４で連続撮影が行われる。ここで、撮影時刻ｔ（１９０２）における撮影が失敗し、画像データに異常が生じ、異常が検知されたとする。この場合、第５実施形態では、次の撮影時刻ｔ＋１（１９０３）を待たずに追加の撮影が実施される。図１９では時刻１９０５で追加撮影が実施されている。
　時刻１９０２におけるカメラ１１２による撮影画像の異常を異常検知部４３５が検知すると、異常検知部４３５はカメラ制御部４４１に対して追加撮影を指示する。追加撮影の指示を受けたカメラ制御部４４１は指示を受けてから撮影可能な最速のタイミングで追加撮影を実施する。
　撮影時刻ｔ（１９０２）での撮影に失敗するが、撮影時刻１９０５での再撮影では撮影に成功するようなケースは、ごく短時間で撮影失敗の原因が除去されるケースである。例えば、撮影機器の前に短時間だけ何か障害物が映り込んだがすぐに障害物が移動するような場合が想定される。なお、撮影時刻１９０５での追加撮影時でも撮影の失敗が継続した場合は、撮影時刻ｔ＋１での撮影よりも前に再度の追加撮影を実施する。
　第５実施形態によれば、撮影画像の領域１９０６（短冊３）が使用できない場合に、追加撮影を行って得られた正常な撮影画像の領域１９０７を代替の画像データとして使用することが可能となる。また、追加撮影の時刻は通常の撮影時刻である時刻ｔ＋１（１９０３）よりも早い時刻であり、撮影時刻ｔとの差が少ない。そのため、追加撮影による撮影画像の方が、撮影時刻ｔ＋１での撮影画像と比較して、時刻のずれによる画像の差が少なくなる。なお、撮影失敗を検知してから追加撮影を行うまでの時間が撮影の間隔１９０４を超えてしまう場合には、追加撮影を行わず、次の撮影時刻である時刻ｔ＋１（１９０３）での撮影を行う。
　画像データに付与されるメタデータに撮影時刻が記録されることは一般的である。本実施形態でもバックエンドサーバ２７０で短冊画像を合成する際に同時刻の複数の画像データを集約して使用するために撮影時刻のメタデータが参照される。本実施形態では、撮影時刻ｔの撮影画像から得られる画像データの代替として、撮影時刻ｔより後で撮影時刻ｔ＋１よりも前の追加撮影により得られる画像データが伝送される。そのため、追加撮影で得られた画像データに付加されるメタデータには、撮影を失敗しなかった他のセンサシステム１１０から得られた画像データと異なる時刻が記録されることとなる。この場合、バックエンドサーバ２７０は撮影されるはずであった撮影時刻ｔに最も近い時刻が記録されている画像データを、撮影時刻ｔに撮影された他の画像データに合成し、広視野画像を生成する。
　なお、追加撮影された画像データのメタデータ上の撮影時刻を記録する際に、撮影時刻として撮影画像の異常が検知された同期撮影の撮影時刻ｔを記録するようにしてもよい。たとえば、図１９の例において、時刻１９０５の追加撮影で得られた短冊画像に撮影時刻ｔを記録するようにしてもよい。この場合、バックエンドサーバ２７０はメタデータ上の撮影時刻に対し特別な処理を行う必要がなく、通常通りの合成処理を行うことができる。
　以上のように、第５実施形態によれば、次の撮影タイミングを待つことなく、追加の撮影を行うことで、隣接した短冊画像間の撮影時間の差異による差異の影響を少なくした広視野画像生成が可能となる。
　＜第６実施形態＞
　上述した各実施形態では、カメラ１１２の撮影フレームレートとカメラアダプタ１２０の伝送フレームレートは同じである。したがって、原則として撮影したデータは全て伝送される構成である。第６実施形態では予め撮影フレームレートを伝送フレームレートより高くすることにより、撮影画像に異常が生じた場合に対応する。第６実施形態の画像処理システム１００およびカメラアダプタ１２０の構成は第２実施形態（図１、図１０）と同様である。以下、図２０を参照して第６実施形態の動作を説明する。なお、図２０では、本実施形態ではカメラ１１２の数が１０台の場合を例示している。
　図２０で示すように短冊画像の伝送は、伝送時刻Ｔの間隔（時刻２００１、時刻２００２、時刻２００３）で実施される。この伝送タイミングに対して、カメラ１１２の撮影は撮影時刻ｔの間隔（本例では時刻Ｔの１／１２の間隔）で実施される。すなわち、伝送時刻Ｔ（２００２）と伝送時刻Ｔ＋１（２００３）の間に１２回撮影が実施される。なお、本例では、撮影時刻の間隔を伝送時刻の間隔の１／１２としたが、これに限定されない。２００４は、カメラ１１２による撮影タイミングの一例である。また、センサシステム１１０は撮影した撮影画像から取得された画像データを一時保存するバッファを備え、撮影画像に異常が無ければバッファに保存されている短冊画像を更新する。そして、伝送タイミングでは一時保存用のバッファに格納されている最新の短冊画像を伝送する。
　たとえば、図２０では、時刻２００７までの間では正常な撮影画像が取得され（期間２００５）、撮影時刻２００７の次の撮影タイミングから時刻２００２（伝送時刻Ｔ）まで撮影画像に異常が検知されている（期間２００６）とする。撮影画像に異常が検知された場合、一時保存用のバッファに格納されている画像データの更新は行われない。この場合、伝送タイミングの時刻２００２（伝送時刻Ｔ）では、バッファに撮影時刻ｔ－３で得られた短冊画像が最新の短冊画像として保持されている。時刻２００２では、最後に取得された正常な撮影画像、すなわち時刻２００７の撮影画像から得られた短冊画像が伝送される。撮影時刻２００７の画像データは時刻２００２（伝送時刻Ｔ）より前の時刻において最も近い時刻で撮影画像から得られた短冊画像である。
　図２０の時刻ｔの撮影画像２００８、時刻ｔ－１の撮影画像２００９、時刻ｔ－２の撮影画像２０１０は撮影失敗時の撮影画像である。バッファには、時刻ｔ－３の撮影画像２０１１から得られた短冊画像が保持されており、伝送時刻Ｔでは撮影画像２０１１から切り出された短冊画像が伝送される。
　なお、第６実施形態においても撮影データに付与されるメタデータ上の撮影時刻情報については第５実施形態と同様に、伝送タイミングの時刻と異なる撮影時刻が付与されることになる。また、第５実施形態と同様、実際の撮影時刻に関わらず、伝送時刻である時刻Ｔがそのまま代替データに付与されるようにしてもよい。
　第５実施形態の対応を行うことにより、予め伝送フレームレートよりも高いフレームレートで撮影を行うことで、追加の撮影なしに失敗した撮影時刻に最も近い代替データを取得することが可能となる。
　＜第７実施形態＞
　第２実施形態では、あるセンサシステム１１０のカメラ１１２（第１のカメラ）の撮影画像に異常が検出さると、次段のセンサシステム１１０のカメラ１１２（第２のカメラ）で得られた撮影画像から代替データが生成される。したがって、第１のカメラから異常が検知された撮影画像が得られた場合に、代替データは、第１のカメラとは異なる位置姿勢に配置された第２のカメラから得られた撮影画像から生成される。第６実施形態では、第２のカメラから得られた撮影画像を用いて、第１のカメラのための代替データを生成する場合に、第１のカメラと第２のカメラの位置関係を考慮する。第６実施形態の画像処理システム１００およびカメラアダプタ１２０の構成は第２実施形態（図１、図１０）と同様である。なお、第７実施形態では、図１６Ｂで説明したように、第２のカメラに対応する短冊画像と、第１のカメラに対応する短冊画像のための代替データとが、別個に取得される。
　以下、図２１を参照して、第７実施形態によるカメラアダプタ１２０のトリミング処理について説明する。第２実施形態の処理と同様に短冊３の短冊画像（領域２１０１の画像データ）に異常がある場合を想定する。短冊４を担当するセンサシステム１１０が短冊４の短冊画像（領域２１０２）に加えて、短冊画像（領域２１０３）を追加し、領域２１０３の画像を短冊３の領域２１０１の代替データとする。ここまでは第２実施形態と同様である。
　第７実施形態では、領域２１０３の画像データに対して、短冊３を担当するカメラ１１２ａと短冊４を担当するカメラ１１２ｂの配置の差異について考慮した処理を追加する。具体的には、短冊３を担当するカメラ１１２ａと短冊４を担当するカメラ１１２ｂは撮影される視野領域に重複する部分があるが、領域２１０１と領域２１０３とではカメラの位置や姿勢の差による画像データとしての差異が生じる。
　そこで、本実施形態では、予めカメラの位置や姿勢に関するパラメータをそれぞれのセンサシステム１１０の間で共有しておく。そして、他のセンサシステム１１０の代替データとしてトリミング範囲を変更する際に、カメラによる撮影位置の差に基づいて代替データに幾何的な補正処理を実施する。図２１では領域２１０３のデータに対して、位置姿勢の差異分（図上では概念的に角度２１０４で示す）、短冊３を担当するカメラ１１２ａから撮影したデータに合わせるように幾何補正処理を実施する。角度２１０４は短冊４のカメラ１１２ｂの領域２１０３に対する位置姿勢と、短冊３のカメラ１１２ａの領域２１０１に対する位置姿勢との差異である。当該位置姿勢の差異はカメラ１１２ａと１１２ｂの物理的な配置位置の差異から生じる。
　幾何補正処理としては、予め把握しているカメラの位置姿勢パラメータから他のカメラの撮影平面に合わせたホモグラフィ（射影変換行列）を求め、代替データ領域部分のデータに対して行列演算を行う。このような補正処理により、あたかも短冊３を担当するカメラ１１２ａによる撮影データであるかのような代替データを得ることができる。この補正処理を行うことで、バックエンドサーバ２７０で広視野画像を生成する際の生成画像の精度が向上する。なお、上述した補正処理は、図１６Ａで得られる短冊画像１６０６に適用することも可能である。その場合、短冊画像１６０６のうちの短冊２の領域に対応する部分（図１４の１４ｂの領域１４０５）に上記補正処理を適用すればよい。
　なお、上記第２実施形態～第６実施形態では、異常検知部４３５が各センサシステム１１０ごとに、すなわち各カメラ１１２ごとに設けられているがこれに限られるものではない。単一の異常検知部４３５によって複数のセンサシステム１１０における撮影画像または短冊画像における異常の存在を検知するようにしてもよい。この場合、単一の異常検知部４３５は、異常を検知した撮影画像が取得されたセンサシステム１１０に対して撮影画像又は短冊画像に異常が存在する旨を通知する。また、特に第３実施形態では、単一の異常検知部４３５が、トリミング変更の必要な２つ以上のセンサユニットにその旨を通知するように構成することができる。
　以上、本発明の実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。たとえば、第１実施形態～第７実施形態は、合成画像の生成に用いるための複数の画像を複数のカメラで撮影された複数の撮影画像から得る構成において、１部のカメラの画像が使用できない場合に、これを補完するものである。したがって、第１実施形態では任意視点画像の生成を例示し、第２～第７実施形態では広視野画像の生成を例示したが、第１実施形態の構成を広視野画像の生成に、第２～第７実施形態の構成を任意視点画像の生成に適用できることは明らかである。
　なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１６年１０月１１日提出の日本国特許出願特願２０１６－２００４７２を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (27)

  1. 　被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムであって、
    　前記複数のカメラのうち、少なくとも１つのカメラの異常を検知する検知手段と、
    　前記検知手段により異常が検知されたカメラの撮影領域の画像として、前記複数のカメラのうち、前記検知手段により異常が検知されていないカメラの撮影画像を用いて仮想視点画像を生成する生成手段とを有することを特徴とする画像処理システム。
  2. 　前記複数のカメラは複数の画像処理装置に接続され、
    前記複数の画像処理装置の各々は、
    　前記複数のカメラのうちの対応するカメラから得られた撮影画像から送信の対象となる画像を生成する第１の生成手段と、
    　前記第１の生成手段により生成された画像を送信する第１の送信手段と、
    　前記複数の画像処理装置の予め定められた順序において前段の画像処理装置から出力されるべき画像が出力されなかったことを検出した場合に、出力されるべき画像の代替データを、前記撮影画像から生成する第２の生成手段と、
    　前記第２の生成手段で生成された前記代替データを送信する第２の送信手段と、を備えることを特徴とする請求項１に記載の画像処理システム。
  3. 　前記第１の送信手段は、前記予め定められた順序において次段の画像処理装置に前記第１の生成手段により生成された画像を送信することを特徴とする請求項２に記載の画像処理システム。
  4. 　前記第２の送信手段は、前記出力されるべき画像が前記前段の画像処理装置から受信されなかったことを検出した場合に、前記代替データを前記次段の画像処理装置に送信することを特徴とする請求項３に記載の画像処理システム。
  5. 　前記出力されるべき画像が受信されなかったことを検出した場合とは、前記撮影画像の撮影タイミングから所定時間内に前記出力されるべき画像が受信されない場合であることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理システム。
  6. 　前記複数の画像処理装置はデイジーチェーンにより、前記予め定められた順序で接続されている請求項２乃至５の何れか１項に記載の画像処理システム。
  7. 　前記第１の生成手段は、前記撮影画像から前景画像と背景画像を生成し、前記背景画像については他の画像処理装置から得られる背景画像との差分を生成し、
    　前記第２の生成手段は、前記撮影画像から、前記前段の画像処理装置が担当する領域の背景画像を用いて前記代替データを生成することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理システム。
  8. 　被写体を複数の方向から撮影するための複数のカメラと、前記複数のカメラが接続される複数の画像処理装置と、を有し、前記複数の画像処理装置から送信された画像を用いて合成画像を生成するための画像処理システムの制御方法であって、
    　前記複数の画像処理装置の各々が、
    　前記複数のカメラのうちの対応するカメラから得られた撮影画像から送信の対象となる画像を生成する第１の生成工程と、
    　前記第１の生成工程で生成された画像を送信する第１の送信工程と、
    　前記複数の画像処理装置の予め定められた順序において前段の画像処理装置から出力されるべき画像が出力されなかったことを検出した場合に、出力されるべき画像の代替データを、前記撮影画像から生成する第２の生成工程と、
    　前記第２の生成工程で生成された前記代替データを送信する第２の送信工程と、を有することを特徴とする画像処理システムの制御方法。
  9. 　被写体を撮影するためのカメラに接続され、予め定められた順序が付与されて接続された複数の画像処理装置のうちの一つとして機能することができる画像処理装置であって、
    　前記カメラから得られた撮影画像から送信の対象となる画像を生成する第１の生成手段と、
    　前記第１の生成手段により生成された画像を送信する第１の送信手段と、
    　前記複数の画像処理装置の予め定められた順序において前段の画像処理装置から出力されるべき画像が出力されなかったことを検出した場合に、出力されるべき画像の代替データを、前記撮影画像から生成する第２の生成手段と、
    　前記第２の生成手段で生成された前記代替データを送信する第２の送信手段と、を備えることを特徴とする画像処理装置。
  10. 　前記複数のカメラから得られる複数の撮影画像のそれぞれから前記仮想視点画像の生成に必要な複数の部分画像を切り出す切り出し手段と、
    　前記検知手段により少なくとも１つのカメラの異常が検知された場合に、前記異常が検知されたカメラの撮影領域の画像を補うために、前記異常が検知されていない他のカメラの撮影画像からの、前記切り出し手段による部分画像の切り出し範囲を変更する変更手段と、を備えることを特徴とする請求項１に記載の画像処理システム。
  11. 　前記変更手段は、変更後の切り出し範囲の切り出しを可能にするために、必要に応じて対応するカメラの撮影条件を変更することを特徴とする請求項１０に記載の画像処理システム。
  12. 　前記撮影条件は画角および／または撮影方向であることを特徴とする請求項１１に記載の画像処理システム。
  13. 　前記複数のカメラには予め順序が付与されており、
    　前記変更手段は、異常が検知された撮影画像または異常が検知された部分画像が切り出された撮影画像を撮影した第１のカメラの、前記順序における次段の第２のカメラについて切り出し範囲を変更することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理システム。
  14. 　前記変更手段は、前記第２のカメラから得られた撮影画像から、前記第１のカメラに対応した部分画像の領域と前記第２のカメラに対応した部分画像の領域を含む領域を切り出すように前記切り出し範囲を変更することを特徴とする請求項１３に記載の画像処理システム。
  15. 　前記変更手段は、前記第２のカメラから得られた撮影画像から、前記第１のカメラに対応した部分画像の領域と前記第２のカメラに対応した部分画像の領域をそれぞれ個別に切り出すように前記切り出し範囲を変更することを特徴とする請求項１３に記載の画像処理システム。
  16. 　前記第１のカメラに対応した部分画像について、前記第１のカメラと前記第２のカメラによる撮影の位置に応じた幾何的な補正処理を実施することを特徴とする請求項１５に記載の画像処理システム。
  17. 　前記変更手段は、前記異常が検知された部分画像の領域の画像を補うように、前記複数のカメラのうちの２つ以上のカメラについて切り出し範囲を変更することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理システム。
  18. 　前記変更手段は、前記２つ以上のカメラにおける変更後の切り出し範囲の大きさが等しいことを特徴とする請求項１７に記載の画像処理システム。
  19. 　被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムであって、
    　前記複数のカメラのうち、少なくとも１つのカメラの異常を検知する検知手段と、
    　前記検知手段により少なくとも１つのカメラの異常が検知された場合、当該異常が検知されたカメラの異常検知の前の撮影タイミングで得られた撮影画像を用いて仮想視点画像を生成する生成手段とを有することを特徴とする画像処理システム。
  20. 　被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムであって、
    　同期信号に同期した撮影タイミングで前記複数のカメラによる撮影を実行して複数の撮影画像を得る取得手段と、
    　前記複数の撮影画像のそれぞれから前記合成画像の生成に必要な複数の部分画像を切り出す切り出し手段と、
    　前記複数の撮影画像の各々または前記複数の部分画像の各々について異常の存在を検知する検知手段と、
    　前記複数のカメラのうち、前記検知手段により異常の存在が検知された撮影画像を提供したカメラに、前記同期信号による次の撮影タイミングよりも前に、追加撮影を行わせる制御手段と、を備えることを特徴とする画像処理システム。
  21. 　前記追加撮影により得られた部分画像には、撮影時刻として前記撮影タイミングの時刻を付与することを特徴とする請求項２０に記載の画像処理システム。
  22. 　被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムであって、
    　同期信号による同期撮影の第１のレートよりも高い第２のレートで前記複数のカメラによる撮影を行う撮影手段と、
    　前記第２のレートで撮影された複数の撮影画像または前記複数の撮影画像から得られる複数の部分画像の各々について異常の存在を検知する検知手段と、
    　前記複数のカメラから得られる複数の撮影画像のそれぞれから、前記合成画像の生成に必要な複数の部分画像を切り出す切り出し手段と、
    　前記検知手段により異常が検知されなかった部分画像をバッファに保持する保持手段と、
    　前記同期撮影のタイミングにおいて、前記複数のカメラのそれぞれについて、前記バッファに保持されている最新の部分画像を前記合成画像の生成に用いる部分画像として取得する取得手段と、を備えることを特徴とする画像処理システム。
  23. 　被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムであって、
    　同期信号による同期撮影の第１のレートよりも高い第２のレートで前記複数のカメラによる撮影を行う撮影手段と、
    　前記第２のレートで撮影された複数の撮影画像の各々について異常の存在を検知する検知手段と、
    　前記検知手段により異常が検知されなかった撮影画像をバッファに保持する保持手段と、
    　前記同期撮影のタイミングにおいて、前記複数のカメラのそれぞれについて、前記バッファに保持されている最新の撮影画像から前記合成画像の生成に必要な複数の部分画像を切り出す切り出し手段と、を備えることを特徴とする画像処理システム。
  24. 　被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムの制御方法であって、
    　前記複数のカメラから得られる複数の撮影画像のそれぞれから前記合成画像の生成に必要な複数の部分画像を切り出す切り出し工程と、
    　前記複数の撮影画像または前記複数の部分画像の各々について異常の存在を検知する検知工程と、
    　前記検知工程で撮影画像または部分画像において異常が検知された場合に、前記異常が検知された部分画像の領域の画像を補うために、次に撮影される撮影画像からの、前記切り出し手段による部分画像の切り出し範囲を変更する変更工程と、を有することを特徴とする画像処理システムの制御方法。
  25. 　被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムの制御方法であって、
    　前記複数のカメラのうち、少なくとも１つのカメラの異常を検知する検知工程と、
    　前記検知工程において少なくとも１つのカメラの異常が検知された場合、当該異常が検知されたカメラの異常検知の前の撮影タイミングで得られた撮影画像を用いて仮想視点画像を生成する生成工程とを有することを特徴とする画像処理システムの制御方法。
  26. 　被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムの制御方法であって、
    　同期信号に同期した撮影タイミングで前記複数のカメラによる撮影を実行して複数の撮影画像を得る取得工程と、
    　前記複数の撮影画像のそれぞれから前記合成画像の生成に必要な複数の部分画像を切り出す切り出し工程と、
    　前記複数の撮影画像の各々または前記複数の部分画像の各々について異常の存在を検知する検知工程と、
    　前記複数のカメラのうち、前記検知工程で異常の存在が検知された撮影画像を提供したカメラに、前記同期信号による次の撮影タイミングよりも前に、追加撮影を行わせる制御工程と、を有することを特徴とする画像処理システムの制御方法。
  27. 　被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムの制御方法であって、
    　同期信号による同期撮影の第１のレートよりも高い第２のレートで前記複数のカメラによる撮影を行う撮影工程と、
    　前記第２のレートで撮影の撮影タイミングで前記複数のカメラによって撮影された複数の撮影画像の各々について異常の存在を検知する検知工程と、
    　前記検知工程で異常が検知されなかった撮影画像をバッファに保持する保持工程と、
    　前記同期撮影のタイミングにおいて、前記複数のカメラのそれぞれについて、前記バッファに保持されている最新の撮影画像から前記合成画像の生成に必要な複数の部分画像を切り出す切り出し工程と、を有することを特徴とする画像処理システムの制御方法。
PCT/JP2017/030697 2016-10-11 2017-08-28 画像処理システム、画像処理装置、及び、制御方法 WO2018070121A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17859697.9A EP3528200A4 (en) 2016-10-11 2017-08-28 IMAGE PROCESSING SYSTEM, IMAGE PROCESSING DEVICE AND CONTROL METHOD
US16/372,482 US11037364B2 (en) 2016-10-11 2019-04-02 Image processing system for generating a virtual viewpoint image, method of controlling image processing system, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016200472A JP6894687B2 (ja) 2016-10-11 2016-10-11 画像処理システム、画像処理装置、制御方法、及び、プログラム
JP2016-200472 2016-10-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/372,482 Continuation US11037364B2 (en) 2016-10-11 2019-04-02 Image processing system for generating a virtual viewpoint image, method of controlling image processing system, and storage medium

Publications (1)

Publication Number Publication Date
WO2018070121A1 true WO2018070121A1 (ja) 2018-04-19

Family

ID=61906292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030697 WO2018070121A1 (ja) 2016-10-11 2017-08-28 画像処理システム、画像処理装置、及び、制御方法

Country Status (4)

Country Link
US (1) US11037364B2 (ja)
EP (1) EP3528200A4 (ja)
JP (1) JP6894687B2 (ja)
WO (1) WO2018070121A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020045186A1 (ja) * 2018-08-31 2020-03-05 キヤノン株式会社 情報処理装置、方法、及びプログラム
JP2020036295A (ja) * 2018-08-31 2020-03-05 キヤノン株式会社 情報処理装置、方法、及びプログラム
JP2020036293A (ja) * 2018-08-31 2020-03-05 キヤノン株式会社 処理装置、制御方法、及びプログラム
WO2020189223A1 (ja) * 2019-03-15 2020-09-24 ソニー株式会社 動画配信システム、動画配信方法、及び表示端末
EP3742402A1 (en) * 2019-05-23 2020-11-25 Canon Kabushiki Kaisha Image processing system, image processing method, and program
JP6840294B1 (ja) * 2020-02-21 2021-03-10 三菱電機株式会社 プログラマブル表示器、制御システムおよび解析方法
US11595635B2 (en) 2018-05-06 2023-02-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Communication methods and systems, electronic devices, servers, and readable storage media

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
JP6429829B2 (ja) * 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP7387434B2 (ja) * 2017-09-11 2023-11-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像生成方法および画像生成装置
JP2020010300A (ja) * 2018-07-12 2020-01-16 キヤノン株式会社 映像生成装置、映像生成装置の制御方法及びプログラム
CN111669568B (zh) * 2019-03-07 2024-05-28 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
WO2020181065A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
DE112020006061T5 (de) * 2019-12-09 2022-10-27 Sony Group Corporation Informationsverarbeitungsvorrichtung und -verfahren, programm und informationsverarbeitungssystem
JP7467130B2 (ja) 2020-01-21 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
GB2616735B (en) * 2020-06-09 2024-05-29 Canon Kk Method, device, and computer program for robust data transmission in daisy-chain networks
CN112637614B (zh) * 2020-11-27 2023-04-21 深圳市创成微电子有限公司 网络直播音视频处理方法、处理器、装置及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105863A (ja) * 1996-09-26 1998-04-24 Oki Electric Ind Co Ltd 走行路情報収集装置
JPH1198342A (ja) * 1997-09-19 1999-04-09 Toshiba Tec Corp パノラマ画像表示方法及びその装置
JP2003244728A (ja) * 2002-02-15 2003-08-29 Mitsubishi Heavy Ind Ltd 仮想映像作成装置及び仮想映像作成方法
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2016001833A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 映像再生システム、及び制御方法
JP2016200472A (ja) 2015-04-09 2016-12-01 株式会社デンソー 車両の運転支援装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843497B2 (en) * 1994-05-31 2010-11-30 Conley Gregory J Array-camera motion picture device, and methods to produce new visual and aural effects
US5583796A (en) * 1995-06-06 1996-12-10 Philips Electronics North America Corporation Video security backup system
US6124862A (en) * 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US8560951B1 (en) * 1998-12-18 2013-10-15 Thomson Licensing System and method for real time video production and distribution
JP2001346193A (ja) * 2000-05-31 2001-12-14 Hitachi Kokusai Electric Inc 監視テレビカメラシステム
US6741250B1 (en) * 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7349005B2 (en) * 2001-06-14 2008-03-25 Microsoft Corporation Automated video production system and method using expert video production rules for online publishing of lectures
GB2413720B (en) * 2003-03-14 2006-08-02 British Broadcasting Corp Video processing
JP4259153B2 (ja) * 2003-03-24 2009-04-30 ヤマハ株式会社 画像処理装置および画像処理方法を実現するためのプログラム
JP2005077469A (ja) * 2003-08-28 2005-03-24 Ricoh Co Ltd 画像形成装置
JP2005354289A (ja) * 2004-06-09 2005-12-22 Ntt Docomo Inc 端末装置、環境管理サーバ、カメラサーバ及び映像生成方法
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
JP4727329B2 (ja) * 2005-07-15 2011-07-20 パナソニック株式会社 画像合成装置及び画像合成方法
US20100013930A1 (en) * 2006-10-11 2010-01-21 Masatoshi Matsuo Video display apparatus and video display method
WO2008083500A1 (en) * 2007-01-11 2008-07-17 360 Replays Ltd. Method and system for generating a replay video
CN101652999B (zh) * 2007-02-02 2016-12-28 霍尼韦尔国际公司 用于管理实况视频数据的系统和方法
JP2008217243A (ja) * 2007-03-01 2008-09-18 Mitsubishi Electric Corp 画像生成装置
KR20100068406A (ko) * 2007-08-30 2010-06-23 톰슨 라이센싱 비디오 스위처를 사용한 보조 버스 상으로의 비디오 전송의 생성
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
US9117310B2 (en) * 2010-04-02 2015-08-25 Imec Virtual camera system
JP5570284B2 (ja) * 2010-04-16 2014-08-13 キヤノン株式会社 画像処理装置および方法
JP5562103B2 (ja) * 2010-04-16 2014-07-30 キヤノン株式会社 画像処理装置および方法
SG176327A1 (en) * 2010-05-20 2011-12-29 Sony Corp A system and method of image processing
US8817136B2 (en) * 2010-06-23 2014-08-26 Raytheon Company Image processing utilizing spatially-displaced image data
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
US8538233B2 (en) * 2011-08-24 2013-09-17 Disney Enterprises, Inc. Automatic camera identification from a multi-camera video stream
US8786782B2 (en) * 2011-08-31 2014-07-22 Disney Enterprises, Inc. Multiple-input configuration and playback video enhancement
US20130129192A1 (en) * 2011-11-17 2013-05-23 Sen Wang Range map determination for a video frame
EP2791909A4 (en) * 2011-12-16 2015-06-24 Thomson Licensing METHOD AND DEVICE FOR PRODUCING 3D CONTENTS WITH FREE VIEWPOINT
US10158838B2 (en) * 2012-07-10 2018-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for supporting view synthesis
MX2014002305A (es) * 2012-11-29 2015-03-04 Open Joint Stock Company Long Distance And Internat Telecomm Rostelecom Ojsc Rostelecom Sistema de transmision de video para monitorear eventos simultaneos geograficamente distribuidos.
US9115675B2 (en) * 2012-12-03 2015-08-25 Continental Automotive Systems, Inc. Method and system for cleaning a charcoal canister of an emissions system using a fuel cell
JP6349637B2 (ja) * 2013-07-11 2018-07-04 株式会社デンソー 車両用画像合成装置
US20150244989A1 (en) * 2014-02-27 2015-08-27 Transcend Information, Inc. Surveillance system, surveillance camera and method for security surveillance
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法
BR102014016035A2 (pt) * 2014-06-27 2016-08-30 Ricardo Amaral Remer ringue de artes marciais dotado de meios de obtenção de imagens, e processo para a obtenção de imagens tridimensionais e/ou de dados para treinamento, para auxílio ao julgamento ou educação desportiva
US9900583B2 (en) * 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh
US9848212B2 (en) * 2015-07-10 2017-12-19 Futurewei Technologies, Inc. Multi-view video streaming with fast and smooth view switch
JP6702329B2 (ja) * 2015-09-03 2020-06-03 ソニー株式会社 映像処理装置、映像処理方法、及び、プログラム
EP3142066B1 (en) * 2015-09-10 2024-06-12 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
US9947111B2 (en) * 2015-10-28 2018-04-17 Sony Corporation Method of multiple camera positioning utilizing camera ordering
CN109565605B (zh) * 2016-08-10 2021-06-29 松下电器（美国）知识产权公司 拍摄技术生成方法以及影像处理装置
EP3509296B1 (en) * 2016-09-01 2021-06-23 Panasonic Intellectual Property Management Co., Ltd. Multiple viewpoint image capturing system, three-dimensional space reconstructing system, and three-dimensional space recognition system
EP3355587A1 (en) * 2017-01-30 2018-08-01 EVS Broadcast Equipment SA Video production apparatus and method for video production

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105863A (ja) * 1996-09-26 1998-04-24 Oki Electric Ind Co Ltd 走行路情報収集装置
JPH1198342A (ja) * 1997-09-19 1999-04-09 Toshiba Tec Corp パノラマ画像表示方法及びその装置
JP2003244728A (ja) * 2002-02-15 2003-08-29 Mitsubishi Heavy Ind Ltd 仮想映像作成装置及び仮想映像作成方法
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2016001833A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 映像再生システム、及び制御方法
JP2016200472A (ja) 2015-04-09 2016-12-01 株式会社デンソー 車両の運転支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3528200A4

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11595635B2 (en) 2018-05-06 2023-02-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Communication methods and systems, electronic devices, servers, and readable storage media
US11627256B2 (en) 2018-08-31 2023-04-11 Canon Kabushiki Kaisha Information processing apparatus, method, and non-transitory computer-readable storage medium
JP7462085B2 (ja) 2018-08-31 2024-04-04 キヤノン株式会社 情報処理装置、方法、及びプログラム
JP2020036293A (ja) * 2018-08-31 2020-03-05 キヤノン株式会社 処理装置、制御方法、及びプログラム
JP7129283B2 (ja) 2018-08-31 2022-09-01 キヤノン株式会社 処理装置、制御方法、及びプログラム
JP7227717B2 (ja) 2018-08-31 2023-02-22 キヤノン株式会社 情報処理装置、方法、及びプログラム
JP2020036295A (ja) * 2018-08-31 2020-03-05 キヤノン株式会社 情報処理装置、方法、及びプログラム
WO2020045186A1 (ja) * 2018-08-31 2020-03-05 キヤノン株式会社 情報処理装置、方法、及びプログラム
WO2020189223A1 (ja) * 2019-03-15 2020-09-24 ソニー株式会社 動画配信システム、動画配信方法、及び表示端末
JP7505483B2 (ja) 2019-03-15 2024-06-25 ソニーグループ株式会社 動画配信システム、及び動画配信方法
US11972547B2 (en) 2019-03-15 2024-04-30 Sony Group Corporation Video distribution system, video distribution method, and display terminal
CN113545094A (zh) * 2019-03-15 2021-10-22 索尼集团公司 运动图像分发系统、运动图像分发方法以及显示终端
EP3941067A4 (en) * 2019-03-15 2022-04-27 Sony Group Corporation MOVING PICTURE DISTRIBUTION SYSTEM, MOVING PICTURE DISTRIBUTION METHOD, AND DISPLAY TERMINAL
US11527021B2 (en) 2019-05-23 2022-12-13 Canon Kabushiki Kaisha Image processing system, image processing method, and storage medium
EP3742402A1 (en) * 2019-05-23 2020-11-25 Canon Kabushiki Kaisha Image processing system, image processing method, and program
JP6840294B1 (ja) * 2020-02-21 2021-03-10 三菱電機株式会社 プログラマブル表示器、制御システムおよび解析方法

Also Published As

Publication number Publication date
US20190228565A1 (en) 2019-07-25
JP6894687B2 (ja) 2021-06-30
JP2018063500A (ja) 2018-04-19
US11037364B2 (en) 2021-06-15
EP3528200A4 (en) 2020-04-29
EP3528200A1 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
WO2018070121A1 (ja) 画像処理システム、画像処理装置、及び、制御方法
KR102032082B1 (ko) 데이지 체인 접속이 있는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치
KR102121931B1 (ko) 제어 디바이스, 제어 방법 및 저장 매체
KR102502570B1 (ko) 상이한 프레임 레이트들로 전경 화상 및 배경 화상을 송신하는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치
KR102129792B1 (ko) 정보 처리 장치, 화상 생성 방법, 제어 방법 및 프로그램
JP6957215B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6672075B2 (ja) 制御装置、制御方法、及び、プログラム
JP6871801B2 (ja) 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム
US10623715B2 (en) Information processing apparatus and control method therefor
JP7042571B2 (ja) 画像処理装置およびその制御方法、プログラム
US20180376131A1 (en) Image processing apparatus, image processing system, and image processing method
JP2019022151A (ja) 情報処理装置、画像処理システム、制御方法、及び、プログラム
JP2018191251A (ja) 情報処理システム、情報処理方法、およびプログラム
JP2019134428A (ja) 制御装置、制御方法、及び、プログラム
JP2021119459A (ja) 生成装置、生成方法
JP7297969B2 (ja) 情報処理装置、プログラム、生成方法、及び、システム
JP2019050593A (ja) 画像処理システム、画像処理装置、制御方法、及び、プログラム
JP6632703B2 (ja) 制御装置、制御方法、及び、プログラム
JP2021077120A (ja) 画像処理システム、制御装置およびその制御方法、画像伝送方法、プログラム
JP7104504B2 (ja) 画像処理システム、画像処理装置、画像伝送方法、及び、プログラム
JP2019096926A (ja) 画像処理装置、画像処理方法およびプログラム
JP7204789B2 (ja) 制御装置、制御方法、及び、プログラム
JP2019003325A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019140642A (ja) 制御装置、制御方法及びプログラム
JP2021034972A (ja) 情報処理システム、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17859697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017859697

Country of ref document: EP

Effective date: 20190513