WO2023195056A1 - 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム - Google Patents

画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム Download PDF

Info

Publication number
WO2023195056A1
WO2023195056A1 PCT/JP2022/017069 JP2022017069W WO2023195056A1 WO 2023195056 A1 WO2023195056 A1 WO 2023195056A1 JP 2022017069 W JP2022017069 W JP 2022017069W WO 2023195056 A1 WO2023195056 A1 WO 2023195056A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
captured images
dimensional
learning
Prior art date
Application number
PCT/JP2022/017069
Other languages
English (en)
French (fr)
Inventor
幸宏 笹川
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to PCT/JP2022/017069 priority Critical patent/WO2023195056A1/ja
Publication of WO2023195056A1 publication Critical patent/WO2023195056A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an image processing method, a neural network learning method, a three-dimensional image display method, an image processing system, a neural network learning system, and a three-dimensional image display system.
  • An image processing system uses a plurality of captured images captured by a plurality of cameras to synthesize a free viewpoint image, which is a three-dimensional image that can be displayed by freely moving the viewpoint.
  • Non-patent Document 1 a technique is known in which a bowl-shaped (mortar-shaped) projection plane is defined in advance, and images captured by multiple cameras are mapped onto the projection plane to synthesize free-viewpoint images (Non-patent Document 1). reference).
  • a projection plane is calculated using distance information measured with a three-dimensional sensing device such as LiDAR (Laser Imaging Detection and Ranging), and images captured by multiple cameras are mapped onto the projection plane to create a free-viewpoint image.
  • LiDAR Laser Imaging Detection and Ranging
  • Non-Patent Document 1 has a problem in that distortion occurs in the composite image projected onto the projection plane due to mismatch between the predefined projection plane and the actual three-dimensional structure.
  • Non-Patent Document 2 by adding a three-dimensional sensing device such as LiDAR, it is possible to suppress distortion of the composite image, but adding a three-dimensional sensing device increases the cost. There is a problem in that the amount increases.
  • An embodiment of the present invention has been made in view of the above problems, and is an image processing system that synthesizes a free viewpoint image using a plurality of captured images, without using a three-dimensional sensing device. To synthesize free viewpoint images with less distortion.
  • an image processing method for synthesizing a free viewpoint image using a plurality of captured images on a display projection plane based on viewpoint information, the method comprising: an image acquisition step of acquiring the plurality of captured images by each of a plurality of cameras; and inputting the plurality of captured images and the viewpoint information, and calculating a difference between a predefined bowl-shaped default projection plane and the display projection plane.
  • a residual estimation step of estimating, by machine learning, residual information of a projection plane indicating A computer performs a mapping step to obtain the free viewpoint image.
  • an image processing system that synthesizes free viewpoint images using a plurality of captured images, it becomes possible to synthesize free viewpoint images with less distortion without using a three-dimensional sensing device. .
  • FIG. 1 is a diagram illustrating an example of a system configuration of an image processing system according to an embodiment.
  • FIG. 2 is a diagram for explaining an overview of image processing according to an embodiment.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of a computer according to an embodiment.
  • FIG. 1 is a diagram illustrating an example of a functional configuration of an image processing device according to an embodiment.
  • 3 is a flowchart illustrating an example of image processing according to an embodiment.
  • FIG. 3 is a diagram for explaining an overview of learning processing according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the functional configuration of the image processing device (during learning) according to the first embodiment.
  • 7 is a flowchart illustrating an example of learning processing according to the first embodiment.
  • FIG. 1 is a diagram illustrating an example of a system configuration of an image processing system according to an embodiment.
  • FIG. 2 is a diagram for explaining an overview of image processing according to an embodiment.
  • FIG. 1
  • FIG. 7 is a diagram for explaining an overview of learning processing according to the second embodiment.
  • FIG. 7 is a diagram illustrating an example of a functional configuration of an image processing device (during learning) according to a second embodiment.
  • 7 is a flowchart illustrating an example of learning processing according to the second embodiment.
  • 7 is a flowchart illustrating an example of residual information calculation processing according to the second embodiment.
  • FIG. 7 is a diagram illustrating a configuration example of a residual estimation model according to a third embodiment.
  • FIG. 7 is a diagram illustrating an example of a functional configuration of an image processing device according to a third embodiment.
  • FIG. 7 is a diagram for explaining an overview of learning processing according to a third embodiment.
  • 12 is a flowchart (1) illustrating an example of learning processing according to the third embodiment.
  • FIG. 12 is a flowchart (2) illustrating an example of learning processing according to the third embodiment.
  • FIG. 7 is a diagram illustrating an example of a system configuration of a three-dimensional image display system according to a fourth embodiment.
  • FIG. 7 is a diagram illustrating an example of the hardware configuration of an edge device according to a fourth embodiment.
  • FIG. 7 is a diagram illustrating an example of a functional configuration of a three-dimensional image display system according to a fourth embodiment.
  • FIG. 7 is a sequence diagram showing an example of three-dimensional image display processing according to the fourth embodiment.
  • the image processing system according to the present embodiment is a system that uses a plurality of captured images captured by a plurality of cameras to synthesize a free viewpoint image, which is a three-dimensional image that can be displayed by freely moving the viewpoint.
  • the image processing system according to the present embodiment can be applied, for example, to monitoring the surroundings of a moving object such as a car, robot, or drone, or to AR (Augmented Reality)/VR (Virtual Reality) technology.
  • AR Augmented Reality
  • VR Virtual Reality
  • FIG. 1 is a diagram illustrating an example of a system configuration of an image processing system according to an embodiment.
  • the image processing system 100 includes, for example, an image processing device 10 mounted on a vehicle 1 such as an automobile, a plurality of cameras 12, a display device 16, and the like.
  • the above components are communicably connected, for example, by an in-vehicle network, a wired cable, or wireless communication.
  • the vehicle 1 is an example of a moving body equipped with the image processing system 100 according to the present embodiment.
  • the moving body is not limited to the vehicle 1, and may be, for example, a robot that moves with legs or the like, various devices having a movement function such as a manned or unmanned aircraft, or a machine.
  • the camera 12 is an imaging device that images the surroundings of the vehicle 1 and obtains a captured image.
  • the vehicle 1 is provided with four cameras 12A to 12D facing different imaging areas E1 to E4.
  • "camera 12" will be used to refer to any camera among the four cameras 12A to 12D.
  • imaging area E is used.
  • the number of cameras 12 and imaging areas E shown in FIG. 1 is an example, and may be two or more other numbers.
  • the camera 12A is provided facing the imaging area E1 in front of the vehicle 1, and the camera 12B is provided facing the imaging area E2 on the side of the vehicle 1. Further, the camera 12C is provided toward an imaging region E3 on another side of the vehicle 1, and the camera 12D is provided toward an imaging region E4 at the rear of the vehicle 1.
  • the display device 16 is, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence), or various apparatuses or devices that have a display function to display various information.
  • a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence), or various apparatuses or devices that have a display function to display various information.
  • the image processing device 10 is a computer that executes image processing to synthesize a free viewpoint image using a plurality of captured images captured by the cameras 12A to 12D on a display projection surface by executing a predetermined program.
  • a free viewpoint image is a three-dimensional image that can be displayed by freely moving the viewpoint using a plurality of captured images captured by a plurality of cameras.
  • FIG. 2 is a diagram for explaining an overview of image processing according to one embodiment.
  • the image processing device 10 has projection plane information 230 that is information about a bowl-shaped (or mortar-shaped) projection plane (hereinafter referred to as a default projection plane 231) defined in advance around the vehicle 1.
  • projection plane information 230 is information about a bowl-shaped (or mortar-shaped) projection plane (hereinafter referred to as a default projection plane 231) defined in advance around the vehicle 1.
  • the image processing device 10 inputs a plurality of captured images 210 obtained by capturing the surroundings of the vehicle 1 with a plurality of cameras 12 and viewpoint information 240 indicating the viewpoint of the free viewpoint image into the residual estimation model, and performs machine learning.
  • the residual information 220 of the projection plane is estimated (step S1).
  • the residual estimation model uses a plurality of captured images 210 and viewpoint information 240 as input data, and calculates the difference between a projection plane (hereinafter referred to as a display projection plane) on which a free viewpoint image is projected and a default projection plane 231.
  • This is a trained neural network that outputs projection plane residual information 220 indicating .
  • the image processing device 10 uses projection plane information 230 that is information about the default projection plane 231, residual information 220, and viewpoint information 240 to provide a free viewpoint that maps the plurality of captured images 210 to the display projection plane.
  • An image 250 is generated (step S2).
  • the residual information 220 is information indicating the difference between the display projection plane and the default projection plane 231, so the image processing device 10 calculates the display projection plane from the projection plane information 230 and the residual information 220. The surface can be calculated.
  • the residual estimation model calculates a default projection plane 231 and Machine learning has been performed in advance to estimate the difference from the display projection plane.
  • the image processing system 100 that synthesizes a free viewpoint image 250 using a plurality of captured images 210, it is possible to synthesize free viewpoint images with less distortion without using a three-dimensional sensing device. I can do it.
  • the image processing system 100 includes a plurality of cameras 12, a display device 16, etc., and may be a wearable device such as AR goggles or VR goggles worn by a user.
  • the image processing device 10 includes, for example, the hardware configuration of a computer 300 as shown in FIG.
  • FIG. 3 is a diagram illustrating an example of the hardware configuration of a computer according to an embodiment.
  • the computer 300 includes, for example, a processor 301, a memory 302, a storage device 303, an I/F (Interface) 304, an input device 305, an output device 306, a communication device 307, a bus 308, and the like.
  • the processor 301 is, for example, an arithmetic device such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit) that execute predetermined processing by executing a program stored in a storage medium such as the storage device 303.
  • the memory 302 includes, for example, RAM (Random Access Memory), which is a volatile memory used as a work area for the processor 301, and ROM (Read Only Memory) etc.
  • the storage device 303 is, for example, a large-capacity nonvolatile storage device such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
  • I/F 304 includes various interfaces for connecting external devices such as camera 12 and display device 16 to computer 300, for example.
  • the input device 305 includes various devices (for example, a keyboard, a touch panel, a pointing device, a microphone, a switch, a button, a sensor, etc.) that accept input from the outside.
  • Output device 206 includes various devices (eg, displays, speakers, indicators, etc.) that perform external output.
  • Communication device 307 includes various communication devices for communicating with other devices via wired or wireless networks.
  • the bus 308 is connected to each of the above components and transmits, for example, address signals, data signals, various control signals, and the like.
  • FIG. 4 is a diagram illustrating an example of a functional configuration of an image processing apparatus according to an embodiment.
  • the image processing device 10 executes an image processing program in the processor 301 in FIG.
  • a storage unit 406 and the like are implemented. Note that at least some of the above functional configurations may be realized by hardware.
  • the image acquisition unit 401 executes image acquisition processing to acquire a plurality of captured images 210 using each of the plurality of cameras 12. For example, the image acquisition unit 401 acquires a plurality of captured images 210 captured around the vehicle 1 using a plurality of cameras 12A, 12B, 12C, and 12D.
  • the residual estimation unit 402 inputs the plurality of captured images 210 acquired by the image acquisition unit 401 and the viewpoint information 240, and generates a projection indicating the difference between a predefined bowl-shaped default projection plane 231 and a display projection plane. Residual estimation processing is performed to estimate the residual information 220 of the surface by machine learning.
  • the residual estimation unit 402 determines a default projection plane based on the plurality of learning images, the viewpoint information 240, and the three-dimensional information of one or more three-dimensional objects shown in the plurality of learning images.
  • the residual estimation model 410 is trained to infer the difference between 231 and the display projection surface.
  • the residual estimation model 410 receives a plurality of captured images 210 and viewpoint information 240 as input data, and outputs projection plane residual information 220 indicating the difference between the display projection plane on which the free viewpoint image is projected and the default projection plane 231.
  • This is a trained neural network (hereinafter referred to as NN).
  • a trained NN is referred to as a residual estimation model 410.
  • the residual estimation unit 402 inputs the plurality of captured images 210 acquired by the image acquisition unit 401 and the viewpoint information 240 into the residual estimation model 410, and acquires the residual information 220 output from the residual estimation model 410.
  • the viewpoint information 240 is coordinate information indicating the viewpoint of the free viewpoint image generated by the image processing device 10, and is expressed by, for example, orthogonal coordinates, polar coordinates, or the like.
  • the three-dimensional information is, for example, three-dimensional point cloud information measured with a three-dimensional sensing device such as LiDAR (Laser Imaging Detection and Ranging), or a depth image containing depth information of objects around the vehicle 1. This data includes three-dimensional distance information.
  • the mapping unit 403 uses the projection plane information 230 regarding the default projection plane 231 and the residual information 220 estimated by the residual estimation unit 402 to map the plurality of acquired captured images 210 onto the display projection plane and generate a free viewpoint.
  • a mapping process is performed to obtain the image 250.
  • the residual information 220 is information indicating the difference between the display projection plane and the default projection plane 231, so the mapping unit 403 combines the projection plane information 230, which is information about the default projection plane 231, and the residual information 220. From this, the display projection plane can be calculated. Further, for the process of mapping a plurality of captured images onto the calculated display projection plane to obtain the free viewpoint image 250, for example, the known techniques shown in Non-Patent Documents 1 and 2 can be applied.
  • the display control unit 404 executes display control processing to display the free viewpoint image 250 etc. generated by the mapping unit 403 on the display device 16 etc.
  • the setting unit 405 executes a setting process for setting information such as projection plane information 230 and viewpoint information 240 in the image processing apparatus 10, for example.
  • the storage unit 406 is realized by, for example, a program executed by the processor 301, the storage device 303, the memory 302, etc., and stores various information (or data) including the captured image 210, projection plane information 230, viewpoint information 240, etc. Execute memory processing to store.
  • each functional configuration included in the image processing device 10 may be distributed and provided in a plurality of computers 300.
  • FIG. 5 is a flowchart illustrating an example of image processing according to one embodiment. This process shows a specific example of the image processing described in FIG. 2, which is executed by the image processing apparatus 10 described in FIG. 4.
  • step S501 the image acquisition unit 401 acquires a plurality of captured images 210 of the surroundings of the vehicle 1 using, for example, a plurality of cameras 12.
  • step S502 the residual estimation unit 402 inputs the plurality of captured images 210 acquired by the image acquisition unit 401 and the viewpoint information 240 indicating the viewpoint of the free viewpoint image 250 into the residual estimation model 410, and Estimate the residual information 220 of .
  • the mapping unit 403 uses the projection plane information 230, which is information about the default projection plane 231 explained in FIG. 2, and the residual information 220 estimated by the residual estimation unit 402 to Calculate the display projection plane on which to project. For example, the mapping unit 403 calculates the display projection plane by reflecting the residual information 220 on the default projection plane 231.
  • step 504 the mapping unit 403 maps the plurality of captured images 210 acquired by the image acquisition unit 401 onto the display projection plane to generate a free viewpoint image 250.
  • step S505 the display control unit 404 displays the free viewpoint image 250 generated by the mapping unit 403 on the display device 16 or the like.
  • the image processing apparatus 10 can create a free viewpoint image 250 with little distortion without using a three-dimensional sensing device in the image processing system 100 that synthesizes a free viewpoint image 250 using a plurality of captured images 210. can be synthesized.
  • FIG. 6 is a diagram for explaining an overview of the learning process according to the first embodiment.
  • This process is an example of a learning process in which the image processing device 10 uses a plurality of captured images 210 and viewpoint information 240 as input data to perform machine learning on a residual learning model that is a NN that outputs residual information 220.
  • the NN before learning or during learning is referred to as a residual learning model.
  • the image processing device 10 that executes the learning process may be the same computer as the computer 300 that executes the image processing described in FIGS. 2 to 4, or may be a different computer.
  • the image processing device 10 acquires a plurality of captured images 210 captured by a plurality of cameras 12 and three-dimensional information (for example, three-dimensional point group information, depth image, etc.) obtained by a three-dimensional sensor such as LiDAR.
  • the image processing device 10 also restores the three-dimensional images of the plurality of captured images 210 using the acquired three-dimensional information, and creates a teacher image 602, which is a free viewpoint image for the teacher, based on the input viewpoint information 240.
  • Generate (render) step S11).
  • the image processing device 10 also inputs the plurality of captured images 210 and viewpoint information 240 into a residual learning model, and residual information (hereinafter referred to as learning residual information 601) outputted by the residual learning model. (Step S12). Subsequently, the image processing device 10 uses the acquired learning residual information, projection plane information 230, and viewpoint information 240 to map the plurality of captured images 210 onto a display projection plane to obtain a free viewpoint for learning. An image (hereinafter referred to as a learning image 603) is generated (step S13).
  • the image processing device 10 learns the residual learning model (NN) so that the error between the generated teacher image 602 and the learning image 603 becomes small (step S14).
  • FIG. 7 is a diagram illustrating an example of the functional configuration of the image processing device (during learning) according to the first embodiment.
  • the image processing device 10 executes a program for learning processing using the processor 301 in FIG. It implements a setting section 705, a storage section 706, and the like. Note that at least some of the above functional configurations may be realized by hardware.
  • the captured image preparation unit 701 executes captured image preparation processing to prepare a plurality of captured images 210 for learning that are captured by each of the plurality of cameras 12.
  • the captured image preparation unit 701 may acquire a plurality of captured images 210 in real time using a plurality of cameras 12, or perform learning processing from a captured image 711 captured in advance and stored in the storage unit 706 or the like.
  • a plurality of captured images 210 may be acquired.
  • the three-dimensional information preparation unit 702 is a three-dimensional information preparation unit 702 that acquires three-dimensional information (for example, three-dimensional point group information, depth image, etc.) corresponding to the plurality of captured images 210 for learning prepared by the captured image preparation unit 701. Execute information preparation processing.
  • the three-dimensional information preparation unit 702 uses a three-dimensional sensor such as LiDAR 707 to prepare three-dimensional point cloud information around the vehicle 1 at the same timing (synchronized) as the plurality of captured images 210 are captured. get.
  • the three-dimensional information preparation unit 702 may acquire three-dimensional information using, for example, another three-dimensional sensor such as a stereo camera, a depth camera that captures a depth image, or a wireless sensing device.
  • the three-dimensional information preparation unit 702 uses technology such as Visual SLAM (Simultaneous Localization and Mappin) to map surrounding three-dimensional objects to the plurality of captured images 210 for learning stored in the storage unit 706 or the like. You may also acquire three-dimensional information indicating the position of.
  • the three-dimensional information preparation section 702 prepares three-dimensional information indicating the position of three-dimensional objects around the vehicle 1 in synchronization with the plurality of captured images 210 for learning prepared by the captured image preparation section 701.
  • the method may be any method.
  • the teacher image preparation unit 703 restores the three-dimensional images of the plurality of captured images 210 using the three-dimensional information prepared by the three-dimensional information preparation unit 702, and restores the three-dimensional images of the plurality of captured images 210 based on the viewpoint information 240.
  • a teacher image preparation process for generating (rendering) an image 602 is executed.
  • the learning unit 704 executes a learning process to learn a residual learning model (NN) 710 using the plurality of captured images 210, viewpoint information 240, projection plane information 230, and teacher image 602. For example, the learning unit 704 inputs a plurality of captured images 210 and viewpoint information 240 into a residual learning model (NN) 710 to obtain learning residual information 601, and then inputs the learning residual information 601 and the projection plane The learning display projection plane is calculated using the information 230. Further, the learning unit 704 uses the viewpoint information 240 to map the plurality of captured images 210 onto the calculated display projection plane to generate a learning image 603 that is a free viewpoint image for learning. Furthermore, the learning unit 704 learns the residual learning model (NN) 710 so that the error between the generated teacher image 602 and the learning image 603 becomes small.
  • NN residual learning model
  • the setting unit 705 executes a setting process for setting various information such as projection plane information 230 and viewpoint information 240 in the image processing apparatus 10 .
  • the storage unit 706 is realized by, for example, a program executed by the processor 301, the storage device 303, the memory 302, etc., and stores various information (such as a captured image 711, three-dimensional information 712, projection plane information 230, and viewpoint information 240). or data).
  • each functional configuration included in the image processing device 10 may be distributed and provided in a plurality of computers 300.
  • FIG. 8 is a flowchart illustrating an example of learning processing according to the first embodiment. This process shows a specific example of the learning process described in FIG. 6, which is executed by the image processing apparatus 10 described in FIG. 7.
  • step S801a the captured image preparation unit 701 prepares a plurality of captured images 210 for learning captured by each of the plurality of cameras 12.
  • the captured image preparation unit 701 uses the plurality of cameras 12 to acquire a plurality of captured images 210 capturing the surroundings of the vehicle 1.
  • step S801b the three-dimensional information preparation unit 702 acquires three-dimensional information corresponding to the plurality of captured images 210 for learning prepared by the captured image preparation unit 701.
  • the three-dimensional information preparation unit 702 acquires three-dimensional information (for example, three-dimensional point cloud information) around the vehicle 1 at the same time in synchronization with the captured image preparation unit 701.
  • step S802 the image processing device 10 prepares viewpoint information 240 indicating the viewpoint to be learned.
  • the setting unit 705 sets the coordinates of the viewpoint to be learned by the residual learning model 710 in the viewpoint information 240.
  • step S803 the teacher image preparation unit 703 restores the three-dimensional images of the plurality of captured images 210 using the three-dimensional information prepared by the three-dimensional information preparation unit 702, and generates the teacher image 602 based on the viewpoint information 240. (render).
  • step S804 in parallel with the process in step S803, the learning unit 704 inputs the plurality of captured images 210 and viewpoint information 240 to the residual learning model (NN) 710 to obtain learning residual information 601. .
  • step S805 the learning unit 704 calculates a display projection plane from the learning residual information 601 and the projection plane information 230, and maps the plurality of captured images 210 to the display projection plane based on the viewpoint information 240 for learning. An image 603 for use is generated.
  • step S806 the learning unit 704 learns the residual learning model 710 so that the difference between the generated teacher image 602 and learning image 603 is minimized. For example, the learning unit 704 determines the weight of the residual learning model 710 that minimizes the difference between two images (for example, the sum of the differences in pixel values of all pixels), and sets the determined weight to the residual learning model 710. do.
  • step S807 the learning unit 704 determines whether learning is finished. For example, the learning unit 704 may determine that learning is complete when the processes of steps S801 to S806 have been executed a predetermined number of times. Alternatively, the learning unit 704 may determine that learning has ended when the difference between the teacher image 602 and the learning image 603 becomes equal to or less than a predetermined value.
  • the learning unit 704 If learning has not been completed, the learning unit 704 returns the process to steps S801a and S801b. On the other hand, when the learning is completed, the learning unit 704 ends the process of FIG. 8 .
  • the image processing device 10 described in FIG. 4 can execute the image processing described in FIG. 5 by using the NN (residual learning model 710) learned in the process in FIG. 8 as the residual estimation model 410.
  • FIG. 9 is a diagram for explaining an overview of learning processing according to the second embodiment.
  • This process is another example of a learning process in which the image processing device 10 uses a plurality of captured images 210 and viewpoint information 240 as input data to machine learn a residual learning model that is a NN that outputs residual information 220. It shows. Note that detailed explanation of the same processing as in the first embodiment will be omitted here.
  • the image processing device 10 uses the plurality of captured images 210, the projection plane information 230, and the viewpoint information 240 to generate an unmodified free viewpoint image (hereinafter, unmodified free viewpoint image) in which the plurality of captured images 210 are mapped onto a default projection plane 231. (referred to as a modified image 901) is generated (step S21).
  • the image processing device 10 also acquires three-dimensional information, restores the plurality of captured images 210 using the acquired three-dimensional information, and creates a teacher image 602 that is a free viewpoint image for the teacher based on the viewpoint information 240.
  • Generate (render) (step S22).
  • the image processing device 10 compares the generated uncorrected image 901 and the teacher image 602 to obtain residual information of the two images (step S23). Further, the image processing device 10 inputs the plurality of captured images 210 and viewpoint information 240 to the residual learning model 710 to obtain learning residual information 601 (step S24). Subsequently, the image processing device 10 learns the residual learning model 710 so that the difference between the residual information of the two images and the learning residual information 601 is minimized (step S25).
  • FIG. 10 is a diagram illustrating an example of the functional configuration of the image processing device (during learning) according to the second embodiment.
  • the image processing apparatus 10 according to the second embodiment has, in addition to the functional configuration of the image processing apparatus 10 according to the first embodiment described in FIG. and a residual calculation unit 1002.
  • the learning unit 704 executes a learning process different from that in the first embodiment, as described in FIG. 9 .
  • the unmodified image preparation unit 1001 is realized, for example, by a program executed by the processor 301.
  • An uncorrected image preparation unit 1001 generates an uncorrected image 901 in which a plurality of captured images 210 are mapped onto a default projection plane 231 using a plurality of captured images 210, projection plane information 230, and viewpoint information 240. Execute the modified image preparation process.
  • the residual calculation unit 1002 is realized by, for example, a program executed by the processor 301, and performs residual calculation processing that compares the generated uncorrected image 901 and the teacher image 602 and calculates residual information of the two images. Execute.
  • the learning unit 704 minimizes the difference between the residual information of the two images calculated by the residual calculation unit 1002 and the learning residual information 601 output by the residual learning model 710.
  • a learning process for learning the residual learning model 710 is executed as follows.
  • FIG. 11 is a flowchart illustrating an example of learning processing according to the second embodiment. This process shows a specific example of the learning process described in FIG. 9 that is executed by the image processing apparatus 10 described in FIG. 10. Note that among the processes shown in FIG. 11, the processes in steps S801a, S801b, and S802 are the same as the learning process according to the first embodiment described in FIG. 8, so the description thereof will be omitted here.
  • step S1101 the uncorrected image preparation unit 1001 uses the plurality of captured images 210, the projection plane information 230, and the viewpoint information 240 to create an unmodified image 901 in which the plurality of captured images 210 are mapped onto the default projection plane 231. generate.
  • step S1102 the teacher image preparation unit 703 restores the three-dimensional images of the plurality of captured images 210 using the three-dimensional information prepared by the three-dimensional information preparation unit 702, and generates the teacher image 602 based on the viewpoint information 240. (render).
  • step S1103 the residual calculation unit 1002 compares the generated uncorrected image 901 and the teacher image 602, and calculates residual information of the two images.
  • step S1104 for example, in parallel with the processing in steps S1101 to S1103, the learning unit 704 inputs the plurality of captured images 210 and viewpoint information 240 to the residual learning model (NN) 710 to obtain learning residual information. Get 601.
  • step S1105 the learning unit 704 calculates the residual information so that the difference between the residual information of the two images calculated by the residual calculating unit 1002 and the learning residual information is minimized.
  • Learning model 710 is learned. For example, the learning unit 704 determines the weight of the residual learning model 710 that minimizes the difference between two pieces of residual information, and sets the determined weight to the residual learning model 710.
  • step S1106 the learning unit 704 determines whether learning is finished. If learning has not been completed, the learning unit 704 returns the process to steps S801a and S801b. On the other hand, when the learning is completed, the learning unit 704 ends the process in FIG. 11 .
  • the image processing device 10 described in FIG. 4 can execute the image processing described in FIG. 5 by using the NN (residual learning model 710) learned in the process in FIG. 11 as the residual estimation model 410.
  • FIG. 12 is a flowchart illustrating an example of residual information calculation processing according to the second embodiment. This process shows an example of the residual information calculation process executed by the residual calculation unit 1002 in step S1103 of FIG. 11, for example.
  • step S1201 the residual calculation unit 1002 calculates the difference between each pixel (for example, the difference between the pixel values of each pixel) between the uncorrected image 901 and the teacher image 602.
  • step S1202 the residual calculation unit 1002 determines whether the calculated difference is less than or equal to a predetermined value. If the difference is less than or equal to the predetermined value, the residual calculation unit 1002 moves the process to step S1207, and uses the current projection plane residual as residual information of the two images. On the other hand, if the difference is not equal to or less than the predetermined value, the residual calculation unit 1002 moves the process to step S1203.
  • step S1203 the residual calculation unit 1002 obtains a location on the image where the difference is large, and obtains the coordinates of the corresponding projection plane.
  • step S1204 the residual calculation unit 1002 sets residual information of the projection plane such that the difference becomes small near the acquired coordinates.
  • step S1205 the residual calculation unit 1002 generates a free viewpoint image by reflecting the set residual information.
  • step S1206 the residual calculation unit 1002 calculates the difference between each pixel value of the generated free viewpoint image and the teacher image, and returns the process to step S1202.
  • the residual calculation unit 1002 can obtain the residual information of the two images by repeatedly executing the process shown in FIG. 12 until the difference between each pixel value of the two images becomes equal to or less than a predetermined value.
  • the method by which the residual calculation unit 1002 obtains the residual information of two images is not limited to this.
  • the learning process according to the first embodiment involves learning the residual learning model 710 (updating the weights) using an error backpropagation method using an image error as a starting point.
  • the premise is that each calculation in the residual calculation process must be a differentiable procedure in the learning system.
  • the residual learning model 710 is learned by directly using the residual information of the two images, so the residual calculation process is not a differentiable procedure. It also has the advantage of being good.
  • Developers, etc. choose the first embodiment or the second embodiment, depending on whether they want to take advantage of being able to use direct images as training data or relaxing the conditions of the error backpropagation method, for example.
  • the learning process according to the embodiment can be selected.
  • FIG. 13 is a diagram illustrating a configuration example of a residual estimation model according to the third embodiment.
  • the residual estimation model 410 is configured separately into a plurality of camera characteristic correction models 1301-1, 1301-2, 1301-3, . . . and a base model 1302 common to each camera characteristic correction model. Good too.
  • “camera characteristic correction model 1301” is used.
  • the image processing device 10 switches the camera characteristic correction model 1301 according to the settings by the user, for example.
  • the user API Application Programming Interface
  • the user SDK defines a plurality of camera characteristic correction models 1301 that are referenced in conjunction with the argument.
  • a database will be established.
  • the camera characteristic correction model 1301 is a network part of the residual estimation model 410 that is mainly close to the image input, and learns weight data that is sensitive to camera characteristic parameters (focal length, etc.).
  • the camera characteristic correction model 1301 infers feature map information of feature points of the three-dimensional object from a plurality of captured learning images and three-dimensional information of one or more three-dimensional objects appearing in the plurality of captured learning images. This is an example of a camera model inference engine trained as follows.
  • the base model 1302 learns weight data common to each camera characteristic correction model 1301 that does not easily affect camera characteristic parameters.
  • the base model 1302 is an example of a base model inference engine trained to infer the difference between the default projection plane 231 and the display projection plane from the feature map information and viewpoint information 240 output by the camera characteristic correction model 1301. .
  • the residual estimation model 410 is an example of an inference engine that is configured separately into a plurality of camera model inference engines and a base model inference engine.
  • the weight data after learning of the camera model inference engine is more influenced by the characteristic parameters of a plurality of cameras than the weight data after learning of the base model inference engine.
  • FIG. 14 is a diagram illustrating an example of the functional configuration of an image processing apparatus according to the third embodiment. As shown in FIG. 14, in addition to the functional configuration of the image processing apparatus 10 according to the embodiment described in FIG. ) 1401 is stored.
  • the correction model DB 1401 is a database in which a plurality of camera characteristic correction models 1301-1, 1301-2, 1301-3, . . . are defined.
  • the setting unit 405 displays a camera set setting screen and accepts camera set settings from the user, it acquires the camera characteristic correction model 1301 corresponding to the accepted camera set from the correction model DB 1401. Further, the setting unit 405 sets the acquired camera characteristic correction model 1301 to the residual estimation model 410.
  • the image processing device 10 when the user sets the first camera set, the image processing device 10 generates the residual estimation model 410 including the camera characteristic correction model 1301-1 and the base model 1302 corresponding to the first camera set.
  • the image processing described in FIG. 5 is executed using the image processing method.
  • the image processing device 10 when the user sets the second camera set, the image processing device 10 generates the residual estimation model 410 including the camera characteristic correction model 1301-2 and the base model 1302 corresponding to the second camera set.
  • the image processing described in FIG. 5 is executed using the image processing method.
  • FIG. 15 is a diagram for explaining an overview of learning processing according to the third embodiment.
  • the image processing device 10 learns the first camera characteristic correction model 1301-1 and the base model 1302 (step S31).
  • the image processing device 10 combines the second camera characteristic correction model 1301-2 with the base model 1302 learned in the first learning process to create a camera characteristic correction model 1302-2. learn (step S32).
  • the image processing device 10 combines the n-th camera characteristic correction model 1301-n with the base model 1302 learned in the first learning process, and combines the camera characteristic correction model 1301-n with the base model 1302 learned in the first learning process. n can be learned.
  • FIG. 16 is a flowchart (1) showing an example of learning processing according to the third embodiment. This process shows an example of a learning process when the third embodiment is applied to the image processing apparatus 10 according to the first embodiment described in FIG. Note that detailed explanation of the same processing as in the first embodiment will be omitted here.
  • step S1601 the image processing device 10 initializes a counter n to 1 and executes the process in step S1602.
  • step S1602 the image processing apparatus 10 uses the learning process according to the first embodiment described in FIG. learn.
  • step S801a the captured image preparation unit 701 prepares a first plurality of captured images by each of the first plurality of cameras (first camera set) 12.
  • the captured image preparation process No. 1 is executed.
  • step S801b the three-dimensional information preparation unit 702 executes a first three-dimensional information preparation process to prepare first three-dimensional information of one or more three-dimensional objects shown in the first plurality of captured images.
  • step S803 the teacher image preparation unit 703 restores the three-dimensional image of the first plurality of captured images using the first three-dimensional information, and generates the first teacher image based on the input viewpoint information. Execute a first teacher image preparation process.
  • step S804 the learning unit 704 converts the first plurality of captured images and the characteristic parameters regarding at least one camera 12 among the first plurality of cameras 12 into the first camera characteristic correction model 1301-1. input to obtain first learning residual information.
  • step S805 the learning unit 704 generates first learning residual information and the projection plane information 23 first learning image.
  • step S806 the learning unit 704 trains both the camera characteristic correction model 1301-1 and the base model 1302 so that the error between the first teacher image and the first learning image becomes small.
  • step S1603 the image processing apparatus 10 determines whether n ⁇ N (N is the number of camera characteristic correction models 1301). If n ⁇ N, the image processing apparatus 10 moves the process to step S1604. On the other hand, if n ⁇ N, the image processing device 10 ends the learning process of FIG. 16.
  • step S1604 the image processing device 10 adds 1 to n and executes the process of step S1605.
  • step S1605 the image processing apparatus 10 fixes the base model 1302, learns the n-th camera characteristic correction model using the learning process according to the first embodiment described in FIG. 8, and returns the process to step S1603. return.
  • step S801a the captured image preparation unit 701 uses each of the second plurality of cameras (second camera set) A second captured image preparation process is executed to prepare a captured image.
  • step S801b the three-dimensional information preparation unit 702 executes a second three-dimensional information preparation process to prepare second three-dimensional information of one or more three-dimensional objects shown in the second plurality of captured images.
  • step S803 the teacher image preparation unit 703 restores the three-dimensional image of the second plurality of captured images using the second three-dimensional information, and generates the second teacher image based on the input viewpoint information.
  • a second teacher image preparation process is executed.
  • step S804 the learning unit 704 converts the second plurality of captured images and the characteristic parameters regarding at least one camera 12 among the second plurality of cameras 12 into the second camera characteristic correction model 1301-2. input to obtain second learning residual information.
  • step S805 the learning unit 704 uses the second learning residual information, the projection plane information 230, and the viewpoint information 240 to map the second plurality of captured images onto the display projection plane. Generate training images.
  • step S806 the learning unit 704 fixes the base model 1302 and trains the camera characteristic correction model 1301-2 so that the error between the second teacher image and the second learning image becomes small.
  • the image processing device 10 uses a plurality of camera characteristic correction models 1301-1, 1301-2, 1302-3, etc. and the base model 1302 as shown in FIG.
  • a residual estimation model 410 including the residual error estimation model 410 can be obtained.
  • FIG. 17 is a flowchart (2) showing an example of learning processing according to the third embodiment. This process shows an example of a learning process when the third embodiment is applied to the image processing apparatus 10 according to the second embodiment described in FIG. Note that detailed description of the same processing as in the second embodiment will be omitted here.
  • step S1701 the image processing device 10 initializes a counter n to 1 and executes the process in step S1702.
  • step S1702 the image processing apparatus 10 uses the learning process according to the second embodiment described in FIG. learn.
  • step S801a the captured image preparation unit 701 prepares a first plurality of captured images by each of the first plurality of cameras (first camera set) 12.
  • the captured image preparation process No. 1 is executed.
  • step S801b the three-dimensional information preparation unit 702 executes a first three-dimensional information preparation process to prepare first three-dimensional information of one or more three-dimensional objects shown in the first plurality of captured images.
  • step S1101 the unmodified image preparation unit 1101 performs a first unmodified image preparation that maps a first plurality of captured images onto a predetermined projection plane and generates a first unmodified image based on input viewpoint information. Execute processing.
  • step S1102 the teacher image preparation unit 703 restores the three-dimensional image of the first plurality of captured images using the first three-dimensional information, and generates the first teacher image based on the input viewpoint information 240.
  • a first teacher image preparation process is executed.
  • step S1103 the residual calculation unit 1002 executes a first residual calculation process to prepare first residual information by comparing the first unmodified image and the first teacher image.
  • step S1104 the learning unit 704 inputs the first plurality of captured images and the viewpoint information 240 to the residual learning model 710 under learning, and obtains first learning residual information. Specifically, the learning unit 704 inputs characteristic parameters related to the first plurality of captured images and at least one camera among the first plurality of cameras to the first camera characteristic correction model 1301-1, Obtain first feature map information. Further, the learning unit 704 inputs the acquired first feature map information and viewpoint information 240 to the base model 1302 to acquire first learning residual information.
  • step S1105 the learning unit 704 performs the following steps so that the difference between the first residual information calculated by the residual calculation unit 1002 and the first learning residual information is minimized.
  • the residual learning model 710 is learned. In this way, the learning unit 704 simultaneously learns both the first camera characteristic correction model 1301-1 and the base model 1302 using the first residual information as teacher data.
  • step S1703 the image processing apparatus 10 determines whether n ⁇ N (N is the number of camera characteristic correction models 1301). If n ⁇ N, the image processing apparatus 10 moves the process to step S1704. On the other hand, if n ⁇ N, the image processing device 10 ends the learning process of FIG. 17.
  • step S1704 the image processing device 10 adds 1 to n and executes the process of step S1705.
  • step S1705 the image processing apparatus 10 fixes the base model 1302, learns the n-th camera characteristic correction model using the learning process according to the second embodiment described in FIG. 11, and then returns the process to step S1703. return.
  • step S801a the captured image preparation unit 701 uses each of the second plurality of cameras (second camera set) A second captured image preparation process is executed to prepare a captured image.
  • step S801b the three-dimensional information preparation unit 702 executes a second three-dimensional information preparation process to prepare second three-dimensional information of one or more three-dimensional objects shown in the second plurality of captured images.
  • step S1101 the unmodified image preparation unit 1101 maps the second plurality of captured images onto the default projection plane 231, and generates a second unmodified image based on the input viewpoint information 240. Perform image preparation processing.
  • step S1102 the teacher image preparation unit 703 restores the three-dimensional image of the second plurality of captured images using the second three-dimensional information, and generates the second teacher image based on the input viewpoint information 240.
  • a second teacher image preparation process is executed.
  • step S1103 the residual calculation unit 1002 executes a second residual calculation process to prepare second residual information by comparing the second unmodified image and the 21 teacher images.
  • step S1104 the learning unit 704 inputs the second plurality of captured images and the viewpoint information 240 to the residual learning model 710 under learning, and obtains second learning residual information. Specifically, the learning unit 704 inputs characteristic parameters related to the second plurality of captured images and at least one camera among the second plurality of cameras to the second camera characteristic correction model 1301-2, Obtain second feature map information. Further, the learning unit 704 inputs the acquired second feature map information and viewpoint information 240 to the base model 1302 to acquire second learning residual information.
  • step S1105 the learning unit 704 performs the following steps so that the difference between the second residual information calculated by the residual calculation unit 1002 and the second learning residual information is minimized.
  • the base model 1302 is fixed and the second camera characteristic correction model 1301-2 is trained. Thereby, the learning unit 704 trains the second camera characteristic correction model 1301-2 using the second residual information as teacher data.
  • the image processing apparatus 10 uses a plurality of camera characteristic correction models 1301-1, 1301-2, 1302-3, . . . and the base model 1302 as shown in FIG.
  • a residual estimation model 410 including the residual error estimation model 410 can be obtained.
  • FIG. 18 is a diagram showing an example of the system configuration of a three-dimensional image display system according to the fourth embodiment.
  • the three-dimensional image display system 1800 includes an edge device 1801 such as AR goggles, and a server 1802 that can communicate with the edge device 1801 via a communication network N such as the Internet or a LAN (Local Area Network).
  • a communication network N such as the Internet or a LAN (Local Area Network).
  • the edge device 1801 includes, for example, one or more peripheral cameras, a three-dimensional sensor, a display device, a communication I/F, etc., and captures images captured by the peripheral cameras and three-dimensional information acquired by the three-dimensional sensor. Send to server 1802.
  • the server 1802 includes one or more computers 300, and generates a three-dimensional image using the captured image and three-dimensional information received from the edge device 1801 by executing a predetermined program. Send the image to the edge device 1801.
  • the server 1802 is an example of remote processing means.
  • the edge device 1801 displays the surrounding three-dimensional image by displaying the three-dimensional image received from the server 1802 on the display device.
  • the edge device 1801 cannot display a 3D image after transmitting the captured image and 3D information to the server 1802 until receiving the 3D image from the server 1802. .
  • the edge device 1801 performs the image processing described in FIG. Display the free viewpoint image generated using .
  • the edge device 1801 can display a virtual space before receiving a three-dimensional image from the server 1802.
  • FIG. 19 is a diagram illustrating an example of the hardware configuration of an edge device according to the fourth embodiment.
  • the edge device 1801 includes a computer configuration, and includes, for example, a processor 1901, a memory 1902, a storage device 1903, a communication I/F 1904, a display device 1905, a plurality of peripheral cameras 1906, an IMU 1907, a three-dimensional sensor 1908, a bus 1909, and the like. have
  • the processor 1901 is, for example, an arithmetic device such as a CPU or a GPU that executes a predetermined process by executing a program stored in a storage medium such as a storage device 1903.
  • the memory 1902 includes, for example, a RAM which is a volatile memory used as a work area for the processor 1901, and a ROM which is a non-volatile memory that stores a program for starting the processor 1901 and the like.
  • the storage device 1903 is, for example, a large-capacity nonvolatile storage device such as an SSD or an HDD.
  • the communication I/F 1904 is a communication device such as a WAN (Eide Area Network) or a LAN (Local Area Network) that connects the edge device 1801 to the communication network N and communicates with the server 1802.
  • the display device 1905 is, for example, a display means such as an LCD or an organic EL.
  • the plurality of peripheral cameras 1906 are cameras that capture images around the edge device 1801.
  • the IMU (Inertial Measurement Unit) 1907 is an inertial measurement device that detects three-dimensional angular velocity and acceleration using, for example, a gyro sensor and an acceleration sensor.
  • the three-dimensional sensor 1908 is, for example, a sensor that acquires three-dimensional information such as LiDAR, a stereo camera, a depth camera, or a wireless sensing device.
  • a bus 1909 is connected to each of the above components and transmits, for example, address signals, data signals, various control signals, and the like.
  • FIG. 20 is a diagram showing the functional configuration of a three-dimensional image display system according to the fourth embodiment.
  • the edge device 1801 has a three-dimensional information acquisition unit 2001, a transmission unit 2002, a reception unit 2003, etc., in addition to the functional configuration of the image processing apparatus 10 described in FIG. 4, by the processor 1901 executing a predetermined program.
  • the edge device 1801 includes a display control unit 2004 instead of the display control unit 404.
  • the image acquisition unit 401, residual estimation unit 402, mapping unit 403, setting unit 405, and storage unit 406 are the same as each functional configuration of the image processing device 10 described in FIG. 4, so their descriptions are omitted here. do.
  • the three-dimensional information acquisition unit 2001 acquires three-dimensional information around the edge device 1801 using the three-dimensional sensor 1908.
  • the transmitting unit 2002 transmits the three-dimensional information acquired by the three-dimensional information acquiring unit 2001 and the plurality of captured images acquired by the image acquiring unit 401 to the server 1802.
  • the receiving unit 2003 receives the three-dimensional image transmitted by the server 1802 according to the three-dimensional information and the plurality of captured images transmitted by the transmitting unit 2002.
  • the display control unit 2004 displays the free viewpoint image 250 generated by the mapping unit 403 on the display device 16 or the like before the reception unit 2003 completes reception of the three-dimensional image. Further, the display control unit 2004 displays the received three-dimensional image on the display device 16 or the like after the receiving unit 2003 completes receiving the three-dimensional image.
  • the server 1802 implements a receiving section 2011, a three-dimensional image generating section 2012, a transmitting section 2013, and the like by executing a predetermined program on one or more computers 300.
  • the receiving unit 2011 uses the communication device 307 to receive three-dimensional information and a plurality of captured images transmitted by the edge device 1801.
  • the three-dimensional image generation unit 2012 uses the three-dimensional information received by the receiving unit 2011 and the plurality of captured images to render the plurality of captured images in a three-dimensional space, and generates a three-dimensional image of the vicinity of the edge device 1801. generate.
  • the method for generating the three-dimensional image by the server 1802 may be any method.
  • the transmitting unit 2013 transmits the three-dimensional image generated by the three-dimensional image generating unit 2012 to the edge device using, for example, the communication device 307.
  • FIG. 21 is a sequence diagram showing an example of three-dimensional image display processing according to the fourth embodiment.
  • step S2101 the image acquisition unit 401 of the edge device 1801 acquires a plurality of captured images of the surroundings of the edge device 1801 using each of the plurality of peripheral cameras 1906.
  • step S2102 the three-dimensional information acquisition unit 2001 of the edge device 1801 uses the three-dimensional sensor 1908 to acquire three-dimensional information of one or more solid objects shown in the plurality of captured images.
  • the three-dimensional information acquisition unit 2001 acquires three-dimensional point group information around the edge device 1801.
  • step S2103 the transmitting unit 2002 of the edge device 1801 transmits the plurality of captured images acquired by the image acquiring unit 401 and the three-dimensional information acquired by the three-dimensional information acquiring unit 2001 to the server 1802.
  • step S2104 the three-dimensional image generation unit 2012 of the server 1802 uses the plurality of captured images and three-dimensional information received from the edge device 1801 to generate a three-dimensional image by rendering the plurality of captured images in a three-dimensional space. Executes three-dimensional image generation processing. However, this processing takes time, and the processing time may vary depending on the communication state with the edge device 1801, the load on the server 1802, and the like.
  • step S2105 the edge device 1801 generates a free viewpoint image in which a plurality of captured images are mapped onto a display projection plane, by executing the image processing described in FIG. 5, for example, in parallel with the processing in step S2104. , is displayed on the display device 1905. Note that this processing can be performed in a shorter time than the three-dimensional image generation processing executed by the server 1802, and is not affected by the communication information with the server 1802, the load on the server 1802, etc. Images around the area can be displayed in a shorter time.
  • step S2106 when the three-dimensional image generation unit 2012 of the server 1802 completes generation of the three-dimensional image, the transmission unit 2013 of the server 1802 transmits the generated three-dimensional image to the edge device 1801.
  • step S2107 upon receiving the three-dimensional image from the server 1802, the display control unit 2004 of the edge device 1801 displays the received three-dimensional image on the display device 1905.
  • the three-dimensional image display system 1800 can display the virtual space after transmitting a plurality of captured images and three-dimensional information to the server 1802 and before receiving the three-dimensional images from the server 1802. can.
  • Image processing system 10 Image processing device 12, 12A to 12D Camera 16 Display device 210 Captured image 130 Projection plane information 220 Residual information 230 Projection plane information (information regarding default projection plane) 231 default projection plane 240 viewpoint information 250 free viewpoint image 300 computer 401 image acquisition unit 402 residual estimation unit 403 mapping unit 404, 2004 display control unit 410 residual estimation model (inference engine) 601 Residual information for learning 602 Image for teacher 603 Image for learning 701 Captured image preparation section 702 Three-dimensional information preparation section 703 Teacher image preparation section 704 Learning section 405, 705 Setting section 710 Residual learning model (neural network) 901 Uncorrected image 1001 Uncorrected image preparation unit 1002 Residual calculation unit 1301, 1301-1 to 1301-3 Camera characteristic correction model (camera model inference engine) 1302 Base model (base model inference engine) 1800 Three-dimensional image display system 2001 Three-dimensional information acquisition section 2002 Transmission section 2003 Receiving section

Abstract

画像処理方法は、視点情報に基づく表示投影面上に複数の撮像画像を用いた自由視点画像を合成する画像処理方法であって、複数のカメラのそれぞれにより前記複数の撮像画像を取得する画像取得ステップと、前記複数の撮像画像と前記視点情報とを入力し、予め定義したボウル形状の既定投影面と前記表示投影面との差分を示す投影面の残差情報を機械学習により推定する残差推定ステップと、前記既定投影面に関する情報と前記残差情報と前記視点情報とを用いて、前記複数の撮像画像を前記表示投影面にマッピングして前記自由視点画像を得るマッピングステップと、をコンピュータが実行する。

Description

画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム
　本発明は、画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システムに関する。
　複数のカメラで撮像した複数の撮像画像を用いて、自由に視点を移動して表示可能な三次元画像である自由視点画像を合成する画像処理システムが知られている。
　例えば、ボウル形状（すり鉢形状）の投影面を予め定義しておき、複数のカメラで撮像した映像を投影面にマッピングして、自由視点画像を合成する技術が知られている（非特許文献１参照）。また、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）等の三次元のセンシングデバイスで測定した距離情報を用いて投影面を算出し、複数のカメラで撮像した映像を投影面にマッピングして、自由視点画像を合成する技術が知られている（非特許文献２参照）。
Seiya Shimizu, et.al, "Wraparound View System for Motor Vihicles", Fujitsu Scientific & Technical Journal 46(1):95-102, 2010. "世界初！車周辺の人や物を歪みなく表示し、接触のリスクをわかりやすく示す車載向け3次元映像合成技術を開発",富士通プレスリリース, 2013, [online] ,富士通,インターネット<URL: https://pr.fujitsu.com/jp/news/2013/10/9-2.html>,［平成４年３月２４日検索］
　非特許文献１に開示された技術では、予め定義した投影面と、実際の三次元構造との不一致により、投影面に投影した合成画像に歪みが発生するという問題がある。
　また、非特許文献２に開示された技術のように、ＬｉＤＡＲ等の三次元のセンシングデバイスを追加することにより、合成画像の歪みを抑制することができるが、三次元のセンシングデバイスの追加によりコストが増加するという問題がある。
　本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、複数の撮像画像を用いて自由視点画像を合成する画像処理システムにおいて、三次元のセンシングデバイスによらずに、歪みの少ない自由視点画像を合成できるようにする。
　上記の課題を解決するため、本発明の一実施形態に係る画像処理方法は、視点情報に基づく表示投影面上に複数の撮像画像を用いた自由視点画像を合成する画像処理方法であって、複数のカメラのそれぞれにより前記複数の撮像画像を取得する画像取得ステップと、前記複数の撮像画像と前記視点情報とを入力し、予め定義したボウル形状の既定投影面と前記表示投影面との差分を示す投影面の残差情報を機械学習により推定する残差推定ステップと、前記既定投影面に関する情報と前記残差情報と前記視点情報とを用いて、前記複数の撮像画像を前記表示投影面にマッピングして前記自由視点画像を得るマッピングステップと、をコンピュータが実行する。
　本発明の一実施形態によれば、複数の撮像画像を用いて自由視点画像を合成する画像処理システムにおいて、三次元のセンシングデバイスによらずに、歪みの少ない自由視点画像を合成できるようになる。
一実施形態に係る画像処理システムのシステム構成の一例を示す図である。 一実施形態に係る画像処理の概要について説明するための図である。 一実施形態に係るコンピュータのハードウェア構成の例を示す図である。 一実施形態に係る画像処理装置の機能構成の例を示す図である。 一実施形態に係る画像処理の例を示すフローチャートである。 第１の実施形態に係る学習処理の概要について説明するための図である。 第１の実施形態に係る画像処理装置（学習時）の機能構成の例を示す図である。 第１の実施形態に係る学習処理の例を示すフローチャートである。 第２の実施形態に係る学習処理の概要について説明するための図である。 第２の実施形態に係る画像処理装置（学習時）の機能構成の例を示す図である。 第２の実施形態に係る学習処理の例を示すフローチャートである。 第２の実施形態に係る残差情報の計算処理の例を示すフローチャートである。 第３の実施形態に係る残差推定モデルの構成例を示す図である。 第３の実施形態に係る画像処理装置の機能構成の一例を示す図である。 第３の実施形態に係る学習処理の概要について説明するための図である。 第３の実施形態に係る学習処理の例を示すフローチャート（１）である。 第３の実施形態に係る学習処理の例を示すフローチャート（２）である。 第４の実施形態に係る三次元画像表示システムのシステム構成の例を示す図である。 第４の実施形態に係るエッジデバイスのハードウェア構成の例を示す図である。 第４の実施形態に係る三次元画像表示システムの機能構成の例を示す図である。 第４の実施形態に係る三次元画像表示処理の例を示すシーケンス図である。
　以下に、本発明の実施の形態について、添付の図面を参照して説明する。
　本実施形態に係る画像処理システムは、複数のカメラで撮像した複数の撮像画像を用いて、自由に視点を移動して表示可能な三次元画像である自由視点画像を合成するシステムである。本実施形態に係る画像処理システムは、例えば、自動車、ロボット、又はドローン等の移動体の周辺監視、或いは、ＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）技術等に適用することができる。ここでは、一例として、本実施形態に係る画像処理システムが、例えば、自動車等の車両に設けられている場合の例について説明する。
　＜システム構成＞
　図１は、一実施形態に係る画像処理システムのシステム構成の例を示す図である。図１の例では、画像処理システム１００は、例えば、自動車等の車両１に搭載された画像処理装置１０、複数のカメラ１２、及び表示装置１６等を備えている。上記の各構成要素は、例えば、車載ネットワーク、有線ケーブル、又は無線通信等により通信可能に接続されている。
　なお、車両１は、本実施形態に係る画像処理システム１００を搭載する移動体の一例である。移動体は、車両１に限られず、例えば、脚等で移動するロボット、有人又は無人の航空機等の移動機能を有する様々装置、又は機械等であってもよい。
　カメラ１２は、車両１の周辺を撮像し、撮像画像を取得する撮像装置である。図１の例では、車両１には、４つのカメラ１２Ａ～１２Ｄが、互いに異なる撮像領域Ｅ１～Ｅ４に向けて設けられている。なお、以下の説明において、４つのカメラ１２Ａ～１２Ｄのうち、任意のカメラを示す場合、「カメラ１２」を用いる。また、４つの撮像領域Ｅ１～Ｅ４のうち、任意の撮像領域を示す場合、「撮像領域Ｅ」を用いる。図１に示すカメラ１２、及び撮像領域Ｅの数は一例であり、２つ以上の他の数であってもよい。
　図１の例では、一例として、カメラ１２Ａは、車両１の前方の撮像領域Ｅ１に向けて設けられており、カメラ１２Ｂは、車両１の側方の撮像領域Ｅ２に向けて設けられている。また、カメラ１２Ｃは、車両１の別の側方の撮像領域Ｅ３に向けて設けられ、カメラ１２Ｄは、車両１の後方の撮像領域Ｅ４に向けて設けられている。
　表示装置１６は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）等の表示デバイス、又は各種の情報を表示する表示機能を備えた様々な装置、又はデバイスである。
　画像処理装置１０は、所定のプログラムの実行することにより、表示投影面上に、カメラ１２Ａ～１２Ｄで撮像した複数の撮像画像を用いた自由視点画像を合成する画像処理を実行するコンピュータである。自由視点画像は、複数のカメラで撮像した複数の撮像画像を用いて、自由に視点を移動して表示可能な三次元画像である。
　（処理の概要）
　図２は、一実施形態に係る画像処理の概要について説明するための図である。画像処理装置１０は、車両１の周囲に予め定義したボウル形状（又はすり鉢形状）の投影面（以下、既定投影面２３１と呼ぶ）の情報である投影面情報２３０を有している。
　また、画像処理装置１０は、複数のカメラ１２で車両１の周辺を撮像した複数の撮像画像２１０と、自由視点画像の視点を示す視点情報２４０とを残差推定モデルに入力して、機械学習により投影面の残差情報２２０を推定する（ステップＳ１）。ここで、残差推定モデルは、複数の撮像画像２１０と視点情報２４０とを入力データとして、自由視点画像を投影する投影面（以下、表示投影面と呼ぶ）と、既定投影面２３１との差分を示す投影面の残差情報２２０を出力する、学習済のニューラルネットワークである。
　さらに、画像処理装置１０は、既定投影面２３１の情報である投影面情報２３０と、残差情報２２０と、視点情報２４０とを用いて、複数の撮像画像２１０を表示投影面にマッピングした自由視点画像２５０を生成する（ステップＳ２）。ここで、残差情報２２０は、前述したように、表示投影面と既定投影面２３１との差分を示す情報なので、画像処理装置１０は、投影面情報２３０と残差情報２２０とから、表示投影面を算出することができる。
　なお、残差推定モデルは、複数の学習用の撮像画像と、視点情報２４０と、複数の学習用の撮像画像に映った１つ以上の立体物の三次元情報とから、既定投影面２３１と表示投影面との差分を推定するように、予め機械学習されている。
　従って、本実施形態によれば、複数の撮像画像２１０を用いて自由視点画像２５０を合成する画像処理システム１００において、三次元のセンシングデバイスによらずに、歪みの少ない自由視点画像を合成することができる。
　なお、図１に示した画像処理システム１００のシステム構成は一例である。例えば、
画像処理システム１００は、複数のカメラ１２、及び表示装置１６等を備え、ユーザが装着するＡＲゴーグル、又はＶＲゴーグル等のウェアラブルデバイス等であってもよい。
　＜ハードウェア構成＞
　画像処理装置１０は、例えば、図３に示すようなコンピュータ３００のハードウェア構成を備えている。
　図３は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ３００は、例えば、プロセッサ３０１、メモリ３０２、ストレージデバイス３０３、Ｉ／Ｆ（Interface）３０４、入力装置３０５、出力装置３０６、通信装置３０７、及びバス３０８等を有している。
　プロセッサ３０１は、例えば、ストレージデバイス３０３等の記憶媒体に記憶したプログラムを実行することにより、所定の処理を実行するＣＰＵ（Central Processing Unit）、及びＧＰＵ（Graphics Processing Unit）等の演算装置である。メモリ３０２は、例えば、プロセッサ３０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）、及びプロセッサ３０１の起動用のプログラム等を記憶した不揮発性のメモリであるＲＯＭ（Read Only Memory）等を含む。ストレージデバイス３０３は、例えば、ＳＳＤ（Solid State Drive）、又はＨＤＤ（Hard Disk Drive）等の大容量の不揮発性の記憶装置である。Ｉ／Ｆ３０４は、例えば、カメラ１２、及び表示装置１６等の外部装置を、コンピュータ３００に接続するための様々なインタフェースを含む。
　入力装置３０５は、外部からの入力を受け付ける様々なデバイス（例えば、キーボード、タッチパネル、ポインティングデバイス、マイクロフォン、スイッチ、ボタン、又はセンサ等）を含む。出力装置２０６は、外部への出力を実施する様々なデバイス（例えば、ディスプレイ、スピーカ、インジケータ等）を含む。通信装置３０７は、有線又は無線のネットワークを介して、他の装置と通信を行うための様々な通信デバイスを含む。バス３０８は、上記の各構成要素に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。
　＜機能構成＞
　図４は、一実施形態に係る画像処理装置の機能構成の例を示す図である。画像処理装置１０は、例えば、図３のプロセッサ３０１で画像処理用のプログラムを実行することにより、画像取得部４０１、残差推定部４０２、マッピング部４０３、表示制御部４０４、設定部４０５、及び記憶部４０６等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
　画像取得部４０１は、複数のカメラ１２のそれぞれにより複数の撮像画像２１０を取得する画像取得処理を実行する。例えば、画像取得部４０１は、複数のカメラ１２Ａ、１２Ｂ、１２Ｃ、１２Ｄで、車両１の周辺を撮像した複数の撮像画像２１０を取得する。
　残差推定部４０２は、画像取得部４０１が取得した複数の撮像画像２１０と、視点情報２４０とを入力して、予め定義したボウル形状の既定投影面２３１と表示投影面との差分を示す投影面の残差情報２２０を機械学習により推定する残差推定処理を実行する。
　好ましくは、残差推定部４０２は、複数の学習用の撮像画像と、視点情報２４０と、複数の学習用の撮像画像に映った１つ以上の立体物の三次元情報とから、既定投影面２３１と表示投影面との差分を推論するように学習させた残差推定モデル４１０を有する。残差推定モデル４１０は、複数の撮像画像２１０と視点情報２４０とを入力データとして、自由視点画像を投影する表示投影面と既定投影面２３１との差分を示す投影面の残差情報２２０を出力する、学習済のニューラルネットワーク（以下、ＮＮと呼ぶ）である。本実施形態では、複数の撮像画像２１０と視点情報２４０とを入力データとして、残差情報２２０を出力するＮＮのうち、学習済のＮＮを残差推定モデル４１０と呼ぶ。
　残差推定部４０２は、画像取得部４０１が取得した複数の撮像画像２１０と、視点情報２４０とを残差推定モデル４１０に入力し、残差推定モデル４１０が出力する残差情報２２０を取得する。ここで、視点情報２４０は、画像処理装置１０が生成する自由視点画像の視点を示す座標情報であり、例えば、直交座標、又は極座標等で表される。また、三次元情報は、例えば、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）等の三次元のセンシングデバイスで測定した三次元の点群情報、又は深度情報を含むＤｅｐｔｈ画像等の車両１の周辺の物体の三次元の距離情報を含むデータである。
　マッピング部４０３は、既定投影面２３１に関する投影面情報２３０と、残差推定部４０２が推定した残差情報２２０とを用いて、取得した複数の撮像画像２１０を表示投影面にマッピングして自由視点画像２５０を得るマッピング処理を実行する。前述したように、残差情報２２０は、表示投影面と既定投影面２３１との差分を示す情報なので、マッピング部４０３は、既定投影面２３１の情報である投影面情報２３０と残差情報２２０とから、表示投影面を算出することができる。また、算出した表示投影面に複数の撮像画像をマッピングして自由視点画像２５０を得る処理は、例えば、非特許文献１、２等に示した公知の技術を適用することができる。
　表示制御部４０４は、マッピング部４０３が生成した自由視点画像２５０等を、表示装置１６等に表示させる表示制御処理を実行する。
　設定部４０５は、画像処理装置１０に、例えば、投影面情報２３０、視点情報２４０等の情報を設定する設定処理を実行する。
　記憶部４０６は、例えば、プロセッサ３０１が実行するプログラム、ストレージデバイス３０３、及びメモリ３０２等によって実現され、撮像画像２１０、投影面情報２３０、及び視点情報２４０等を含む様々な情報（又はデータ）を記憶する記憶処理を実行する。
　なお、図４に示した画像処理装置１０の機能構成は一例である。例えば、画像処理装置１０に含まれる各機能構成は、複数のコンピュータ３００に分散して設けられていてもよい。
　＜処理の流れ＞
　続いて、本実施形態に係る画像処理方法の処理の流れについて説明する。
　（画像処理）
　図５は、一実施形態に係る画像処理の例を示すフローチャートである。この処理は、図４で説明した画像処理装置１０が実行する、図２で説明した画像処理の具体的な一例を示している。
　ステップＳ５０１において、画像取得部４０１は、例えば、複数のカメラ１２を用いて、車両１の周辺を撮像した複数の撮像画像２１０を取得する。
　ステップＳ５０２において、残差推定部４０２は、画像取得部４０１が取得した複数の撮像画像２１０と、自由視点画像２５０の視点を示す視点情報２４０とを残差推定モデル４１０に入力して、投影面の残差情報２２０を推定する。
　ステップＳ５０３において、マッピング部４０３は、図２で説明した既定投影面２３１の情報である投影面情報２３０と、残差推定部４０２が推定した残差情報２２０とを用いて、複数の撮像画像２１０を投影する表示投影面を算出する。例えば、マッピング部４０３は、既定投影面２３１に残差情報２２０を反映することにより、表示投影面を算出する。
　ステップ５０４において、マッピング部４０３は、画像取得部４０１が取得した複数の撮像画像２１０を、表示投影面にマッピングして、自由視点画像２５０を生成する。
　ステップＳ５０５において、表示制御部４０４は、マッピング部４０３が生成した自由視点画像２５０を、表示装置１６等に表示する。
　図５の処理により、画像処理装置１０は、複数の撮像画像２１０を用いて自由視点画像２５０を合成する画像処理システム１００において、三次元のセンシングデバイスによらずに、歪みの少ない自由視点画像２５０を合成することができる。
　＜学習処理について＞
　続いて、残差推定モデル４１０を機械学習する学習処理について説明する。
　［第１の実施形態］
　（処理の概要）
　図６は、第１の実施形態に係る学習処理の概要について説明するための図である。この処理は、画像処理装置１０が、複数の撮像画像２１０と視点情報２４０とを入力データとして、残差情報２２０を出力するＮＮである残差学習モデルを機械学習する学習処理の一例を示している。なお、本実施形態では、複数の撮像画像２１０と視点情報２４０とを入力データとして、残差情報２２０を出力するＮＮのうち、学習前、又は学習中のＮＮを残差学習モデルと呼ぶ。また、学習処理を実行する画像処理装置１０は、図２～４で説明した画像処理を実行するコンピュータ３００と同じコンピュータであってもよいし、他のコンピュータであってもよい。
　画像処理装置１０は、複数のカメラ１２で撮像した複数の撮像画像２１０と、ＬｉＤＡＲ等の三次元センサで取得した三次元情報（例えば、三次元の点群情報、Ｄｅｐｔｈ画像等）を取得する。また、画像処理装置１０は、取得した三次元情報により、複数の撮像画像２１０の三次元画像を復元し、入力した視点情報２４０に基づいて、教師用の自由視点画像である教師用画像６０２を生成（レンダリング）する（ステップＳ１１）。
　また、画像処理装置１０は、複数の撮像画像２１０と視点情報２４０とを残差学習モデルに入力して、残差学習モデルが出力する残差情報（以下、学習用残差情報６０１と呼ぶ）を取得する（ステップＳ１２）。続いて、画像処理装置１０は、取得した学習用残差情報と、投影面情報２３０と、視点情報２４０とを用いて、複数の撮像画像２１０を表示投影面にマッピングして学習用の自由視点画像（以下、学習用画像６０３と呼ぶ）を生成する（ステップＳ１３）。
　さらに、画像処理装置１０は、生成した教師用画像６０２と学習用画像６０３との誤差が小さくなるように、残差学習モデル（ＮＮ）を学習する（ステップＳ１４）。
　＜機能構成＞
　図７は、第１の実施形態に係る画像処理装置（学習時）の機能構成の例を示す図である。画像処理装置１０は、例えば、図３のプロセッサ３０１で、学習処理用のプログラムを実行することにより、撮像画像準備部７０１、三次元情報準備部７０２、教師用画像準備部７０３、学習部７０４、設定部７０５、及び記憶部７０６等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
　撮像画像準備部７０１は、複数のカメラ１２のそれぞれで撮像した学習用の複数の撮像画像２１０を準備する撮像画像準備処理を実行する。なお、撮像画像準備部７０１は、複数のカメラ１２を用いて、複数の撮像画像２１０をリアルタイムに取得してもよいし、予め撮像して記憶部７０６等に記憶した撮像画像７１１から、学習処理に必要な複数の撮像画像２１０を取得してもよい。
　三次元情報準備部７０２は、撮像画像準備部７０１が準備する学習用の複数の撮像画像２１０に対応する三次元情報（例えば、三次元の点群情報、又はＤｅｐｔｈ画像等）を取得する三次元情報準備処理を実行する。一例として、三次元情報準備部７０２は、ＬｉＤＡＲ７０７等の三次元センサを用いて、複数の撮像画像２１０の撮像と同じタイミングで（同期して）、車両１の周辺の三次元の点群情報を取得する。なお、三次元情報準備部７０２は、例えば、ステレオカメラ、深度画像を撮像する深度カメラ、又は無線センシングデバイス等の他の三次元センサを利用して、三次元情報を取得してもよい。
　別の一例として、三次元情報準備部７０２は、記憶部７０６等に記憶した学習用の複数の撮像画像２１０に、例えば、Ｖｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mappin）等の技術を用いて、周辺立体物の位置を示す三次元情報を取得しても良い。要するに、三次元情報準備部７０２は、撮像画像準備部７０１が準備する学習用の複数の撮像画像２１０と同期した、車両１の周辺の立体物の位置を示す三次元情報を準備するものであればよく、その方法は任意の方法であってよい。
　教師用画像準備部７０３は、三次元情報準備部７０２が準備した三次元情報により複数の撮像画像２１０の三次元画像を復元し、視点情報２４０に基づいて教師用の自由視点画像である教師用画像６０２を生成（レンダリング）する教師用画像準備処理を実行する。
　学習部７０４は、複数の撮像画像２１０と、視点情報２４０と、投影面情報２３０と、教師用画像６０２とを用いて、残差学習モデル（ＮＮ）７１０を学習する学習処理を実行する。例えば、学習部７０４は、複数の撮像画像２１０と視点情報２４０とを残差学習モデル（ＮＮ）７１０に入力して学習用残差情報６０１を取得し、学習用残差情報６０１と、投影面情報２３０とを用いて、学習用の表示投影面を算出する。また、学習部７０４は、視点情報２４０を用いて、複数の撮像画像２１０を算出した表示投影面にマッピングして、学習用の自由視点画像である学習用画像６０３を生成する。さらに、学習部７０４は、生成した教師用画像６０２と学習用画像６０３との誤差が小さくなるように、残差学習モデル（ＮＮ）７１０を学習する。
　設定部７０５は、画像処理装置１０に、例えば、投影面情報２３０、視点情報２４０等の様々な情報を設定する設定処理を実行する。
　記憶部７０６は、例えば、プロセッサ３０１が実行するプログラム、ストレージデバイス３０３、及びメモリ３０２等によって実現され、撮像画像７１１、三次元情報７１２、投影面情報２３０、及び視点情報２４０等の様々な情報（又はデータ）を記憶する。
　なお、図７に示した画像処理装置１０の機能構成は一例である。例えば、画像処理装置１０に含まれる各機能構成は、複数のコンピュータ３００に分散して設けられていてもよい。
　＜処理の流れ＞
　続いて、第１の実施形態に係るニューラルネットワークの学習方法の処理の流れについて説明する。
　図８は、第１の実施形態に係る学習処理の例を示すフローチャートである。この処理は、図７で説明した画像処理装置１０が実行する、図６で説明した学習処理の具体的な一例を示している。
　ステップＳ８０１ａにおいて、撮像画像準備部７０１は、複数のカメラ１２のそれぞれで撮像した学習用の複数の撮像画像２１０を準備する。例えば、撮像画像準備部７０１は、複数のカメラ１２を用いて、車両１の周辺を撮像した複数の撮像画像２１０を取得する。
　ステップＳ８０１ｂにおいて、三次元情報準備部７０２は、撮像画像準備部７０１が準備する学習用の複数の撮像画像２１０に対応する三次元情報を取得する。例えば、三次元情報準備部７０２は、撮像画像準備部７０１と同期して、同時刻の車両１の周辺の三次元情報（例えば、三次元の点群情報）を取得する。
　ステップＳ８０２において、画像処理装置１０は、学習する視点を示す視点情報２４０を準備する。例えば、設定部７０５は、残差学習モデル７１０に学習する視点の座標を、視点情報２４０に設定する。
　ステップＳ８０３において、教師用画像準備部７０３は、三次元情報準備部７０２が準備した三次元情報により複数の撮像画像２１０の三次元画像を復元し、視点情報２４０に基づいて教師用画像６０２を生成（レンダリング）する。
　ステップＳ８０４において、学習部７０４は、ステップＳ８０３の処理と並行して、複数の撮像画像２１０と視点情報２４０とを残差学習モデル（ＮＮ）７１０に入力して学習用残差情報６０１を取得する。
　ステップＳ８０５において、学習部７０４は、学習用残差情報６０１と投影面情報２３０とから表示投影面を算出し、視点情報２４０に基づいて、複数の撮像画像２１０を表示投影面にマッピングして学習用画像６０３を生成する。
　ステップＳ８０６において、学習部７０４は、生成した教師用画像６０２と学習用画像６０３との差が最小となるように、残差学習モデル７１０を学習する。例えば、学習部７０４は、２つの画像の差（例えば、全画素の画素値の差の合計）が最小となる残差学習モデル７１０の重みを求め、求めた重みを残差学習モデル７１０に設定する。
　ステップＳ８０７において、学習部７０４は、学習終了か否かを判断する。例えば、学習部７０４は、ステップＳ８０１～Ｓ８０６の処理を所定の回数実行したときに、学習終了と判断してもよい。或いは、学習部７０４は、教師用画像６０２と学習用画像６０３との差が所定値以下となったときに、学習終了と判断してもよい。
　学習終了していない場合、学習部７０４は、処理をステップＳ８０１ａ、Ｓ８０１ｂに戻す。一方、学習終了した場合、学習部７０４は、図８の処理を終了する。
　図４で説明した画像処理装置１０は、図８の処理で学習したＮＮ（残差学習モデル７１０）を、残差推定モデル４１０として、図５で説明した画像処理を実行することができる。
　［第２の実施形態］
　（処理の概要）
　図９は、第２の実施形態に係る学習処理の概要について説明するための図である。この処理は、画像処理装置１０が、複数の撮像画像２１０と視点情報２４０とを入力データとして、残差情報２２０を出力するＮＮである残差学習モデルを機械学習する学習処理の別の一例を示している。なお、ここでは、第１の実施形態と同様の処理に対する詳細な説明は省略する。
　画像処理装置１０は、複数の撮像画像２１０と、投影面情報２３０と、視点情報２４０とを用いて、既定投影面２３１に複数の撮像画像２１０をマッピングした無修正の自由視点画像（以下、無修正画像９０１と呼ぶ）を生成する（ステップＳ２１）。
　また、画像処理装置１０は、三次元情報を取得し、取得した三次元情報により複数の撮像画像２１０を復元し、視点情報２４０に基づいて、教師用の自由視点画像である教師用画像６０２を生成（レンダリング）する（ステップＳ２２）。
　また、画像処理装置１０は、生成した無修正画像９０１と教師用画像６０２とを比較して、２つの画像の残差情報を求める（ステップＳ２３）。さらに、画像処理装置１０は、複数の撮像画像２１０と視点情報２４０とを残差学習モデル７１０に入力して、学習用残差情報６０１を取得する（ステップＳ２４）。続いて、画像処理装置１０は、２つの画像の残差情報と、学習用残差情報６０１との差が最小となるように、残差学習モデル７１０を学習する（ステップＳ２５）。
　＜機能構成＞
　図１０は、第２の実施形態に係る画像処理装置（学習時）の機能構成の例を示す図である。図１０に示すように、第２の実施形態に係る画像処理装置１０は、図７で説明した第１の実施形態に係る画像処理装置１０の機能構成に加えて、無修正画像準備部１００１、及び残差計算部１００２を有している。また、学習部７０４は、図９で説明したように、第１の実施形態とは異なる学習処理を実行する。
　無修正画像準備部１００１は、例えば、プロセッサ３０１が実行するプログラムによって実現される。無修正画像準備部１００１は、複数の撮像画像２１０と、投影面情報２３０と、視点情報２４０とを用いて、既定投影面２３１に複数の撮像画像２１０をマッピングした無修正画像９０１を生成する無修正画像準備処理を実行する。
　残差計算部１００２は、例えば、プロセッサ３０１が実行するプログラムによって実現され、生成した無修正画像９０１と教師用画像６０２とを比較して、２つの画像の残差情報を計算する残差計算処理を実行する。
　第２の実施形態に係る学習部７０４は、残差計算部１００２が計算する２つの画像の残差情報と、残差学習モデル７１０が出力する学習用残差情報６０１との差が最小となるように、残差学習モデル７１０を学習する学習処理を実行する。
　なお、上記以外の機能構成は、図７で説明した第１の実施形態に係る画像処理装置１０の機能構成を同様なので、ここでは説明を省略する。
　＜処理の流れ＞
　続いて、第２の実施形態に係るニューラルネットワークの学習方法の処理の流れについて説明する。
　図１１は、第２の実施形態に係る学習処理の例を示すフローチャートである。この処理は、図１０で説明した画像処理装置１０が実行する、図９で説明した学習処理の具体的な一例を示している。なお、図１１に示す処理のうち、ステップＳ８０１ａ、Ｓ８０１ｂ、Ｓ８０２の処理は、図８で説明した第１の実施形態に係る学習処理と同様なので、ここでは説明を省略する。
　ステップＳ１１０１において、無修正画像準備部１００１は、複数の撮像画像２１０と、投影面情報２３０と、視点情報２４０とを用いて、既定投影面２３１に複数の撮像画像２１０をマッピングした無修正画像９０１を生成する。
　ステップＳ１１０２において、教師用画像準備部７０３は、三次元情報準備部７０２が準備した三次元情報により複数の撮像画像２１０の三次元画像を復元し、視点情報２４０に基づいて教師用画像６０２を生成（レンダリング）する。
　ステップＳ１１０３において、残差計算部１００２は、生成した無修正画像９０１と教師用画像６０２とを比較して、２つの画像の残差情報を計算する。
　ステップＳ１１０４において、学習部７０４は、例えば、ステップＳ１１０１～Ｓ１１０３の処理と並行して、複数の撮像画像２１０と視点情報２４０とを残差学習モデル（ＮＮ）７１０に入力して学習用残差情報６０１を取得する。
　ステップＳ１１０５において、学習部７０４は、残差計算部１００２が計算した２つの画像の残差情報と、学習用の残差情報との２つの残差情報の差が最小となるように、残差学習モデル７１０を学習する。例えば、学習部７０４は、２つの残差情報の差が最小となる残差学習モデル７１０の重みを求め、求めた重みを残差学習モデル７１０に設定する。
　ステップＳ１１０６において、学習部７０４は、学習終了か否かを判断する。学習終了していない場合、学習部７０４は、処理をステップＳ８０１ａ、Ｓ８０１ｂに戻す。一方、学習終了した場合、学習部７０４は、図１１の処理を終了する。
　図４で説明した画像処理装置１０は、図１１の処理で学習したＮＮ（残差学習モデル７１０）を、残差推定モデル４１０として、図５で説明した画像処理を実行することができる。
　（残差情報の計算処理）
　図１２は、第２の実施形態に係る残差情報の計算処理の例を示すフローチャートである。この処理は、例えば、図１１のステップＳ１１０３において、残差計算部１００２が実行する残差情報の計算処理の一例を示している。
　ステップＳ１２０１にいて、残差計算部１００２は、無修正画像９０１と教師用画像６０２の各画素の差分（例えば、各画素の画素値の差）を算出する。
　ステップＳ１２０２において、残差計算部１００２は、算出した差分が所定値以下であるか否かを判断する。差分が所定値以下である場合、残差計算部１００２は、処理をステップＳ１２０７に移行させて、現在の投影面残差を２つの画像の残差情報とする。一方、差分が所定値以下でない場合、残差計算部１００２は、処理をステップＳ１２０３に移行させる。
　ステップＳ１２０３に移行すると、残差計算部１００２は、差分が大きい画像上の場所を取得し、対応する投影面の座標を取得する。
　ステップＳ１２０４において、残差計算部１００２は、取得した座標付近で差分が小さくなるような、投影面の残差情報を設定する。
　ステップＳ１２０５において、残差計算部１００２は、設定した残差情報を反映して、自由視点画像を生成する。
　ステップＳ１２０６において、残差計算部１００２は、生成した自由視点画像、及び教師用画像の各画素値の差分を算出して、処理をステップＳ１２０２に戻す。
　残差計算部１００２は、図１２の処理を、２つの画像の各画素値の差分が所定値以下になるまで繰り返し実行することにより、２つの画像の残差情報を求めることができる。ただし、残差計算部１００２が、２つの画像の残差情報を求める方法はこれに限られない。
　なお、第１の実施形態に係る学習処理は、画像誤差を起点に誤差逆伝搬法（バックプロパゲーション）を用いて、残差学習モデル７１０を学習（重みを更新）するという流れになる。その前提として、残差計算過程において、各計算が学習系において微分可能な手順になっている必要がある。
　一方、第２の実施形態に係る学習処理は、２つの画像の残差情報を直接用いて、残差学習モデル７１０を学習することになるので、残差計算過程が微分可能な手順でなくても良いというメリットが得られる。
　開発者等は、例えば、教師データとして直接的な画像を用いることができるというメリットを取るか、誤差逆伝搬法の条件を緩和できるというメリットを取るかにより、第１の実施形態、又は第２の実施形態に係る学習処理を選択することができる。
　［第３の実施形態］
　第３の実施形態では、残差推定モデル４１０、及び残差学習モデルの好適な構成例について説明する。
　図１３は、第３の実施形態に係る残差推定モデルの構成例を示す図である。残差推定モデル４１０は、複数のカメラ特性補正モデル１３０１－１、１３０１－２、１３０１－３、・・・と、各カメラ特性補正モデルに共通のベースモデル１３０２とに分離した形で構成してもよい。なお、以下の説明において、複数のカメラ特性補正モデル１３０１－１、１３０１－２、１３０１－３、・・・のうち、任意のカメラ補正モデルを示す場合、「カメラ特性補正モデル１３０１」を用いる。
　この場合、画像処理装置１０は、例えば、ユーザによる設定に応じて、カメラ特性補正モデル１３０１を切り替える。具体的には、ユーザＡＰＩ（Application Programming Interface）には、カメラ特性補正モデル１３０１を指定する引数を設け、ユーザＳＤＫには、当該引数と連動して参照される複数のカメラ特性補正モデル１３０１が定義されたデータベースを設ける。
　カメラ特性補正モデル１３０１は、残差推定モデル４１０の主に画像入力に近いネットワーク部分であり、カメラ特性パラメータ（焦点距離等）に敏感な重みデータを学習する。カメラ特性補正モデル１３０１は、複数の学習用撮像画像と、複数の学習用撮像画像に映った１つ以上の立体物の三次元情報とから、当該立体物の特徴点の特徴マップ情報を推論するように学習させたカメラモデル推論エンジンの一例である。
　ベースモデル１３０２は、カメラ特性パラメータに影響し難い、各カメラ特性補正モデル１３０１に共通の重みデータを学習する。ベースモデル１３０２は、カメラ特性補正モデル１３０１が出力する特徴マップ情報と視点情報２４０とから、既定投影面２３１と表示投影面との差分を推論するように学習させたベースモデル推論エンジンの一例である。
　なお、残差推定モデル４１０は、複数のカメラモデル推論エンジンと、ベースモデル推論エンジンとに分離した形で構成される推論エンジンの一例である。カメラモデル推論エンジンの学習後の重みデータは、ベースモデル推論エンジンの学習後の重みデータに比べて、複数のカメラの特性パラメータの影響が大きい。
　＜機能構成＞
　図１４は、第３の実施形態に係る画像処理装置の機能構成の一例を示す図である。図１４に示すように、第３の実施形態に係る画像処理装置１０は、図４で説明した一実施形態に係る画像処理装置１０の機能構成に加えて、記憶部４０６に補正モデルＤＢ（Database）１４０１を記憶している。
　補正モデルＤＢ１４０１は、複数のカメラ特性補正モデル１３０１－１、１３０１－２、１３０１－３、・・・が定義されたデータベースである。
　例えば、設定部４０５は、カメラセットの設定画面を表示して、ユーザによるカメラセットの設定を受け付けると、受け付けたカメラセットに対応するカメラ特性補正モデル１３０１を、補正モデルＤＢ１４０１から取得する。また、設定部４０５は、取得したカメラ特性補正モデル１３０１を、残差推定モデル４１０に設定する。
　これにより、画像処理装置１０は、例えば、ユーザが第１のカメラセットを設定すると、第１のカメラセットに対応するカメラ特性補正モデル１３０１－１とベースモデル１３０２とを含む残差推定モデル４１０を用いて、図５で説明した画像処理を実行する。同様に、画像処理装置１０は、例えば、ユーザが第２のカメラセットを設定すると、第２のカメラセットに対応するカメラ特性補正モデル１３０１－２とベースモデル１３０２とを含む残差推定モデル４１０を用いて、図５で説明した画像処理を実行する。
　＜学習処理＞
　続いて、第３の実施形態に係る学習処理について説明する。
　（処理の概要）
　図１５、第３の実施形態に係る学習処理の概要について説明するための図である。画像処理装置１０は、第１の学習処理として、１番目のカメラ特性補正モデル１３０１－１と、ベースモデル１３０２とを学習する（ステップＳ３１）。
　また、画像処理装置１０は、第２の学習処理として、２番目のカメラ特性補正モデル１３０１－２を、第１の学習処理で学習したベースモデル１３０２と組み合わせて、カメラ特性補正モデル１３０２－２を学習する（ステップＳ３２）。
　同様にして、画像処理装置１０は、第ｎの学習処理として、ｎ番目のカメラ特性補正モデル１３０１―ｎを、第１の学習処理で学習したベースモデル１３０２と組み合わせて、カメラ特性補正モデル１３０１－ｎを学習することができる。
　（学習処理１）
　図１６は、第３の実施形態に係る学習処理の例を示すフローチャート（１）である。この処理は、図７で説明した第１の実施形態に係る画像処理装置１０に、第３の実施形態を適用した場合の学習処理の例を示している。なお、ここでは、第１の実施形態と同様の処理に対する詳細な説明は省略する。
　ステップＳ１６０１において、画像処理装置１０は、カウンタｎを１に初期化して、ステップＳ１６０２の処理を実行する。
　ステップＳ１６０２において、画像処理装置１０は、１番目のカメラ特性補正モデル１３０１―１と、ベースモデル１３０２とを含む残差学習モデル７１０を、図８で説明した第１の実施形態に係る学習処理で学習する。
　例えば、図８のフローチャートを参照して、ステップＳ８０１ａにおいて、撮像画像準備部７０１は、第１の複数のカメラ（第１のカメラセット）１２のそれぞれにより第１の複数の撮像画像を準備する第１の撮像画像準備処理を実行する。
　ステップＳ８０１ｂにおいて、三次元情報準備部７０２は、第１の複数の撮像画像に映った１つ以上の立体物の第１の三次元情報を準備する第１の三次元情報準備処理を実行する。
　ステップＳ８０３において、教師用画像準備部７０３は、第１の三次元情報により第１の複数の撮像画像の三次元画像を復元し、入力した視点情報に基づいて第１の教師用画像を生成する第１の教師用画像準備処理を実行する。
　ステップＳ８０４において、学習部７０４は、第１の複数の撮像画像と、第１の複数のカメラ１２のうちの少なくとも１つのカメラ１２に関する特性パラメータとを、第１のカメラ特性補正モデル１３０１―１に入力して第１の学習用残差情報を取得する。
　ステップＳ８０５において、学習部７０４は、第１の学習用残差情報と、投影面情報２３第１の学習用画像を生成する。
　ステップＳ８０６において、学習部７０４は、第１の教師用画像と第１の学習用画像との誤差が小さくなるように、カメラ特性補正モデル１３０１―１、及びベースモデル１３０２の両方を学習させる。
　ここで、図１６に戻り、ステップＳ１６０３以降の処理について説明する。ステップＳ１６０３において、画像処理装置１０は、ｎ≦Ｎ（Ｎは、カメラ特性補正モデル１３０１の数）であるか否かを判断する。ｎ≦Ｎでない場合、画像処理装置１０は、処理をステップＳ１６０４に移行させる。一方、ｎ≦Ｎである場合、画像処理装置１０は、図１６の学習処理を終了する。
　ステップＳ１６０４に移行すると、画像処理装置１０は、ｎに１を加算して、ステップＳ１６０５の処理を実行する。
　ステップＳ１６０５において、画像処理装置１０は、ベースモデル１３０２を固定して、図８で説明した第１の実施形態に係る学習処理で、ｎ番目のカメラ特性補正モデルを学習し、処理をステップＳ１６０３に戻す。
　例えば、ｎ＝２である場合、図８のフローチャートを参照して、ステップＳ８０１ａにおいて、撮像画像準備部７０１は、第２の複数のカメラ（第２のカメラセット）１２のそれぞれにより第２の複数の撮像画像を準備する第２の撮像画像準備処理を実行する。
　ステップＳ８０１ｂにおいて、三次元情報準備部７０２は、第２の複数の撮像画像に映った１つ以上の立体物の第２の三次元情報を準備する第２の三次元情報準備処理を実行する。
　ステップＳ８０３において、教師用画像準備部７０３は、第２の三次元情報により第２の複数の撮像画像の三次元画像を復元し、入力した視点情報に基づいて第２の教師用画像を生成する第２の教師用画像準備処理を実行する。
　ステップＳ８０４において、学習部７０４は、第２の複数の撮像画像と、第２の複数のカメラ１２のうちの少なくとも１つのカメラ１２に関する特性パラメータとを、第２のカメラ特性補正モデル１３０１―２に入力して第２の学習用残差情報を取得する。
　ステップＳ８０５において、学習部７０４は、第２の学習用残差情報と、投影面情報２３０と、視点情報２４０とを用いて、第２の複数の撮像画像を表示投影面にマッピングして第２の学習用画像を生成する。
　ステップＳ８０６において、学習部７０４は、第２の教師用画像と第２の学習用画像との誤差が小さくなるように、ベースモデル１３０２を固定して、カメラ特性補正モデル１３０１―２を学習させる。
　図１６に示した学習処理により、画像処理装置１０は、図１３に示すような、複数のカメラ特性補正モデル１３０１－１、１３０１－２、１３０２－３、・・・と、ベースモデル１３０２とを含む残差推定モデル４１０を得ることができる。
　（学習処理２）
　図１７は、第３の実施形態に係る学習処理の例を示すフローチャート（２）である。この処理は、図１０で説明した第２の実施形態に係る画像処理装置１０に、第３の実施形態を適用した場合の学習処理の例を示している。なお、ここでは、第２の実施形態と同様の処理に対する詳細な説明は省略する。
　ステップＳ１７０１において、画像処理装置１０は、カウンタｎを１に初期化して、ステップＳ１７０２の処理を実行する。
　ステップＳ１７０２において、画像処理装置１０は、１番目のカメラ特性補正モデル１３０１―１と、ベースモデル１３０２とを含む残差学習モデル７１０を、図１１で説明した第２の実施形態に係る学習処理で学習する。
　例えば、図１１のフローチャートを参照して、ステップＳ８０１ａにおいて、撮像画像準備部７０１は、第１の複数のカメラ（第１のカメラセット）１２のそれぞれにより第１の複数の撮像画像を準備する第１の撮像画像準備処理を実行する。
　ステップＳ８０１ｂにおいて、三次元情報準備部７０２は、第１の複数の撮像画像に映った１つ以上の立体物の第１の三次元情報を準備する第１の三次元情報準備処理を実行する。
　ステップＳ１１０１において、無修正画像準備部１１０１は、第１の複数の撮像画像を既定投影面にマッピングし、入力した視点情報に基づいて第１の無修正画像を生成する第１の無修正画像準備処理を実行する。
　ステップＳ１１０２において、教師用画像準備部７０３は、第１の三次元情報により第１の複数の撮像画像の三次元画像を復元し、入力した視点情報２４０に基づいて第１の教師用画像を生成する第１の教師用画像準備処理を実行する。
　ステップＳ１１０３において、残差計算部１００２は、第１の無修正画像と第１の教師用画像とを比較して第１の残差情報を準備する第１の残差計算処理を実行する。
　ステップＳ１１０４において、学習部７０４は、第１の複数の撮像画像と視点情報２４０とを、学習中の残差学習モデル７１０に入力して、第１の学習用残差情報を取得する。具体的には、学習部７０４は、第１の複数の撮像画像および第１の複数のカメラのうちの少なくとも１つのカメラに関する特性パラメータを第１のカメラ特性補正モデル１３０１－１に入力して、第１の特徴マップ情報を取得する。また、学習部７０４は、取得した第１の特徴マップ情報と、視点情報２４０とをベースモデル１３０２に入力して、第１の学習用の残差情報を取得する。
　ステップＳ１１０５において、学習部７０４は、残差計算部１００２が計算した第１の残差情報と、第１の学習用の残差情報との２つの残差情報の差が最小となるように、残差学習モデル７１０を学習する。このように、学習部７０４は、第１の残差情報を教師データとして、第１のカメラ特性補正モデル１３０１－１とベースモデル１３０２の両方を同時に学習させる。
　ここで、図１７に戻り、ステップＳ１７０３以降の処理について説明する。ステップＳ１７０３において、画像処理装置１０は、ｎ≦Ｎ（Ｎは、カメラ特性補正モデル１３０１の数）であるか否かを判断する。ｎ≦Ｎでない場合、画像処理装置１０は、処理をステップＳ１７０４に移行させる。一方、ｎ≦Ｎである場合、画像処理装置１０は、図１７の学習処理を終了する。
　ステップＳ１７０４に移行すると、画像処理装置１０は、ｎに１を加算して、ステップＳ１７０５の処理を実行する。
　ステップＳ１７０５において、画像処理装置１０は、ベースモデル１３０２を固定して、図１１で説明した第２の実施形態に係る学習処理で、ｎ番目のカメラ特性補正モデルを学習し、処理をステップＳ１７０３に戻す。
　例えば、ｎ＝２である場合、図１１のフローチャートを参照して、ステップＳ８０１ａにおいて、撮像画像準備部７０１は、第２の複数のカメラ（第２のカメラセット）１２のそれぞれにより第２の複数の撮像画像を準備する第２の撮像画像準備処理を実行する。
　ステップＳ８０１ｂにおいて、三次元情報準備部７０２は、第２の複数の撮像画像に映った１つ以上の立体物の第２の三次元情報を準備する第２の三次元情報準備処理を実行する。
　ステップＳ１１０１において、無修正画像準備部１１０１は、第２の複数の撮像画像を既定投影面２３１にマッピングし、入力した視点情報２４０に基づいて第２の無修正画像を生成する第２の無修正画像準備処理を実行する。
　ステップＳ１１０２において、教師用画像準備部７０３は、第２の三次元情報により第２の複数の撮像画像の三次元画像を復元し、入力した視点情報２４０に基づいて第２の教師用画像を生成する第２の教師用画像準備処理を実行する。
　ステップＳ１１０３において、残差計算部１００２は、第２の無修正画像と２１の教師用画像とを比較して第２の残差情報を準備する第２の残差計算処理を実行する。
　ステップＳ１１０４において、学習部７０４は、第２の複数の撮像画像と視点情報２４０とを、学習中の残差学習モデル７１０に入力して、第２の学習用残差情報を取得する。具体的には、学習部７０４は、第２の複数の撮像画像および第２の複数のカメラのうちの少なくとも１つのカメラに関する特性パラメータを第２のカメラ特性補正モデル１３０１－２に入力して、第２の特徴マップ情報を取得する。また、学習部７０４は、取得した第２の特徴マップ情報と、視点情報２４０とをベースモデル１３０２に入力して、第２の学習用の残差情報を取得する。
　ステップＳ１１０５において、学習部７０４は、残差計算部１００２が計算した第２の残差情報と、第２の学習用の残差情報との２つの残差情報の差が最小となるように、ベースモデル１３０２を固定して、第２のカメラ特性補正モデル１３０１－２を学習させる。これにより、学習部７０４は、第２の残差情報を教師データとして、第２のカメラ特性補正モデル１３０１－２を学習させる。
　図１７に示した学習処理により、画像処理装置１０は、図１３に示すような、複数のカメラ特性補正モデル１３０１－１、１３０１－２、１３０２－３、・・・と、ベースモデル１３０２とを含む残差推定モデル４１０を得ることができる。
　［第４の実施形態］
　上記の各実施形態では、画像処理システム１００が、自動車等の車両１に搭載されている場合の例について説明した。第４の実施形態では、画像処理システム１００を、例えば、ＡＲゴーグル等のエッジデバイスに三次元画像を表示する三次元画像表示システムに適用する場合の例について説明する。
　図１８は、第４の実施形態に係る三次元画像表示システムのシステム構成の例を示す図である。三次元画像表示システム１８００は、ＡＲゴーグル等のエッジデバイス１８０１と、例えば、インターネットやＬＡＮ（Local Area Network）等の通信ネットワークＮを介して、エッジデバイス１８０１と通信可能なサーバ１８０２とを含む。
　エッジデバイス１８０１は、例えば、１つ以上の周辺カメラ、三次元センサ、表示デバイス、及び通信Ｉ／Ｆ等を備え、周辺カメラで撮像した撮像画像、及び三次元センサで取得した三次元情報を、サーバ１８０２に送信する。
　サーバ１８０２は、１つ以上のコンピュータ３００を備え、所定のプログラムを実行することにより、エッジデバイス１８０１から受信した撮像画像、及び三次元情報を用いて、三次元画像を生成し、生成した三次元画像をエッジデバイス１８０１に送信する。なお、サーバ１８０２は、遠隔処理手段の一例である。
　エッジデバイス１８０１は、サーバ１８０２から受信した三次元画像を、表示デバイスに表示することにより、周辺の三次元画像を表示する。
　ただし、従来のシステムでは、エッジデバイス１８０１が、サーバ１８０２に撮像画像と三次元情報とを送信した後、サーバ１８０２から三次元画像を受信するまでの間、三次元画像を表示できないという問題がある。
　そこで、本実施形態に係るエッジデバイス１８０１は、サーバ１８０２に撮像画像と三次元情報とを送信した後、サーバ１８０２から三次元画像を受信するまでの間に、例えば、図５で説明した画像処理を用いて生成した自由視点画像を表示する。これにより、本実施形態に係る三次元画像表示システム１８００によれば、エッジデバイス１８０１は、サーバ１８０２から三次元画像を受信する前に、仮想空間表示が可能になる。
　＜ハードウェア構成＞
　図１９は、第４の実施形態に係るエッジデバイスのハードウェア構成の例を示す図である。エッジデバイス１８０１は、コンピュータの構成を備え、例えば、プロセッサ１９０１、メモリ１９０２、ストレージデバイス１９０３、通信Ｉ／Ｆ１９０４、表示デバイス１９０５、複数の周辺カメラ１９０６、ＩＭＵ１９０７、三次元センサ１９０８、及びバス１９０９等を有する。
　プロセッサ１９０１は、例えば、ストレージデバイス１９０３等の記憶媒体に記憶したプログラムを実行することにより、所定の処理を実行するＣＰＵ、及びＧＰＵ等の演算装置である。メモリ１９０２は、例えば、プロセッサ１９０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ、及びプロセッサ１９０１の起動用のプログラム等を記憶した不揮発性のメモリであるＲＯＭ等を含む。ストレージデバイス１９０３は、例えば、ＳＳＤ、又はＨＤＤ等の大容量の不揮発性の記憶装置である。
　通信Ｉ／Ｆ１９０４は、エッジデバイス１８０１を通信ネットワークＮに接続し、サーバ１８０２と通信するＷＡＮ（Eide Area Network）、又はＬＡＮ（Local Area Network）等の通信デバイスである。表示デバイス１９０５は、例えば、ＬＣＤ、又は有機ＥＬ等の表示手段である。複数の周辺カメラ１９０６は、エッジデバイス１８０１の周辺を撮像するカメラである。
　ＩＭＵ（Inertial Measurement Unit）１９０７は、例えば、ジャイロセンサと、加速度センサとにより、三次元の角速度と加速度を検知する慣性計測デバイスである。三次元センサ１９０８は、例えば、ＬｉＤＡＲ、ステレオカメラ、深度カメラ、又は無線センシングデバイス等の三次元情報を取得するセンサである。バス１９０９は、上記の各構成要素に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。
　＜機能構成＞
　図２０は、第４の実施形態に係る三次元画像表示システムの機能構成を示す図である。
　（エッジデバイスの機能構成）
　エッジデバイス１８０１は、プロセッサ１９０１が所定のプログラムを実行することにより、図４で説明した画像処理装置１０の機能構成に加えて、三次元情報取得部２００１、送信部２００２、及び受信部２００３等を有する。また、エッジデバイス１８０１は、表示制御部４０４に代えて、表示制御部２００４を有する。なお、画像取得部４０１、残差推定部４０２、マッピング部４０３、設定部４０５、及び記憶部４０６については、図４で説明した画像処理装置１０の各機能構成と同様なので、ここでは説明を省略する。
　三次元情報取得部２００１は、三次元センサ１９０８を用いて、エッジデバイス１８０１の周辺の三次元情報を取得する。送信部２００２は、三次元情報取得部２００１が取得した三次元情報と、画像取得部４０１が取得した複数の撮像画像とを、サーバ１８０２に送信する。
　受信部２００３は、送信部２００２が送信した三次元情報と複数の撮像画像とに応じて、サーバ１８０２が送信する三次元画像を受信する。表示制御部２００４は、受信部２００３が三次元画像の受信を完了する前に、マッピング部４０３が生成した自由視点画像２５０を、表示装置１６等に表示する。また、表示制御部２００４は、受信部２００３が三次元画像の受信を完了した後に、受信した三次元画像を表示装置１６等に表示する。
　（サーバの機能構成）
　サーバ１８０２は、１つ以上のコンピュータ３００で所定のプログラムを実行することにより、受信部２０１１、三次元画像生成部２０１２、及び送信部２０１３等を実現している。
　受信部２０１１は、例えば、通信装置３０７を用いて、エッジデバイス１８０１が送信する三次元情報と、複数の撮像画像とを受信する。
　三次元画像生成部２０１２は、受信部２０１１が受信した三次元情報と、複数の撮像画像とを用いて、複数の撮像画像を三次元空間にレンダリングして、エッジデバイス１８０１の周辺の三次元画像を生成する。なお、本実施形態では、サーバ１８０２による三次元画像の生成方法は、任意の方法であってよい。
　送信部２０１３は、例えば、通信装置３０７を用いて、三次元画像生成部２０１２が生成した三次元画像をエッジデバイスに送信する。
　＜処理の流れ＞
　図２１は、第４の実施形態に係る三次元画像表示処理の例を示すシーケンス図である。
　ステップＳ２１０１において、エッジデバイス１８０１の画像取得部４０１は、複数の周辺カメラ１９０６のそれぞれにより、エッジデバイス１８０１の周辺を撮像した複数の撮像画像を取得する。
　ステップＳ２１０２において、エッジデバイス１８０１の三次元情報取得部２００１は、三次元センサ１９０８を用いて、複数の撮像画像に映った１つ以上の立体物の三次元情報を取得する。例えば、三次元情報取得部２００１は、エッジデバイス１８０１の周辺の三次元点群情報等を取得する。
　ステップＳ２１０３において、エッジデバイス１８０１の送信部２００２は、画像取得部４０１が取得した複数の撮像画像と、三次元情報取得部２００１が取得した三次元情報とを、サーバ１８０２に送信する。
　ステップＳ２１０４において、サーバ１８０２の三次元画像生成部２０１２は、エッジデバイス１８０１から受信した複数の撮像画像と三次元情報とを用いて、複数の撮像画像を三次元空間にレンダリングした三次元画像を生成する三次元画像生成処理を実行する。ただし、この処理には時間を要し、また、エッジデバイス１８０１との通信状態、及びサーバ１８０２の負荷等により、処理時間が変動する場合がある。
　ステップＳ２１０５において、エッジデバイス１８０１は、ステップＳ２１０４の処理と並行して、例えば、図５で説明した画像処理を実行することにより、複数の撮像画像を表示投影面にマッピングした自由視点画像を生成し、表示デバイス１９０５に表示する。なお、この処理は、サーバ１８０２が実行する三次元画像生成処理より短時間で処理が可能であり、また、サーバ１８０２との通信情報、サーバ１８０２の負荷等の影響を受けないため、エッジデバイス１８０１の周辺の画像をより短時間で表示することができる。
　ステップＳ２１０６において、サーバ１８０２の三次元画像生成部２０１２が、三次元画像の生成を完了すると、サーバ１８０２の送信部２０１３は、生成した三次元画像をエッジデバイス１８０１に送信する。
　ステップＳ２１０７において、エッジデバイス１８０１の表示制御部２００４は、サーバ１８０２から三次元画像を受信すると、受信した三次元画像を表示デバイス１９０５に表示する。
　図２１の処理により、三次元画像表示システム１８００は、サーバ１８０２に複数の撮像画像と三次元情報とを送信した後、サーバ１８０２から三次元画像を受信する前に、仮想空間を表示することができる。
　以上、本発明の各実施形態によれば、複数の撮像画像を用いて自由視点画像を合成する画像処理システムにおいて、三次元のセンシングデバイスによらずに、歪みの少ない自由視点画像を合成できるようになる。
　１　画像処理システム
　１０　画像処理装置
　１２、１２Ａ～１２Ｄ　カメラ
　１６　表示装置
　２１０　撮像画像
　１３０　投影面情報
　２２０　残差情報
　２３０　投影面情報（既定投影面に関する情報）
　２３１　既定投影面
　２４０　視点情報
　２５０　自由視点画像
　３００　コンピュータ
　４０１　画像取得部
　４０２　残差推定部
　４０３　マッピング部
　４０４、２００４　表示制御部
　４１０　残差推定モデル（推論エンジン）
　６０１　学習用残差情報
　６０２　教師用画像
　６０３　学習用画像
　７０１　撮像画像準備部
　７０２　三次元情報準備部
　７０３　教師用画像準備部
　７０４　学習部
　４０５、７０５　設定部
　７１０　残差学習モデル（ニューラルネットワーク）
　９０１　無修正画像
　１００１　無修正画像準備部
　１００２　残差計算部
　１３０１、１３０１－１～１３０１－３　カメラ特性補正モデル（カメラモデル推論エンジン）
　１３０２　ベースモデル（ベースモデル推論エンジン）
　１８００　三次元画像表示システム
　２００１　三次元情報取得部
　２００２　送信部
　２００３　受信部

Claims (16)

  1. 　表示投影面上に複数の撮像画像を用いた自由視点画像を合成する画像処理方法であって、
    　複数のカメラのそれぞれにより前記複数の撮像画像を取得する画像取得ステップと、
    　前記複数の撮像画像と視点情報とを入力し、予め定義したボウル形状の既定投影面と前記表示投影面との差分を示す投影面の残差情報を機械学習により推定する残差推定ステップと、
    　前記既定投影面に関する情報と前記残差情報と前記視点情報とを用いて、前記複数の撮像画像を前記表示投影面にマッピングして前記自由視点画像を得るマッピングステップと、
    　をコンピュータが実行する、画像処理方法。
  2. 　前記残差推定ステップは、
    　複数の学習用の撮像画像と前記視点情報と前記複数の学習用の撮像画像に映った１つ以上の立体物の三次元情報とから、前記既定投影面と前記表示投影面との差分を推論するように学習させた推論エンジンを使用して前記残差情報を推定する、
    　請求項１に記載の画像処理方法。
  3. 　前記残差推定ステップは、
    　複数の学習用の撮像画像と、前記複数の学習用の撮像画像に映った１つ以上の立体物の三次元情報とから、前記立体物の特徴点の特徴マップ情報を推論するように学習させたカメラモデル推論エンジンと、
    　前記カメラモデル推論エンジンの出力する前記特徴マップ情報と前記視点情報とから、前記既定投影面と前記表示投影面との差分を推論するように学習させたベースモデル推論エンジンと、
    　を使用して前記残差情報を推定する、
    　請求項１に記載の画像処理方法。
  4. 　前記カメラモデル推論エンジンの学習後の重みデータは、
    　前記ベースモデル推論エンジンの学習後の重みデータに比べて、
    　前記複数のカメラの特性パラメータの影響が大きい、
    　請求項３に記載の画像処理方法。
  5. 　前記カメラモデル推論エンジンには、前記複数のカメラのうちの少なくとも１つのカメラに関する特性パラメータが入力される、
    　請求項３又は４に記載の画像処理方法。
  6. 　前記カメラモデル推論エンジンは、それぞれが異なる特性パラメータに基づいて学習させた複数のカメラモデル推論エンジンの候補から、前記特徴マップ情報を推論する前記カメラモデル推論エンジンを選択可能である、
    　請求項３又は４に記載の画像処理方法。
  7. 　複数の撮像画像に基づいて、予め定義したボウル形状の既定投影面に対して前記複数の撮像画像に映った１つ以上の立体物の三次元情報を反映させた投影面の残差情報を推論するニューラルネットワークの学習方法であって、
    　複数のカメラのそれぞれで撮像した前記複数の撮像画像を準備する撮像画像準備ステップと、
    　前記三次元情報を準備する三次元情報準備ステップと、
    　前記三次元情報により前記複数の撮像画像の三次元画像を復元し、入力した視点情報に基づいて教師用の自由視点画像である教師用画像を生成する教師用画像準備ステップと、
    　前記複数の撮像画像と前記視点情報とを前記ニューラルネットワークに入力して学習用残差情報を取得し、前記学習用残差情報と前記既定投影面に関する情報と前記視点情報とを用いて前記複数の撮像画像を表示投影面にマッピングして学習用の自由視点画像である学習用画像を生成し、前記教師用画像と前記学習用画像との誤差が小さくなるように前記ニューラルネットワークを学習させる学習ステップと、
    　をコンピュータが実行する、ニューラルネットワークの学習方法。
  8. 　複数の撮像画像に基づいて、予め定義したボウル形状の既定投影面に対して前記複数の撮像画像に映った１つ以上の立体物の三次元情報を反映させた投影面の残差情報を推論するニューラルネットワークの学習方法であって、
    　複数のカメラのそれぞれにより前記複数の撮像画像を準備する画像準備ステップと、
    　前記複数の撮像画像を前記既定投影面にマッピングし、入力した視点情報に基づいて無修正の自由視点画像である無修正画像を生成する無修正画像準備ステップと、
    　前記三次元情報を準備する三次元情報準備ステップと、
    　前記三次元情報により前記複数の撮像画像の三次元画像を復元し、入力した視点情報に基づいて教師用の自由視点画像である教師用画像を生成する教師用画像準備ステップと、
    　前記無修正の自由視点画像と前記教師用画像とを比較して前記残差情報を準備する残差計算ステップと、
    　前記複数の撮像画像と視点情報とを前記ニューラルネットワークに入力し、前記残差計算ステップで準備した前記残差情報を教師データとして、前記ニューラルネットワークを学習させる学習ステップと、
    　をコンピュータが実行する、ニューラルネットワークの学習方法。
  9. 　前記ニューラルネットワークは、
    　前記複数の撮像画像と、前記複数のカメラのうちの少なくとも１つのカメラに関する特性パラメータとが入力されるカメラモデル推論ネットワークと、
    　前記カメラモデル推論ネットワークの出力と前記視点情報とが入力されるベースモデル推論ネットワークとで構成される
    　請求項７又は８に記載のニューラルネットワークの学習方法。
  10. 　複数の撮像画像に基づいて、予め定義したボウル形状の既定投影面に対して前記複数の撮像画像に映った１つ以上の立体物の三次元情報を反映させた投影面の残差情報を推論するニューラルネットワークの学習方法であって、
    　前記ニューラルネットワークは、第１のカメラモデル推論ネットワーク又は第２のカメラモデル推論ネットワークと、ベースモデル推論ネットワークとで構成され、
    　第１の複数のカメラのそれぞれにより第１の複数の撮像画像を準備する第１の撮像画像準備ステップと、
    　第２の複数のカメラのそれぞれにより第２の複数の撮像画像を準備する第２の撮像画像準備ステップと、
    　前記第１の複数の撮像画像に映った１つ以上の立体物の第１の三次元情報を準備する第１の三次元情報準備ステップと、
    　前記第２の複数の撮像画像に映った１つ以上の立体物の第２の三次元情報を準備する第２の三次元準備ステップと、
    　前記第１の三次元情報により前記第１の複数の撮像画像の三次元画像を復元し、入力した視点情報に基づいて第１の教師用の自由視点画像である第１の教師用画像を生成する第１の教師用画像準備ステップと、
    　前記第２の三次元情報により前記第２の複数の撮像画像の三次元画像を復元し、前記視点情報に基づいて第２の教師用の自由視点画像である第２の教師用画像を生成する第２の教師用画像準備ステップと、
    　前記第１の複数の撮像画像と、前記第１の複数のカメラのうちの少なくとも１つのカメラに関する特性パラメータとを前記第１のカメラモデル推論ネットワークに入力し、前記第１のカメラモデル推論ネットワークの出力と視点情報とを前記ベースモデル推論ネットワークに入力して得られる第１の学習用残差情報と前記既定投影面に関する情報と前記視点情報とを用いて、前記第１の複数の撮像画像を表示投影面にマッピングして第１の学習用の自由視点画像である第１の学習用画像を生成し、前記第１の教師用画像と前記第１の学習用画像との誤差が小さくなるように前記第１のカメラモデル推論ネットワークおよび前記ベースモデル推論ネットワークの両方を同時に学習させ、
    　前記第２の複数の撮像画像および前記第２の複数のカメラのうちの少なくとも１つのカメラに関する特性パラメータを前記第２のカメラモデル推論ネットワークに入力し、前記第２のカメラモデル推論ネットワークの出力と視点情報とを学習済みの前記ベースモデル推論ネットワークに入力して得られる第２の学習用残差情報と前記既定投影面に関する情報と前記視点情報とを用いて、前記第２の複数の撮像画像を表示投影面にマッピングして第２の学習用の自由視点画像である第２の学習用画像を生成し、前記第２の教師用画像と前記第２の学習用画像との誤差が小さくなるように前記第２のカメラモデル推論ネットワークを学習させる学習ステップとを有する、
    　ニューラルネットワークの学習方法。
  11. 　複数の撮像画像に基づいて、予め定義したボウル形状の既定投影面に対して前記複数の撮像画像に映った１つ以上の立体物の三次元位置情報を反映させた投影面の残差情報を推論するニューラルネットワークの学習方法であって、
    　前記ニューラルネットワークは、第１のカメラモデル推論ネットワーク又は第２のカメラモデル推論ネットワークと、ベースモデル推論ネットワークとで構成され、
    　第１の複数のカメラのそれぞれにより第１の複数の撮像画像を準備する第１の撮像画像準備ステップと、
    　第２の複数のカメラのそれぞれにより第２の複数の撮像画像を準備する第２の撮像画像準備ステップと、
    　前記第１の複数の撮像画像を前記既定投影面にマッピングし、入力した視点情報に基づいて第１の無修正の自由視点画像である第１の無修正画像を生成する第１の無修正画像準備ステップと、
    　前記第２の複数の撮像画像を前記既定投影面にマッピングし、入力した視点情報に基づいて第２の無修正の自由視点画像である第２の無修正画像を生成する第２の無修正画像準備ステップと、
    　前記第１の複数の撮像画像に映った１つ以上の立体物の第１の三次元情報を準備する第１の三次元情報準備ステップと、
    　前記第２の複数の撮像画像に映った１つ以上の立体物の第２の三次元情報を準備する第２の三次元情報準備ステップと、
    　前記第１の三次元情報により前記第１の複数の撮像画像の三次元画像を復元し、入力した視点情報に基づいて第１の教師用の自由視点画像である第１の教師用画像を生成する第１の教師用画像準備ステップと、
    　前記第２の三次元情報により前記第２の複数の撮像画像の三次元画像を復元し、前記視点情報に基づいて第２の教師用の自由視点画像である第２の教師用画像を生成する第２の教師用画像準備ステップと、
    　前記第１の無修正画像と前記第１の教師用画像とを比較して第１の残差情報を準備する第１の残差計算ステップと、
    　前記第２の無修正画像と前記第２の教師用画像とを比較して第２の残差情報を準備する第２の残差計算ステップと、
    　前記第１の複数の撮像画像および前記第１の複数のカメラのうちの少なくとも１つのカメラに関する特性パラメータを前記第１のカメラモデル推論ネットワークに入力し、前記第１のカメラモデル推論ネットワークの出力と視点情報とを前記ベースモデル推論ネットワークに入力し、前記第１の残差計算ステップで準備した前記第１の残差情報を教師データとして、前記第１のカメラモデル推論ネットワークおよび前記ベースモデル推論ネットワークの両方を同時に学習させ、
    　前記第２の複数の撮像画像および前記第２の複数のカメラのうちの少なくとも１つのカメラに関する特性パラメータを前記第２のカメラモデル推論ネットワークに入力し、前記第２のカメラモデル推論ネットワークの出力と視点情報とを学習済みの前記ベースモデル推論ネットワークに入力し、前記第２の残差計算ステップで準備した前記第２の残差情報を教師データとして、前記第２のカメラモデル推論ネットワークを学習させる学習ステップとを有する、
    　ニューラルネットワークの学習方法。
  12. 　表示投影面上に複数の撮像画像を用いて合成した自由視点画像を表示する三次元画像表示方法であって、
    　複数のカメラのそれぞれにより前記複数の撮像画像を取得する撮像画像取得ステップと、
    　前記複数の撮像画像に映った１つ以上の立体物の三次元情報を取得する三次元情報取得ステップと、
    　前記複数の撮像画像と視点情報とを入力し、予め定義したボウル形状の既定投影面と前記表示投影面との差分を示す投影面の残差情報を機械学習により推定する残差推定ステップと、
    　前記既定投影面に関する情報と前記残差情報と前記視点情報とを用いて、前記複数の撮像画像を表示投影面にマッピングして自由視点画像を得るマッピングステップと、
    　前記複数の撮像画像および前記三次元情報を遠隔処理手段に送信する送信ステップと、
    　前記遠隔処理手段において前記三次元情報に基づいて復元された前記複数の撮像画像の三次元画像を前記遠隔処理手段から受信する受信ステップと、
    　前記受信ステップでの前記三次元画像の受信を完了する前に前記自由視点画像を表示手段に表示し、前記受信ステップでの前記三次元画像の受信を完了した後に前記三次元画像を前記表示手段に表示する表示制御ステップと、
    　をコンピュータが実行する、三次元画像表示方法。
  13. 　表示投影面上に複数の撮像画像を用いた自由視点画像を合成する画像処理システムであって、
    　複数のカメラのそれぞれにより前記複数の撮像画像を取得するように構成された画像取得部と、
    　前記複数の撮像画像と視点情報とを入力し、予め定義したボウル形状の既定投影面と前記表示投影面との差分を示す投影面の残差情報を機械学習により推定するように構成された残差推定部と、
    　前記既定投影面に関する情報と前記残差情報と前記視点情報とを用いて、前記複数の撮像画像を前記表示投影面にマッピングして前記自由視点画像を得るように構成されたマッピング部と、
    　を有する、画像処理システム。
  14. 　複数の撮像画像に基づいて、予め定義したボウル形状の既定投影面に対して前記複数の撮像画像に映った１つ以上の立体物の三次元情報を反映させた投影面の残差情報を推論するニューラルネットワークの学習システムであって、
    　複数のカメラのそれぞれにより前記複数の撮像画像を準備するように構成された撮像画像準備部と、
    　前記三次元情報を準備するように構成された三次元情報準備部と、
    　前記三次元情報により前記複数の撮像画像の三次元画像を復元し、入力した視点情報に基づいて教師用の自由視点画像である教師用画像を生成するように構成された教師用画像準備部と、
    　前記複数の撮像画像と前記視点情報とを前記ニューラルネットワークに入力して学習用残差情報を取得し、前記学習用残差情報と前記既定投影面に関する情報と前記視点情報とを用いて前記複数の撮像画像を表示投影面にマッピングして学習用の自由視点画像である学習用画像を生成し、前記教師用画像と前記学習用画像との誤差が小さくなるように前記ニューラルネットワークを学習させるように構成された学習部と、
    　を有する、ニューラルネットワークの学習システム。
  15. 　複数の撮像画像に基づいて、予め定義したボウル形状の既定投影面に対して前記複数の撮像画像に映った１つ以上の立体物の三次元情報を反映させた投影面の残差情報を推論するニューラルネットワークの学習システムであって、
    　複数のカメラのそれぞれにより前記複数の撮像画像を準備するように構成された画像準備部と、
    　前記複数の撮像画像を前記既定投影面にマッピングし、入力した視点情報に基づいて無修正の自由視点画像である無修正画像を生成するように構成された無修正画像準備部と、
    　前記三次元情報を準備するように構成された三次元情報準備部と、
    　前記三次元情報により前記複数の撮像画像の三次元画像を復元し、入力した視点情報に基づいて教師用の自由視点画像である教師用画像を生成するように構成された教師用画像準備部と、
    　前記無修正の自由視点画像と前記教師用画像とを比較して前記残差情報を準備するように構成された残差計算部と、
    　前記複数の撮像画像と視点情報とを前記ニューラルネットワークに入力し、前記残差計算部が準備した前記残差情報を教師データとして、前記ニューラルネットワークを学習させるように構成された学習部と、
    　を有する、ニューラルネットワークの学習システム。
  16. 　表示投影面上に複数の撮像画像を用いて合成した自由視点画像を表示する三次元画像表示システムであって、
    　複数のカメラのそれぞれにより前記複数の撮像画像を取得するように構成された画像取得部と、
    　前記複数の撮像画像に映った１つ以上の立体物の三次元情報を取得するように構成された三次元情報取得部と、
    　前記複数の撮像画像と視点情報とを入力し、予め定義したボウル形状の既定投影面と前記表示投影面との差分を示す投影面の残差情報を機械学習により推定するように構成された残差推定部と、
    　前記既定投影面に関する情報と前記残差情報と前記視点情報とを用いて、前記複数の撮像画像を表示投影面にマッピングして自由視点画像を得るように構成されたマッピング部と、
    　前記複数の撮像画像および前記三次元情報を遠隔処理手段に送信するように構成された送信部と、
    　前記遠隔処理手段において前記三次元情報に基づいて復元された前記複数の撮像画像の三次元画像を前記遠隔処理手段から受信するように構成された受信部と、
    　前記受信部で前記三次元画像の受信を完了する前に前記自由視点画像を表示手段に表示し、前記受信部が前記三次元画像の受信を完了した後に前記三次元画像を前記表示手段に表示するように構成された表示制御部と、
    　を有する、三次元画像表示システム。
PCT/JP2022/017069 2022-04-04 2022-04-04 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム WO2023195056A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/017069 WO2023195056A1 (ja) 2022-04-04 2022-04-04 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/017069 WO2023195056A1 (ja) 2022-04-04 2022-04-04 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム

Publications (1)

Publication Number Publication Date
WO2023195056A1 true WO2023195056A1 (ja) 2023-10-12

Family

ID=88242645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017069 WO2023195056A1 (ja) 2022-04-04 2022-04-04 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム

Country Status (1)

Country Link
WO (1) WO2023195056A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
WO2019053922A1 (ja) * 2017-09-15 2019-03-21 アイシン精機株式会社 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
WO2019053922A1 (ja) * 2017-09-15 2019-03-21 アイシン精機株式会社 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OTO TAKEUCHI, HIDEHIKO SHISHIDO, YOSHINARI KAMEDA, ITARU KITAHARA: "A Study on Generation of Omnidirectional Free Viewpoint Images Using a Generative Adversarial Network", IEICE TECHNICAL REPORT, MVE, IEICE, JP, vol. 118, no. 502 (MVE2018-67), 1 January 2019 (2019-01-01), JP, pages 79 - 84, XP009550285 *

Similar Documents

Publication Publication Date Title
US11914147B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
US10701509B2 (en) Emulating spatial perception using virtual echolocation
US10410562B2 (en) Image generating device and image generating method
CN113811920A (zh) 分布式姿势估计
JP2020527432A (ja) レーシングシミュレーション
US20110066262A1 (en) Apparatuses, Systems, and Methods for Apparatus Operation and Remote Sensing
US10564915B2 (en) Displaying content based on positional state
JP4348468B2 (ja) 画像生成方法
JP2020065229A (ja) 映像通信方法、映像通信装置及び映像通信プログラム
JP6859447B2 (ja) 情報処理システムおよび対象物情報取得方法
KR102148103B1 (ko) 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
CN113483774A (zh) 导航方法、装置、电子设备及可读存储介质
CN112673276A (zh) 超声波传感器
WO2023195056A1 (ja) 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム
US11741671B2 (en) Three-dimensional scene recreation using depth fusion
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
JP5759439B2 (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
TW201135583A (en) Telescopic observation method for virtual and augmented reality and apparatus thereof
WO2021149509A1 (ja) 撮像装置、撮像方法、及び、プログラム
US20220244726A1 (en) Information processing apparatus, information processing method, and program
US20200410734A1 (en) Spatial reproduction method and spatial reproduction system
CN115686233A (zh) 一种主动笔与显示设备的交互方法、装置及交互系统
KR101060998B1 (ko) 사용자 위치 기반 네트워킹 가상공간 시뮬레이터 시스템
Cai et al. Heads-up lidar imaging with sensor fusion
JP7434207B2 (ja) システム、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22936456

Country of ref document: EP

Kind code of ref document: A1