WO2024105893A1 - 情報処理システム、プログラム及び情報処理方法 - Google Patents

情報処理システム、プログラム及び情報処理方法 Download PDF

Info

Publication number
WO2024105893A1
WO2024105893A1 PCT/JP2022/047269 JP2022047269W WO2024105893A1 WO 2024105893 A1 WO2024105893 A1 WO 2024105893A1 JP 2022047269 W JP2022047269 W JP 2022047269W WO 2024105893 A1 WO2024105893 A1 WO 2024105893A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
information processing
processing system
control unit
image
Prior art date
Application number
PCT/JP2022/047269
Other languages
English (en)
French (fr)
Inventor
洋輝 相川
誠之 若原
啓路 太田
太朗 冨尾
康則 清水
史昭 土居
Original Assignee
株式会社ASED Lab.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ASED Lab. filed Critical 株式会社ASED Lab.
Publication of WO2024105893A1 publication Critical patent/WO2024105893A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing system, a program, and an information processing method.
  • an imaging system aims to provide an image synchronization imaging system that can synchronously control the operation of two or more cameras and obtain the image information necessary to generate a stereoscopic image, and that includes a first clock generator that generates a first clock signal, a second clock generator that generates a second clock signal, a first imaging unit, a switching output unit that switches between the first clock signal or the second clock signal and outputs it to the second imaging unit, a second imaging unit formed with the same internal circuit as the first imaging unit, a phase comparison unit that receives input of the first image information from the first imaging unit and the second image information from the second imaging unit and determines the phase difference, and a synchronization control unit that outputs a first clock signal to the first imaging unit and the second imaging unit when the phases of the image information, etc. match, thereby synchronizing the operation control (Patent Document 1).
  • the present invention provides a technology that can output 3D image data using improved technology compared to conventional technology.
  • an information processing system has a control unit.
  • the control unit continuously acquires first image data including a predetermined object as a subject, which is continuously captured by a first imaging device, and second image data including a predetermined object as a subject, which is continuously captured by a second imaging device different from the first imaging device.
  • the first image data and the second image data are two-dimensional image data including a plurality of frames.
  • the first image data and the second image data are synchronized using a predetermined synchronization process. Based on the synchronized first image data and second image data, three-dimensional image data that allows the predetermined object being captured to be viewed in three dimensions is output.
  • the three-dimensional image data is corrected for aberrations included in at least one of the first image data and the second image data according to a preset setting or a user input.
  • This disclosure provides technology that can output 3D image data using improved technology.
  • FIG. 1 is a diagram illustrating an example of a system configuration of an information processing system 1.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a server device 2.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an information display device 3.
  • 1 is an activity diagram showing an example of the flow of information processing executed by the information processing system 1.
  • FIG. 11A and 11B are diagrams illustrating an example of an image of information processing related to synchronization of first image data and second image data and frame loss.
  • FIG. 11 is a diagram showing an example of a flow of image processing executed on acquired image information.
  • FIG. 11 is a diagram showing an example of a flow of image processing executed on acquired image information.
  • FIG. 11 is a diagram showing an example of a flow of image processing executed on acquired image information.
  • FIG. 11 is a diagram showing an example of a flow of image processing executed on acquired image information.
  • FIG. 11 is a diagram showing an example of a flow of image processing executed on acquired image information.
  • FIG. 11 is a diagram showing an example of a flow of image processing executed on acquired image information.
  • FIG. 11 is a diagram showing an example of a flow of image processing executed on acquired image information.
  • the program for realizing the software appearing in this embodiment may be provided as a non-transitory computer-readable recording medium, or may be provided so that it can be downloaded from an external server, or may be provided so that the program is started on an external computer and its functions are realized on the information display device (so-called cloud computing).
  • a "unit” can also include, for example, a combination of hardware resources implemented by a circuit in the broad sense and software information processing that can be specifically realized by these hardware resources.
  • this embodiment handles various types of information, which can be represented, for example, by physical values of signal values representing voltage and current, high and low signal values as a binary bit collection consisting of 0 or 1, or quantum superposition (so-called quantum bits), and communication and calculations can be performed on a circuit in the broad sense.
  • a circuit in the broad sense is a circuit that is realized by at least appropriately combining a circuit, circuitry, a processor, and memory.
  • ASICs application specific integrated circuits
  • SPLDs simple programmable logic devices
  • CPLDs complex programmable logic devices
  • FPGAs field programmable gate arrays
  • FIG. 1 is a diagram showing an example of the system configuration of an information processing system 1.
  • the information processing system 1 includes a server device 2, an information display device 3, a first imaging device 4-1, a second imaging device 4-2, a network N, and a subject S.
  • the server device 2 is configured to be able to communicate with the information display device 3 via the network N. This allows the server device 2 and the information display device 3 to transmit and receive various information to each other.
  • the system exemplified as the information processing system 1 is made up of one or more devices or components. Therefore, even the server device 2 alone or the information display device 3 alone is included in the system exemplified as the information processing system 1.
  • the information display device 3 may be a 3D display capable of outputting an image in three dimensions without the need for special glasses with different polarizing plates on the left and right, or by viewing through special glasses.
  • This 3D display includes a table-type display that outputs an image onto a table, a projector that projects an image at any location, and the like.
  • the information display device 3 may also be a PC (Personal Computer), a tablet computer, a smartphone, and the like.
  • the information display device 3 is preferably implemented by using display devices such as a CRT display, a liquid crystal display, an organic EL display, and a plasma display, depending on the type of the information display device 3.
  • the server device 2 and the information display device 3 are examples of information processing devices, and are not limited to this embodiment.
  • the first imaging device 4-1 and the second imaging device 4-2 are each configured to be able to capture optical information of the outside world as an image.
  • the first imaging device 4-1 and the second imaging device 4-2 are devices that generate an image for the user's left eye and an image for the user's right eye, respectively, when the user views the 3D image data.
  • the first imaging device 4-1 and the second imaging device 4-2 may be directly connected to the server device 2, or may be connected to the server device 2 via the network N.
  • the first imaging device 4-1 and the second imaging device 4-2 are configured to generate the first image data and the second image data, respectively, as a collection of images captured in a time series.
  • the first image data and the second image data are two-dimensional image data including a plurality of frames.
  • the first image data and the second image data are data in a format such as MPEG4, AVI, MOV, FLV, WMV, MPEG2, etc.
  • the first image data and the second image data are data in the MPEG4 format.
  • the first imaging device 4-1 and the second imaging device 4-2 are configured to be able to transfer the generated first image data and second image data to the server device 2.
  • the first imaging device 4-1 and the second imaging device 4-2 may be a camera capable of rotating the viewpoint, a camera using equirectangular projection such as a spherical camera, a fisheye camera having a fisheye lens with an angle of view of 180 degrees, 206 degrees, 235 degrees, etc., a 360-degree camera, etc.
  • the first imaging device 4-1 and the second imaging device 4-2 are fisheye cameras. That is, the first image data and the second image data are image data captured by a fisheye camera.
  • the subject S is an object to be imaged by the first imaging device 4-1 and the second imaging device 4-2, and is a stadium used for sports.
  • the first imaging device 4-1 and the second imaging device 4-2 are preferably installed at a known distance so as to have a certain parallax.
  • Fig. 2 is a diagram showing an example of a hardware configuration of the server device 2.
  • the server device 2 includes a control unit 21, a storage unit 22, and a communication unit 23, and these components are electrically connected via a communication bus inside the server device 2.
  • the server device 2 executes the process according to the embodiment.
  • the control unit 21 processes and controls the overall operations related to the server device 2.
  • the control unit 21 is a GPU (Graphics Processing Unit) specialized for image processing and image manipulation.
  • the control unit 21 may also be a central processing unit (CPU).
  • the control unit 21 reads out a specific program stored in the storage unit 22 and executes processing based on the program, thereby realizing various functions related to the server device 2, for example, the processing shown in Figures 4 to 11 described below.
  • the control unit 21 is not limited to being single, and may be implemented with multiple control units 21 for each function. Also, a combination of these may be used.
  • the memory unit 22 stores various information defined by the above description.
  • the memory unit 22 may be a memory cache such as a GPU cache.
  • the memory unit 22 may be implemented as a storage device such as a solid state drive (SSD) that stores various programs related to the server device 2 executed by the control unit 21, or as a memory such as a random access memory (RAM) that stores temporarily required information (arguments, arrays, etc.) related to the program calculations.
  • SSD solid state drive
  • RAM random access memory
  • the memory unit 22 stores various programs and variables related to the server device 2 executed by the control unit 21, and data used when the control unit 21 executes processing based on the programs.
  • the memory unit 22 is an example of a storage medium.
  • the communication unit 23 is preferably a wired communication means such as USB, IEEE 1394, Thunderbolt (registered trademark), wired LAN network communication, etc., but may also include wireless LAN network communication, mobile communication such as LTE/3G/4G/5G, BLUETOOTH (registered trademark) communication, etc. as necessary. In other words, it is more preferable to implement it as a collection of multiple communication means. In other words, the server device 2 may communicate various information from the outside via the communication unit 23.
  • FIG. 3 is a diagram showing an example of a hardware configuration of the information display device 3.
  • the information display device 3 has a control unit 31, a storage unit 32, a communication unit 33, an input unit 34, and an output unit 35, and these components are electrically connected via a communication bus inside the information display device 3.
  • the information display device 3 executes the process according to the embodiment.
  • the control unit 31, the storage unit 32, and the communication unit 33 of the information display device 3 please refer to the control unit 21, the storage unit 22, and the communication unit 23 of the server device 2.
  • the input unit 34 may be included in the housing of the information display device 3 or may be attached externally.
  • the input unit 34 may be implemented as a touch panel integrated with the output unit 35.
  • a touch panel allows the user to input tapping, swiping, and the like.
  • a switch button, a mouse, a QWERTY keyboard, and the like may be used instead of a touch panel.
  • the input unit 34 accepts input based on operations performed by the user.
  • the input is transferred as a command signal to the control unit 31 via the communication bus, and the control unit 31 can execute a predetermined control or calculation as necessary.
  • the output unit 35 functions as a display unit of the information display device 3.
  • the output unit 35 may be, for example, included in the housing of the information display device 3 or may be attached externally.
  • the output unit 35 displays a screen of a graphical user interface (GUI) that can be operated by the user.
  • GUI graphical user interface
  • Fig. 4 is an activity diagram showing an example of the flow of information processing executed by the information processing system 1. Specifically, referring to Fig. 4, the flow of information processing will be described, from acquiring first image data and second image data by the first imaging device 4-1 and the second imaging device 4-2, performing information processing on the first image data and second image data by the server device 2, to outputting 3D image data from the information display device 3.
  • the first imaging device 4-1 corresponding to the left eye acquires first image data including a predetermined object in the subject S by successively capturing images.
  • the second imaging device 4-2 corresponding to the right eye acquires second image data including the predetermined object in the subject S by successively capturing images.
  • the first imaging device 4-1 transmits the first image data to the server device 2.
  • the second imaging device 4-2 transmits the second image data to the server device 2.
  • the server device 2 accepts the first image data and the second image data from the first imaging device 4-1 and the second imaging device 4-2, respectively.
  • the control unit 21 stores the first image data and the second image data in a moving image format that can be processed in real time in the storage unit 22 as a memory cache. From an aspect, the control unit 21 continuously acquires the first image data, which is continuously imaged by the first imaging device 4-1 and includes a predetermined object in the subject S, and the second image data, which is continuously imaged by a second imaging device 4-2 different from the first imaging device 4-1 and includes a predetermined object in the subject S.
  • the control unit 21 synchronizes the first image data and the second image data using a predetermined synchronization process.
  • the predetermined synchronization process may be performed by a time code method using time data included in the first image data and the second image data.
  • the predetermined synchronization process may also be a process performed by image processing.
  • the control unit 21 executes the image processing based on the first image data and the second image data stored in the memory cache.
  • the predetermined image processing is, for example, a process of confirming a common movement in the first image data and the second image data using a system, and determining that the time is the same when information of the common movement is detected.
  • control unit 21 determines whether any of the frames included in the first image data and the second image data is missing. If a missing frame is detected, the control unit 21 proceeds to activity A6. If no missing frame is detected, the control unit 21 proceeds to activity A7.
  • control unit 21 develops the first image data and the second image data onto a plane.
  • control unit 21 outputs the first image data and the second image data corrected to overlook the predetermined target.
  • control unit 21 corrects the aberration contained in at least one of the first image data and the second image data in accordance with a preset setting or an input by the user.
  • control unit 21 outputs three-dimensional image data that allows the predetermined target being imaged to be viewed in three dimensions based on the synchronized first image data and second image data.
  • the control unit 21 transmits the three-dimensional image data to the information display device 3.
  • control unit 31 receives three-dimensional image data from the server device 2 .
  • control unit 31 outputs, from the output unit 35, three-dimensional image data that enables the predetermined target being imaged to be viewed in three dimensions, based on the synchronized first image data and second image data.
  • the above is the flow of information processing in which activities A1 to A12 acquire the first image data and second image data using the first imaging device 4-1 and the second imaging device 4-2, perform information processing on the first image data and second image data using the server device 2, and output the 3D image data from the information display device 3.
  • the information processing system 1 outputs image data by streaming. Each time the information processing system 1 acquires an image, it executes the information processing of activities A1 to A12 for about one second per image. This allows the user to view the 3D image data in real time via the information display device 3.
  • FIG. 5 is a diagram showing an example of an image of information processing relating to synchronization of the first image data and the second image data and frame loss.
  • FIG. 5 shows an image of information processing corresponding to activities A3 to A6 in FIG. 4. This information processing is performed on the GPU cache.
  • the control unit 21 synchronizes the images from the two cameras for the right and left eyes on a frame-by-frame basis.
  • the first image data and the second image data each contain image data for the first to eighth frames.
  • the image data for the third frame of the second image data contains a missing frame Df.
  • the control unit 21 synchronizes the first and second image data by using image processing to identify one frame in the second image data that has approximately the same capture time as one frame in the first image data.
  • control unit 21 detects a loss of the third frame of the second image data, i.e., a missing frame Df, it also acquires the second frame immediately preceding the third frame, which is the missing frame Df, at the time of the third frame.
  • the third frame is the first frame
  • the second frame is the second frame.
  • control unit 21 outputs the second frame of image data in succession without outputting the third frame of image data.
  • control unit 21 outputs the second frame of image data in succession without outputting the third frame of image data. In this way, the image data for the right eye and the image data for the left eye can be aligned, ensuring the accuracy of the three-dimensional image data visually perceived by the user.
  • FIGS. 6 to 11 are diagrams showing an example of the flow of image processing performed on acquired image information.
  • FIG. 6 to FIG. 11 show an image of information processing related to the processing of the first image data acquired by the first imaging device 4-1, which corresponds to activities A7 to A10 in FIG. 4. This information processing is performed on the GPU cache.
  • a graphic library such as OpenGL is used for information processing on the first image data and second image data.
  • the fisheye image data 50, planar image data 51, overhead image data 52, grid overhead image data 53, and corrected overhead image data 54 described below are each an example of the first image data or the second image data.
  • the stadium as the subject S includes a soccer court as a predetermined target.
  • FIG. 6 includes fisheye image data 50.
  • the fisheye image data 50 includes a soccer court as a predetermined object, and is raw image data captured by the first imaging device 4-1, which is a fisheye camera.
  • FIG. 7 includes planar image data 51.
  • Planar image data 51 is image data obtained by expanding fisheye image data 50 onto a plane.
  • the control unit 21 expands the first imaging data acquired by the fisheye camera onto a plane using a predetermined method.
  • FIG. 8 includes overhead image data 52.
  • the overhead image data 52 is image data that has been corrected based on the planar image data 51 to provide an overhead view of a specific target.
  • the control unit 21 obtains the overhead image data 52 by converting the planar image data 51 into an overhead viewpoint.
  • the 9 includes grid overhead image data 53.
  • the grid overhead image data 53 is image data in which a grid 530 is displayed on the overhead image data 52.
  • the control unit 21 displays the grid 530 by superimposing it on the overhead image data 52 of the first image data.
  • the grid 530 is configured so that the user can correct the aberration contained in the first image data by moving the intersections 531 of the grid 530.
  • the control unit 21 outputs (displays) a user interface that allows the user to correct the aberration contained in the first image data while checking the first image data. The same is performed for the second image data.
  • control unit 21 displays an image obtained by combining the first image data and the second image data on the user interface, and the user interface is configured so that the aberration contained in at least one of the first image data and the second image data can be corrected. This allows the user to correct the aberration while checking the first image data and the second image data.
  • FIG. 10 includes corrected overhead image data 54.
  • Corrected overhead image data 54 is image data in which aberration has been corrected based on grid overhead image data 53.
  • An instruction to move intersections 531 of grid 530 up, down, left, or right is received from the user, and control unit 21 corrects the aberration by moving intersections 531 of grid 530 up, down, left, or right in response to the instruction.
  • control unit 21 similarly displays a grid for the overhead image data of the second image data, and receives an instruction to correct the aberration.
  • the aberration is distortion aberration caused by the optical system.
  • Figure 11 includes 3D image data 55-1 and 55-2.
  • the 3D image data 55-1 and 55-2 are image data obtained by processing the first image data and the second image data obtained from the first imaging device 4-1 and the second imaging device 4-2, respectively.
  • the control unit 21 converts the right-eye and left-eye images expanded on a distortion-corrected plane into a 3D format using various methods and outputs them as 3D image data 55-1 and 55-2.
  • Methods for converting to a 3D format include the polarizing film method and the DLP Link method.
  • the polarizing film method is a method in which one frame of an image is separated into left and right images by combining a polarizing filter on the display side and a polarizing filter (circular polarization method) on the glasses side.
  • the DLP Link method is a method in which an ultra-high-speed imaging DLP chip alternately projects two left and right screens on the screen and simultaneously transmits a signal to the 3D active glasses.
  • this embodiment it is possible to provide a technology capable of outputting 3D image data using improved technology compared to conventional technology. Furthermore, by using two fisheye lenses, it is possible to visually confirm the situation of a specific target in real time from a bird's-eye view and in 3D. Furthermore, even if a frame is lost, the frame immediately preceding the frame in which the loss occurred is used to compensate, so real-time performance is not compromised. Furthermore, since complex information processing is not required to output 3D image data, it is possible to reduce the use of memory cache in the server device 2 and the information display device 3. Furthermore, as a result of being able to reduce the use of memory cache, large-scale devices or computers are not required, and information processing can be performed inexpensively.
  • the present invention may be a program that causes a computer to function as the control unit 31 of the information processing system 1.
  • the present invention may also be an information processing method executed by the information processing system 1.
  • a sports stadium used for sports is one example of the subject S, but other subjects such as a zoo, an aquarium, a supermarket, or a shopping center may also be used.
  • the control unit 21 outputs three-dimensional image data by selecting any part of such a subject as the specified target.
  • An information processing system having a control unit, the control unit continuously acquires first image data including a predetermined object as a subject, which is continuously captured by a first imaging device, and second image data including the predetermined object as a subject, which is continuously captured by a second imaging device different from the first imaging device, the first image data and the second image data being continuously captured by the second imaging device, the first image data and the second image data being continuously captured by the second imaging device, the first image data and the second image data being continuously captured by the second imaging device, the first image data and the second image data being continuously captured by the second imaging device, the first image data and the second image data being continuously captured by the second imaging device, the first image data and the second image data being continuously captured by the second imaging device, the first image data and the second image data being continuously captured by the second imaging device, the first image data and the second image data being continuously captured by the second imaging device, the third-dimensional image data being continuously captured by the second imaging device being continuously captured by the first imaging device ...
  • the synchronization process is a process performed by image processing, and the control unit synchronizes the first image data with the second image data by identifying, through the image processing, one frame in the second image data that has approximately the same image capture time as one frame in the first image data.
  • Information processing system In the information processing system described in (1) above, the synchronization process is a process performed by image processing, and the control unit synchronizes the first image data with the second image data by identifying, through the image processing, one frame in the second image data that has approximately the same image capture time as one frame in the first image data.
  • the control unit acquires the second frame immediately preceding the first frame, which is the missing frame, at the time of the first frame.
  • the first image data and the second image data are corrected data to provide a bird's-eye view of the specified object.
  • control unit outputs a user interface capable of correcting aberrations contained in at least one of the first image data and the second image data.
  • control unit displays a grid for each of the first image data and the second image data, and the grid is configured to be able to correct aberrations contained in at least one of the first image data and the second image data by moving intersections of the grid.
  • the synchronization process is performed by image processing
  • the image processing is a process of determining that the first image data and the second image data are at the same time when common movement information is detected in the first image data and the second image data.
  • Information processing system 2 Server device 21: Control unit 22: Storage unit 23: Communication unit 3: Information display device 31: Control unit 32: Storage unit 33: Communication unit 34: Input unit 35: Output unit 4-1: First imaging device 4-2: Second imaging device 50: Fisheye image data 51: Planar image data 52: Bird's-eye image data 53: Grid bird's-eye image data 54: Corrected bird's-eye image data 55-1: 3D image data 530: Grid 531: Intersection Df: Missing frame N: Network S: Subject

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】従来よりも改良された技術を用いて、３次元用画像データを出力することが可能な技術を提供すること。 【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を有する。制御部は、第１撮像装置によって連続撮像された、所定対象を被写体に含む第１画像データと、第１撮像装置とは異なる第２撮像装置によって連続撮像された、所定対象を被写体に含む第２画像データとをそれぞれ継続的に取得する。第１画像データ及び第２画像データは、複数のフレームを含む２次元の画像データである。所定の同期処理を用いて、第１画像データと第２画像データとを同期させる。同期された第１画像データと第２画像データとに基づいて、撮像中の所定対象を３次元で視認可能な３次元用画像データを出力する。３次元用画像データは、予めなされた設定又はユーザによる入力に応じて、第１画像データ及び第２画像データの少なくとも一方に含まれる収差が補正される。

Description

情報処理システム、プログラム及び情報処理方法
　本発明は、情報処理システム、プログラム及び情報処理方法に関する。
　従来の技術において、二台以上の複数のカメラの動作を同期制御し、立体映像を生成するために必要な映像情報を取得可能な映像同期撮影システムの提供を課題とし、第一クロック信号を発生させる第一クロック発生器と、第二クロック信号を発生させる第二クロック発生器と、第一撮影ユニットと、第一クロック信号または第二クロック信号に切換えて第二撮影ユニットに出力する切換出力部と、第一撮影ユニットと同一内部回路で形成された第二撮影ユニットと、第一撮影ユニットからの第一映像情報及び第二撮影ユニットからの第二映像情報の入力を受付け、位相差を判定する位相比較ユニットと、映像情報等の位相が一致すると、第一撮影ユニット及び第二撮影ユニットに第一クロック信号を出力させて動作制御を同期させる同期制御部とを具備する撮像システムが開示されている（特許文献１）。
特開２０１２－１００９９号公報
　ところで、近年において、従来よりも改良された技術を用いて、３次元用画像データを出力することが可能な技術が求められている。
　本発明では上記事情を鑑み、従来よりも改良された技術を用いて、３次元用画像データを出力することが可能な技術を提供することとした。
　本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を有する。制御部は、第１撮像装置によって連続撮像された、所定対象を被写体に含む第１画像データと、第１撮像装置とは異なる第２撮像装置によって連続撮像された、所定対象を被写体に含む第２画像データとをそれぞれ継続的に取得する。第１画像データ及び第２画像データは、複数のフレームを含む２次元の画像データである。所定の同期処理を用いて、第１画像データと第２画像データとを同期させる。同期された第１画像データと第２画像データとに基づいて、撮像中の所定対象を３次元で視認可能な３次元用画像データを出力する。３次元用画像データは、予めなされた設定又はユーザによる入力に応じて、第１画像データ及び第２画像データの少なくとも一方に含まれる収差が補正される。
　本開示によれば、従来よりも改良された技術を用いて、３次元用画像データを出力することが可能な技術を提供することできる。
情報処理システム１のシステム構成の一例を示す図である。 サーバ装置２のハードウェア構成の一例を示す図である。 情報表示装置３のハードウェア構成の一例を示す図である。 情報処理システム１によって実行される情報処理の流れの一例を示すアクティビティ図である。 第１画像データ及び第２画像データの同期及びフレームの欠損に関する情報処理のイメージの一例を示す図である。 取得した画像情報に対して実行される画像加工の流れの一例を示す図である。 取得した画像情報に対して実行される画像加工の流れの一例を示す図である。 取得した画像情報に対して実行される画像加工の流れの一例を示す図である。 取得した画像情報に対して実行される画像加工の流れの一例を示す図である。 取得した画像情報に対して実行される画像加工の流れの一例を示す図である。 取得した画像情報に対して実行される画像加工の流れの一例を示す図である。
［実施形態］
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
　ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ　Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ　Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させて情報表示装置でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
　また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．情報処理システム１のシステム構成
　まず、図１を参照しながら本実施形態の情報処理システム１のシステム構成について説明する。
　図１は、情報処理システム１のシステム構成の一例を示す図である。図１が示すように、情報処理システム１は、サーバ装置２、情報表示装置３と、第１撮像装置４－１と、第２撮像装置４－２と、ネットワークＮと、被写体Ｓとを含む。サーバ装置２は、ネットワークＮを介して、情報表示装置３と通信可能に構成される。これにより、サーバ装置２及び情報表示装置３は、相互に様々な情報を送信又は受信することができる。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。したがって、サーバ装置２単体又は情報表示装置３単体であっても情報処理システム１に例示されるシステムに含まれる。
　情報表示装置３は、左右に異なる偏光板を備える専用の眼鏡を必要とせずに、又は専用の眼鏡を通して視ることにより、３次元に映像を出力可能な３Ｄディスプレイであってもよい。この３Ｄディスプレイは、テーブルの卓上に映像を出力するテーブル型のディスプレイ、任意の箇所に映像を映し出すプロジェクター等を含む。また、情報表示装置３は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット型コンピュータ、スマートフォン等であってもよい。また、情報表示装置３は、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報表示装置３の種類に応じて使い分けて実施することが好ましい。なお、サーバ装置２及び情報表示装置３は、情報処理装置の一例であり、本実施形態に限定されるものではない。
　第１撮像装置４－１及び第２撮像装置４－２は、それぞれ外界の光学的な情報を画像として撮像可能に構成される。第１撮像装置４－１及び第２撮像装置４－２は、ユ－ザが３次元用画像データを視認するにあたってのユーザの左目用の画像とユーザの右目用の画像とをそれぞれ生成する装置である。第１撮像装置４－１及び第２撮像装置４－２は、サーバ装置２と直接接続されてもよいが、ネットワークＮを介して、サーバ装置２と接続されてもよい。
　第１撮像装置４－１及び第２撮像装置４－２は、時系列に撮像された画像の集合体として第１画像データ及び第２画像データをそれぞれ生成するように構成される。第１画像データ及び第２画像データは、複数のフレームを含む２次元の画像データである。ここで第１画像データ及び第２画像データは、ＭＰＥＧ４、ＡＶＩ、ＭＯＶ、ＦＬＶ、ＷＭＶ、ＭＰＥＧ２等の形式のデータである。本実施形態では、第１画像データ及び第２画像データは、ＭＰＥＧ４の形式のデータである。また、第１撮像装置４－１及び第２撮像装置４－２は、生成した第１画像データ及び第２画像データをサーバ装置２に転送可能に構成される。第１撮像装置４－１及び第２撮像装置４－２は、視点回転が可能なカメラ、全天球カメラ等の正距円筒図法を用いるカメラ、１８０度、２０６度、２３５度等の画角の魚眼レンズを有する魚眼カメラ、３６０度カメラ等であってもよい。本実施形態では、第１撮像装置４－１及び第２撮像装置４－２は、魚眼カメラである。すなわち、第１画像データ及び第２画像データは、魚眼カメラによって撮像された画像データである。
　被写体Ｓは、第１撮像装置４－１及び第２撮像装置４－２に撮像される対象であり、スポーツに使用される競技場である。なお、第１撮像装置４－１及び第２撮像装置４－２は、一定の視差を有するように既知の距離を有して設置されるとよい。
２．ハードウェア構成
　次に、図２及び図３を参照しながら本実施形態のサーバ装置２及び情報表示装置３のハードウェア構成について説明する。
２．１．サーバ装置２のハードウェア構成
　図２は、サーバ装置２のハードウェア構成の一例を示す図である。図２に示されるように、サーバ装置２は、制御部２１と、記憶部２２と、通信部２３とを備え、これらの構成要素がサーバ装置２の内部において通信バスを介して電気的に接続されている。サーバ装置２は、実施形態に係る処理を実行する。
　制御部２１は、サーバ装置２に関連する全体動作の処理及び制御を行う。本実施形態では、制御部２１は、画像処理及び画像加工に特化したＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。また、制御部２１は、中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）であってもよい。制御部２１が、記憶部２２に記憶された所定のプログラムを読み出し、プログラムに基づき処理を実行することによって、サーバ装置２に係る種々の機能、例えば、後述する図４～図１１に示される処理が実現される。なお、制御部２１は単一であることに限定されず、機能ごとに複数の制御部２１を有するように実施してもよい。また、それらの組合せであってもよい。
　記憶部２２は、前述の記載により定義される様々な情報を記憶する。記憶部２２は、ＧＰＵキャッシュ等のメモリキャッシュであってもよい。また、記憶部２２は，制御部２１によって実行されるサーバ装置２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部２２は、制御部２１によって実行されるサーバ装置２に係る種々のプログラム、変数及び制御部２１がプログラムに基づき処理を実行する際に用いるデータ等を記憶している。記憶部２２は、記憶媒体の一例である。
　通信部２３は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ／４Ｇ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、サーバ装置２は、通信部２３を介して、外部から種々の情報を通信してもよい。
２．２．情報表示装置３のハードウェア構成
　図３は、情報表示装置３のハードウェア構成の一例を示す図である。図３に示されるように、情報表示装置３は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５と、を有し、これらの構成要素が情報表示装置３の内部において通信バスを介して電気的に接続されている。情報表示装置３は、実施形態に係る処理を実行する。情報表示装置３の制御部３１、記憶部３２及び通信部３３については、サーバ装置２の制御部２１、記憶部２２及び通信部２３を参照されたい。
　入力部３４は、情報表示装置３の筐体に含まれてもよいし、外付けされてもよい。例えば、入力部３４は、出力部３５と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することが可能である。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部３４がユーザによってなされた操作に基づく入力を受け付ける。当該入力が命令信号として、通信バスを介して制御部３１に転送され、制御部３１が必要に応じて所定の制御又は演算を実行しうる。
　出力部３５は、情報表示装置３の表示部として機能する。出力部３５は、例えば、情報表示装置３の筐体に含まれてもよいし、外付けされてもよい。出力部３５は、ユーザが操作可能なグラフィカルユーザインタフェース（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。
３．情報処理システム１の動作の流れ
　本実施形態の情報処理システム１で実行される好ましい情報処理の一例を説明する。
　本明細書において、「取得」とは、データ等を他の装置から受信する態様と、データ等を自ら生成する態様との両方を含む概念である。
３．１　情報処理の概要
　本節では、前述した情報処理システム１の情報処理方法について説明する。図４は、情報処理システム１によって実行される情報処理の流れの一例を示すアクティビティ図である。具体的には、図４を示しながら、第１撮像装置４－１及び第２撮像装置４－２にて第１画像データ及び第２画像データを取得し、サーバ装置２で第１画像データ及び第２画像データに対して情報処理を行い、情報表示装置３から３次元用画像データを出力するまでの情報処理の流れについて説明する。
（アクティビティＡ１）
　まず、左目に対応する第１撮像装置４－１は、連続撮像することによって、所定対象を被写体Ｓに含む第１画像データを取得する。右目に対応する第２撮像装置４－２は、連続撮像することによって、所定対象を被写体Ｓに含む第２画像データを取得する。
（アクティビティＡ２）
　続いて、第１撮像装置４－１は、サーバ装置２に第１画像データを送信する。第２撮像装置４－２は、サーバ装置２に第２画像データを送信する。
（アクティビティＡ３）
　続いて、サーバ装置２は、第１画像データ及び第２画像データを、第１撮像装置４－１及び第２撮像装置４－２からそれぞれ受け付ける。制御部２１は、リアルタイム処理可能な動画フォーマットの第１画像データ及び第２画像データを、メモリキャッシュとしての記憶部２２に記憶させる。ある観点によると、制御部２１は、第１撮像装置４－１によって連続撮像された、所定対象を被写体Ｓに含む第１画像データと、第１撮像装置４－１とは異なる第２撮像装置４－２によって連続撮像された、所定対象を被写体Ｓに含む第２画像データとをそれぞれ継続的に取得する。
（アクティビティＡ４）
　続いて、制御部２１は、所定の同期処理を用いて、第１画像データと第２画像データとを同期させる。ここで、所定の同期処理は、第１画像データ及び第２画像データに含まれる時刻のデータを用いたタイムコード方式により行われてもよい。また、所定の同期処理は、画像処理によって行われる処理であってもよい。画像処理である場合、制御部２１は、メモリキャッシュに記憶された、第１画像データと第２画像データとに基づいて画像処理を実行する。所定の画像処理は、例えば、第１画像データ及び第２画像データにおいて、システムを利用して共通の動きを確認し、共通の動きの情報が検出されたこと等をもって同時刻と判定する処理である。この所定の画像処理をサッカーコートに行う場合、共通の動きの情報は、３次元用に変換されかつ重ね合わせられた第１画像データの画像と第２画像データの画像とに基づいて、ボール等の物の位置又は選手、審判等の人の位置から確認される。
（アクティビティＡ５）
　続いて、制御部２１は、第１画像データ及び第２画像データに含まれる複数のフレームのうち、フレームに欠損があるかを判定する。フレームに欠損が検出された場合、制御部２１は、アクティビティＡ６に処理を進める。フレームに欠損が検出されない場合、制御部２１は、アクティビティＡ７に処理を進める。
（アクティビティＡ６）
　続いて、フレームに欠損が検出された場合、制御部２１は、フレームの欠損の補完を行う。制御部２１は、アクティビティＡ７に処理を進める。
（アクティビティＡ７）
　続いて、制御部２１は、第１画像データ及び第２画像データを平面に展開する。
（アクティビティＡ８）
　続いて、制御部２１は、所定対象を俯瞰するように補正された第１画像データ及び第２画像データを出力する。
（アクティビティＡ９）
　続いて、制御部２１は、予めなされた設定又はユーザによる入力に応じて、第１画像データ及び第２画像データの少なくとも一方に含まれる収差を補正する。
（アクティビティＡ１０）
　続いて、制御部２１は、同期された第１画像データと第２画像データとに基づいて、撮像中の所定対象を３次元で視認可能な３次元用画像データを出力する。制御部２１は、情報表示装置３に３次元用画像データを送信する。
（アクティビティＡ１１）
　続いて、制御部３１は、サーバ装置２から３次元用画像データを受け付ける。
（アクティビティＡ１２）
　最後に、制御部３１は、同期された第１画像データと第２画像データとに基づいて、撮像中の所定対象を３次元で視認可能な３次元用画像データを出力部３５から出力する。
　以上アクティビティＡ１～Ａ１２が、第１撮像装置４－１及び第２撮像装置４－２にて第１画像データ及び第２画像データを取得し、サーバ装置２で第１画像データ及び第２画像データに対して情報処理を行い、情報表示装置３から３次元用画像データを出力するまでの情報処理の流れである。情報処理システム１は、ストリーミングで画像データを出力する。情報処理システム１は、画像を取得する度に、１つの画像あたり１秒前後で、アクティビティＡ１～Ａ１２の情報処理を実行する。これにより、ユーザは、情報表示装置３を介して、リアルタイムで３次元用画像データを視認することができる。
３．２　情報処理の詳細
　次に、図５～図１１を用いて、上記概説した情報処理の詳細部分を説明する。
　図５は、第１画像データ及び第２画像データの同期及びフレームの欠損に関する情報処理のイメージの一例を示す図である。図５には、図４のアクティビティＡ３～Ａ６に対応する情報処理のイメージが示されている。これらの情報処理は、ＧＰＵキャッシュ上で行われる。
　制御部２１は、フレーム単位で右目、左目用２台のカメラの映像の同期を行う。第１画像データ及び第２画像データは、それぞれ１フレーム目～８フレーム目の画像データを含んでいる。ここで、第２画像データの３フレーム目の画像データに欠損した欠損フレームＤｆが含まれている。制御部２１は、画像処理によって、第１画像データにおける１つのフレームと撮像時刻が略同一の、第２画像データにおける１つのフレームを特定することで、第１画像データと第２画像データとを同期させる。
　その後、制御部２１は、第２画像データの３フレーム目の欠損、すなわち欠損フレームＤｆが検出された場合、欠損フレームＤｆである３フレーム目の、直前の２フレーム目を３フレーム目の時刻においても取得する。ここで、３フレーム目は、第１フレームであり、２フレーム目は、第２フレームである。
　その後、制御部２１は、３フレーム目の画像データを出力せずに、２フレーム目の画像データを連続して出力する。好ましくは、欠損している第２画像データだけではなく、欠損していない第１画像データにおいても同様に、３フレーム目の画像データを出力せずに、２フレーム目の画像データを連続して出力するとよい。このようにすることで、右目用の画像データと左目用の画像データとを整合させ、ユーザに視認させる３次元用画像データの正確性を担保することができる。
　図６～１１は、取得した画像情報に対して実行される画像加工の流れの一例を示す図である。図６～図１１には、図４のアクティビティＡ７～Ａ１０に対応する第１撮像装置４－１で取得した第１画像データの加工に関する情報処理のイメージが示されている。これらの情報処理は、ＧＰＵキャッシュ上で行われる。また、第１画像データ及び第２画像データに対する情報処理は、ＯｐｅｎＧＬ等のグラフィックライブラリが用いられる。以下で説明する、魚眼画像データ５０、平面画像データ５１、俯瞰画像データ５２、グリッド俯瞰画像データ５３及び補正俯瞰画像データ５４は、それぞれ第１画像データ又は第２画像データの一例である。被写体Ｓとしての競技場は、サッカーコートを所定対象として含む。
　図６には、魚眼画像データ５０が含まれる。魚眼画像データ５０は、サッカーコートを所定対象として含み、魚眼カメラとしての第１撮像装置４－１によって撮像された生の画像データである。
　図７には、平面画像データ５１が含まれる。平面画像データ５１は、魚眼画像データ５０を平面に展開した画像データである。制御部２１は、魚眼カメラで取得した第１撮像データを所定の方法で平面に展開する。
　図８には、俯瞰画像データ５２が含まれる。俯瞰画像データ５２は、平面画像データ５１に基づいて、所定対象を俯瞰するように補正された画像データである。制御部２１は、平面画像データ５１を俯瞰する視点に変換することで俯瞰画像データ５２を取得する。
　図９には、グリッド俯瞰画像データ５３が含まれる。グリッド俯瞰画像データ５３は、俯瞰画像データ５２にグリッド５３０を表示させた画像データである。制御部２１は、第１画像データの俯瞰画像データ５２にグリッド５３０を重畳して表示させる。グリッド５３０は、ユーザがグリッド５３０の交点５３１を移動させることで、第１画像データに含まれる収差を補正可能に構成される。制御部２１は、第１画像データをユーザが確認しながら、第１画像データに含まれる収差を補正可能なユーザインタフェースを出力する（表示させる）。第２画像データについても同様に行われる。また、他の観点によると、制御部２１は、第１画像データ及び前記第２画像データを合成した画像をユーザインタフェースに表示させ、前記ユーザインタフェースは、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成されるこれにより、ユーザは、第１画像データ及び第２画像データを確認しながら、収差を補正することができる。
　図１０には、補正俯瞰画像データ５４が含まれる。補正俯瞰画像データ５４は、グリッド俯瞰画像データ５３に基づいて収差を補正された画像データである。ユーザからグリッド５３０の交点５３１を上下左右に移動させる指示を受け付け、制御部２１は、その指示に応じて、グリッド５３０の交点５３１を上下左右に移動させることで収差の補正を行う。なお、制御部２１は、第２画像データの俯瞰画像データについても同様にグリッドを表示させ、収差の補正の指示を受け付ける。好ましくは、ここでの収差は、光学系に起因する歪曲収差である。
　図１１には、３次元用画像データ５５－１、５５－２が含まれる。３次元用画像データ５５－１、５５－２は、それぞれ第１撮像装置４－１及び第２撮像装置４－２から取得した第１画像データ及び第２画像データを加工することにより取得される画像データである。制御部２１は、歪み補正した平面に展開された右目、左目用の映像を様々な方式によって、３次元のフォーマットに変換して３次元用画像データ５５－１、５５－２として出力する。３次元フォーマットに変換する方法は、偏光フィルム方式、ＤＬＰ　Ｌｉｎｋ方式等がある。偏光フィルム方式は、１コマの画像をディスプレイ側の偏光フィルターとメガネ側の偏光フィルター（円偏光方式）の組み合わせで、左右映像を分離する方式である。ＤＬＰ　Ｌｉｎｋ方式は、超高速イメージングＤＬＰチップにより交互に左右の２画面を画面投写すると同時に３Ｄアクティブグラス（眼鏡）に信号を送信する方式である。
　本実施形態によれば、従来よりも改良された技術を用いて、３次元用画像データを出力することが可能な技術を提供することができる。また、２台の魚眼レンズを用いて、リアルタイムに、所定対象の状況を俯瞰視点かつ３次元で視認することが可能となる。さらに、フレーム欠損が発生した場合であっても、欠損が発生したフレームの直前のフレームにより補完するため、リアルタイム性を損ねることがない。また、３次元用画像データを出力するにあたって、複雑な情報処理を必要としないため、サーバ装置２及び情報表示装置３のメモリキャッシュの使用も少なくすることができる。さらに、メモリキャッシュの使用を少なくすることができる結果として、大掛かりな装置又はコンピュータ等を必要としないため、安価に情報処理を実行することができる。
［その他］
　前述の実施形態に係る情報処理システム１に関して、コンピュータを、情報処理システム１の制御部３１として機能させるプログラムであってもよい。また、情報処理システム１が実行する情報処理方法であってもよい。
　スポーツに使用される競技場は、被写体Ｓの一例であり、他にも動物園、水族館、スーパーマーケット、ショッピングセンター等であってもよい。それらの被写体の任意の箇所を所定対象として、制御部２１は、３次元用画像データを出力する。
　前述の実施形態では、第２画像データにフレーム欠損が検出された場合に、欠損していない第１画像データに対しても敢えて同じ補完処理を行うこととしたが、欠損していない画像データに対しては補完処理を行わないようにしてもよい。
　さらに、次に記載の各態様で提供されてもよい。
（１）情報処理システムであって、制御部を有し、前記制御部は、第１撮像装置によって連続撮像された、所定対象を被写体に含む第１画像データと、前記第１撮像装置とは異なる第２撮像装置によって連続撮像された、前記所定対象を被写体に含む第２画像データとをそれぞれ継続的に取得し、ここで前記第１画像データ及び前記第２画像データは、複数のフレームを含む２次元の画像データで、所定の同期処理を用いて、前記第１画像データと前記第２画像データとを同期させ、同期された前記第１画像データと前記第２画像データとに基づいて、撮像中の前記所定対象を３次元で視認可能な３次元用画像データを出力し、ここで前記３次元用画像データは、予めなされた設定又はユーザによる入力に応じて、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差が補正される、情報処理システム。
（２）上記（１）に記載の情報処理システムにおいて、前記同期処理は、画像処理によって行われる処理であり、前記制御部は、前記画像処理によって、前記第１画像データにおける１つのフレームと撮像時刻が略同一の、前記第２画像データにおける１つのフレームを特定することで、前記第１画像データと前記第２画像データとを同期させる、情報処理システム。
（３）上記（２）に記載の情報処理システムにおいて、前記制御部は、前記第１画像データ又は前記第２画像データにおいて、少なくとも１つのフレームの欠損が検出された場合、欠損した前記フレームである第１フレームの、直前の第２フレームを前記第１フレームの時刻においても取得する、情報処理システム。
（４）上記（１）に記載の情報処理システムにおいて、前記第１画像データ及び前記第２画像データは、前記所定対象を俯瞰するように補正されたデータである、情報処理システム。
（５）上記（１）に記載の情報処理システムにおいて、前記制御部は、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能なユーザインタフェースを出力する、情報処理システム。
（６）上記（５）に記載の情報処理システムにおいて、前記制御部は、前記第１画像データと前記第２画像データとのそれぞれについてグリッドを表示させ、ここで前記グリッドは、前記グリッドの交点を移動させることで、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成される、情報処理システム。
（７）上記（１）に記載の情報処理システムにおいて、前記同期処理は、画像処理によって行われる処理であり、前記画像処理は、前記第１画像データ及び前記第２画像データにおいて、共通の動きの情報が検出されたことをもって同時刻と判定する処理である、情報処理システム。
（８）プログラムであって、コンピュータを、上記（１）～（７）のいずれか１つに記載の情報処理システムの前記制御部として機能させるためのプログラム。
（９）情報処理システムが実行する情報処理方法であって、上記（１）～（７）のいずれか１つに記載の情報処理システムの前記制御部が実行する各処理を備える、情報処理方法。
　もちろん、この限りではない。
　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　　：情報処理システム
２　　　　：サーバ装置
２１　　　：制御部
２２　　　：記憶部
２３　　　：通信部
３　　　　：情報表示装置
３１　　　：制御部
３２　　　：記憶部
３３　　　：通信部
３４　　　：入力部
３５　　　：出力部
４－１　　：第１撮像装置
４－２　　：第２撮像装置
５０　　　：魚眼画像データ
５１　　　：平面画像データ
５２　　　：俯瞰画像データ
５３　　　：グリッド俯瞰画像データ
５４　　　：補正俯瞰画像データ
５５－１　：３次元用画像データ
５３０　　：グリッド
５３１　　：交点
Ｄｆ　　　：欠損フレーム
Ｎ　　　　：ネットワーク
Ｓ　　　　：被写体

Claims (9)

  1. 　情報処理システムであって、
    　制御部を有し、
    　前記制御部は、
    　　第１撮像装置によって連続撮像された、所定対象を被写体に含む第１画像データと、前記第１撮像装置とは異なる第２撮像装置によって連続撮像された、前記所定対象を被写体に含む第２画像データとをそれぞれ継続的に取得し、ここで前記第１画像データ及び前記第２画像データは、複数のフレームを含む２次元の画像データで、
    　　所定の同期処理を用いて、前記第１画像データと前記第２画像データとを同期させ、
    　　同期された前記第１画像データと前記第２画像データとに基づいて、撮像中の前記所定対象を３次元で視認可能な３次元用画像データを出力し、ここで前記３次元用画像データは、予めなされた設定又はユーザによる入力に応じて、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差が補正される、
    情報処理システム。
  2. 　請求項１に記載の情報処理システムにおいて、
    　前記同期処理は、画像処理によって行われる処理であり、
    　前記制御部は、
    　　前記画像処理によって、前記第１画像データにおける１つのフレームと撮像時刻が略同一の、前記第２画像データにおける１つのフレームを特定することで、前記第１画像データと前記第２画像データとを同期させる、
    情報処理システム。
  3. 　請求項２に記載の情報処理システムにおいて、
    　前記制御部は、
    　　前記第１画像データ又は前記第２画像データにおいて、少なくとも１つのフレームの欠損が検出された場合、欠損した前記フレームである第１フレームの、直前の第２フレームを前記第１フレームの時刻においても取得する、
    情報処理システム。
  4. 　請求項１に記載の情報処理システムにおいて、
    　前記第１画像データ及び前記第２画像データは、前記所定対象を俯瞰するように補正されたデータである、
    情報処理システム。
  5. 　請求項１に記載の情報処理システムにおいて、
    　前記制御部は、
    　　前記第１画像データ及び前記第２画像データを合成した画像をユーザインタフェースに表示させ、
    　前記ユーザインタフェースは、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成される、
    情報処理システム。
  6. 　請求項５に記載の情報処理システムにおいて、
    　前記制御部は、
    　　前記第１画像データと前記第２画像データとのそれぞれについてグリッドを表示させ、ここで前記グリッドは、前記グリッドの交点を移動させることで、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成される、
    情報処理システム。
  7. 　請求項１に記載の情報処理システムにおいて、
    　前記同期処理は、画像処理によって行われる処理であり、前記画像処理は、前記第１画像データ及び前記第２画像データにおいて、共通の動きの情報が検出されたことをもって同時刻と判定する処理である、
    情報処理システム。
  8. 　プログラムであって、
    　コンピュータを、請求項１～７のいずれか１つに記載の情報処理システムの前記制御部として機能させるためのプログラム。
  9. 　情報処理システムが実行する情報処理方法であって、
    　請求項１～７のいずれか１つに記載の情報処理システムの前記制御部が実行する各処理を備える、
    情報処理方法。
PCT/JP2022/047269 2022-11-14 2022-12-22 情報処理システム、プログラム及び情報処理方法 WO2024105893A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-181577 2022-11-14
JP2022181577 2022-11-14

Publications (1)

Publication Number Publication Date
WO2024105893A1 true WO2024105893A1 (ja) 2024-05-23

Family

ID=85791817

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/047269 WO2024105893A1 (ja) 2022-11-14 2022-12-22 情報処理システム、プログラム及び情報処理方法

Country Status (2)

Country Link
JP (2) JP7253302B1 (ja)
WO (1) WO2024105893A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JPH10283469A (ja) * 1997-04-10 1998-10-23 Nec Corp 画像変形方法及び装置
JP2007323583A (ja) * 2006-06-05 2007-12-13 Dainippon Printing Co Ltd 画像変換装置及び画像変換プログラム
JP2011071928A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法
JP2012129766A (ja) * 2010-12-15 2012-07-05 Seiko Epson Corp 立体画像表示装置および立体画像表示システム
JP2012186746A (ja) * 2011-03-08 2012-09-27 Sony Corp 映像送信装置、映像送信装置の制御方法、映像受信装置および映像受信装置の制御方法
WO2019003556A1 (ja) * 2017-06-30 2019-01-03 オリンパス株式会社 画像処理装置、画像処理システムおよび画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021092996A (ja) * 2019-12-11 2021-06-17 国立大学法人 東京大学 計測システム、車両、計測方法、計測装置及び計測プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JPH10283469A (ja) * 1997-04-10 1998-10-23 Nec Corp 画像変形方法及び装置
JP2007323583A (ja) * 2006-06-05 2007-12-13 Dainippon Printing Co Ltd 画像変換装置及び画像変換プログラム
JP2011071928A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法
JP2012129766A (ja) * 2010-12-15 2012-07-05 Seiko Epson Corp 立体画像表示装置および立体画像表示システム
JP2012186746A (ja) * 2011-03-08 2012-09-27 Sony Corp 映像送信装置、映像送信装置の制御方法、映像受信装置および映像受信装置の制御方法
WO2019003556A1 (ja) * 2017-06-30 2019-01-03 オリンパス株式会社 画像処理装置、画像処理システムおよび画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIMIZU, NAOKI ET AL.: "Temporal synchronization of non-uniform frame-rate cameras and application to multi-view video contents. ", IPSJ SYMPOSIUM, MEETING ON IMAGE RECOGNITION AND UNDERSTANDING (MIRU), IPSJ, JP, 1 January 2011 (2011-01-01) - 22 July 2011 (2011-07-22), JP, pages 1355 - 1361, XP009554707 *

Also Published As

Publication number Publication date
JP2024071327A (ja) 2024-05-24
JP7253302B1 (ja) 2023-04-06
JP2024071330A (ja) 2024-05-24

Similar Documents

Publication Publication Date Title
TWI803590B (zh) 藉由所關注區域之制定的異步時間及空間翹曲
EP3198862B1 (en) Image stitching for three-dimensional video
EP3007038B1 (en) Interaction with three-dimensional video
US10659769B2 (en) Image processing apparatus, image processing method, and storage medium
US10321109B1 (en) Large volume video data transfer over limited capacity bus
KR20170017700A (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
JP2018533232A (ja) ステレオレンダリングシステム
JP2008140271A (ja) 対話装置及びその方法
US10572764B1 (en) Adaptive stereo rendering to reduce motion sickness
JPWO2019186787A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2001128195A (ja) 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体
US20160381322A1 (en) Method, Synthesizing Device, and System for Implementing Video Conference
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
CN113286138A (zh) 一种全景视频显示方法及显示设备
JP6515512B2 (ja) 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム
WO2024105893A1 (ja) 情報処理システム、プログラム及び情報処理方法
US20200225467A1 (en) Method for projecting immersive audiovisual content
JP2019074881A (ja) 画像生成装置および画像生成方法
EP4006894A1 (en) Device, method, and program for controlling image display
KR20180108967A (ko) 멀티비전 화면 영상 렌더링 시스템, 장치 및 방법
JP2018005778A (ja) 画像表示装置、画像表示システムおよび画像表示方法
KR101947799B1 (ko) 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법
WO2024174050A1 (zh) 视频通信方法和装置
JP2019096926A (ja) 画像処理装置、画像処理方法およびプログラム
JP2022113478A (ja) インテグラル立体表示システム及びその方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965867

Country of ref document: EP

Kind code of ref document: A1