WO2018051815A1 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2018051815A1
WO2018051815A1 PCT/JP2017/031587 JP2017031587W WO2018051815A1 WO 2018051815 A1 WO2018051815 A1 WO 2018051815A1 JP 2017031587 W JP2017031587 W JP 2017031587W WO 2018051815 A1 WO2018051815 A1 WO 2018051815A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
defect
information processing
unit
processing apparatus
Prior art date
Application number
PCT/JP2017/031587
Other languages
English (en)
French (fr)
Inventor
俊一 笠原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112017004647.5T priority Critical patent/DE112017004647T5/de
Priority to KR1020197006801A priority patent/KR102502404B1/ko
Priority to US16/324,723 priority patent/US11189055B2/en
Priority to CN201780055444.7A priority patent/CN109691084A/zh
Publication of WO2018051815A1 publication Critical patent/WO2018051815A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present disclosure relates to an information processing apparatus, method, and program, and more particularly, to an information processing apparatus, method, and program that can recognize image loss.
  • Patent Document 1 In recent years, in order to transmit human experiences as they are to other people, first-person viewpoint images from wearable devices such as head-mounted multiple cameras have been used for creating various contents (see Patent Document 1). In addition, a system for generating an all-sky video with a plurality of cameras has been proposed (see Patent Document 2).
  • the shooting cover range of each camera image may change due to a change in the relative positional relationship of the cameras, and there may be a place where shooting is not possible.
  • the present disclosure has been made in view of such a situation, and relates to processing on images generated by imaging of a plurality of imaging devices.
  • An information processing apparatus includes a defect determination unit that determines presence / absence of a defect in an image generated by imaging of a plurality of imaging devices, and a notification according to a determination result of the presence / absence of the defect by the defect determination unit
  • the information processing apparatus determines the presence / absence of a defect in an image generated by imaging of a plurality of imaging apparatuses, and controls notification according to the determination result of the presence / absence of the defect.
  • a program controls a defect determination unit that determines presence / absence of a defect in an image generated by imaging of a plurality of imaging devices, and a notification according to a determination result of the presence / absence of the defect by the defect determination unit
  • the computer is caused to function as a notification control unit.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system according to an embodiment of the present disclosure. It is a block diagram which shows the schematic structure of the apparatus which concerns on this embodiment. It is a figure which shows typically an example of the wearable terminal which concerns on this embodiment. It is a block diagram which shows the structural example of the information processing apparatus which concerns on this embodiment. It is a block diagram which shows the other structural example of the information processing apparatus which concerns on this embodiment. It is a figure explaining an example of the circumference picked-up image concerning this embodiment. It is a figure explaining the other example of the periphery picked-up image which concerns on this embodiment. It is a block diagram which shows the structural example of the wearable terminal which concerns on this embodiment.
  • FIG. 9 is a flowchart for describing image processing of the wearable terminal in FIG. 8.
  • FIG. It is a flowchart explaining the defect
  • FIG. 1 is a diagram illustrating a schematic configuration of a system according to an embodiment of the present disclosure.
  • the system 10 in this embodiment includes a server 11 and client devices 12 to 17.
  • the server 11 is a collection of functions realized by a single server device or a plurality of server devices connected and cooperating with each other via wired or wireless networks. Various services are provided to the client devices 12 to 17. provide.
  • the client devices 12 to 17 are terminal devices connected to the server 11 through various wired or wireless networks.
  • the server 11 and the client devices 12 to 17 realize at least one of the following functions (1) to (7) in the system 10 by themselves or by cooperating with each other.
  • An apparatus that has an imaging mechanism such as a camera and provides the captured real space image to the server 11 or other client devices 12 to 17.
  • It has an imaging mechanism such as a camera, performs various image processing on the captured real space image, and displays various images related to the real space obtained by the image processing as the server 11 or other client devices.
  • It has at least a display mechanism such as a display, and preferably further has an operation mechanism such as a touch panel, and acquires an image provided by the apparatus of (1) and performs various operations related to the image performed by the user.
  • It has at least a display mechanism such as a display, and preferably further has an operation mechanism such as a touch panel.
  • the image provided by the device of (3) is acquired and used for viewing by the user, and the image by the user That accepts various operations.
  • the client device 12 is a wearable terminal (hereinafter also simply referred to as the wearable terminal 12).
  • the wearable terminal 12 has, for example, at least one of an imaging mechanism or a display mechanism, and functions as at least one of the above (1) to (7).
  • the wearable terminal 12 is a glasses type, but is not limited to this example as long as it is a shape that can be worn on the user's body.
  • the wearable terminal 12 has a camera installed in, for example, a frame portion of glasses as an imaging mechanism. With this camera, the wearable terminal 12 can acquire a real space image from a position close to the user's viewpoint. The acquired image is transmitted to the server 11 or other client devices 13 to 17.
  • the wearable terminal 12 has, for example, a display installed on a part or all of the lens portion of the glasses as a display mechanism.
  • the wearable terminal 12 displays an image captured by the camera on the display.
  • the client device 13 is a tablet terminal (hereinafter also simply referred to as a tablet terminal 13).
  • the tablet terminal 13 includes at least a display mechanism, preferably further includes an operation mechanism, and can function as, for example, the devices (4) to (7).
  • the tablet terminal 13 may further include an imaging mechanism in addition to the display mechanism and the operation mechanism, and may function as at least one of the above-described (1) to (3). That is, the tablet terminal 13 can function as an arbitrary device among the devices (1) to (7).
  • the client device 14 is a mobile phone (smart phone) (hereinafter also simply referred to as a mobile phone 14). Since the function of the mobile phone 14 in the system 10 is the same as that of the tablet terminal 13, a detailed description thereof is omitted. Although not shown, for example, a device such as a portable game machine, a portable music player, or a digital camera also has a communication mechanism, a display mechanism, an operation mechanism, or an imaging mechanism. It can function in the same manner as the tablet terminal 13 and the mobile phone 14.
  • the client device 15 is a laptop PC (Personal Computer) (hereinafter also simply referred to as a laptop PC 15).
  • the laptop PC 15 has a display mechanism and an operation mechanism, and functions as the devices (4) to (7).
  • the laptop PC 15 is treated as an example of a device that does not function as the devices (1) to (3) because it is basically fixed and used.
  • a desktop PC or a television can function in the same manner as the laptop PC 15.
  • the laptop PC 15 has a display as a display mechanism and a mouse and a keyboard as an operation mechanism, and displays images provided directly from the devices (1) to (3) or via various devices. The user receives various operations on the image.
  • the laptop PC 15 further includes an imaging mechanism such as a camera, the laptop PC 15 can also function as the devices (1) to (3).
  • the client device 16 is a fixed camera (hereinafter also simply referred to as a fixed camera 16).
  • the fixed camera 16 has an imaging mechanism and functions as the devices (1) to (3).
  • the fixed camera 16 is handled as an example of a device that is used in a fixed manner and does not function as the devices (4) to (7) because it does not have a display mechanism.
  • a camera that projects the front of the screen is provided on a desktop PC or television, or when a movable device such as a digital camera is temporarily fixed to a tripod, These devices can function in the same manner as the fixed camera 16.
  • the fixed camera 16 has a camera as an imaging mechanism, and an image in real space from a fixed viewpoint (including a case where the camera swings automatically or in response to a user's operation for viewing a captured image). Can be obtained.
  • the client device 17 is a projector (hereinafter also simply referred to as the projector 17).
  • the projector 17 has a projection device as a display mechanism, and functions as the device (7).
  • the projector 17 does not have an imaging mechanism and does not have an operation mechanism for receiving an input to a displayed (projected) image, and thus does not function as the above-described devices (1) to (6). It is treated as an example of a device.
  • the projector 17 displays various images in real space by projecting images onto the surface of a screen or object using a projection device.
  • the projector 17 is shown as a fixed type, but may be a handheld type.
  • the server 11 functions as at least one of the above-described (1) to (7) by itself or in cooperation with the client devices 12 to 17. That is, the server 11 obtains an image of the real space, performs various image processing on the obtained image, and / or obtains at least one of the obtained real space image and the image obtained by the image processing. Has a function of displaying.
  • the server 11 and the client devices 12 to 17 for example, various creatures such as human beings, self-propelled bodies that self-run on the surface, the ground, or underwater, or fly in the air.
  • a user browses an image of a real space where a moving object such as a flying object exists, and the space can be shared between the various moving objects and the user.
  • the processing as described in detail below is performed, so that the user can freely view an image of the real space where the moving body exists independently of the moving body. Is also possible.
  • the system 10 according to the present embodiment includes a device that can acquire an image of a real space, and a device that can use the real space image for viewing by the user and accept various operations by the user. And an apparatus for displaying an image generated by various operations by the user.
  • FIG. 2 is a diagram showing a schematic configuration of the apparatus according to the present embodiment.
  • the apparatus 20 includes a processor 21 and a memory 22.
  • the device 20 may further include at least one of a display unit 23, an operation unit 24, a communication unit 25, an imaging unit 26, or a sensor 27. These components are connected to each other by a bus 28.
  • the device 20 can realize, for example, the server device configuring the server 11 and the client devices 12 to 17.
  • the processor 21 is a variety of processors such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), and performs various operations such as computation and control according to a program stored in the memory 22, for example. Realize the function.
  • the processor 21 realizes a control function of the entire apparatus of the server 11 and the client devices 12 to 17, for example.
  • the processor 21 executes various image processing as described later and display control for displaying an image on a display screen.
  • the memory 22 is configured by a storage medium such as a semiconductor memory or a hard disk, and stores a program and data for processing by the device 20.
  • the memory 22 may store captured image data acquired by the imaging unit 26 and sensor data acquired by the sensor 27.
  • an external data source for example, a data server, a network storage, or an external memory
  • the display unit 23 is provided, for example, in a client having the display mechanism described above.
  • the display unit 23 may be a display corresponding to the shape of the device 20, for example.
  • the wearable terminal 12 may have a display having a shape corresponding to the lens portion of the glasses or a shape corresponding to the display area of the head mounted display, for example.
  • the tablet terminal 13, the mobile phone 14, and the laptop PC 15 may have a flat panel display provided in each housing as the display unit 23.
  • the display unit 23 may be a projection device that projects an image on an object.
  • the projector 17 may have a projection device as a display unit.
  • the operation unit 24 is provided, for example, in a client having the operation mechanism described above.
  • the operation unit 24 is configured, for example, by combining a touch sensor (which forms a touch panel together with the display), a touch pad, a mouse, or other pointing device provided on the display with a keyboard, buttons, switches, or the like as necessary.
  • the operation unit 24 identifies a position in an image displayed on the display unit 23 by using a pointing device, for example, and accepts a user operation to input some information to the position using a keyboard, a button, a switch, or the like.
  • the operation unit 24 may specify a position in the image displayed on the display unit 23 by the pointing device, and further accept a user operation to input some information with respect to the position by the pointing device.
  • the communication unit 25 is a communication interface that mediates communication between the device 20 and other devices.
  • the communication unit 25 supports an arbitrary wireless communication protocol or wired communication protocol, and establishes a communication connection with another device.
  • the imaging unit 26 is a camera module that captures an image.
  • the imaging unit 26 images a real space using an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and generates a captured image.
  • a series of captured images generated by the imaging unit 26 constitutes a video.
  • the imaging unit 26 is not necessarily a part of the device 20.
  • an imaging device connected to the device 20 by wire or wireless may be handled as the imaging unit 26.
  • the imaging unit 26 may include a depth sensor that measures the distance between the imaging unit 26 and the subject for each pixel. The depth data output from the depth sensor can be used for environment recognition in an image obtained by capturing a real space as will be described later.
  • the sensor 27 may include various sensors such as a positioning sensor, an acceleration sensor, and a gyro sensor.
  • the measurement result obtained by the sensor 27 may be used for various purposes such as support for environment recognition in an image captured in real space, acquisition of data specific to a geographical position, or detection of user input. Good.
  • the sensor 27 can be provided in a device having the imaging unit 26 (in the above example, the wearable terminal 12, the tablet terminal 13, the mobile phone 14, or the fixed camera 16).
  • the type of captured image handled by the information processing apparatus 50 according to the present embodiment is not particularly limited, and may be a still image or a moving image.
  • the captured image handled by the information processing apparatus 50 according to the present embodiment is an image of as wide an area as possible in real space. Therefore, the imaging device used for imaging in real space is preferably a camera with a wide-angle lens as much as possible, and may be, for example, an omnidirectional camera schematically shown in FIG.
  • FIG. 3 schematically illustrates a configuration in a case where an omnidirectional camera for imaging a real space is realized as the wearable terminal 12.
  • an imaging unit 26 that is a camera with a wide-angle lens as much as possible is provided in an annular shape so as to cover the periphery of a human head, which is an example of a moving body 30.
  • the imaging unit 26 is also provided on the top of the head in FIG.
  • the wearable terminal 12 is provided with various sensors 27 such as a positioning sensor, an acceleration sensor, and a gyro sensor.
  • Information relating to the line of sight of the imaging device (in other words, the orientation of the imaging device) output from the sensor 27 is output to the information processing device described later, and is information regarding the orientation of the imaging device in the information processing device. It is used as certain imaging device attitude information.
  • the imaging unit 26 is arranged in a ring shape in order to obtain an all-around captured image is shown.
  • the imaging unit 26 may not be arranged in a ring shape, and the imaging unit may be provided on at least a part of the human head. 26 may be provided.
  • the number of the imaging units 26 used for realizing the wearable terminal 12 as shown in FIG. 3 is not limited, and the number may be set as appropriate depending on how wide a range of images are desired to be acquired.
  • the moving body 30 is a human being
  • the moving body 30 is not limited to a human being and may be an animal other than a human wearing the wearable terminal 12. Alternatively, it may be a self-propelled body such as a robot equipped with a camera or a flying body.
  • An information processing apparatus 50 that performs various types of information processing on a captured image captured by the imaging apparatus illustrated in FIG. 3 is an image generated by imaging of an imaging apparatus mounted on a moving body that moves in a space. Display image generated based on information, imaging device attitude information that is information related to the attitude of the imaging device, and user visual information that is obtained from a user operation device operated by the user and that specifies a region that the user wants to visually recognize Is a device that performs control to display in a display area visually recognized by the user.
  • the imaging device attitude information is, for example, information related to the rotation of the imaging device
  • the user visual recognition information is information that specifies a display angle of view that the user wants to visually recognize, for example, in an all-around captured image captured by the imaging device. It may be.
  • the information processing apparatus 50 includes at least a display control unit 51, which is an example of a control unit, as shown in FIG.
  • the information processing apparatus 50 includes an image generation unit 61, an image selection unit 62, an image correction unit 63, and a moving body line-of-sight information generation unit 64, as shown in FIG.
  • the data acquisition unit 65, the data providing unit 66, and the storage unit 67 may be further provided.
  • each processing unit shown in FIGS. 4 and 5 may be realized in any one of the server 11 or the client devices 12 to 17, or may be realized by being distributed among a plurality of devices. Also good.
  • the information processing apparatus 50 performs display control of a display image generated based on the captured image captured by the imaging apparatus, the imaging apparatus attitude information, and the user viewing information.
  • the information processing apparatus 50 generates a generated image (for example, a captured image) generated based on the captured image and the image capturing apparatus attitude information by, for example, an image capturing apparatus or another device different from the image capturing apparatus and the information processing apparatus.
  • display control may be performed in the same manner as described below on the basis of the corrected image on which the orientation of the imaging apparatus is corrected in advance) and the user viewing information.
  • the image generation unit 61 uses a captured image captured by an imaging device mounted on a moving body moving in space to generate a surrounding captured image in which the periphery of the position where the moving body 30 exists is captured. For example, when the captured image is output from the imaging apparatus as illustrated in FIG. 3, the surrounding captured image generation process by the image generation unit 61 is performed as needed in real time.
  • the ambient captured image generated by the image generation unit 61 integrating the captured images.
  • the all-round captured image may also include an all-round image that is a columnar image that is a 360-degree ambient captured image without the top and bottom (upper and lower) of the image.
  • the image generation unit 61 does not use the omnidirectional image (global celestial image) 81 as shown in FIG. 6 as the peripheral image, but a rectangular image 91 equivalent to the omnidirectional image as shown in FIG. May be generated.
  • the rectangular image 91 equivalent to the omnidirectional image 81 can be generated by converting the omnidirectional image 81 by a known method such as equirectangular projection.
  • a known method such as equirectangular projection.
  • the image selection unit 62 is based on the surrounding captured image generated by the image generation unit 61 and the user captured information obtained from the user operation device operated by the user and indicating the space that the user wants to visually recognize.
  • the captured image corresponding to the user viewing information is selected as the user viewing image.
  • the user viewing image selected by the image selection unit 62 is provided to a user operation device operated by the user, and is provided for user browsing.
  • the user operation device is a wearable terminal 12 such as a head mounted display, which is worn by a user 82 different from the moving body 30.
  • the user operating the user operation device can share the space with the moving body 30 that moves in a certain space, and the position that the user desires to view in the space is the moving body 30. It becomes possible to select independently. As a result, in the space where the moving body 30 exists, the user can freely select an image at a position different from the position where the moving body 30 visually recognizes.
  • Such generation processing of surrounding captured images and image selection processing from surrounding captured images are less computationally expensive than space recombination techniques that frequently use processing with high computational costs such as matching feature points between images. You can execute the process. Therefore, the information processing apparatus 50 capable of performing such processing can realize a reduction in size and weight of the apparatus.
  • the user viewing information set by the user operation device is generated by the user operating various input mechanisms such as a touch pad, a keyboard, and a mouse provided in the user operation device, and transmitted to the image selection unit 62. Is done.
  • the user operating device is the wearable terminal 12 as shown in FIGS. 6 and 7, the user visual recognition information is obtained by various sensors such as a positioning sensor, an acceleration sensor, and a gyro sensor provided on the wearable terminal 12. It may be generated by automatically detecting a behavior (for example, a user's line-of-sight direction).
  • Such user visual recognition information may be generated by voice input or gesture input by the user to the user operation device.
  • the information processing apparatus 50 includes the image generation unit 61 and the image selection unit 62, so that an image of a space visually recognized by the moving body 30 (more specifically, the imaging device).
  • a so-called first-person viewpoint image is provided to the user (for example, the user 82 in FIGS. 6 and 7) in real time.
  • intense screen shaking may occur due to the moving body 30 looking around the position where the moving body 30 exists. If the user visually recognizes such a strong shaking of the screen, the user may feel “sickness” (motion sickness) due to seeing an image with a strong shaking. Therefore, the information processing apparatus 50 according to the present embodiment further has a correction function for correcting the rotational movement as described above in the imaging apparatus.
  • the image correction unit 63 is a processing unit that corrects a change in the image accompanying the rotational movement of the imaging apparatus as described above based on the imaging apparatus attitude information.
  • the image correction unit 63 is configured so that the image pickup device can be used for a surrounding picked-up image when the line-of-sight direction of the image pickup device changes without changing the position of the image pickup device (that is, the image pickup device has a rotational motion). Correction is performed to suppress changes in the surrounding captured image that accompany changes in the line-of-sight direction.
  • the image correction unit 63 determines the presence or absence of a defect in the stabilized image (peripheral captured image) after performing the above correction.
  • the image correction unit 63 supplies defect information such as the presence / absence of defect, the position, range, shape, and number of defects, which is the determination result, to the display control unit 51 and the data providing unit 66 as they are or as metadata.
  • the image correction unit 63 displays the missing information in order to suggest to the users of the moving body, or provides it to the server 11 or other wearable device 12 via the network to suggest to the users. To display missing information.
  • the image correction unit 63 performs a defect complementing process in accordance with a request from any of the users, and corrects the surrounding captured image. Note that the loss complementing process may be performed by the server 11 or another wearable terminal 12.
  • the moving body line-of-sight information generation unit 64 generates line-of-sight information indicating the direction (position) or field of view of the imaging apparatus based on the imaging apparatus attitude information.
  • This line-of-sight information can be generated in a known direction using, for example, output information from various sensors attached to the moving body (that is, imaging device attitude information).
  • the user viewing device provided with the user operation device includes the direction (position) of the line of sight of the imaging device, It is possible to display an object indicating a visual field. As a result, the user can grasp the gaze direction of the imaging device at any time while visually recognizing the surrounding captured image in an arbitrary direction different from the direction (position) or the visual field of the imaging device.
  • the display control unit 51 controls display contents of a display device such as a display provided outside the information processing device 50 or the information processing device 50.
  • the display control unit 51 includes image information generated by imaging of an imaging device mounted on a moving body that moves in space, imaging device posture information that is information related to the posture of the imaging device, and a user. Control is performed to display a display image generated on the basis of the user viewing information obtained from the user operation device operated by the user and identifying the region that the user wants to visually recognize in the display region that the user visually recognizes.
  • the display control unit 51 can display an object representing the line-of-sight direction and the field of view of the imaging device in the image for user visual recognition, for example, by performing display control of the display screen of the user operation device. Accordingly, the user can grasp the line-of-sight direction of the moving body 30 at any time while selecting the line-of-sight direction independently of the moving body 30.
  • the display control unit 51 controls display of a screen for selecting whether to display missing information or perform missing complement according to the determination result by the image correcting unit 63.
  • the metadata may be displayed with a different color if each area is larger than the predetermined area, or the color may be changed when the ratio of all the missing areas is greater than the predetermined ratio. Good.
  • the data acquisition unit 65 acquires gaze-related data including captured image data output from the imaging device attached to the moving body 30, sensor output related to the gaze direction of the imaging device (that is, imaging device attitude information), and the like. In addition, the data acquisition unit 65 acquires data related to a user operation output from the user operation device. Various data acquired from various devices by the data acquisition unit 65 can be appropriately used by each processing unit of the information processing apparatus 50.
  • the data providing unit 66 receives various data generated by the information processing apparatus 50 (for example, captured image data such as a peripheral captured image and a user viewing image, and line-of-sight related data such as a line-of-sight direction of the imaging apparatus). 50 is provided to an apparatus provided outside. As a result, various types of information generated by the information processing apparatus 50 can be used even in an apparatus provided outside the information processing apparatus 50.
  • captured image data such as a peripheral captured image and a user viewing image
  • line-of-sight related data such as a line-of-sight direction of the imaging apparatus.
  • the storage unit 67 various types of processing used in the image generation unit 61, the image selection unit 62, the image correction unit 63, the moving body line-of-sight information generation unit 64, the display control unit 51, the data acquisition unit 65, and the data provision unit 66. These databases are recorded appropriately.
  • the storage unit 67 also includes various programs including applications used for various arithmetic processes executed by these processing units, various parameters that need to be saved when performing some processing, and the progress of the processing. May be recorded as appropriate.
  • the storage unit 67 includes processing units such as an image generation unit 61, an image selection unit 62, an image correction unit 63, a moving body line-of-sight information generation unit 64, a display control unit 51, a data acquisition unit 65, a data provision unit 66, and the like. It can be freely accessed to write and read data.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus according to the present embodiment as described above can be produced and installed in a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • each camera image may change due to changes in the relative positional relationship of the cameras, resulting in unphotographed locations. This may occur particularly when a camera (wearable camera) that can be worn on the body, such as the headgear 101 with a camera described later, or when shooting the entire celestial sphere with a small number of cameras. This image deficient state needs to be avoided because it becomes an incomplete image as a video image of the whole celestial sphere.
  • FIG. 8 is a block diagram illustrating a specific configuration example in the case where the omnidirectional image camera for imaging a real space is realized by the wearable terminal 12 including two fisheye lenses.
  • the wearable terminal 12 includes a camera-equipped headgear 101 and an information processing apparatus 102.
  • the camera-equipped headgear 101 is attached to a human head, which is an example of the moving body 30, and has cameras 121L and 121R as the imaging unit 26 outside the position corresponding to the left and right ears.
  • Each of the cameras 121L and 121R is provided with a wide-angle (for example, 250 degrees) fisheye lens.
  • the cameras 121L and 121R are connected to the corresponding image acquisition units 65a-1 to 65a-5 of the information processing apparatus 102 via HDMI cables, and supply captured images, respectively.
  • the information processing apparatus 102 is basically configured in the same manner as the information processing apparatus 50 of FIG. 5, but in the example of FIG. 8, illustrations of those that are not directly related are omitted. That is, the information processing apparatus 102 includes an image generation unit 61, image acquisition units 65a-1 to 65a-6 that are part of the data acquisition unit 65, an operation information acquisition unit 65b, an image correction unit 63, a data provision unit 66, and The display control unit 51 is included.
  • the image acquisition units 65a-1 and 65a-2 for the cameras 121L and 121R provided in the camera-equipped headgear 101 are used, and the rest Is not used. That is, the image acquisition units 65a-1 to 65a-6 are used according to the number of cameras. Note that the number of cameras is not limited to two or six, and may be any number that can capture an image of the entire periphery.
  • the fisheye lens is arranged in a horizontally long aspect ratio of 9:16. From the camera 121R, the aspect ratio is 9:16 by imaging. A horizontally long image 131R is input.
  • the fish-eye lens is arranged in a vertically long aspect ratio of 16: 9. From the camera 121L, a vertically long image 131L having a vertical / horizontal ratio of 16: 9 is input by imaging. That is, the longitudinal direction of the image 131R and the longitudinal direction of the image 131L intersect.
  • the aspect ratio of the installation of the fisheye lens may be reversed to the left and right in the example of FIG. 9, for example, a vertically long image 131L may be input from the camera 121R, and a horizontally long image 131R may be input from the camera 121L.
  • the image acquisition unit 65a-1 acquires the horizontally long image 131R from the camera 121R, and supplies the acquired image 131R data to the image generation unit 61.
  • the image acquisition unit 65a-2 acquires a vertically long image 131L from the camera 121L, and supplies data of the acquired image 131L to the image generation unit 61.
  • the operation information acquisition unit 65b corresponds to the display controlled by the display control unit 51 or the like, and is a wearable terminal 12 that is different from a user such as a touch panel or the operation unit 24, an administrator (user) of the server 11, or the mobile body 30. Operation information input according to the operation of the user 82 is acquired.
  • the operation information acquisition unit 65 b supplies the acquired operation information to the defect complementing processing unit 114 described later of the image correction unit 63.
  • the image generation unit 61 uses the horizontally long image 131R (FIG. 10) and the vertically long image 131L (FIG. 10) to sew a baseball or tennis ball as shown in FIG.
  • a rectangular image (peripheral captured image) 151 equivalent to the omnidirectional image as shown in FIG. 12 is generated. That is, the horizontally long image 131R and the vertically long image 131L are respectively connected to both ends in the longitudinal direction of the image 131R and both ends of the image 131L extending along the longitudinal direction of the image 131L.
  • the intersection of the dotted lines is the center of the display unit that displays the rectangular images 141 and 151, and actually the stitched part of the rectangular images 141 and 151 is the display unit. It is off center. This is because there is often a line of sight at the center of the display unit, and when the stitched part of the image comes to the center of the display unit, there is a sense of incongruity and this is avoided.
  • the image generation unit 61 supplies the generated rectangular image to the image correction unit 63 and the data providing unit 66.
  • the image correcting unit 63 is configured to include a rotation calculating unit 111, a stabilized image generating unit 112, a defect determining unit 113, and a defect complementing processing unit 114.
  • the rectangular image generated by the image generation unit 61 is supplied to the rotation calculation unit 111 and the stabilized image generation unit 112.
  • the rotation calculation unit 111 performs a calculation for correcting a change in the image due to the rotation of the camera-equipped headgear 101 and supplies the calculated value to the stabilized image generation unit 112.
  • the stabilized image generating unit 112 uses the calculated value from the rotation calculating unit 111 to perform a stabilization process for suppressing rotation, and generates a stabilized image.
  • the rotation calculation unit 111 and the stabilized image generation unit 112 when a rotational motion occurs in the camera-equipped headgear 101, with respect to the surrounding captured image, Perform correction to suppress the change.
  • the case where the rotational movement is generated in the camera-equipped headgear 101 means that the line-of-sight direction of the camera-equipped headgear 101 has changed without the position of the camera-equipped headgear 101 changing.
  • the stabilized image generating unit 112 supplies the generated stabilized image to the defect determining unit 113 and the data providing unit 66.
  • the defect determining unit 113 determines whether or not the stabilized image (image 171 in FIG. 13) from the stabilized image generating unit 112 has a missing part (the missing part 181 in FIG. 13) that occurs after the stabilization process is performed. Is determined. When there is a defect determination result and a defect portion, the defect determination unit 113 sends information about the defect such as indicating the position of the defect portion to the defect complement processing unit 114 and the display control unit 51. Supply.
  • the central region of one image (vertically long image 131R) indicated by a circular region corresponds to the line-of-sight direction of the wearing user. ing.
  • the method of image synthesis is not limited to the method of FIGS. 11 and 12, and the image may be synthesized as shown in FIG.
  • the defect complementation processing unit 114 is a user such as a touch panel or an operation unit, an administrator (user) of the server 11, or a moving body. Operation information input according to the operation of the user 82 of the wearable terminal 12 different from 30 is acquired.
  • the defect complementation processing unit 114 performs defect complementation processing on the stabilized image that is determined to have a defect from the stabilized image generation unit 112 according to the acquired operation information.
  • the defect complement processing unit 114 supplies the image with the defect complement to the data providing unit 66.
  • the display control unit 51 controls the display of the defect information regarding the defect such as the determination result of the presence or absence of the defect in the stabilized image and the size, shape, number, and position of the defect part when there is a defect part. To do.
  • the display control unit 51 also controls screen display for selecting whether or not to perform defect complementation.
  • the data providing unit 66 transmits the stabilized image and, if necessary, the calculated value from the rotation calculating unit 111 to the server 11 and provides it to the user of the information processing system 10.
  • send defect information about the defect such as the size, shape, number, and position of the defect part as metadata, or highlight the defect part, and highlight it.
  • the missing portion may be sent as superimposed data.
  • step S11 the image acquisition unit 65a-1 acquires the horizontally long image 131R from the camera 121R, and supplies the acquired image 131R data to the image generation unit 61.
  • the image acquisition unit 65a-2 acquires a vertically long image 131L from the camera 121L, and supplies data of the acquired image 131L to the image generation unit 61.
  • step S12 the image generation unit 61 generates an omnidirectional image (a rectangular image equivalent to the omnidirectional image) from each image acquired from the image acquisition units 65a-1 and 65a-2.
  • the image generation unit 61 supplies the generated omnidirectional image to the image correction unit 63 and the data providing unit 66.
  • step S13 the rotation calculation unit 111 and the stabilized image generation unit 112 perform stabilization processing on the omnidirectional image generated by the image generation unit 61. That is, the rotation calculation unit 111 performs a calculation for correcting a change in the image due to the rotational movement of the camera-equipped headgear 101 and supplies the calculated value to the stabilized image generation unit 112.
  • the stabilized image generating unit 112 uses the calculated value from the rotation calculating unit 111 to perform a stabilization process for suppressing rotation, and generates a stabilized image.
  • the stabilized image generating unit 112 supplies the generated stabilized image to the defect determining unit 113 and the data providing unit 66.
  • the defect determination unit 113 determines whether or not there is a defect in the stabilized image (image 171 in FIG. 13) from the stabilized image generation unit 112.
  • the detection of the defect will be specifically described.
  • the camera-equipped headgear 101 there are two, but as an example, consider the case where N camera images are stitched (sewn together).
  • the image generation unit 61 estimates N parameters (spatial position and direction of each camera) from each camera image, and converts and synthesizes each camera image into an image on the celestial sphere.
  • camera parameters can be estimated by a method of performing synthesis by referring to camera parameters performed once before photographing, and a method of estimating camera parameters in real time.
  • the loss determination unit 113 can define a range that can be covered from the camera, so whether or not there is a loss from the camera parameter series C (1... N). Is determined.
  • the defect determination unit 113 synthesizes and converts the omnidirectional image, and then inspects the change in the pixel in the omnidirectional image in the time direction. If a defect has occurred, the pixel data from the camera image is not provided, so the pixels in the omnidirectional image do not change from the initial color state.
  • the defect determination unit 113 detects the part as a defect area (defect part).
  • the defect area is detected by using any of the above methods.
  • step S14 If it is determined in step S14 that there is a defect, the process proceeds to step S15.
  • the defect determination unit 113 supplies the defect complementation processing unit 114 and the display control unit 51 with the determination result of the presence / absence of the defect in the stabilized image and information regarding the defect such as the position of the defect part.
  • step S15 the display control unit 51 controls the display of the defect information regarding the defect and notifies the user of the defect information.
  • the wearable terminal 12 includes a wristwatch-type display unit 23 and an operation unit 24, and is mounted on a user's arm that is a moving body 30.
  • the display of the suggestion of the defect complementing process is controlled on the display unit 23 together with the defect information, and the operation information from the operation unit 24 operated by the user is input via the operation information acquisition unit 65b.
  • step S16 the defect complementation processing unit 114 determines whether or not to supplement the defect. If it is determined in step S16 that the deficit is to be complemented, the process proceeds to step S17.
  • step S17 the defect complementation processing unit 114 performs a defect complementation process.
  • the stabilized image has the following characteristics.
  • a stabilized image 191 having a missing portion 181 is shown, and in the example of FIG. 15, a stabilized image 201 having a missing portion 181 is shown. Comparing FIG. 14 and FIG. 15, the space object is not moving, but the missing portion 181 is moving.
  • the stabilized image becomes an image fixed with respect to the environment composed of the stationary state. That is, the image itself does not change even if it changes according to the physical posture of the camera.
  • the defect part does not move in the image before stabilization. However, after the stabilization process is performed, the missing portion moves according to the physical posture of the camera.
  • the defect complementation processing unit 114 performs defect complementation processing using such properties.
  • the built-in memory (the storage unit 67 in FIG. 5) holds an averaged image of past frame images of an omnidirectional image format (for example, equirectangular projection) image.
  • the defect complement processing unit 114 refers to and uses the pixel information held in the past frame when the corresponding pixel is a defect region.
  • the frame for complementation using the past frame may be generated by a simple average image, texture complement, object image complement, or optical flow in the image.
  • the joint becomes clear. Therefore, as an example, the dilation (delay) process is performed on the missing region, and the complementary pixel and the original pixel are ⁇ -blended at the region boundary, so that the joint can be made smooth.
  • defect complement processing unit 114 supplies the image with the defect complement to the data providing unit 66.
  • the image processing ends.
  • step S14 if it is determined in step S14 that there is no defect, the determination result (no defect) is supplied to the defect complementation processing unit 114 and the display control unit 51, and the image processing is terminated. In this case, the stabilized image from the stabilized image generating unit 112 is transmitted from the data providing unit 66.
  • step S16 If it is determined in step S16 that the defect is not complemented, the image processing is terminated. In this case, for example, the stabilized image and the missing information from the stabilized image generating unit 112 are transmitted from the data providing unit 66.
  • step S31 the defect complement processing unit 114 performs defect region estimation.
  • the defect area estimation for example, the same method as the defect detection described above is used.
  • step S32 the defect complementation processing unit 114 performs past image averaging processing of the estimated defect region.
  • step S33 the defect complementation processing unit 114 performs a synthesis process on the estimated defect region using the averaged image averaged in step S32.
  • the stabilized image 211 having the missing portions 221 and 222 is shown, and in the example of FIG. 19, the stabilized image 231 in which the missing portions are complemented is shown.
  • the defect region is estimated from the stabilized image 211 having the defect portions 221 and 222 as shown in FIG. 18, and defect complementation is performed on the estimated defect region, as shown in FIG. As a result, a stabilized image 231 having no defect is obtained.
  • defect complement data may be distributed together with the stabilized image as superimposition (layer) data so that the viewer can select whether to view the complemented image or the uncomplemented image.
  • It may be configured to control whether or not the above-described defect complementing process is performed depending on the size, shape, and number of missing parts. For example, if the size of the missing part is larger than the predetermined size, if the shape is other than the predetermined shape, or if the number is larger than the predetermined number, the defect complement processing is performed, or the parameters of the processing when changing are changed An example is possible.
  • the presence / absence of defect completion processing may be performed over the network.
  • the defect information and the selection screen for determining whether or not to perform defect complement processing are displayed on the display unit 23 of the server 11 or other wearable terminal 12 and notified, and the defect complement processing is performed according to an instruction from there. You may make it perform. Further, the above-described defect complementing process may be performed on the photographing side, the server, or another user side.
  • the example of displaying and controlling the defect information of the image and the suggestion of the defect complementation process has been described as the notification to the user.
  • the suggestion may be controlled by voice.
  • the display of the area may be dynamically changed so that not only the missing part but also the area where the complement processing has been performed is highlighted.
  • the above-described defect complementation process cannot provide a desirable result when the object in the image is a moving object. Therefore, after determining whether the object is a moving object or a stationary object, the defect complementing process may be performed only when the object is a stationary object, and the defect complementing process may be prohibited when the object is a moving object.
  • the defect complementing process is prohibited and the camera is moved from the predetermined moving speed.
  • the defect complementing process may be performed. Note that, as long as the movement of the camera is only rotation, a defect complementing process may be performed.
  • the deficiency compensation processing of this technology tends to be vulnerable to external environmental changes and translational motion.
  • this technique is applied to the missing part of the omnidirectional captured image obtained by pasting and stabilizing a plurality of images as described above, for example, the present technique is also applied to a missing part that cannot be covered by the shooting range of the camera. be able to.
  • the present technology can be applied to a case where an image cannot be acquired due to a failure or the like of a plurality of cameras, by setting it as a defect.
  • the present technology is flexible such as a camera having a part of a fixing mechanism (Rigit Body), such as the above-mentioned headgear 101 with a camera, and the positional relationship of each camera. Applied to a camera that performs camera image composition.
  • the present technology is also capable of shooting a ball that can be shot by, for example, a plurality of cameras disposed in a vehicle that can obtain an around view or a plurality of cameras disposed in a ball-shaped case and throwing it up while rotating. It can be applied to a camera or the like. Further, at least two of a side camera, a front camera, and a rear camera provided in the vehicle may be combined.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in a necessary stage such as in parallel or when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in a necessary stage such as in parallel or when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a defect discriminating unit that discriminates whether or not there is a defect in an image generated by imaging of a plurality of imaging devices;
  • An information processing apparatus comprising: a notification control unit that controls notification according to a determination result of the presence / absence of the defect by the defect determination unit.
  • the notification control unit controls the notification display of the determination result of the presence or absence of the defect.
  • the notification control unit highlights the defect when it is determined that the defect is present.
  • the defect determination unit acquires a stabilized image that suppresses the change in the image in accordance with a change in posture of the imaging device, The information processing apparatus according to (3), wherein the notification control unit dynamically changes a position of highlight display of the defect in the stabilized image.
  • the notification control unit controls the notification of at least one of a size, a shape, and a number of the defects when it is determined that there is the defect.
  • the notification control unit controls the notification for selecting whether or not to supplement the deficiency when it is determined that the deficiency exists. apparatus.
  • the information processing apparatus according to any one of (1) to (6), wherein the plurality of imaging devices are a first wearable camera and a second wearable camera. (8) The longitudinal direction of the first image acquired by the first wearable camera and the longitudinal direction of the second image acquired by the second wearable camera intersect each other. Information processing device. (9) The information processing apparatus according to (8), wherein a central area of the first image is arranged corresponding to a line-of-sight direction of a user wearing the information processing apparatus. (10) The both ends in the longitudinal direction of the first image are respectively connected to both ends of the second image extending along the longitudinal direction of the second image. Information processing device.
  • a defect complementing processing unit that performs the defect complementing process when it is determined that there is the defect according to a user operation. apparatus.
  • the notification control unit highlights an area of the image on which the defect complementing process has been performed according to the operation of the user.
  • the transmission unit transmits at least one defect information of the size, shape, and number of the defect as metadata via the network.
  • the information processing device is Determine the presence or absence of missing images generated by the imaging of multiple imaging devices, An information processing method for controlling notification according to the determination result of the presence or absence of the defect.
  • a defect discriminating unit that discriminates whether or not there is a defect in an image generated by imaging of a plurality of imaging devices; A program that causes a computer to function as a notification control unit that controls notification according to a determination result of the presence or absence of the defect by the defect determination unit.

Abstract

本開示は、画像の欠損を把握することができるようにする情報処理装置および方法、並びにプログラムに関する。 欠損判別部は、複数のカメラにより撮像された画像に、欠損部分があるか否かを判別し、判別結果（欠損の有無）を、表示制御部に供給する。表示制御部は、判別結果（欠損の有無）に応じた通知を制御する。本開示は、例えば、ウェアラブル端末で撮像された画像からの周囲画像を、他のウェアラブル端末に表示させるシステムに適用することができる。

Description

情報処理装置および方法、並びにプログラム
　本開示は、情報処理装置および方法、並びにプログラムに関し、特に、画像の欠損を把握することができるようにした情報処理装置および方法、並びにプログラムに関する。
　近年、人間の体験をそのまま他者に伝送するために、頭部搭載型の複数カメラなどのウェアラブル機器による一人称視点の画像が、各種コンテンツの作成などで利用されている（特許文献１参照）。また、複数カメラで全天周映像を生成するシステムが提案されている（特許文献２参照）。
国際公開２０１５／１２２１０８号 特開２００６－３０９８０２号公報
　以上のように、複数カメラを利用して画像が生成される場合、カメラの相対位置関係の変化などで各カメラ映像の撮影カバー範囲が変化し、撮影できていない場所が発生する可能性がある。
　本開示は、このような状況に鑑みてなされたものであり、複数の撮像装置の撮像により生成される画像についての処理に関する。
　本開示の一側面の情報処理装置は、複数の撮像装置の撮像により生成される画像の欠損の有無を判別する欠損判別部と、前記欠損判別部による前記欠損の有無の判別結果に応じた通知を制御する通知制御部とを備える。
　本開示の一側面の情報処理方法は、情報処理装置が、複数の撮像装置の撮像により生成される画像の欠損の有無を判別し、前記欠損の有無の判別結果に応じた通知を制御する。
　本開示の一側面のプログラムは、複数の撮像装置の撮像により生成される画像の欠損の有無を判別する欠損判別部と、前記欠損判別部による前記欠損の有無の判別結果に応じた通知を制御する通知制御部として、コンピュータを機能させる。
　本開示の一側面においては、複数の撮像装置の撮像により生成される画像の欠損の有無が判別される。そして、前記欠損の有無の判別結果に応じた通知が制御される。
　本開示によれば、画像の欠損を把握することができる。
  なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
本開示の実施形態に係るシステムの概略的な構成を示す図である。 本実施形態に係る装置の概略的な構成を示すブロック図である。 本実施形態に係るウェアラブル端末の一例を模式的に示す図である。 本実施形態に係る情報処理装置の構成例を示すブロック図である。 本実施形態に係る情報処理装置の他の構成例を示すブロック図である。 本実施形態に係る周囲撮像画像の一例を説明する図である。 本実施形態に係る周囲撮像画像の他の例を説明する図である。 本実施形態に係るウェアラブル端末の構成例を示すブロック図である。 図８のウェアラブル端末のカメラ付ヘッドギアを説明する図である。 図９のカメラにより撮像される画像の一例を示す図である。 図１０の画像を用いた画像の生成方法を説明する図である。 図１０の画像から生成される画像の一例を示す図である。 画像における欠損の一例を示す図である。 欠損の性質について説明する図である。 欠損の性質について説明する図である。 図８のウェアラブル端末の画像処理について説明するフローチャートである。 図１６のステップＳ１７の欠損補完処理について説明するフローチャートである。 欠損補完処理前の画像の一例を示す図である。 欠損補完処理後の画像の一例を示す図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
　＜システム構成例＞
　図１は、本開示の実施形態に係るシステムの概略的な構成を示す図である。図１に示めされるように、本実施形態におけるシステム１０は、サーバ１１と、クライアント機器１２乃至１７とを有する。
　サーバ１１は、単一のサーバ装置、又は、有線もしくは無線の各種ネットワークで接続されて協働する複数のサーバ装置、によって実現される機能の集合体であり、クライアント機器１２乃至１７に各種サービスを提供する。
　クライアント機器１２乃至１７は、サーバ１１と有線又は無線の各種ネットワークで接続された端末装置である。
　サーバ１１及びクライアント機器１２乃至１７は、単独で、又は、互いに協働することで、システム１０の中で以下の（１）乃至（７）の少なくとも何れかの機能を実現する。
　（１）カメラなどの撮像機構を有し、撮像された実空間の画像を、サーバ１１又は他のクライアント機器１２乃至１７に提供する装置。
　（２）カメラなどの撮像機構を有し、撮像された実空間の画像に対して各種の画像処理を実施し、画像処理により得られた実空間に関する各種画像を、サーバ１１又は他のクライアント機器１２乃至１７に提供する装置。
　（３）カメラなどの撮像機構を有し、撮像された実空間の画像に対して各種の画像処理を実施し、ユーザによって実施された各種画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像を、サーバ１１又は他のクライアント機器１２乃至１７に提供する装置。
　（４）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（１）の装置により提供された画像を取得するとともに、ユーザによって実施された画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像をユーザの閲覧に供する装置。
　（５）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（２）の装置により提供された画像を取得するとともに、ユーザによって実施された画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像をユーザの閲覧に供する装置。
　（６）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（３）の装置により提供された画像を取得してユーザの閲覧に供するとともに、ユーザによる画像への各種操作を受け付ける装置。
　（７）ディスプレイなどの表示機構を有し、（４）乃至（６）の装置によって受け付けられた各種のユーザ操作に基づき生成された各種画像を表示させる装置。
　クライアント機器１２は、ウェアラブル端末である（以下、単にウェアラブル端末１２ともいう）。ウェアラブル端末１２は、例えば撮像機構もしくは表示機構の少なくとも何れかを有し、上記（１）乃至（７）の少なくとも何れかの装置として機能する。図示された例においてウェアラブル端末１２は眼鏡型であるが、ユーザの身体に装着可能な形状であれば、この例には限られない。上記（１）乃至（３）の装置として機能する場合、ウェアラブル端末１２は、撮像機構として、例えば眼鏡のフレーム部分などに設置されたカメラを有する。このカメラによって、ウェアラブル端末１２は、ユーザの視点に近い位置から実空間の画像を取得することができる。取得した画像は、サーバ１１又は他のクライアント機器１３乃至１７に送信される。また、上記（４）乃至（７）の装置として機能する場合、ウェアラブル端末１２は、表示機構として、例えば眼鏡のレンズ部分の一部又は全部に設置されたディスプレイなどを有する。ウェアラブル端末１２は、上記のカメラによって撮像された画像をこのディスプレイに表示させる。
　クライアント機器１３は、タブレット端末である（以下、単にタブレット端末１３ともいう）。タブレット端末１３は、少なくとも表示機構を有し、好ましくは操作機構を更に有し、例えば上記（４）乃至（７）の装置として機能しうる。タブレット端末１３は、上記の表示機構及び操作機構に加えて撮像機構を更に有し、上記の（１）乃至（３）の少なくとも何れかの装置として機能してもよい。つまり、タブレット端末１３は、上記の（１）乃至（７）の装置のうちの任意の装置として機能しうる。
　クライアント機器１４は、携帯電話機（スマートフォン）である（以下、単に携帯電話機１４ともいう）。なお、システム１０における携帯電話機１４の機能は、タブレット端末１３と同様であるため、詳細な説明は省略する。なお、図示していないが、例えば携帯型ゲーム機や携帯型音楽再生機やデジタルカメラのような装置も、通信機構と表示機構、操作機構又は撮像機構とを有していれば、システム１０においてタブレット端末１３や携帯電話機１４と同様に機能しうる。
　クライアント機器１５は、ラップトップＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）である（以下、単にラップトップＰＣ１５ともいう）。ラップトップＰＣ１５は、表示機構及び操作機構を有し、上記（４）乃至（７）の装置として機能する。図示された例において、ラップトップＰＣ１５は、基本的に固定して使用されるために上記（１）乃至（３）の装置としては機能しない装置の例として扱われている。図示していないが、例えばデスクトップＰＣやテレビなども、ラップトップＰＣ１５と同様に機能しうる。ラップトップＰＣ１５は、表示機構としてディスプレイを、操作機構としてマウスやキーボードを有し、上記（１）乃至（３）の装置から直接的に又は各種装置を経由して提供される画像を表示するとともに、当該画像に対するユーザの各種操作を受け付ける。また、ラップトップＰＣ１５がカメラなどの撮像機構を更に有している場合、ラップトップＰＣ１５は、上記（１）乃至（３）の装置として機能することも可能である。
　クライアント機器１６は、固定カメラである（以下、単に固定カメラ１６ともいう）。固定カメラ１６は、撮像機構を有し、上記（１）乃至（３）の装置として機能する。図示された例において、固定カメラ１６は、固定して使用され、かつ表示機構を有さないために上記（４）乃至（７）の装置としては機能しない装置の例として扱われている。図示していないが、例えばテスクトップＰＣやテレビに画面の前を映すカメラが設けられている場合や、デジタルカメラのような移動可能な装置が三脚などに一時的に固定されている場合も、これらの装置は固定カメラ１６と同様に機能しうる。固定カメラ１６は、撮像機構としてカメラを有し、固定された視点（カメラが自動的に、又は、撮像画像を閲覧するユーザの操作に応じてスイングするような場合も含む）から実空間の画像を取得することができる。
　クライアント機器１７は、プロジェクタである（以下、単にプロジェクタ１７ともいう）。プロジェクタ１７は、表示機構として投影装置を有し、上記（７）の装置として機能する。図示された例において、プロジェクタ１７は、撮像機構を有さず、また表示（投影）した画像に対する入力を受け付ける操作機構も有さないため、上記（１）乃至（６）の装置としては機能しない装置の例として扱われている。プロジェクタ１７は、投影装置を用いてスクリーンやオブジェクトの表面に画像を投影することによって、実空間に各種の画像を表示させる。なお、プロジェクタ１７は、固定型のものが図示されているが、ハンドヘルド型のものであってもよい。
　サーバ１１は、単独で、又は、上記クライアント機器１２乃至１７と協働することによって、上記（１）乃至（７）の少なくとも何れかの装置として機能する。すなわち、サーバ１１は、実空間の画像を取得したり、得られた画像に対して各種の画像処理を行ったり、取得した実空間の画像、又は、画像処理によって得られた画像の少なくとも何れかを表示させたりする機能を有する。
　サーバ１１、及び、クライアント機器１２乃至１７によって実現される上記のような機能によって、例えば、人間などの各種生物、地表、地中もしくは水中などを自走する自走体、又は、空中を飛行する飛行体などといった移動体が存在する実空間の画像をユーザが閲覧し、各種移動体とユーザとで、空間を共有することが可能となる。更に、本実施形態に係るシステムでは、以下で詳述するような処理が行われることで、ユーザは、移動体とは独立して、移動体の存在する実空間の画像を自由に閲覧することも可能となる。
　以上、本実施形態に係るシステムについて説明した。図１に示したように、本実施形態に係るシステム１０は、実空間の画像を取得可能な装置と、実空間の画像をユーザの閲覧に供するとともにユーザによる各種操作を受け付けることが可能な装置と、ユーザによる各種操作により生成された画像を表示させる装置と、を含みうる。
　なお、上記のようなシステム１０で実施される画像処理を含む各種の情報処理は、サーバ１１やクライアント機器１２乃至１７が、単独で、又は、互いに協働することで実施される。サーバ１１やクライアント機器１２乃至１７が、単独で、又は、互いに協働する結果、システム１０全体としてみると、以下で詳述するような情報処理装置が実現されることとなる。
　＜装置構成＞
　図２は、本実施形態に係る装置の概略的な構成を示す図である。図２に示したように、装置２０は、プロセッサ２１及びメモリ２２を含む。装置２０は、更に、表示部２３、操作部２４、通信部２５、撮像部２６、又は、センサ２７の少なくとも何れかを含みうる。これらの構成要素は、バス２８によって相互に接続される。装置２０は、例えば、上記のサーバ１１を構成するサーバ装置、及び、クライアント機器１２乃至１７を実現しうる。
　プロセッサ２１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）といったような各種のプロセッサであり、例えばメモリ２２に格納されたプログラムに従って演算や制御などの動作を実行することによって、各種の機能を実現する。プロセッサ２１は、例えば上記のサーバ１１及びクライアント機器１２乃至１７の装置全体の制御機能を実現する。プロセッサ２１は、例えばサーバ１１やクライアント機器１２乃至１７において、後述するような各種の画像処理や、画像を表示画面に表示させるための表示制御を実行する。
　メモリ２２は、半導体メモリ又はハードディスクなどの記憶媒体によって構成され、装置２０による処理のためのプログラム及びデータを格納する。メモリ２２は、例えば、撮像部２６によって取得された撮像画像データや、センサ２７によって取得されたセンサデータを格納してもよい。なお、本明細書で説明するプログラム及びデータの一部は、メモリ２２に格納されることなく、外部のデータソース（例えばデータサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
　表示部２３は、例えば上述した表示機構を有するクライアントに設けられる。表示部２３は、例えば装置２０の形状に応じたディスプレイでありうる。例えば、上記の例でいえば、ウェアラブル端末１２は、表示部２３として、例えば眼鏡のレンズ部分に対応した形状、又は、ヘッドマウントディスプレイの表示領域に対応した形状のディスプレイを有しうる。また、タブレット端末１３や携帯電話機１４、ラップトップＰＣ１５は、表示部２３として、それぞれの筐体に設けられる平板型のディスプレイを有しうる。あるいは、表示部２３は、オブジェクトに画像を投影する投影装置であってもよい。上記の例では、プロジェクタ１７が表示部として投影装置を有しうる。
　操作部２４は、例えば、上述した操作機構を有するクライアントに設けられる。操作部２４は、例えばディスプレイ上に設けられたタッチセンサ（ディスプレイとあわせてタッチパネルを構成する）やタッチパッド、マウスなどのポインティングデバイスに、必要に応じてキーボード、ボタン、スイッチなどを組み合わせて構成される。操作部２４は、例えばポインティングデバイスによって表示部２３に表示された画像中の位置を特定し、その位置に対してキーボードやボタン、スイッチなどによって何らかの情報を入力するユーザの操作を受け付ける。あるいは、操作部２４は、ポインティングデバイスによって表示部２３に表示された画像中の位置を特定し、更にポインティングデバイスによってその位置に対して何らかの情報を入力するユーザの操作を受け付けてもよい。
　通信部２５は、装置２０による他の装置との間の通信を仲介する通信インタフェースである。通信部２５は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
　撮像部２６は、画像を撮像するカメラモジュールである。撮像部２６は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部２６によって生成される一連の撮像画像は、映像を構成する。なお、撮像部２６は、必ずしも装置２０の一部でなくてもよい。例えば、装置２０と有線又は無線で接続される撮像装置が撮像部２６として扱われてもよい。また、撮像部２６は、撮像部２６と被写体との間の距離を画素ごとに測定する深度（ｄｅｐｔｈ）センサを含んでいてもよい。深度センサから出力される深度データは、後述するように実空間を撮像した画像における環境の認識のために利用されうる。
　センサ２７は、測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含みうる。センサ２７において得られる測定結果は、実空間を撮像した画像における環境の認識の支援、地理的な位置に特化したデータの取得、又は、ユーザ入力の検出などの様々な用途で利用されてもよい。なお、センサ２７は、撮像部２６を有する装置（上記の例ではウェアラブル端末１２やタブレット端末１３、携帯電話機１４、又は、固定カメラ１６など）に設けられうる。
　＜情報処理装置の構成について＞
　次に、上記のようなサーバ１１やクライアント機器１２乃至１７が単独で又は互いに協働することでシステム１０全体として実現される、本実施形態に係る情報処理装置の構成について、主としてその機能の面を詳細に説明する。
　ここで、本実施形態に係る情報処理装置５０で扱われる撮像画像の種別は特に限定されるものではなく、静止画像であってもよいし、動画像であってもよい。
　また、本実施形態に係る情報処理装置５０で扱われる撮像画像は、実空間のなるべく広範囲を撮像したものであることが好ましい。従って、実空間の撮像に用いられる撮像装置は、なるべく広角のレンズが装着されたカメラであることが好ましく、例えば図３に模式的に示される全周囲カメラであってもよい。
　図３は、実空間を撮像するための全周囲カメラが、ウェアラブル端末１２として実現される場合の構成を、模式的に図示したものである。図３に示したウェアラブル端末１２では、なるべく広角のレンズが装着されたカメラである撮像部２６が、移動体３０の一例である人間の頭部の周囲を覆うように、環状に設けられている。また、撮像部２６を人間の頭部の周囲に設置するだけでは、天頂方向の画像を得ることが困難となるため、図３では、頭頂部にも撮像部２６が設けられている。また、ウェアラブル端末１２には、測位センサ、加速度センサ及びジャイロセンサなどといった各種のセンサ２７が設けられる。かかるセンサ２７から出力される、撮像装置の視線（換言すれば、撮像装置の姿勢）に関する情報は、後述する情報処理装置に対して出力され、かかる情報処理装置において、撮像装置の姿勢に関する情報である撮像装置姿勢情報として用いられる。
　なお、図３に示した例では、全周囲撮像画像を得るために撮像部２６を環状に配設する場合を示している。これに対して、情報処理装置５０で扱う画像が全周囲撮像画像でなくともよい場合には、撮像部２６を環状に配設しなくてもよく、人間の頭部の少なくとも一部に撮像部２６が設けられていればよい。図３に示したようなウェアラブル端末１２を実現するにあたって用いられる撮像部２６の台数については限定されるものではなく、どの程度広範囲の画像を取得したいかに応じて、台数を適宜設定すればよい。
　また、図３では、移動体３０が人間である場合について図示しているが、移動体３０は人間に限定されるものではなく、ウェアラブル端末１２の装着された人間以外の動物であってもよいし、カメラの装着されたロボットなどの自走体や飛行体であってもよい。
　図３に例示したような撮像装置により撮像された撮像画像に対して各種の情報処理を行う情報処理装置５０は、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、ユーザが視認する表示領域に表示させる制御を行う装置である。なお、撮像装置姿勢情報とは、例えば、撮像装置の回転に関する情報であり、ユーザ視認情報とは、例えば、撮像装置が撮像した全周囲撮像画像において、ユーザが視認したい表示画角を特定する情報であってもよい。
　この情報処理装置５０は、例えば図４に示したように、制御部の一例である表示制御部５１を少なくとも備える。また、情報処理装置５０は、図５に示したように、表示制御部５１に加えて、画像生成部６１と、画像選択部６２と、画像補正部６３と、移動体視線情報生成部６４と、データ取得部６５と、データ提供部６６と、記憶部６７と、の少なくとも何れかを更に備えてもよい。ここで、図４及び図５に示した各処理部は、サーバ１１又はクライアント機器１２乃至１７の何れか１つの機器に実現されていてもよいし、複数の機器に分散されて実現されていてもよい。
　なお、以下の説明では、情報処理装置５０が、上記撮像装置によって撮像された撮像画像と、上記撮像装置姿勢情報と、上記ユーザ視認情報と、に基づいて生成される表示画像の表示制御を行う場合について説明する。しかしながら、情報処理装置５０は、例えば撮像装置や撮像装置及び情報処理装置とは異なる他の機器により、上記撮像画像と上記撮像装置姿勢情報とに基づいて生成された生成画像（例えば、撮像画像に対し撮像装置の姿勢に関する補正が予め施された補正画像）と、上記ユーザ視認情報と、に基づいて、以下と同様にして表示制御を行ってもよいことは、言うまでもない。
　画像生成部６１は、空間内を移動する移動体に装着された撮像装置によって撮像される撮像画像を利用して、移動体３０が存在する位置の周囲が撮像された周囲撮像画像を生成する。画像生成部６１による周囲撮像画像の生成処理は、例えば図３に示したような撮像装置から撮像画像が出力されると、リアルタイムに随時実施される。
　ここで、周囲撮像画像の生成に用いられる撮像画像が図３に例示したような全周囲カメラによって撮像されたものである場合、画像生成部６１が撮像画像を統合することによって生成する周囲撮像画像は、図６に示したような全周囲撮像画像（全天球画像）８１となる。なお、複数のカメラによって撮像された複数の撮像画像から周囲撮像画像を生成する手法については特に限定されるものではなく、公知の手法を適用すればよい。また、全周囲撮像画像には、画像の天地（上下）がなく、３６０度の周囲撮像画像である円柱型の画像である全天周画像も含まれてもよい。
　画像生成部６１は、周囲撮像画像として、図６に示したような全周囲撮像画像（全天球画像）８１ではなく、図７に示したような、全天球画像と等価な矩形画像９１を生成してもよい。全天球画像８１と等価な矩形画像９１は、例えば正距円筒図法などの公知の方法により、全天球画像８１を変換することで生成することができる。周囲撮像画像として、図６に示したような全天球画像８１ではなく、図７に示したような矩形画像９１を用いることで、より簡便に各種の画像処理を実施することが可能となる。
　画像選択部６２は、画像生成部６１により生成された周囲撮像画像と、ユーザの操作するユーザ操作機器から得られた、ユーザが視認したい空間を示すユーザ視認情報と、に基づいて、周囲撮像画像のうちユーザ視認情報に対応する撮像画像を、ユーザ視認用画像として選択する。画像選択部６２によって選択されたユーザ視認用画像は、ユーザの操作するユーザ操作機器へと提供され、ユーザの閲覧に供される。ユーザ操作機器は、例えば、図６及び図７に示した例では、移動体３０とは異なるユーザ８２の装着した、ヘッドマウントディスプレイなどのウェアラブル端末１２である。これにより、ユーザ操作機器を操作しているユーザは、ある空間内を移動する移動体３０と空間を共有することができるとともに、空間内でユーザが視認を希望する位置を、移動体３０とは独立して選択することが可能となる。その結果、移動体３０が存在している空間において、ユーザは、移動体３０が視認している位置とは異なる位置の画像を、自由に選択することが可能となる。
　このような周囲撮像画像の生成処理及び周囲撮像画像からの画像選択処理は、画像間の特徴点を照合させるなどといった演算コストの高い処理を多用する空間再合成技術に比べて、より少ない演算コストで処理を実行することができる。従って、かかる処理を実施可能な情報処理装置５０は、装置の小型軽量化を実現することが可能となる。
　ここで、ユーザ操作機器によって設定されるユーザ視認情報は、ユーザがユーザ操作機器に設けられているタッチパッド、キーボード、マウス等の各種入力機構を操作することによって生成され、画像選択部６２に伝送される。ユーザ視認情報は、ユーザ操作機器が図６及び図７に示したようなウェアラブル端末１２である場合、ウェアラブル端末１２に設けられた測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサによって、ユーザの挙動（例えば、ユーザの視線方向）を自動的に検出することで、生成されてもよい。また、かかるユーザ視認情報は、ユーザ操作機器へのユーザによる音声入力やジェスチャ入力等によって生成されてもよい。
　このように、本実施形態に係る情報処理装置５０は、上記画像生成部６１及び画像選択部６２を備えることによって、移動体３０（より詳細には、撮像装置）の視認している空間の画像（いわゆる一人称視点画像）がリアルタイムでユーザ（例えば、図６及び図７のユーザ８２）に対して提供される。ここで、一人称視点画像では、移動体３０が自身の存在する位置の周辺を見回すことに起因する、激しい画面の揺れが発生することがある。かかる画面の激しい揺れをユーザが視認してしまうと、ユーザは、揺れの激しい画像を見ることによる「酔い」（モーションシックネス）を感じてしまうことがある。従って、本実施形態に係る情報処理装置５０は、撮像装置における上記のような回転運動を補正する補正機能を更に有している。
　画像補正部６３は、撮像装置姿勢情報に基づいて、上記のような撮像装置の回転運動に伴う画像の変化を補正する処理部である。この画像補正部６３は、撮像装置の位置が変化することなく当該撮像装置の視線方向が変化した（すなわち、撮像装置に回転運動が生じた）場合に、周囲撮像画像に対して、撮像装置の視線方向の変化に伴う周囲撮像画像の変化を抑制する補正を実施する。
　また、画像補正部６３は、上記補正を行った後の安定化画像（周囲撮像画像）の欠損の有無を判別する。画像補正部６３は、その判別結果である欠損有無、欠損の位置、範囲、形状、数などの欠損情報を、そのまま、またはメタデータとして、表示制御部５１およびデータ提供部６６に供給する。そして、画像補正部６３は、移動体のユーザに示唆するために、欠損情報を表示させたり、ネットワークを介して、サーバ１１や他のウェアラブル装置１２に提供して、それらのユーザに示唆するために、欠損情報を表示させる。また、画像補正部６３は、各ユーザのいずれかからの要求に応じて、欠損補完処理を行い、周囲撮像画像の補正を行う。なお、欠損補完処理については、サーバ１１や他のウェアラブル端末１２で行われてもよい。
　移動体視線情報生成部６４は、撮像装置姿勢情報に基づいて、撮像装置の視線の方向（位置）又は視野を示す視線情報を生成する。この視線情報は、例えば、移動体に装着されている各種センサからの出力情報（すなわち、撮像装置姿勢情報）を用いて、公知の方向により生成することができる。かかる視線情報を、画像生成部６１により生成された周囲撮像画像とあわせてユーザに提供することで、ユーザ操作機器に提供されるユーザ視認用画像には、撮像装置の視線の方向（位置）や視野を示すオブジェクトを表示させることが可能となる。その結果、ユーザは、撮像装置の視線の方向（位置）又は視野とは異なる任意の方向の周囲撮像画像を視認しつつ、撮像装置の視線方向を随時把握することが可能となる。
　表示制御部５１は、情報処理装置５０や情報処理装置５０の外部に設けられたディスプレイ等の表示装置の表示内容を制御する。具体的には、表示制御部５１は、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、ユーザが視認する表示領域に表示させる制御を行う。また、表示制御部５１は、ユーザ操作機器の表示画面の表示制御を行うことで、例えば、ユーザ視認用画像の中に、撮像装置の視線方向や視界を表わしたオブジェクトを表示させることができる。これにより、ユーザは、移動体３０とは独立に視線方向を選択しつつも、移動体３０の視線方向を随時把握することが可能となる。
　また、表示制御部５１は、画像補正部６３による判別結果に応じて、欠損情報の表示や欠損補完を行うか否かを選択するための画面表示などを制御する。その際、メタデータにより、各領域が所定の領域より大きい場合には色を変えて表示したり、欠損領域すべての割合が、所定の割合より多い場合に色を変えて表示するようにしてもよい。
　データ取得部６５は、移動体３０に装着された撮像機器から出力される撮像画像データや、撮像装置の視線方向に関するセンサ出力（すなわち、撮像装置姿勢情報）等を含む視線関連データを取得する。また、データ取得部６５は、ユーザ操作機器から出力されるユーザ操作に関するデータを取得する。データ取得部６５により各種機器から取得された各種データは、情報処理装置５０の有する各処理部が適宜利用することが可能である。
　データ提供部６６は、情報処理装置５０で生成された各種データ（例えば、周辺撮像画像やユーザ視認用画像などの撮像画像データや、撮像装置の視線方向などの視線関連データ）を、情報処理装置５０の外部に設けられた装置に提供する。これにより、情報処理装置５０の外部に設けられた装置においても、情報処理装置５０で生成された各種情報を利用することが可能となる。
　記憶部６７には、画像生成部６１、画像選択部６２、画像補正部６３、移動体視線情報生成部６４、表示制御部５１、データ取得部６５、データ提供部６６における処理に利用される各種のデータベースが適宜記録される。また、記憶部６７には、これら処理部が実行する各種の演算処理に用いられるアプリケーションを含む各種のプログラムや、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過などが、適宜記録されてもよい。
　この記憶部６７は、画像生成部６１、画像選択部６２、画像補正部６３、移動体視線情報生成部６４、表示制御部５１、データ取得部６５、データ提供部６６などの各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
　以上、本実施形態に係る情報処理装置５０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
　また、図５に示した画像生成部６１、画像選択部６２、画像補正部６３、移動体視線情報生成部６４、データ取得部６５、データ提供部６６、記憶部６７は、情報処理装置５０と相互に通信が可能なコンピュータ等の他の装置に実装されており、情報処理装置５０と他の装置とが協働することで、上記のような機能が実現されてもよい。
　次に、本技術について具体的に説明していく。
　複数カメラを用いて、全天球画像を撮影する場合、カメラの相対位置関係の変化などで、各カメラ画像の撮影カバー範囲が変化し、未撮影の場所が発生する場合がある。特に、後述するカメラ付ヘッドギア１０１のような、身体に装着可能なカメラ（ウェアラブルカメラ）や、少ないカメラ台数で全天球を撮影する場合に、起こりうる。この画像欠損状態は、全天球の撮影された映像として不完全な画像となるため、避ける必要がある。
　そこで、本技術においては、
１．撮影、配信を行う前に欠損があることが通知される。
　なお、その通知は、撮影しているユーザ、サーバ１１（の管理者）、閲覧しているユーザなどになされる。
２．なんらかの理由で、１．の通知が行えなかった場合、かつ、撮影途中で位置関係が変化し、欠損が発生した場合、または、上記いずれかのユーザの要求に応じて、画像安定化や過去の映像フレームの合成から画像欠損の補完が行われる。
　＜具体的な構成例＞
　図８は、実空間を撮像するための全周囲画像カメラが２つの魚眼レンズからなるウェアラブル端末１２で実現される場合の具体的な構成例を示すブロック図である。
　図８の例において、ウェアラブル端末１２は、カメラ付ヘッドギア１０１、および情報処理装置１０２より構成されている。
　カメラ付ヘッドギア１０１は、移動体３０の一例である人間の頭部に装着され、左右の耳に対応する位置の外側に、撮像部２６としてのカメラ１２１Ｌおよび１２１Ｒを有している。カメラ１２１Ｌおよび１２１Ｒには、それぞれ、広角（例えば、250度）の魚眼レンズが設けられている。カメラ１２１Ｌおよび１２１Ｒは、情報処理装置１０２の対応する画像取得部６５ａ－１乃至６５ａ－５のそれぞれに、HDMIケーブルを介して接続されており、撮像した画像をそれぞれ供給する。
　情報処理装置１０２は、図５の情報処理装置５０と基本的に同様に構成されるが、図８の例においては、直接的に関わりのないものについてはその図示は省略されている。すなわち、情報処理装置１０２は、画像生成部６１、データ取得部６５の一部である画像取得部６５ａ－１乃至６５ａ－６および操作情報取得部６５ｂ、画像補正部６３、データ提供部６６、並びに表示制御部５１を含むように構成されている。なお、図８の例においては、点線に示されるように、カメラ付ヘッドギア１０１において設けられているカメラ１２１Ｌおよび１２１Ｒの分だけの画像取得部６５ａ－１および６５ａ－２が使用されており、残りは用いられていない。すなわち、画像取得部６５ａ－１乃至６５ａ－６は、カメラの数に応じて用いられる。なお、カメラの数は２個にも６個にも限定されず、全周囲が撮像可能である複数個であればよい。
　そして、例えば、図９に示されるように、カメラ１２１Ｒにおいては、魚眼レンズが縦横の比が９対１６である横長に配置されており、カメラ１２１Ｒからは、撮像により、縦横の比が９対１６である横長の画像１３１Ｒが入力される。一方、カメラ１２１Ｌにおいては、魚眼レンズが縦横の比が１６対９の縦長に配置されており、カメラ１２１Ｌからは、撮像により、縦横の比が１６対９の縦長の画像１３１Ｌが入力される。すなわち、画像１３１Ｒの長手方向と画像１３１Ｌの長手方向は交差している。なお、魚眼レンズの設置の縦横比は、図９の例の左右逆でもよく、例えば、カメラ１２１Ｒから縦長の画像１３１Ｌが入力され、カメラ１２１Ｌから横長の画像１３１Ｒが入力されてもよい。
　画像取得部６５ａ－１は、カメラ１２１Ｒからの横長の画像１３１Ｒを取得し、取得された画像１３１Ｒのデータを画像生成部６１に供給する。画像取得部６５ａ－２は、カメラ１２１Ｌからの縦長の画像１３１Ｌを取得し、取得された画像１３１Ｌのデータを画像生成部６１に供給する。操作情報取得部６５ｂは、表示制御部５１などにより制御された表示に対応して、タッチパネルや操作部２４などのユーザ、サーバ１１の管理者（ユーザ）、または移動体３０とは異なるウェアラブル端末１２のユーザ８２の操作などに応じて入力される操作情報を取得する。操作情報取得部６５ｂは、取得した操作情報を、画像補正部６３の後述する欠損補完処理部１１４に供給する。
　画像生成部６１は、横長の画像１３１Ｒ（図１０）と縦長の画像１３１Ｌ（図１０）を用いて、例えば、図１１に示されるように、野球やテニスのボールの縫い合わせ方法（図１１の矩形画像１４１）のように合成して、図１２に示されるような全天球画像と等価な矩形画像（周囲撮像画像）１５１を生成する。すなわち、横長の画像１３１Ｒと縦長の画像１３１Ｌが、画像１３１Ｒの長手方向の両端部と、画像１３１Ｌの長手方向に沿って延在する画像１３１Ｌの両端部とそれぞれ接続されている。なお、図１１および図１２の例においては、点線の交差部分は矩形画像１４１および１５１を表示する表示部の中心であって、実際には、矩形画像１４１および１５１の縫い合わせ部分はその表示部の中心からずれている。これは、表示部の中心に視線があることが多く、表示部の中心に画像の縫い合わせ部分が来てしまうと違和感があり、それを避けるためである。画像生成部６１は、生成された矩形画像を画像補正部６３およびデータ提供部６６に供給する。
　画像補正部６３は、回転演算部１１１、安定化画像生成部１１２、欠損判別部１１３、欠損補完処理部１１４を含むように構成される。画像生成部６１により生成された矩形画像は、回転演算部１１１と安定化画像生成部１１２とに供給される。
　回転演算部１１１は、カメラ付ヘッドギア１０１の回転運動に伴う画像の変化を補正する演算を行い、その演算値を安定化画像生成部１１２に供給する。安定化画像生成部１１２は、回転演算部１１１からの演算値を用いて、回転を抑制するための安定化処理を行い、安定化画像を生成する。すなわち、回転演算部１１１および安定化画像生成部１１２は、カメラ付ヘッドギア１０１に回転運動が生じた場合に、周囲撮像画像に対して、カメラ付ヘッドギア１０１の視線方向の変化に伴う周囲撮像画像の変化を抑制する補正を実施する。カメラ付ヘッドギア１０１に回転運動が生じた場合とは、カメラ付ヘッドギア１０１の位置が変化することなく、カメラ付ヘッドギア１０１の視線方向が変化したなどである。安定化画像生成部１１２は、生成された安定化画像を、欠損判別部１１３およびデータ提供部６６に供給する。
　欠損判別部１１３は、安定化画像生成部１１２からの安定化画像（図１３の画像１７１）に、安定化処理が行われた後に発生する欠損部分（図１３の欠損部分１８１）があるか否かを判別する。欠損判別部１１３は、安定化画像の欠損の有無の判別結果と欠損部分がある場合には、その欠損部分の位置を示すなどの欠損に関する情報を、欠損補完処理部１１４および表示制御部５１に供給する。なお、図１３の画像１７１においては、図１１および図１２の例と異なり、例えば、円領域で示される一方の画像（縦長の画像１３１Ｒ）の中央領域が、装着するユーザの視線方向に対応している。画像の合成の方法は、図１１および図１２の方法に限らず、図１３のように画像を合成してもよい。
　欠損補完処理部１１４は、操作情報取得部６５ｂからの、表示制御部５１などにより制御された表示に対応して、タッチパネルや操作部などのユーザ、サーバ１１の管理者（ユーザ）、または移動体３０とは異なるウェアラブル端末１２のユーザ８２の操作などに応じて入力される操作情報を取得する。欠損補完処理部１１４は、取得した操作情報に応じ、安定化画像生成部１１２から欠損があると判別された安定化画像に対して、欠損補完処理を行う。欠損補完処理部１１４は、欠損補完された画像を、データ提供部６６に供給する。
　表示制御部５１は、安定化画像の欠損の有無の判別結果と、欠損部分がある場合には、その欠損部分の大きさ、形状、数、位置を示すなどの欠損に関する欠損情報の表示を制御する。また、表示制御部５１においては、欠損補完を行うか否かを選択するための画面表示なども制御される。
　データ提供部６６は、安定化画像と、必要に応じて回転演算部１１１からの演算値とを、サーバ１１に送信し、本情報処理システム１０のユーザに提供する。なお、安定化画像とともに、欠損部分の大きさ、形状、数、位置を示すなどの欠損に関する欠損情報をメタデータとして送ったり、あるいは、欠損部分をハイライト表示させたり、さらに、ハイライト表示させた欠損部分を、重畳データとして送るようにしてもよい。
　＜動作例＞
　次に、図１６のフローチャートを参照して、ウェアラブル端末１２の画像処理について説明する。
　ステップＳ１１において、画像取得部６５ａ－１は、カメラ１２１Ｒからの横長の画像１３１Ｒを取得し、取得された画像１３１Ｒのデータを画像生成部６１に供給する。画像取得部６５ａ－２は、カメラ１２１Ｌからの縦長の画像１３１Ｌを取得し、取得された画像１３１Ｌのデータを画像生成部６１に供給する。
　ステップＳ１２において、画像生成部６１は、画像取得部６５ａ－１および６５ａ－２より取得された、それぞれの画像から、全天球画像（と等価な矩形画像）を生成する。画像生成部６１は、生成された全天球画像を画像補正部６３およびデータ提供部６６に供給する。
　ステップＳ１３において、回転演算部１１１および安定化画像生成部１１２は、画像生成部６１により生成された全天球画像に対して、安定化処理を行う。すなわち、回転演算部１１１は、カメラ付ヘッドギア１０１の回転運動に伴う画像の変化を補正する演算を行い、その演算値を安定化画像生成部１１２に供給する。安定化画像生成部１１２は、回転演算部１１１からの演算値を用いて、回転を抑制するための安定化処理を行い、安定化画像を生成する。安定化画像生成部１１２は、生成された安定化画像を、欠損判別部１１３およびデータ提供部６６に供給する。
　欠損判別部１１３は、安定化画像生成部１１２からの安定化画像（図１３の画像１７１）に欠損があるか否かを判定する。ここで、欠損の検出について具体的に説明する。なお、カメラ付ヘッドギア１０１においては、２個であるが、例として、Ｎ個のカメラ画像をスティッチング（縫い合わせ合成）する場合を考える。
　画像生成部６１は、各カメラ画像から、Ｎ個のパラメータ（それぞれのカメラの空間的な位置と方向）を推定し、それぞれのカメラ画像から、全天球上の画像へ変換、合成を行う。この際に、カメラパラメータの推定は、撮影前に１度行ったカメラパラメータを以降参照して合成を行う方法と、リアルタイムにカメラパラメータを推定する方法があげられる。
　欠損判別部１１３は、それらのカメラパラメータ系列C(n)のそれぞれの位置関係が決定すると、そのカメラからカバー可能な範囲が規定できるので、そのカメラパラメータ系列C(1…N)から欠損の有無を判別する。
　あるいは、欠損判別部１１３は、全天球画像に合成、変換した後に、その全天球画像におけるピクセルの変化を時間方向に検査していく。欠損が発生している場合、カメラ画像からのピクセルデータが提供されていないので、全天球画像中のピクセルは初期カラー状態から変化しない。欠損判別部１１３は、その部分を欠損領域（欠損部分）として検出する。
　上記のいずれかの方法が用いられて、欠損領域が検出される。
　ステップＳ１４において欠損があると判定された場合、処理は、ステップＳ１５に進む。このとき、欠損判別部１１３は、安定化画像の欠損の有無の判別結果と、その欠損部分の位置を示すなどの欠損に関する情報を、欠損補完処理部１１４および表示制御部５１に供給する。
　表示制御部５１は、ステップＳ１５において、欠損に関する欠損情報の表示を制御し、欠損情報をユーザに通知する。例えば、図示されていないが、ウェアラブル端末１２は、腕時計型の表示部２３と操作部２４とを有しており、移動体３０であるユーザの腕に装着されている。このとき、表示部２３には、欠損情報とともに、欠損補完処理の示唆の表示も制御され、ユーザが操作する操作部２４からの操作情報を、操作情報取得部６５ｂを介して入力される。
　ステップＳ１６において、欠損補完処理部１１４は、欠損を補完するか否かを判定する。ステップＳ１６において、欠損を補完すると判定された場合、処理は、ステップＳ１７に進む。
　ステップＳ１７において、欠損補完処理部１１４は、欠損補完処理を行う。ここで、安定化処理された画像は、次のような特徴をもつ。
　図１４の例においては、欠損部分１８１を有する安定化画像１９１が示されており、図１５の例においては、欠損部分１８１を有する安定化画像２０１が示されている。図１４および図１５を比べてみると、空間物体は移動していないが、欠損部分１８１が移動している。
　すなわち、安定化処理された画像は、静止状態から構成される環境に対して固定された画像になる。つまり、カメラの物理的な姿勢に応じて変化しても画像自体は変化しない。一方、画像欠損が発生した場合、安定化される前の画像においては、欠損部分は移動しない。しかしながら、安定化処理が行われた後では、その欠損部分はカメラの物理的な姿勢に応じて移動する。
　欠損補完処理部１１４は、このような性質を利用して欠損補完処理を行う。具体的には、内蔵するメモリ（図５の記憶部６７）に、全天球画像のフォーマット（例としては正距円筒図法）画像の過去フレーム画像の平均化画像が保持されている。欠損補完処理部１１４は、欠損補完処理において、対応するピクセルは欠損領域である場合に、過去フレームで保持しておいたピクセル情報を参照し利用する。
　なお、その過去フレーム利用による補完用のフレームは、単純な平均画像や、テクスチャの補完、物体画像の補完、画像中のオプティカルフローによって生成されてもよい。
　また、欠損領域の推定を行った場合、その領域そのものを領域界面として合成してしまうと、つなぎ目が明らかになってしまう。そこで、欠損領域に対して、例として、画像にdilation（遅延）処理を施した上で、その領域境界において補完用のピクセルと元ピクセルをαブレンドすることでつなぎ目をスムーズにすることができる。
　以上の欠損補完処理については、図１７を参照して後述されるが、ステップＳ１７の処理により、欠損補完後の画像が生成される。欠損補完処理部１１４は、欠損補完された画像を、データ提供部６６に供給する。以上により、画像処理は終了される。
　一方、ステップＳ１４において、欠損がないと判定された場合、判別結果（欠損なし）を、欠損補完処理部１１４および表示制御部５１に供給し、画像処理を終了する。この場合、安定化画像生成部１１２からの安定化画像がデータ提供部６６から送信される。
　ステップＳ１６において、欠損を補完しないと判定された場合、画像処理を終了する。この場合、例えば、安定化画像生成部１１２からの安定化画像と欠損情報とがデータ提供部６６から送信される。
　次に、図１７のフローチャートを参照して、欠損補完処理について説明する。欠損補完処理部１１４は、ステップＳ３１において、欠損領域推定を行う。欠損領域推定においては、例えば、上述した欠損検出と同じ方法が用いられる。
　欠損補完処理部１１４は、ステップＳ３２において、推定した欠損領域の過去画像平均処理を行う。ステップＳ３３において、欠損補完処理部１１４は、推定した欠損領域に対して、ステップＳ３２で平均化された平均化画像を用いて合成処理を行う。
　ここで、図１８の例においては、欠損部分２２１および２２２を有する安定化画像２１１が示されており、図１９の例においては、欠損部分が補完された安定化画像２３１が示されている。
　以上のように、図１８に示されるような欠損部分２２１および２２２を有する安定化画像２１１から、欠損領域が推定され、推定された欠損領域に対して、欠損補完が行われ、図１９に示されるように欠損のない安定化画像２３１が得られる。
　なお、欠損補完データを、重畳（レイヤ）データとして、安定化画像とともに配信し、閲覧側で、補完後の画像を見るか、補完されていない画像をみるか選択できるようにしてもよい。
　上述した欠損補完処理は、欠損部分の大きさ、形状、数によって行うか否かを制御するようにしてもよい。例えば、欠損部分の大きさが所定の大きさより大きい場合、形状が所定の形状以外の場合、または数が所定の数より多い場合、欠損補完処理を行う、あるいは、行う際の処理のパラメータを変更するなどの例が考えられる。
　また、欠損補完処理の有無を、ネットワーク越しに行うようにしてもよい。すなわち、欠損情報や欠損補完処理を行うか否かの選択画面を、サーバ１１や他のウェアラブル端末１２の表示部２３に表示させて通知を行い、そこからの指示に応じて、欠損補完処理を行うようにしてもよい。さらに、上述した欠損補完処理は、撮影側、サーバ、他のユーザ側で行うようにしてもよい。
　以上のように、本技術によれば、配信前に、画像の欠損を把握することができる。その上で、欠損補完を行うか行わないかを決めることができるので、画像の欠損について、ユーザの嗜好に合わせた処置を行うことができる。
　なお、上記説明において、ユーザへの通知として、画像の欠損情報や欠損補完処理の示唆を表示制御する例を説明したが、通知の方法は、表示だけに限らず、欠損情報や欠損補完処理の示唆を音声制御するようにしてもよい。あるいは、ユーザの操作に応じて、欠損部分だけでなく、さらに、補完処理を行った領域がハイライトされるよう、当該領域の表示を動的に変化させてもよい。
　なお、上述した欠損補完処理は、画像中の物体が動物体の場合には望ましい結果が得られない。したがって、動物体または静止物体かを検出してから行うか否かを決めてから、静止物体のときのみ欠損補完処理を行い、動物体のときには欠損補完処理を禁止するようにしてもよい。
　また、カメラが激しく動いている場合にも、欠損補完処理に対して望ましい結果が得られない。したがって、例えば、カメラが所定の移動速度よりも速く平行移動しているか否かを判定し、所定の移動速度よりも速く平行移動しているときには、欠損補完処理を禁止し、所定の移動速度より遅い移動のときには、欠損補完処理を行うようにしてもよい。なお、カメラの動きは、回転のみであれば、欠損補完処理を行ってもよい。本技術の欠損補完処理は、外部の環境変化と並進運動に弱いという傾向がある。
　なお、本技術は、上述したように複数の画像を張り合わせて安定化させた全周囲撮像画像の欠損部分に適用されるが、例えば、カメラの撮影範囲でカバーできないことによる欠損部分にも適用することができる。
　また、本技術は、複数のカメラのうち、いずれかのカメラが故障などにより画像が取得できなくなった場合にもそれを欠損とすることで、適用することができる。
　なお、本技術は、上述したカメラ付ヘッドギア１０１のように、一部の固定機構(Rigit Body)を有するカメラや、それぞれのカメラの位置関係がフレキシブルであるが、リアルタイムにスティッチングパラメータを変化させて、カメラ画像合成を行うカメラに適用される。
　また、本技術は、それら以外にも、例えば、アラウンドビューが得られる車両に配置された複数カメラやボール状のケースに複数カメラが配置されて、回転させながら上に投げることで撮影可能なボールカメラなどにも適用することが可能である。また、車両に設けられたサイドカメラ、フロントカメラ、リアカメラのうち少なくとも２つが組み合わされてもよい。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　複数の撮像装置の撮像により生成される画像の欠損の有無を判別する欠損判別部と、
　前記欠損判別部による前記欠損の有無の判別結果に応じた通知を制御する通知制御部と
　を備える情報処理装置。
　（２）　前記通知制御部は、前記欠損の有無の判別結果の前記通知表示を制御する
　前記（１）に記載の情報処理装置。
　（３）　前記通知制御部は、前記欠損があると判別された場合、前記欠損をハイライト表示させる
　前記（２）に記載の情報処理装置。
　（４）　前記欠損判別部は、前記撮像装置の姿勢変化に応じた前記画像の変化を抑制した安定化画像を取得し、
　前記通知制御部は、前記欠損のハイライト表示の位置を前記安定化画像内で動的に変化させる
　前記（３）に記載の情報処理装置。
　（５）　前記通知制御部は、前記欠損があると判別された場合、前記欠損の大きさ、形状、および数の少なくとも１つの前記通知を制御する
　前記（１）に記載の情報処理装置。
　（６）　前記通知制御部は、前記欠損があると判別された場合、前記欠損を補完するか否かを選択するための前記通知を制御する
　前記（１）または（５）に記載の情報処理装置。
　（７）　前記複数の撮像装置は、第１のウェアラブルカメラおよび第２のウェアラブルカメラである
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記第１のウェアラブルカメラにより取得される第１の画像の長手方向と前記第２のウェアラブルカメラにより取得される第２の画像の長手方向は交差している
　前記（７）に記載の情報処理装置。
　（９）　前記第１の画像の中央領域は、前記情報処理装置を装着するユーザの視線方向に対応して配置される
　前記（８）に記載の情報処理装置。
　（１０）　前記第１の画像の長手方向の両端部は、前記第２の画像の長手方向に沿って延在する前記第２の画像の両端部とそれぞれ接続される
　前記（８）に記載の情報処理装置。
　（１１）　ユーザの操作に応じて、前記欠損があると判別された場合、前記欠損の補完処理を行う欠損補完処理部を
　さらに備える前記（１）乃至（１０）のいずれかに記載の情報処理装置。
　（１２）　前記通知制御部は、前記欠損の補完処理が行われた画像の領域を前記ユーザの操作に応じて、ハイライト表示させる
　前記（８）に記載の情報処理装置。
（１３）　前記ユーザは、ネットワークを介して接続される他の情報処理装置のユーザである
　前記（１１）に記載の情報処理装置。
　（１４）　前記欠損の有無の判別結果を、ネットワークを介して送信する送信部を
　さらに備える前記（１）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　前記送信部は、前記欠損があると判別された場合、前記欠損の大きさ、形状、および数の少なくとも１つの欠損情報を、メタデータとして、前記ネットワークを介して送信する
　前記（１４）に記載の情報処理装置。
　（１６）　情報処理装置が、
　複数の撮像装置の撮像により生成される画像の欠損の有無を判別し、
　前記欠損の有無の判別結果に応じた通知を制御する
　情報処理方法。
　（１７）　複数の撮像装置の撮像により生成される画像の欠損の有無を判別する欠損判別部と、
　前記欠損判別部による前記欠損の有無の判別結果に応じた通知を制御する通知制御部と
　して、コンピュータを機能させるプログラム。
　１０　システム，　１１　サーバ，　１２　ウェアラブル端末（クライアント機器），　２０　装置，　２６　撮像部，　２７　センサ，　３０　移動体，　５０　情報処理装置，　５１　表示制御部，　６１　画像生成部，　６３　画像補正部，　６５　データ取得部，　６５ａ－１乃至６５ａ－５　画像取得部，　６５ｂ　操作情報取得部，　６６　データ提供部，　８２　ユーザ，　１０１　カメラヘッド付ギア，　１０２　情報処理装置，　１１１　回転演算部，　１１２　安定化画像生成部，　１１３　欠損判別部，　１１４　欠損補完処理部，　１２１Ｌ，１２１Ｒ　カメラ

Claims (17)

  1. 　複数の撮像装置の撮像により生成される画像の欠損の有無を判別する欠損判別部と、
    　前記欠損判別部による前記欠損の有無の判別結果に応じた通知を制御する通知制御部と
    　を備える情報処理装置。
  2. 　前記通知制御部は、前記欠損の有無の判別結果の前記通知表示を制御する
    　請求項１に記載の情報処理装置。
  3. 　前記通知制御部は、前記欠損があると判別された場合、前記欠損をハイライト表示させる
    　請求項２に記載の情報処理装置。
  4. 　前記欠損判別部は、前記撮像装置の姿勢変化に応じた前記画像の変化を抑制した安定化画像を取得し、
    　前記通知制御部は、前記欠損のハイライト表示の位置を前記安定化画像内で動的に変化させる
    　請求項３に記載の情報処理装置。
  5. 　前記通知制御部は、前記欠損があると判別された場合、前記欠損の大きさ、形状、および数の少なくとも１つの前記通知を制御する
    　請求項１に記載の情報処理装置。
  6. 　前記通知制御部は、前記欠損があると判別された場合、前記欠損を補完するか否かを選択するための前記通知を制御する
    　請求項１に記載の情報処理装置。
  7. 　前記複数の撮像装置は、第１のウェアラブルカメラおよび第２のウェアラブルカメラである
    　請求項１に記載の情報処理装置。
  8. 　前記第１のウェアラブルカメラにより取得される第１の画像の長手方向と前記第２のウェアラブルカメラにより取得される第２の画像の長手方向は交差している
    　請求項７に記載の情報処理装置。
  9. 　前記第１の画像の中央領域は、前記情報処理装置を装着するユーザの視線方向に対応して配置される
    　請求項８に記載の情報処理装置。
  10. 　前記第１の画像の長手方向の両端部は、前記第２の画像の長手方向に沿って延在する前記第２の画像の両端部とそれぞれ接続される
    　請求項８に記載の情報処理装置。
  11. 　ユーザの操作に応じて、前記欠損があると判別された場合、前記欠損の補完処理を行う欠損補完処理部を
    　さらに備える請求項１に記載の情報処理装置。
  12. 　前記通知制御部は、前記欠損の補完処理が行われた画像の領域を前記ユーザの操作に応じて、ハイライト表示させる
    　請求項１１に記載の情報処理装置。
  13. 　前記ユーザは、ネットワークを介して接続される他の情報処理装置のユーザである
    　請求項１１に記載の情報処理装置。
  14. 　前記欠損の有無の判別結果を、ネットワークを介して送信する送信部を
    　さらに備える請求項１に記載の情報処理装置。
  15. 　前記送信部は、前記欠損があると判別された場合、前記欠損の大きさ、形状、および数の少なくとも１つの欠損情報を、メタデータとして、前記ネットワークを介して送信する
    　請求項１４に記載の情報処理装置。
  16. 　情報処理装置が、
    　複数の撮像装置の撮像により生成される画像の欠損の有無を判別し、
    　前記欠損の有無の判別結果に応じた通知を制御する
    　情報処理方法。
  17. 　複数の撮像装置の撮像により生成される画像の欠損の有無を判別する欠損判別部と、
    　前記欠損判別部による前記欠損の有無の判別結果に応じた通知を制御する通知制御部と
    　して、コンピュータを機能させるプログラム。
PCT/JP2017/031587 2016-09-15 2017-09-01 情報処理装置および方法、並びにプログラム WO2018051815A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112017004647.5T DE112017004647T5 (de) 2016-09-15 2017-09-01 Informationsverarbeitungsvorrichtung und Verfahren und Programm
KR1020197006801A KR102502404B1 (ko) 2016-09-15 2017-09-01 정보 처리 장치 및 방법, 그리고 프로그램
US16/324,723 US11189055B2 (en) 2016-09-15 2017-09-01 Information processing apparatus and method and program
CN201780055444.7A CN109691084A (zh) 2016-09-15 2017-09-01 信息处理装置和方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-180207 2016-09-15
JP2016180207A JP2018046430A (ja) 2016-09-15 2016-09-15 情報処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2018051815A1 true WO2018051815A1 (ja) 2018-03-22

Family

ID=61619426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031587 WO2018051815A1 (ja) 2016-09-15 2017-09-01 情報処理装置および方法、並びにプログラム

Country Status (6)

Country Link
US (1) US11189055B2 (ja)
JP (1) JP2018046430A (ja)
KR (1) KR102502404B1 (ja)
CN (1) CN109691084A (ja)
DE (1) DE112017004647T5 (ja)
WO (1) WO2018051815A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021067798A (ja) * 2019-10-23 2021-04-30 株式会社リコー 撮像装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
JPWO2020013313A1 (ja) * 2018-07-12 2021-03-18 株式会社東芝 全方位撮影システムおよび全方位撮影方法
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
KR102620783B1 (ko) * 2019-03-10 2024-01-04 구글 엘엘씨 베이스볼 스티치를 갖는 360도 광각 카메라
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) * 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066247A (ja) * 2008-02-08 2013-04-11 Google Inc タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
JP2014057156A (ja) * 2012-09-11 2014-03-27 Ricoh Co Ltd 撮像制御装置、撮像制御方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403421B2 (ja) 2006-08-17 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
US8160391B1 (en) * 2008-06-04 2012-04-17 Google Inc. Panoramic image fill
US8245933B2 (en) * 2008-10-24 2012-08-21 Bell And Howell, Llc Method and system for applying a postal authority barcode on a document processing system
JP4715913B2 (ja) * 2008-12-17 2011-07-06 ソニー株式会社 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
JP2012138500A (ja) 2010-12-27 2012-07-19 Tokyo Electron Ltd タングステン膜又は酸化タングステン膜上への酸化シリコン膜の成膜方法及び成膜装置
JP2012160904A (ja) * 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置
US9265412B2 (en) * 2013-08-27 2016-02-23 Johnson & Johnson Vision Care, Inc. Means and method for demonstrating the effects of low cylinder astigmatism correction
JP6562289B2 (ja) * 2013-12-26 2019-08-21 パナソニックＩｐマネジメント株式会社 映像編集装置
EP3109744B1 (en) 2014-02-17 2020-09-09 Sony Corporation Information processing device, information processing method and program
US9615177B2 (en) * 2014-03-06 2017-04-04 Sphere Optics Company, Llc Wireless immersive experience capture and viewing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066247A (ja) * 2008-02-08 2013-04-11 Google Inc タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
JP2014057156A (ja) * 2012-09-11 2014-03-27 Ricoh Co Ltd 撮像制御装置、撮像制御方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021067798A (ja) * 2019-10-23 2021-04-30 株式会社リコー 撮像装置
JP7395953B2 (ja) 2019-10-23 2023-12-12 株式会社リコー 撮像装置

Also Published As

Publication number Publication date
US11189055B2 (en) 2021-11-30
KR102502404B1 (ko) 2023-02-22
US20190172227A1 (en) 2019-06-06
KR20190046845A (ko) 2019-05-07
JP2018046430A (ja) 2018-03-22
DE112017004647T5 (de) 2019-07-11
CN109691084A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
WO2018051815A1 (ja) 情報処理装置および方法、並びにプログラム
US10574889B2 (en) Information processing device, information processing method, and program
US9858643B2 (en) Image generating device, image generating method, and program
JP6511386B2 (ja) 情報処理装置および画像生成方法
US9479732B1 (en) Immersive video teleconferencing robot
JP2013258614A (ja) 画像生成装置および画像生成方法
US20190045125A1 (en) Virtual reality video processing
JP6576536B2 (ja) 情報処理装置
JP2015176559A (ja) 情報処理方法、情報処理装置、およびプログラム
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
JP2020149635A (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
WO2020059327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6518645B2 (ja) 情報処理装置および画像生成方法
US20230069407A1 (en) Remote operation apparatus and computer-readable medium
JP7203157B2 (ja) 映像処理装置およびプログラム
JP6921204B2 (ja) 情報処理装置および画像出力方法
JP7434797B2 (ja) 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
US20230269483A1 (en) Electronic device and electronic device control method
WO2022255058A1 (ja) 情報処理装置および画像生成方法
JP2020039052A (ja) 画像処理システムおよびｈｍｄ
JP2020022065A (ja) 配信装置、カメラ装置、配信システム、配信方法及び配信プログラム
US20240066394A1 (en) Information processing apparatus and image generation method
US20220252884A1 (en) Imaging system, display device, imaging device, and control method for imaging system
JP2023142257A (ja) 表示装置、及び表示装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850718

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197006801

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17850718

Country of ref document: EP

Kind code of ref document: A1