WO2023286375A1 - 情報処理システム、情報処理装置及び情報処理方法 - Google Patents

情報処理システム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2023286375A1
WO2023286375A1 PCT/JP2022/013399 JP2022013399W WO2023286375A1 WO 2023286375 A1 WO2023286375 A1 WO 2023286375A1 JP 2022013399 W JP2022013399 W JP 2022013399W WO 2023286375 A1 WO2023286375 A1 WO 2023286375A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
information processing
imaging
unit
processing system
Prior art date
Application number
PCT/JP2022/013399
Other languages
English (en)
French (fr)
Inventor
希 岩屋
隆夫 小西
之康 立澤
知明 橋本
勇志 藤川
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023286375A1 publication Critical patent/WO2023286375A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control

Definitions

  • the present disclosure relates to an information processing system, an information processing device, and an information processing method.
  • the present disclosure proposes an information processing system, an information processing apparatus, and an information processing method that can more easily synchronize a plurality of photographing devices.
  • an information processing system including a plurality of photographing devices, each of which has an imaging unit and a higher than the imaging unit.
  • a sensor that outputs a detection result at a rate
  • a collation unit that collates the detection result output from the sensor
  • a control unit that causes the imaging unit to start imaging based on the collation result of the collation unit.
  • FIG. 1 is a block diagram showing a schematic configuration example of a multi-view photography system as an information processing system according to a first embodiment
  • FIG. 4 is a flow chart showing an operation example of each photographing device for synchronizing photographing start timings among a plurality of photographing devices according to the first embodiment.
  • FIG. 5 is a diagram showing an example of matching patterns according to the first embodiment;
  • FIG. 4 is a flow chart showing an example of operation of each imaging device for synchronizing imaging end timing among a plurality of imaging devices according to the first embodiment.
  • FIG. 4 is a timing chart showing an operation example when synchronizing shooting start timings among a plurality of shooting devices according to the first embodiment; 4 is a timing chart showing an example of operation when synchronizing shooting end timings among a plurality of shooting devices according to the first embodiment;
  • FIG. 11 is a block diagram showing a schematic configuration example of a multi-view photography system as an information processing system according to a second embodiment; 10 is a flow chart showing an operation example of each imaging device for synchronizing imaging start timings among a plurality of imaging devices according to the second embodiment. 10 is a flow chart showing an operation example of each imaging device for synchronizing imaging end timing among a plurality of imaging devices according to the second embodiment.
  • FIG. 11 is a block diagram showing a schematic configuration example of a multi-view photography system as an information processing system according to a second embodiment; 10 is a flow chart showing an operation example of each imaging device for synchronizing imaging start timings among a plurality of imaging devices according to the second embodiment. 10 is a flow chart showing an
  • FIG. 11 is a block diagram showing a schematic configuration example of a multi-viewpoint imaging system as an information processing system according to a third embodiment
  • FIG. 11 is a block diagram showing a schematic configuration example of a multi-viewpoint imaging system as an information processing system according to a fourth embodiment
  • FIG. 16 is a flowchart showing an operation example of a cropping area setting flow executed by each photographing device when synchronizing photographing start timings or photographing end timings among a plurality of photographing devices according to the fourth embodiment
  • FIG. FIG. 14 is a timing chart showing an operation example when synchronizing the imaging start timing or the imaging end timing among a plurality of imaging devices according to the fourth embodiment
  • FIG. 14 is a timing chart showing an operation example when synchronizing the shooting start timing or shooting end timing between a plurality of shooting devices according to the fifth embodiment
  • FIG. FIG. 12 is a block diagram showing a schematic configuration example of a multi-viewpoint imaging system as an information processing system according to a sixth embodiment
  • FIG. 16 is a flowchart showing an operation example of an angle-of-view adjustment flow executed by each photographing device when synchronizing photographing start timings or photographing end timings among a plurality of photographing devices according to the sixth embodiment
  • FIG. FIG. 16 is a timing chart showing an operation example when synchronizing the shooting start timing or shooting end timing between a plurality of shooting devices according to the sixth embodiment
  • FIG. 21 is a block diagram showing a schematic configuration example of a multi-view photography system as an information processing system according to a seventh embodiment
  • FIG. 21 is a block diagram showing a schematic configuration example of a multi-viewpoint imaging system as an information processing system according to an eighth embodiment
  • FIG. 21 is a flow chart showing an operation example of each photographing device for synchronizing photographing start timings among a plurality of photographing devices according to the ninth embodiment
  • FIG. 21 is a flow chart showing an operation example of each photographing device for synchronizing photographing end timing among a plurality of photographing devices according to the ninth embodiment
  • FIG. FIG. 20 is a schematic diagram for explaining a first use case of the tenth embodiment
  • FIG. 22 is a schematic diagram for explaining a second use case of the tenth embodiment
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
  • FIG. FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • FIG. 1 is a block diagram showing a schematic configuration example of a multi-viewpoint imaging system as an information processing system according to this embodiment. As shown in FIG. 1, the multi-viewpoint imaging system 1 has a configuration in which a plurality of (two in FIG. 1) imaging devices 100A and 100B are connected via a server 10. FIG.
  • Each photographing device (hereinafter referred to as 100 when individual photographing devices are not distinguished) is an information processing device including an imaging unit 110 and a communication unit 120 .
  • the communication unit 120 is connected to the server 10 via a predetermined network so as to be able to communicate with each other.
  • Predetermined networks include, for example, LAN (Local Area Network), WAN (Wide Area Network), the Internet, and mobile communication systems (4G (4th Generation Mobile Communication System), 4G-LTE (Long Term Evolution), 5G, etc.) and Bluetooth (registered trademark).
  • each photographing device 100 may transmit/receive data to/from another photographing device 100 on the network via the server 10 or directly transmit/receive data without the server 10 .
  • the imaging unit 110 includes an image sensor 111 , an EVS (Event-based Vision Sensor) 112 , a matching unit 113 and a control unit 114 .
  • EVS Event-based Vision Sensor
  • the image sensor 111 acquires, for example, video data of one viewpoint out of the multi-view video.
  • This image sensor 111 may generate color image data or may generate monochrome image data.
  • RGB image data a case of generating color image data (hereinafter referred to as RGB image data) will be exemplified.
  • CMOS Complementary Metal-Oxide-Semiconductor
  • CCD Charge-Coupled Device
  • Various image sensors capable of acquiring two-dimensional images may be used.
  • the EVS 112 is a sensor that generates event data by detecting a change in brightness of incident light that is greater than or equal to a predetermined value as an event for each pixel.
  • the event data generated by the EVS 112 includes an address for specifying the pixel where the event was detected, the polarity (positive/negative) of the detected event, and a time stamp for specifying the time when the event occurred. can be included.
  • the EVS 112 can generate frame data (image data) for each frame period by accumulating generated event data for a predetermined frame period.
  • This EVS 112 asynchronously generates event data. Then, the EVS 112 generates and outputs event image data at a predetermined frame rate based on the generated event data. Therefore, it is possible to generate image data at a frame rate, such as 1000 fps (frame per second), which is higher than that of the image sensor 111 such as CIS (eg, 60 fps).
  • the matching unit 113 performs matching processing (hereinafter referred to as pattern matching) for patterns appearing in the event image data input from the EVS 112, and based on the result of this matching, determines whether to start or end shooting.
  • An external synchronization pulse which is a trigger signal, is output to control section 114 .
  • the pattern used when the matching unit 113 generates the external synchronization pulse may be the shape, arrangement, etc. of the pixel area where the event is detected in the event image data.
  • the matching unit 113 may generate an external synchronization pulse based on a pattern represented by one event image data, or may generate a pattern (shape, arrangement, etc.) represented by a plurality of time-series event image data. etc.) may be used to generate the external synchronization pulse based on the arrangement, change, or the like.
  • the matching unit 13 may generate an external synchronization pulse based on the blinking cycle of a light emitter such as a light source (in this description, this is also included in the pattern) like Morse code.
  • the matching unit 13 may generate an external synchronization pulse based on a specific movement of a robot, a person, or the like (which is also included in the pattern in this description) like a hand flag signal.
  • the pattern matching by the matching unit 113 may be, for example, matching processing by pattern matching that matches a pre-registered pattern with a pattern represented by event image data, or for example, DNN (Deep Neural Network). It may be matching processing by a machine learning model using a neural network such as CNN (Convolutional Neural Network) or RNN (Recurrent Neural Network). When a machine learning model is used for matching processing, the learning model may be trained using, for example, event image data obtained by photographing the object 900 with the EVS 112 in advance.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • the control unit 114 controls each unit included in the imaging unit 110, for example.
  • the control unit 114 causes the EVS 112 to start event detection when the imaging device 100 is activated and the multi-view imaging is in a standby state.
  • the control unit 114 starts imaging by the image sensor 111 based on the input external synchronization pulse.
  • control section 114 ends imaging by the image sensor 111 based on the input external synchronization pulse.
  • the start of imaging may be the start of generation (output) of image data (hereinafter also referred to as RGB image data) by the image sensor 111, or the start of generation (output) of image data (hereinafter also referred to as RGB image data) by the image sensor 111. It may be the start of data recording.
  • the end of imaging may be the stop of generation (output) of RGB image data by the image sensor 111 or the stop of recording of the RGB image data output from the image sensor 111 .
  • the server 10 is configured by, for example, an information processing device such as a personal computer, a workstation, or a cloud server.
  • the server 10 notifies each imaging device 100 in advance of imaging start conditions and imaging end conditions when generating an external synchronization pulse.
  • the photographing start condition and the photographing end condition include, for example, a collation pattern to be collated against the pattern appearing in the event image data.
  • the matching pattern for the imaging start condition and the matching pattern for the imaging end condition may be the same or different.
  • the imaging start condition may also include an application, a machine learning model, or the like executed by the matching unit 113 .
  • the imaging start condition and the imaging end condition may be directly set in each imaging device 100 without going through the server 10 .
  • the server 10 causes the object 900 to perform a predetermined action by, for example, controlling the object 900 placed in the imaging space by the imaging equipment 100 or in a space adjacent thereto.
  • Object 900 may be a light source, or may be a robot or the like having a movable arm or the like.
  • the object 900 may be a person, an animal, a plant, or the like.
  • the server 10 acquires the video data acquired by the image sensor 111 of each imaging device 100 from each imaging device 100 .
  • multi-viewpoint video data for generating free-viewpoint video such as volumetric video is collected.
  • the server 10 for controlling the object 900 and the server 10 for collecting the multi-viewpoint video data may be the same server, or may be different servers.
  • the shooting start and shooting end of each shooting device 100 are controlled based on the high frame rate event image data output from the EVS 112 .
  • the plurality of photographing devices 100 start and end imaging at approximately the same timing, it is possible to synchronize the photographing start timing and the photographing end timing among the plurality of photographing devices 100 with high accuracy. .
  • each imaging device 100 operates independently of each other, and the imaging start timing and imaging end timing of the plurality of imaging devices 100 are synchronized.
  • the object 900 is a light source (hereinafter referred to as a light source 900), and the server 10 emits light from the light source 900 in chronological order according to the collation patterns illustrated in (a) to (c) of FIG.
  • the white areas indicate the pattern of luminance change due to light emission from the light source 900.
  • the pattern of luminance change due to light emission from the light source 900 is also referred to as a light emission pattern. It is assumed that this light emission pattern matches the collation pattern set in each photographing device 100 .
  • FIG. 2 is a flow chart showing an operation example of each shooting device for synchronizing shooting start timings among a plurality of shooting devices according to this embodiment.
  • control unit 114 waits until the imaging start command transmitted from the server 10 is input via the communication unit 120 (NO in step S102), and when the imaging start command is input (YES in step S102). ), generation of RGB image data by the image sensor 111 and generation of event image data by the EVS 112 are started (step S103). However, if the image sensor 111 starts generating RGB image data based on the external synchronization pulse, the image sensor 111 may be kept stopped in step S103.
  • the matching unit 113 executes a phase of generating an external synchronization pulse (synchronization signal generation phase).
  • the collation unit 113 first selects a collation pattern with a number of N+1 from among a series of collation patterns in the photographing start conditions notified in advance by the server 10 (step S104). For example, when the count value N is '0', the matching unit 113 selects the matching pattern shown in FIG. 3A, and when the count value N is '1', the matching pattern shown in FIG. A pattern is selected, and when the count value N is '2', the collation pattern shown in FIG. 3(c) is selected.
  • the matching unit 113 inputs event image data output from the EVS 112 at a predetermined frame rate (step S105). For example, the matching unit 113 inputs event image data at a frame rate of 1000 fps.
  • the matching unit 113 performs pattern matching on the event image data input in step S105 using the matching pattern selected in step S104. It is determined whether or not the pattern matches the (N+1)th matching pattern in the photographing start condition (step S106).
  • the matching unit 113 may omit resetting the count value N (step S107) and return to step S105.
  • the upper limit N_max of the count value may be, for example, the number of matching patterns included in the imaging start condition, or may be, for example, a parameter specified by the server 10 according to the imaging start condition.
  • step S109 If the count value N has not reached the upper limit N_max (NO in step S109), the matching unit 113 returns to step S104, selects the next matching pattern, and executes the subsequent operations.
  • the matching unit 113 generates an external synchronization pulse and outputs it to the control unit 114 (step S110).
  • the control unit 114 re-shutters the image sensor 111, that is, discharges the charge accumulated in each pixel of the image sensor 111 (step S111).
  • the shooting start timing of each shooting device 100 is adjusted to the timing at which the image sensor 111 is re-shuttered.
  • control unit 114 starts imaging with the image sensor 111 at a predetermined frame rate (eg, 60 fps) (step S112), and this operation ends.
  • a predetermined frame rate eg, 60 fps
  • FIG. 4 is a flow chart showing an operation example of each shooting device for synchronizing the shooting end timing among a plurality of shooting devices according to this embodiment.
  • a case where the same collation pattern is used for the photographing start condition and the photographing end condition is exemplified.
  • control unit 114 waits until the imaging end command transmitted from the server 10 is input via the communication unit 120 (NO in step S122), and when the imaging end command is input (YES in step S122). ), the matching unit 113 executes the synchronization signal generation phase (steps S123 to S129 in FIG. 4).
  • the details of the synchronization signal generation phase may be the same as those of steps S104 to S110 in FIG. 2, so description thereof is omitted here.
  • step S130 when the external synchronization pulse is input from the collation unit 113 to the control unit 114, the control unit 114 stops the imaging by the image sensor 111 and the EVS 112 (step S130), and this operation ends.
  • Timing Chart Example an operation example of the multi-viewpoint imaging system 1 will be described using a timing chart. Note that, in this description, a case where synchronization control of shooting start timing is executed in a state where the image sensors 111 of the shooting devices 100 are generating RGB image data at individual frame rates will be exemplified.
  • FIG. 5 is a timing chart showing an operation example when synchronizing shooting start timings among a plurality of shooting devices according to this embodiment.
  • the image sensor 111 of each shooting device 100 in a state in which synchronous control of shooting start timing is not executed, the image sensor 111 of each shooting device 100 generates RGB image data at a frame rate independent of the other shooting devices 100. are doing.
  • the image sensor 111 of the photographing device 100 of interest is CIS#1
  • the image sensor 111 of the other photographing device is CIS#2.
  • the user When synchronizing the shooting start timings among the plurality of shooting devices 100, the user first inputs a shooting start instruction to the server 10 at timing i1. Then, at timing i2, the server 10 transmits a shooting start command to each shooting device 100 and commands the light source 900 to emit light in a predetermined light emission pattern (see FIG. 3, for example).
  • the photographing start instruction includes the specification of the light emission pattern to operate the light source 900, the specification of the standby period until the start of matching, the specification of the time length of the matching period (time until matching failure is determined), and the specification of each shooting.
  • the specification of the area (also referred to as cropping position) in which the image of the light source 900 is projected on the EVS 112 of the device 100 may be included.
  • the light source 900 Upon receiving a light emission command from the server 10, the light source 900 starts emitting light at a predetermined cycle according to, for example, a light emission pattern preset by the server 10. In this example, the light source 900 performs switching from the light emission pattern shown in (a) of FIG. 3 to the light emission pattern shown in (c) at a predetermined cycle, for example.
  • the light emission cycle of the light source 900 may be longer than the event image data generation cycle (frame rate).
  • the collation unit 113 detects a light emission pattern detected as event image data (hereinafter also referred to as a detection pattern) based on the degree of matching between the collation pattern and the number of consecutive matches (hereinafter also referred to as the number of consecutive matches). may perform matching.
  • the collation unit 113 sets a threshold for the degree of matching or the number of consecutive matches between the detection pattern and the collation pattern. may be determined to match. With such a configuration, even if the detection pattern and the matching pattern do not match completely or match discontinuously, it is possible to flexibly and appropriately determine whether the detection pattern and the matching pattern match. It is possible to judge.
  • the EVS 112 when receiving the image capturing start command, the EVS 112 starts generating event image data at a predetermined frame rate (step S105 in FIG. Pattern matching is initiated on the image data.
  • step S104 in FIG. 2 preparation in the matching unit 113, that is, acquisition of a matching pattern to be matched against event image data (step S104 in FIG. 2) may not be completed. Therefore, in this example, a waiting period is provided, and pattern matching by the matching unit 113 is started at the timing i4 subsequent to the timing i3 at which the matching unit 113 has completed acquisition of the matching pattern. In that case, the collation period by the collation unit 113 is the period after the timing i4.
  • event image data of the light emission pattern shown in (a) of FIG. 3 is generated at timing i5
  • event image data of the light emission pattern shown in (b) is generated at timing i6
  • (c ) is generated
  • the matching unit 113 fails to match the event image data generated at timing i7 (NO in step S106 in FIG. 2).
  • the count value N is reset, and pattern matching is performed again.
  • the event image data of the emission pattern shown in (a) of FIG. 3 is generated at timing i8, the event image data of the emission pattern shown in (b) is generated at timing i9, and (c) is generated at timing i10
  • the matching unit 113 successfully performs pattern matching for all the event image data at timings i8 to i10 (YES in step S109 in FIG. 2).
  • An external synchronization pulse is output to the unit 114 (step S110 in FIG. 2).
  • the control unit 114 Upon receiving the external synchronization pulse at timing i11, the control unit 114 reshutters the image sensor 111 at timing i12 (step S111 in FIG. 2) and starts shooting at a predetermined frame rate (step S112 in FIG. 2).
  • the image sensor 111 is re-shuttered at the timing i12 by the same operation in the other photographing devices 100, and photographing at a predetermined frame rate is started. High-precision synchronization becomes possible.
  • control unit 114 may notify the server 10 of the start of synchronous photography at timing i11, for example.
  • the server 10 that has been notified of the start of synchronized imaging from all the imaging devices 100 may stop the light emitting operation of the light source 900 at timing i13, for example.
  • FIG. 6 is a timing chart showing an operation example when synchronizing shooting end timings among a plurality of shooting devices according to this embodiment.
  • the image sensor 111 of each photographing device 100 generates RGB image data at the timing and frame rate synchronized with those of the other photographing devices 100 .
  • the image sensor 111 of the photographing device 100 of interest is CIS#1
  • the image sensor 111 of the other photographing device is CIS#2.
  • the user When synchronizing the shooting end timings among the plurality of shooting devices 100, the user first inputs a shooting end instruction to the server 10 at timing j1.
  • the photographing end instruction includes designation of a light emission pattern to be operated by the light source 900, designation of a waiting period until the start of verification, designation of the time length of the verification period, and designation of each photographing device 100. This may include specifying an area (also called a cropping position) in which the image of the light source 900 in the EVS 112 is projected.
  • the server 10 transmits a shooting end command to each of the shooting devices 100, and illuminates the light source 900 with a predetermined light emission pattern (for example, see FIG. 3). Command to emit light.
  • the light source 900 Upon receiving a light emission command from the server 10, the light source 900 starts emitting light at a predetermined cycle according to, for example, a light emission pattern preset by the server 10. In this example, the light source 900 switches from the light emission pattern shown in FIG. 3A to the light emission pattern shown in FIG.
  • each photographing device 100 when receiving a photographing end command, the EVS 112 starts generating event image data at a predetermined frame rate (step S124 in FIG. 4), similarly to the synchronous control of the photographing start timing. , after the waiting period has elapsed (after timing j4), the matching unit 113 starts pattern matching for event image data sequentially input.
  • the matching unit 113 fails to match the pattern of the event image data generated at timing j7 (NO in step S125 of FIG. 4). , the count value N is reset, and pattern matching is performed again.
  • event image data of the light emission pattern shown in FIG. 3A is generated at timing j8, event image data of the light emission pattern shown in FIG.
  • the collation unit 113 successfully performs pattern collation for all the event image data at timings j8 to j10 (YES in step S128 in FIG. 4).
  • An external synchronization pulse is output to the unit 114 (step S129 in FIG. 4).
  • the control unit 114 Upon receiving the external synchronization pulse at timing j11, the control unit 114 terminates synchronization control of the image sensor 111 at timing j12 (step S130 in FIG. 4).
  • the synchronization control of the image sensor 111 is stopped at the timing j12 by the same operation in the other photographing devices 100, so that the photographing end timings of the plurality of photographing devices 100 can be synchronized with high accuracy.
  • the image sensor 111 of each photographing device 100 generates RGB image data at an individual frame rate independent of the other photographing devices 100 after the synchronization control is finished, but the present invention is not limited to this. For example, as shown in FIG. 4, driving of the image sensor 111 may be stopped.
  • control unit 114 may notify the server 10 that the synchronized photographing has ended, for example, at timing j11.
  • the server 10 that has been notified of the end of the synchronized shooting from all the shooting devices 100 may stop the light emitting operation of the light source 900 at timing j13, for example.
  • each imaging device 100 is controlled based on event image data with a high frame rate. It is possible to precisely synchronize the imaging start timing and the imaging end timing.
  • a plurality of photographing devices 100 are synchronized based on the light emission patterns of the light sources 900 arranged within the angle of view of the EVS 112 in all the photographing devices 100, it is not necessary to construct a network with little delay.
  • a simpler method makes it possible to achieve high-precision synchronization among the plurality of image capturing devices 100 .
  • the EVS 112 capable of generating event image data at a high frame rate is used as a sensor for generating a trigger when generating an external synchronization pulse, but the present invention is limited to this. not. Therefore, in the second embodiment, instead of the EVS 112, an image sensor capable of generating image data at a frame rate higher than that of the image sensor 111 is used.
  • FIG. 7 is a block diagram showing a schematic configuration example of a multi-viewpoint imaging system as an information processing system according to this embodiment. As shown in FIG. 7, the multi-viewpoint imaging system 2 has the same configuration as the system configuration example using FIG. 212 replaced configuration.
  • the high-speed image sensor 212 may be an image sensor capable of generating color or monochrome image data at a higher frame rate than a normal image sensor (eg, image sensor 111).
  • This high-speed image sensor 212 may be, for example, an image sensor designed to enable generation of image data at a high frame rate, or may be an image sensor that has the same configuration as a normal image sensor, The image sensor may be adjusted so that image data can be generated at a high frame rate by thinning out pixels or narrowing down the area to be read.
  • the object 900 is a light source
  • the server 10 causes the light source 900 to emit light in chronological order according to the matching patterns illustrated in FIGS. 3(a) to 3(c).
  • FIG. 8 is a flow chart showing an operation example of each shooting device for synchronizing shooting start timings among a plurality of shooting devices according to this embodiment. As shown in FIG. 8, the operation according to the present embodiment is similar to the operation described with reference to FIG. 2 in the first embodiment, except that steps S103 and S105 are replaced with steps S203 and S205.
  • step S203 when a shooting start command is input from the server 10 (YES in step S102), the control unit 114 causes the image sensor 111 to generate RGB image data and the high-speed image sensor 212 to generate image data. Start. However, when the image sensor 111 starts generating RGB image data based on the external synchronization pulse, the image sensor 111 may be kept in a stopped state.
  • the matching unit 113 generates event image data based on image data input from the high-speed image sensor 212 at a predetermined frame rate. For example, the matching unit 113 may calculate the difference in each pixel value between the image data of the current frame and the image data of the previous frame, and generate the event image data based on the calculated difference.
  • a timing chart for synchronizing shooting start timings among a plurality of shooting devices may be the same as the timing chart described with reference to FIG. 5 in the first embodiment.
  • FIG. 9 is a flow chart showing an operation example of each shooting device for synchronizing the shooting end timing among a plurality of shooting devices according to this embodiment. As shown in FIG. 9, the operation according to the present embodiment is similar to the operation described with reference to FIG. 4 in the first embodiment, except that steps S124 and S130 are replaced with steps S224 and S230.
  • step S224 the matching unit 113 generates event image data based on image data generated at a predetermined frame rate from the high-speed image sensor 212, similar to step S205 in FIG.
  • control unit 114 stops the image capturing by the image sensor 111 and the high-speed image sensor 212, and this operation ends.
  • a timing chart for synchronizing shooting end timings among a plurality of shooting devices may be the same as the timing chart described with reference to FIG. 6 in the first embodiment.
  • the imaging operation of each imaging device 100 is controlled based on event image data with a high frame rate.
  • the imaging start timing and the imaging end timing can be synchronized with high accuracy among the plurality of imaging devices 100 .
  • a network with little delay can be constructed. It is possible to achieve high-precision synchronization between the plurality of photographing devices 100 by an easier method without the need for such a technique.
  • each photographing device 100 includes the image sensor 111 in order to create a multi-view video was exemplified, but the present invention is not limited to this. Therefore, in the third embodiment, instead of the image sensor 111, a distance measuring sensor capable of measuring the distance to an object is used.
  • a distance measuring sensor capable of measuring the distance to an object is used.
  • a ToF (Time of Flight) sensor is used as a distance measurement sensor is exemplified, but the present invention is not limited to this, and various distance measurement sensors such as millimeter wave radar may be used.
  • FIG. 10 is a block diagram showing a schematic configuration example of a multi-view photography system as an information processing system according to this embodiment.
  • the multi-viewpoint imaging system 3 has the same configuration as the system configuration example using FIG. 311 replaced configuration.
  • a light sensor 312 is provided instead of the EVS 112, and the light sensor 312, such as the EVS 112 or the high-speed image sensor 212, generates image data at a higher frame rate than the ToF sensor 311.
  • a variety of sensors capable of sensing may be used.
  • the ToF sensor 311 generates depth image data by acquiring the distance (depth value) to the object for each pixel.
  • the ToF sensor 311 may be a direct ToF method or an indirect ToF method.
  • the start timing and end timing of shooting by the ranging sensor can be set at a frame rate higher than that of the ranging sensor.
  • the image data acquired by the light receiving sensor 312 capable of generating the image data it is possible to synchronize the imaging start timing and the imaging end timing with high accuracy among the plurality of imaging devices 100. becomes.
  • each shooting device 100 performs a cropping area ( By setting a region of interest (also called an effective pixel region), it is possible to further improve synchronization accuracy by reducing the amount of data processing, and improve matching accuracy by setting the region of interest. Achieve.
  • the base embodiment is not limited to the first embodiment, and may be another embodiment.
  • FIG. 11 is a block diagram showing a schematic configuration example of a multi-viewpoint imaging system as an information processing system according to this embodiment. As shown in FIG. 11, the multi-viewpoint photographing system 4 has the same configuration as the system configuration example using FIG. is configured to
  • the angle of view of the image sensor 111 and the angle of view of the EVS 112 are adjusted so as to image the same area.
  • the correspondence relationship for the coordinate system of each image data is set so that each region in the RGB image data acquired by the image sensor 111 corresponds to each region in the event image data generated by the EVS 112. For example, it is managed by the matching unit 113 .
  • the collation unit 113 performs recognition processing on the RGB image data input from the image sensor 111 to identify an area in which a specific target object 900 such as a person, robot, or light source is captured. Then, the matching unit 113 identifies a pixel area to be active in the EVS 112 based on the area identified from the RGB image data, and sets the identified pixel area in the EVS 112 as a cropping area. Causes EVS 112 to generate event image data. That is, the collation unit 113 operates to narrow down the pixel area to be validated in the EVS 112 based on the area in which the object 900 specified from the RGB image data is photographed.
  • the information (matching pattern) for identifying the person 900 and/or one of the specific posture, expression, movement, etc. made by the person 900 is sent from the server 10 to each photographing device 100.
  • An imaging start condition and an imaging end condition including information (matching pattern) for specifying the above are notified in advance.
  • the matching unit 113 is configured to recognize a specific person 900 from the input event image data, or to recognize a specific posture, facial expression, movement, etc. made by the specific person 900 in advance.
  • a trained machine learning model is implemented.
  • FIG. 12 is a flowchart showing an operation example of a cropping area setting flow executed by each photographing device when synchronizing the photographing start timing or photographing end timing among a plurality of photographing devices according to this embodiment. Note that the operation shown in FIG. 12 is performed when, for example, the operation flow described with reference to FIG. 2 in the first embodiment or the operation flow described with reference to FIG. 4 in the first embodiment is activated. These operations may be executed in the matching unit 113 in parallel.
  • the matching unit 113 first determines whether RGB image data has been input from the image sensor 111 (step S401). If RGB image data has not been input (NO in step S401), the matching unit 113 proceeds to step S403. On the other hand, when RGB image data is input (YES in step S401), the collation unit 113 performs recognition processing on the input RGB image data to determine the position of the target (person 900) in the RGB image data. (hereinafter also referred to as target position) is specified (step S402).
  • step S403 the matching unit 113 inputs event image data output from the EVS 112 at a predetermined frame rate.
  • the event image data input in step S105 of FIG. 2 or step S124 of FIG. 4 may be used.
  • the matching unit 113 identifies the target position in the event image data by executing recognition processing on the input event image data (step S404).
  • the matching unit 113 estimates the optical flow of the target position from the position change between the target position specified from the RGB image data in step S402 and the target position specified from the event image data in step S404. (Step S405). At that time, if there is the optical flow estimated last time, the previously estimated target position is added together with the target position specified from the RGB image data in step S402 or instead of the target position specified from the RGB image data in step S402. Optical flow may also be used. Also, when camera shake or the like occurs in the imaging device 100, for example, the amount of movement of an object other than the target reflected in the RGB image data, the IMU (Inertial Measurement Unit) mounted in the imaging device 100, etc. The optical flow at the target position may be estimated by also considering information from sensors and the like.
  • the matching unit 113 sets or updates the cropping area for the EVS 112 based on the target position specified in step S404 and the optical flow of the target position estimated in step S405 (step S406).
  • the matching unit 113 determines whether or not to end the operation based on whether the operation flow shown in FIG. 2 or the operation flow shown in FIG. 4 has ended (step S407), and ends the operation. If so (YES in step S407), this operation ends. On the other hand, when not ending (NO of step S407), the collation part 113 returns to step S401, and performs subsequent operation
  • Timing Chart Example an operation example of the multi-viewpoint imaging system 4 will be described using a timing chart. It should be noted that, in the following description, as in the description of the operation flow example, for example, it is assumed that a scene such as an athletic meet includes a plurality of people, and the target object 900 is one of the plurality of people ( A case of a person 900) will be exemplified.
  • FIG. 13 is a timing chart showing an operation example when synchronizing shooting start timings or shooting end timings among a plurality of shooting devices according to this embodiment.
  • the user when synchronizing the shooting start timings or shooting end timings among the plurality of shooting devices 100, the user first inputs a shooting start instruction/shooting end instruction to the server 10 at timing t1. Then, the server 10 transmits a shooting start command/shooting end command to each shooting device 100 at timing t2.
  • the imaging start instruction/imaging end instruction may include designation of a waiting period until the start of verification, designation of the time length of the verification period, and the like.
  • the EVS 112 when receiving the imaging start command/imaging end command, the EVS 112 starts generating event image data at a predetermined frame rate (step S105 in FIG. 2, step S124 in FIG. 4), and timing At t3, a cropping area setting/update command is input from the control unit 114 to the matching unit 113 .
  • the matching unit 113 to which the cropping area setting/update command is input for example, based on the RGB image data input from the image sensor 111 just before the timing t3 and the event image data similarly input just before the timing t3, , and the EVS 112, and set or updated in the EVS 112 at the next timing t4 (operation flow shown in FIG. 12).
  • the cropping area is set/updated for each frame of the event image data.
  • pattern matching for sequentially input event image data is started in the same manner as in the timing chart described with reference to FIG. 5 or 6, for example.
  • the matching unit 113 sets the entire pixel area of the EVS 112 as the cropping area at timing t7, and the image shown in FIG.
  • the indicated actions may be performed.
  • the determination as to whether or not the target (person 900) has been lost may be performed not only in one frame but also in multiple frames. That is, for example, in step S404 of FIG. 12, if the target position cannot be identified in two or more consecutive frames, it is determined that the target (person 900) is lost, and the entire pixel area of the EVS 112 is set as the crop area.
  • the matching unit 113 outputs an external synchronization pulse to the control unit 114 at timing t11 (Fig. 2 and step S129 in FIG. 4).
  • the control unit 114 Upon receiving the external synchronization pulse at timing t11, the control unit 114 reshutters the image sensor 111 at timing t12 (step S111 in FIG. 2) or terminates the synchronization control of the image sensor 111 (step S130 in FIG. 4).
  • the image sensor 111 is re-shuttered or the synchronization control is stopped at the timing t12 by the same operation in the other photographing devices 100. Therefore, when the photographing start timing or the photographing end timing of the plurality of photographing devices 100 is high. Accurate synchronization becomes possible.
  • the control unit 114 may notify the server 10 of the completion of the synchronized photographing at timing t13, for example.
  • the light receiving parameter of the EVS 112 is updated according to the accuracy of pattern matching by the matching unit 113. Further improvement of synchronization accuracy is achieved by improving collation accuracy.
  • the base embodiment is not limited to the first embodiment, and may be another embodiment.
  • the system configuration of the multi-viewpoint imaging system according to this embodiment may be, for example, the same configuration example as the multi-viewpoint imaging system 4 described using FIG. 11 in the fourth embodiment.
  • the matching unit 113 operates as follows.
  • FIG. 14 is a timing chart showing an operation example when synchronizing shooting start timings or shooting end timings among a plurality of shooting devices according to this embodiment.
  • the matching unit 113 determines whether or not the light reception parameters of the EVS 112 are appropriate based on the result of pattern matching in step S106 of FIG. 2 or step S125 of FIG. .
  • the light reception parameters of the EVS 112 may include, for example, the threshold level of each pixel, analog/digital gain, event data accumulation period (one frame period), and the like.
  • the matching unit 113 changes the light receiving parameter of the EVS 112 so as to increase the pixel threshold level.
  • the matching unit 113 changes the light receiving parameter of the EVS 112 so as to lower the pixel threshold level.
  • the matching unit 113 changes the light receiving parameter so as to shorten the accumulation period.
  • the matching unit 113 changes the light receiving parameter so as to lengthen the accumulation period.
  • the light reception parameter is updated for each frame of the event image data, but the light reception parameter is not limited to this, and the light reception parameter may be updated once every several frames.
  • each imaging device 100 is equipped with, for example, a wide-angle lens, so that imaging with a wider angle of view than, for example, the EVS 112 is possible.
  • wide-angle image data the RGB image data (hereinafter referred to as wide-angle image data) acquired by a wide-angle image sensor, synchronization accuracy is further improved by reducing the loss of targets outside the angle of view.
  • the base embodiment is not limited to the first embodiment, and may be another embodiment.
  • FIG. 15 is a block diagram showing a schematic configuration example of a multi-viewpoint imaging system as an information processing system according to this embodiment.
  • the image sensor 111 is replaced with a wide-angle image sensor 611 capable of wide-angle imaging in the same configuration as the system configuration example using FIG. 1 in the first embodiment.
  • the EVS 112 is also provided with an adjustment mechanism 612 .
  • the adjustment mechanism 612 may include a mechanism such as a gimbal capable of adjusting the angle of view (posture, zoom, etc.) of the EVS 112, as well as sensors for identifying the posture of the EVS 112, such as potentiometers and encoders.
  • the matching unit 113 executes recognition processing on the wide-angle image data input from the wide-angle image sensor 611 to specify an area in which a specific target object 900 such as a person, a robot, or a light source is captured. .
  • the matching unit 113 then identifies the orientation and/or zoom magnification (parameter) of the EVS 112 based on the region identified from the wide-angle image data, and controls the adjustment mechanism 612 based on the identified orientation and/or zoom magnification. By doing so, adjustment is made so that the target object 900 is within the angle of view of the EVS 112 .
  • FIG. 16 is a flowchart showing an operation example of the angle-of-view adjustment flow executed by each of the photographing devices when synchronizing the photographing start timings or photographing end timings among a plurality of photographing devices according to this embodiment. Note that the operation shown in FIG. 16 is performed when, for example, the operation flow described with reference to FIG. 2 in the first embodiment or the operation flow described with reference to FIG. 4 in the first embodiment is activated. These operations may be executed in the matching unit 113 in parallel.
  • the matching unit 113 first determines whether wide-angle image data has been input from the wide-angle image sensor 611 (step S601). If wide-angle image data has not been input (NO in step S601), the matching unit 113 proceeds to step S603. On the other hand, if wide-angle image data has been input (YES in step S601), matching unit 113 performs recognition processing on the input wide-angle image data to determine the position of the target (person 900) in the wide-angle image data. (hereinafter also referred to as target position) is specified (step S602).
  • step S603 the matching unit 113 inputs event image data output from the EVS 112 at a predetermined frame rate. Note that in step S603, the event image data input in step S105 of FIG. 2 or step S124 of FIG. 4 may be used.
  • the matching unit 113 determines whether or not the target (person 900) is included in the event image data by executing recognition processing on the input event image data (step S604). If the target (person 900) is included in the event image data (YES in step S604), the verification unit 113 proceeds to step S607.
  • the matching unit 113 compares the target position identified from the wide-angle image data in step S602 with the current posture of the EVS 112, for example. and/or from the zoom magnification, calculate parameters (attitude and/or zoom magnification) for keeping the target within the angle of view of the EVS 112 (step S605), and control the adjustment mechanism 612 based on the calculated parameters. Then, the posture and/or zoom magnification of the EVS 112 are adjusted so that the EVS 112 follows the target (step S606).
  • each imaging device 100 does not have the adjustment mechanism 612
  • the adjustment parameters are output to the outside of the imaging unit 110, and displayed on the UI (user interface) displayed on the display unit of each imaging device 100 or on the server 10.
  • the user may be notified to adjust the angle of view via a UI or the like.
  • step S607 the matching unit 113 determines whether or not to end the operation based on whether the operation flow shown in FIG. 2 or the operation flow shown in FIG. 4 has ended, and ends the operation. If so (YES in step S607), this operation ends. On the other hand, when not ending (NO of step S607), the collation part 113 returns to step S601, and performs subsequent operation
  • Timing Chart Example an operation example of the multi-viewpoint imaging system 6 will be described using a timing chart. It should be noted that, in the following description, as in the description of the operation flow example, for example, it is assumed that a scene such as an athletic meet includes a plurality of people, and the target object 900 is one of the plurality of people ( A case of a person 900) will be exemplified.
  • FIG. 17 is a timing chart showing an operation example when synchronizing shooting start timings or shooting end timings among a plurality of shooting devices according to this embodiment.
  • the user when synchronizing the shooting start timings or shooting end timings among the plurality of shooting devices 100, the user first inputs a shooting start instruction/shooting end instruction to the server 10 at timing t1. Then, the server 10 transmits a shooting start command/shooting end command to each shooting device 100 at timing t2.
  • the imaging start instruction/imaging end instruction may include designation of a waiting period until the start of verification, designation of the time length of the verification period, and the like.
  • the EVS 112 when receiving the imaging start command/imaging end command, the EVS 112 starts generating event image data at a predetermined frame rate (step S105 in FIG. 2, step S124 in FIG. 4), and timing At t ⁇ b>3 , a command to adjust the posture and/or the zoom magnification of the EVS 112 is input from the control unit 114 to the matching unit 113 .
  • the collation unit 113 to which the adjustment command for the attitude and/or the zoom magnification of the EVS 112 is input, determines whether or not the target is included in the event image data based on the event image data input immediately before the timing t3, for example. (step S604 in FIG. 16), and if not included (NO in step S604 in FIG.
  • step S605 in FIG. 16 Parameters for fitting the target are calculated (step S605 in FIG. 16), and at timing t4, the attitude and/or zoom magnification of the EVS 112 are adjusted (step S606 in FIG. 16).
  • step S606 in FIG. 16 the attitude and/or the zoom magnification of the EVS 112 are adjusted for each frame of the event image data. Alternatively, adjustment of the zoom magnification may be performed.
  • pattern matching for sequentially input event image data is started in the same manner as in the timing chart described with reference to FIG. 5 or 6, for example.
  • the matching unit 113 After starting adjustment of the posture and/or zoom magnification of the EVS 112, for example, if the event image data input at timing t7 does not include the target (person 900), the matching unit 113 adjusts the wide-angle image input immediately before timing t7. Parameters for adjusting the attitude and/or zoom magnification of the EVS 112 are calculated based on the image data (frame C). Then, at timing t8, the posture and/or the zoom magnification of the EVS 112 are adjusted based on the calculated parameters, so that the target is contained within the angle of view of the EVS 112. FIG. At that time, the matching unit 113 may calculate the target optical flow based on the event image data up to just before the timing t7, and calculate the parameter in consideration of the calculated optical flow.
  • the matching unit 113 outputs an external synchronization pulse to the control unit 114 at timing t12 (Fig. 2 and step S129 in FIG. 4).
  • the control unit 114 Upon receiving the external synchronization pulse at timing t12, the control unit 114 re-shutters the wide-angle image sensor 611 (step S111 in FIG. 2) or terminates the synchronization control of the wide-angle image sensor 611 (step S130 in FIG. 4) at timing t13. ).
  • the wide-angle image sensor 611 is re-shuttered or synchronously stopped at timing t13 by a similar operation in the other imaging devices 100. Therefore, the shooting start timings or shooting end timings of the plurality of shooting devices 100 are determined. High-precision synchronization becomes possible.
  • the control unit 114 may notify the server 10 of the completion of the synchronized photographing at timing t14, for example.
  • light emission patterns such as light emission shapes, arrangements, periods, and combinations thereof, flashing periods of light sources such as light sources, such as Morse code, and identification of robots, people, etc., such as semaphore signals.
  • a case has been exemplified in which, when these patterns are detected, a plurality of imaging devices 100 synchronize the start or end of imaging with the movement of the camera as a trigger.
  • a plurality of imaging devices 100 synchronize the start or end of imaging with the movement of the camera as a trigger.
  • the illuminance in the hall changes greatly between the period during which a musical performance or drama is being performed and the period during which it is not being performed. Therefore, in the present embodiment, instead of the EVS 112, the high-speed image sensor 212, and the light receiving sensor 312, an illuminance sensor is used to detect illuminance, thereby synchronizing the start or end of imaging with a plurality of imaging devices 100. Illustrate.
  • FIG. 18 is a block diagram showing a schematic configuration example of a multi-view photography system as an information processing system according to this embodiment. As shown in FIG. 18, the multi-viewpoint imaging system 7 has the same configuration as the system configuration example using FIG. 1 in the first embodiment. has been replaced.
  • the illuminance sensor 712 outputs an illuminance value as a detection result at a sampling rate higher than that of the image sensor 111, for example.
  • the total value or average value of the pixel values detected by the EVS 112 or the high-speed image sensor 212 may be used as the illuminance detection result.
  • the collation unit 113 collates the illuminance value output from the illuminance sensor 712 with the illuminance value included in the imaging start condition or the imaging end condition notified from the server 10, for example, and generates an external synchronization pulse based on the result. output.
  • "verification” includes comparison (confirmation of magnitude relationship) between the illuminance value output from the illuminance sensor 712 and the illuminance value given as a condition.
  • the imaging operation of each imaging device 100 is controlled based on the illuminance value output at a high sampling rate. Therefore, it is possible to synchronize the imaging start timing and the imaging end timing among the plurality of imaging devices 100 with high accuracy.
  • the trigger is not limited to the illuminance value.
  • a plurality of imaging devices 100 may synchronize the start or end of imaging. Therefore, in the present embodiment, instead of the EVS 112, the high-speed image sensor 212, the light receiving sensor 312, and the illuminance sensor 712, an infrared sensor is used to detect visible and external light. A case of synchronizing the end is exemplified.
  • FIG. 19 is a block diagram showing a schematic configuration example of a multi-view photography system as an information processing system according to this embodiment. As shown in FIG. 19, the multi-viewpoint imaging system 8 has the same configuration as the system configuration example using FIG. 1 in the first embodiment. has been replaced by
  • the infrared sensor 812 detects infrared light at a sampling rate higher than that of the image sensor 111, and outputs the result (eg, luminance value).
  • the EVS 112 or the high-speed image sensor 212 may be provided with pixels that detect visible light such as infrared light, and detection results from these pixels may be used.
  • the collation unit 113 collates the luminance value of the infrared light output from the infrared sensor 812 with the luminance value included in, for example, the imaging start condition or the imaging end condition notified from the server 10, and based on the result, an external Generates and outputs a sync pulse. It should be noted that "verification" in this description includes comparison (confirmation of magnitude relationship) between the luminance value output from the infrared sensor 812 and the luminance value given as a condition.
  • the infrared sensor 812 is used instead of the EVS 112, the high-speed image sensor 212, the light receiving sensor 312, and the illuminance sensor 712, each Since the imaging operation of the imaging device 100 is controlled, it is possible to synchronize the imaging start timing and the imaging end timing among the plurality of imaging devices 100 with high accuracy.
  • the generation rule of the external synchronization pulse is limited to this. not.
  • an external sync pulse may be generated when the pattern detected by each imaging device 100 does not match a preset matching pattern. Therefore, in the present embodiment, for example, based on the multi-view photography system 1 exemplified in the first embodiment, a specific movement of a moving object such as a robot or a person is used as a verification pattern by the verification unit of each photography device 100. 113 is set, and multi-viewpoint synchronous imaging is executed when the detected movement of an object does not match a pre-registered matching pattern.
  • the base embodiment is not limited to the first embodiment, and may be another embodiment.
  • the target is a person such as a singer or an actor
  • the movement of a person or model may be set as a matching pattern in the matching unit 113 of each photographing device 100 .
  • the object is a robot such as a robot arm or a pet robot in a production factory
  • the movement of the robot extracted from the image capturing device 100 may be set as a matching pattern in the matching unit 113 of each imaging device 100 .
  • the setting of the matching pattern to the matching unit 113 may be performed from the server 10 to each photographing device 100 collectively or separately, or may be individually performed in each photographing device 100 .
  • FIG. 20 is a flowchart showing an operation example of each imaging device for synchronizing imaging start timings among a plurality of imaging devices according to this embodiment. As shown in FIG. 20, the operation according to the present embodiment is similar to the operation described with reference to FIG. 2 in the first embodiment, except that step S106 is replaced with step S906.
  • FIG. 21 is a flowchart showing an operation example of each imaging device for synchronizing the imaging end timings among a plurality of imaging devices according to the present embodiment. As shown in FIG. 21, the operation according to the present embodiment is similar to the operation described with reference to FIG. 4 in the first embodiment, except that step S125 is replaced with step S925.
  • FIG. 22 is a schematic diagram for explaining the first use case according to this embodiment. As shown in FIG. 22, in the first use case, synchronous photography is performed by photographing devices 100-1 to 100-4 respectively provided at a plurality of traffic lights 901-1 to 901-4 installed at an intersection. It is
  • photographing devices 100-1 to 100-4 provided on objects fixed at intersections such as traffic lights 901-1 to 901-4
  • photographing devices 100 mounted on automobiles 902-1 to 902-2 -5 to 100-6 can be synchronized to capture more detailed multi-view images, which can contribute to further accuracy improvement and speeding up of situation assessment and on-site verification. becomes.
  • FIG. 23 is a schematic diagram for explaining a second use case according to this embodiment.
  • surveillance cameras installed in stores such as convenience stores and bakeries, buildings, etc.
  • surveillance cameras installed along roads, etc. are equipped with the above-described image capturing apparatus.
  • a case in which devices 100-11 to 100-13 (hereinafter referred to as surveillance cameras 100-11 to 100-13) are applied is illustrated.
  • Synchronized shooting by a plurality of surveillance cameras 100-11 to 100-13 makes it possible to generate multi-viewpoint images capable of reproducing scenes such as criminal acts and accidents from multiple viewpoints. As a result, it is possible to contribute to improving the accuracy and speed of situation assessment and on-site verification.
  • the photographing function of the photographing device 100 mounted on the automobile, mobile phone, smartphone, etc.
  • a portable device or wearable device assumed to have functions equivalent to those of the shooting device 100
  • it is possible to generate a more detailed multi-view video so that it is possible to grasp the situation and improve the situation at the scene. It is possible to contribute to further accuracy improvement and speeding up of verification and the like.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 24 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an exterior information detection unit 12030, an interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output unit 12052, and an in-vehicle network I/F (Interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • the body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 25 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 25 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of an imaging unit 12104 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to, for example, the driver state detection unit 12041 and the imaging unit 12031 among the configurations described above.
  • the technology according to the present disclosure By applying the technology according to the present disclosure to the driver state detection unit 12041 and the imaging unit 12031, it is possible to generate a multi-viewpoint image together with other imaging devices 100.
  • FIG. 1 An example of a vehicle control system to which the technology according to the present disclosure can be applied has been described above.
  • the technology according to the present disclosure can be applied to, for example, the driver state detection unit 12041 and the imaging unit 12031 among the configurations described above.
  • An information processing system comprising a plurality of imaging devices, Each of the imaging devices includes: an imaging unit; a sensor that outputs detection results at a rate higher than that of the imaging unit; a collation unit that collates detection results output from the sensor; a control unit that causes the imaging unit to start imaging based on a collation result by the collating unit;
  • An information processing system comprising (2) The information processing system according to (1), wherein the matching unit compares a pattern included in the detection result with a previously stored matching pattern.
  • the collation unit collates the detection result using a learning model that receives the detection result as an input.
  • the collation unit collates the light emission pattern of the light source unit detected by the sensor.
  • the light source unit emits light in a light emission pattern that changes along the time series.
  • the collation unit collates one or more of shape, arrangement, blinking period, posture, facial expression, and movement of the object or light source detected by the sensor. information processing system.
  • the information processing system according to any one of (1) to (5), wherein the collation unit collates an illuminance value detected by the sensor or a luminance value of outside visible light detected by the sensor. .
  • the sensor comprises a plurality of pixels arranged two-dimensionally,
  • the matching unit specifies an area in which an object is captured in the image data acquired by the imaging unit, and narrows down a pixel area to be effective in the sensor based on the area in which the object is captured.
  • the information processing system according to any one of (7).
  • the matching unit estimates an optical flow of the object from the detection result detected by the sensor, and sets the effective pixel region based on the estimated optical flow. Information according to (8) above. processing system.
  • the matching unit specifies an area in which an object is captured in the image data acquired by the imaging unit, and controls the adjustment mechanism based on the area in which the object is captured.
  • the information processing system according to any one of. (11) The information processing system according to (10), wherein the matching unit estimates an optical flow of the object from a detection result detected by the sensor, and controls the adjustment mechanism based on the estimated optical flow. (12) The information processing system according to (10) or (11), wherein the imaging unit has a wider angle of view than the sensor. (13) The information processing system according to any one of (1) to (12), wherein the imaging unit is an image sensor that generates color or monochrome image data within an angle of view.
  • the sensor is an EVS (Event-based Vision Sensor) that detects a change in brightness of incident light as an event and outputs the detection result.
  • the sensor is a high-speed image sensor that acquires image data at a frame rate higher than that of the imaging unit.
  • the sensor is an illuminance sensor that outputs detection results at a sampling rate higher than that of the imaging unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

複数の撮影機器間の同期をより容易に取ることを可能にする。実施形態に係る情報処理システムは、複数の撮影機器を備える情報処理システムであって、前記撮影機器（１００）それぞれは、撮像部（１１１）と、前記撮像部よりも高いレートで検出結果を出力するセンサ（１１２）と、前記センサから出力された検出結果を照合する照合部（１１３）と、前記照合部による照合結果に基づいて前記撮像部に撮像を開始させる制御部（１１４）と、を備える。

Description

情報処理システム、情報処理装置及び情報処理方法
　本開示は、情報処理システム、情報処理装置及び情報処理方法に関する。
　近年、複数の撮影機器で撮像された多視点撮影から自由視点映像を作成する技術が注目されてきている。一方で、複数の撮影機器を用いる場合、それぞれの撮影機器の撮影タイミングを同期した撮影が困難であるという課題が存在する。この課題を解決する方法としては、例えば、複数の撮影機器に対してネットワーク経由で同時に撮影命令を送信することで、同じタイミングで撮影を開始させる方法が存在する。
特開２０１２－１２４５７４号公報 特開２０１３－１８７６４２号公報 特開２００９－１４７５９７号公報
　しかしながら、複数の撮影機器による撮影をネットワーク経由で同期させるためには、事前に十分な環境を整えることが必要であり、多くの時間やコストを要するという課題が存在する。また、環境を整えたとしても、各撮影機器に命令が伝達されるまでの遅延時間に差が生じたり、撮影機器毎に通信処理などのタイミングにズレが生じたりするため、複数の撮影機器間で十分な精度で同期を取ることは困難であるという課題が存在する。
　そこで本開示は、複数の撮影機器間の同期をより容易に取ることが可能な情報処理システム、情報処理装置及び情報処理方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理システムは、複数の撮影機器を備える情報処理システムであって、前記撮影機器それぞれは、撮像部と、前記撮像部よりも高いレートで検出結果を出力するセンサと、前記センサから出力された検出結果を照合する照合部と、前記照合部による照合結果に基づいて前記撮像部に撮像を開始させる制御部と、を備える。
第１の実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。 第１の実施形態に係る撮影開始タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。 第１の実施形態に係る照合パターンの一例を示す図である。 第１の実施形態に係る撮影終了タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。 第１の実施形態に係る撮影開始タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。 第１の実施形態に係る撮影終了タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。 第２の実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。 第２の実施形態に係る撮影開始タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。 第２の実施形態に係る撮影終了タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。 第３の実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。 第４の実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。 第４の本実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際に各撮影機器で実行されるクロップ領域設定フローの動作例を示すフローチャートである。 第４の実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。 第５の実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。 第６の実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。 第６の実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際に各撮影機器で実行される画角調整フローの動作例を示すフローチャートである。 第６の実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。 第７の実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。 第８の実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。 第９の実施形態に係る撮影開始タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。 第９の実施形態に係る撮影終了タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。 第１０の実施形態の第１のユースケースを説明するための模式図である。 第１０の実施形態の第２のユースケースを説明するための模式図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　システム構成例
　　　１．２　動作フロー例
　　　　１．２．１　撮影開始タイミング同期制御
　　　　１．２．２　撮影終了タイミング同期制御
　　　１．３　タイミングチャート例
　　　　１．３．１　撮影開始タイミング同期制御
　　　　１．３．２　撮影終了タイミング同期制御
　　　１．４　作用・効果
　　２．第２の実施形態
　　　２．１　システム構成例
　　　２．２　動作フロー例
　　　　２．２．１　撮影開始タイミング同期制御
　　　　２．２．２　撮影終了タイミング同期制御
　　　２．３　作用・効果
　　３．第３の実施形態
　　４．第４の実施形態
　　　４．１　システム構成例
　　　４．２　動作フロー例
　　　４．３　タイミングチャート例
　　　４．４　作用・効果
　　５．第５の実施形態
　　６．第６の実施形態
　　　６．１　システム構成例
　　　６．２　動作フロー例
　　　６．３　タイミングチャート例
　　　６．４　作用・効果
　　７．第７の実施形態
　　８．第８の実施形態
　　９．第９の実施形態
　　１０．第１０の実施形態
　　　１０．１　第１のユースケース
　　　１０．２　第２のユースケース
　　１１．移動体への応用例
　１．第１の実施形態
　まず、本開示の第１の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　１．１　システム構成例
　図１は、本実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。図１に示すように、多視点撮影システム１は、複数（図１では２つ）の撮影機器１００Ａ及び１００Ｂがサーバ１０を介して接続された構成を備える。
　（撮影機器１００）
　各撮影機器（以下、個々の撮影機器を区別しない場合、その符号を１００とする）は、撮像部１１０と、通信部１２０とを備える情報処理装置である。
　通信部１２０は、所定のネットワークを介してサーバ１０と相互通信可能に接続される。所定のネットワークは、例えば、ＬＡＮ（Local　Area　Network）やＷＡＮ（Wide　Area　Network）やインターネットや移動通信システム（4G（4th　Generation　Mobile　Communication　System）、4G-LTE（Long　Term　Evolution）、5G等を含む）やＢｌｕｅｔｏｏｔｈ（登録商標）など、種々の通信ネットワークであってよい。また、各撮影機器１００は、ネットワーク上の他の撮影機器１００とサーバ１０を介してデータの送受信をしてもよいし、サーバ１０を介さずに直接データの送受信をしてもよい。
　撮像部１１０は、イメージセンサ１１１と、ＥＶＳ（Event-based　Vision　Sensor）１１２と、照合部１１３と、制御部１１４とを備える。
　イメージセンサ１１１は、例えば、多視点映像のうちの１つの視点の映像データを取得する。このイメージセンサ１１１は、カラー画像データを生成してもよいし、モノクロ画像データを生成してもよい。本説明では、カラー画像データ（以下、ＲＧＢ画像データとする）を生成する場合を例示する。また、本例では、ＣＭＯＳ（Complementary　Metal-Oxide-Semiconductor）型のイメージセンサ（CMOS　Image　Sensor：ＣＩＳ）を例示するが、これに限定されず、ＣＣＤ（Charge-Coupled　Device）型のイメージセンサなど、２次元画像を取得し得る種々のイメージセンサが用いられてよい。
　ＥＶＳ１１２は、入射光の所定値以上の輝度変化を画素毎のイベントとして検出してイベントデータを生成するセンサである。ＥＶＳ１１２が生成するイベントデータには、イベントが検出された画素を特定するためのアドレスと、検出されたイベントの極性（正／負）と、イベントを発生した時刻を特定するためのタイムスタンプとが含まれ得る。ＥＶＳ１１２は、生成したイベントデータを所定のフレーム期間蓄積することで、フレーム周期毎のフレームデータ（画像データ）を生成することができる。
　このＥＶＳ１１２は非同期でイベントデータを生成する。そして、ＥＶＳ１１２は、生成したイベントデータに基づいて所定のフレームレートでイベント画像データを生成して出力する。そのため、例えば１０００ｆｐｓ（frame　per　second）など、ＣＩＳなどのイメージセンサ１１１（例えば、６０ｆｐｓ）と比較して高いフレームレートでの画像データの生成が可能である。
　本実施形態において、照合部１１３は、ＥＶＳ１１２から入力されたイベント画像データに写り込んだパターンに対する照合処理（以下、パターン照合という）を実行し、この照合結果に基づいて、撮影開始又は撮影終了のトリガ信号である外部同期パルスを制御部１１４へ出力する。
　ここで、照合部１１３が外部同期パルスを生成する際に用いるパターンは、イベント画像データにおけるイベントが検出された画素領域の形状や配列等であってよい。また、照合部１１３は、１つのイベント画像データで表現されたパターンに基づいて外部同期パルスを生成してもよいし、時系列に沿った複数のイベント画像データで表現されたパターン（形状や配列等）の並びや変化等に基づいて外部同期パルスを生成してもよい。若しくは、照合部１３は、モールス信号のように、光源などの発光体の点滅周期（本説明では、これもパターンに含まれるものとする）に基づいて外部同期パルスを生成してもよい。或いは、照合部１３は、手旗信号のように、ロボットや人などの特定の動き（本説明では、これもパターンに含まれるものとする）に基づいて外部同期パルスを生成してもよい。
　また、照合部１１３によるパターン照合は、例えば、予め登録されたパターンとイベント画像データで表現されたパターンとをマッチングさせるパターンマッチングによる照合処理であってもよいし、例えば、ＤＮＮ（Deep　Neural　Network）やＣＮＮ（Convolutional　Neural　Network）やＲＮＮ（Recurrent　Neural　Network）などのニューラルネットワークを用いた機械学習モデルによる照合処理であってもよい。照合処理に機械学習モデルを用いる場合、その学習モデルは、例えば、事前に物体９００をＥＶＳ１１２で撮影することにより得られたイベント画像データ等を用いてトレーニングされていてもよい。
　制御部１１４は、例えば、撮像部１１０が備える各部を制御する。例えば、制御部１１４は、撮影機器１００が起動されて多視点撮影がスタンバイ状態となると、ＥＶＳ１１２に対してイベントの検出を開始させる。また、制御部１１４は、多視点撮影がスタンバイ状態で照合部１１３から外部同期パルスが入力されると、入力された外部同期パルスに基づいてイメージセンサ１１１による撮影を開始する。
　また、制御部１１４は、撮影期間中に照合部１１３から外部同期パルスが入力されると、入力された外部同期パルスに基づいてイメージセンサ１１１による撮影を終了する。
　なお、本説明において、撮像の開始とは、イメージセンサ１１１による画像データ（以下、ＲＧＢ画像データともいう）の生成（出力）の開始であってもよいし、イメージセンサ１１１から出力されたＲＧＢ画像データの記録の開始であってもよい。同様に、撮像の終了とは、イメージセンサ１１１によるＲＧＢ画像データの生成（出力）の停止であってもよいし、イメージセンサ１１１から出力されたＲＧＢ画像データの記録の停止であってもよい。
　（サーバ１０）
　サーバ１０は、例えば、パーソナルコンピュータやワークステーションやクラウドサーバなどの情報処理装置で構成される。サーバ１０は、各撮影機器１００に対し、外部同期パルスを生成する際の撮影開始条件及び撮影終了条件を事前に通知する。この撮影開始条件及び撮影終了条件には、例えば、イベント画像データに写り込んだパターンに対して照合される照合パターンが含まれている。なお、撮影開始条件の照合パターンと撮影終了条件の照合パターンとは、同一であってもよいし、異なっていてもよい。また、撮影開始条件には、その他にも、照合部１１３において実行されるアプリケーションや機械学習モデルなどが含まれてもよい。さらに、撮影開始条件及び撮影終了条件は、サーバ１０を介さずに、直接、各撮影機器１００に設定されてもよい。
　また、サーバ１０は、例えば、撮影機器１００による撮影空間又はそれに隣接した空間に配置された物体９００を制御することで、物体９００に対して所定のアクションを実行させる。物体９００は、光源であってもよいし、可動なアーム部等を備えるロボットなどであってもよい。また、物体９００は、人や動物や植物などであってもよい。
　さらに、サーバ１０は、各撮影機器１００のイメージセンサ１１１で取得された映像データを各撮影機器１００から取得する。それにより、ボリュメトリック映像などの自由視点映像を生成するための多視点映像データが収集される。なお、物体９００を制御するためのサーバ１０と、多視点映像データを収集するサーバ１０とは、同一のサーバであってもよいし、異なるサーバであってもよい。
　以上のように、本実施形態では、ＥＶＳ１１２から出力されたフレームレートの高いイベント画像データに基づいて、各撮影機器１００の撮影開始及び撮影終了が制御される。それにより、複数の撮影機器１００において略同じタイミングで撮像の開始と終了と実行されるため、複数の撮影機器１００間で高い精度で撮影開始タイミング及び撮影終了タイミングの同期を図ることが可能となる。
　１．２　動作フロー例
　次に、本実施形態に係る多視点撮影システム１の動作について、フローチャートを用いて説明する。なお、本実施形態では、各撮影機器１００が互いに独立して動作して、複数の撮影機器１００での撮影開始タイミング及び撮影終了タイミングが同期するため、以下の説明では、各撮影機器１００の動作に着目する。また、以下の説明では、物体９００が光源（以下、光源９００とする）であり、サーバ１０が光源９００を図３の（ａ）～（ｃ）に例示する照合パターンで時系列に沿って発光させた場合を例示する。なお、図３の（ａ）～（ｃ）では、白抜きされている領域が光源９００の発光による輝度変化のパターンを示している。以下、光源９００の発光による輝度変化のパターンを発光パターンともいう。この発光パターンは、各撮影機器１００に設定される照合パターンと一致しているものとする。
　１．２．１　撮影開始タイミング同期制御
　図２は、本実施形態に係る撮影開始タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。
　図２に示すように、本動作では、まず、各撮影機器１００の照合部１１３が、起動後、多視点映像のスタンバイ状態となると、パターン照合において連続してマッチングに成功した回数をカウントするカウンタのカウント値Ｎをリセット（Ｎ＝０）する（ステップＳ１０１）。
　次に、制御部１１４が、サーバ１０から送信された撮影開始命令が通信部１２０を介して入力されるまで待機し（ステップＳ１０２のＮＯ）、撮影開始命令が入力されると（ステップＳ１０２のＹＥＳ）、イメージセンサ１１１によるＲＧＢ画像データの生成と、ＥＶＳ１１２によるイベント画像データの生成とを開始する（ステップＳ１０３）。ただし、外部同期パルスに基づいてイメージセンサ１１１によるＲＧＢ画像データの生成を開始する場合は、ステップＳ１０３では、イメージセンサ１１１の停止状態が維持されてもよい。
　このように、ＥＶＳ１１２による撮像が開始されると、照合部１１３において、外部同期パルスを生成するフェーズ（同期信号生成フェーズ）が実行される。
　同期信号生成フェーズでは、照合部１１３は、まず、サーバ１０より事前に通知された撮影開始条件における一連の照合パターンの中から、番号がＮ＋１の照合パターンを選択する（ステップＳ１０４）。例えば、照合部１１３は、カウント値Ｎが‘０’の場合では図３の（ａ）に示す照合パターンを選択し、カウント値Ｎが‘１’の場合では図３の（ｂ）に示す照合パターンを選択し、カウント値Ｎが‘２’の場合では図３の（ｃ）に示す照合パターンを選択する。
　次に、照合部１１３が、ＥＶＳ１１２から所定のフレームレートで出力されたイベント画像データを入力する（ステップＳ１０５）。例えば、照合部１１３は、１０００ｆｐｓのフレームレートでイベント画像データを入力する。
　次に、照合部１１３が、ステップＳ１０５で入力されたイベント画像データに対し、ステップＳ１０４で選択された照合パターンを用いてパターン照合を実行することで、イベント画像データに写り込んだ光源９００の発光パターンが撮影開始条件におけるＮ＋１番目の照合パターンに整合しているか否かを判定する（ステップＳ１０６）。
　ステップＳ１０６の判定の結果、光源９００の発光パターンが照合パターンに整合していない場合（ステップＳ１０６のＮＯ）、照合部１１３は、カウント値Ｎをリセット（Ｎ＝０）した後（ステップＳ１０７）、ステップＳ１０５に戻る。なお、カウント値Ｎが‘０’である場合、照合部１１３は、カウント値Ｎのリセット（ステップＳ１０７）を省略して、ステップＳ１０５へ戻ってもよい。
　一方、光源９００の発光パターンが照合パターンに整合している場合（ステップＳ１０６のＹＥＳ）、照合部１１３は、カウント値Ｎを１インクリメント（Ｎ＝Ｎ＋１）し（ステップＳ１０８）、そして、インクリメント後のカウント値Ｎが予め設定されたカウント値の上限Ｎ＿ｍａｘに達しているか否かを判定する（ステップＳ１０９）。なお、カウント値の上限Ｎ＿ｍａｘは、例えば、撮影開始条件に含まれる照合パターンの数であってよく、例えば、撮影開始条件によりサーバ１０から指定されるパラメータであってよい。
　カウント値Ｎが上限Ｎ＿ｍａｘに達していない場合（ステップＳ１０９のＮＯ）、照合部１１３は、ステップＳ１０４へ戻り、次の照合パターンを選択して、以降の動作を実行する。
　一方、カウント値Ｎが上限Ｎ＿ｍａｘに達している場合（ステップＳ１０９のＹＥＳ）、照合部１１３は、外部同期パルスを生成して制御部１１４へ出力する（ステップＳ１１０）。
　このようにして、照合部１１３から制御部１１４へ外部同期パルスが入力されると、制御部１１４が、イメージセンサ１１１をリシャッタ、すなわち、イメージセンサ１１１の各画素に蓄積された電荷を放出させる（ステップＳ１１１）。これにより、各撮影機器１００の撮影開始タイミングがイメージセンサ１１１をリシャッタしたタイミングに調整される。
　その後、制御部１１４は、所定のフレームレート（例えば、６０ｆｐｓ）でのイメージセンサ１１１による撮像を開始し（ステップＳ１１２）、本動作が終了される。
　１．２．２　撮影終了タイミング同期制御
　図４は、本実施形態に係る撮影終了タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。なお、本例では、説明の簡略化のため、撮影開始条件と撮影終了条件とで、同じ照合パターンが用いられる場合を例示する。
　図４に示すように、本動作では、まず、図２のステップＳ１０１と同様に、各撮影機器１００の照合部１１３が、イメージセンサ１１１による撮影中、パターン照合において連続してマッチングに成功した回数をカウントするカウンタのカウント値Ｎをリセット（Ｎ＝０）する（ステップＳ１２１）。
　次に、制御部１１４が、サーバ１０から送信された撮影終了命令が通信部１２０を介して入力されるまで待機し（ステップＳ１２２のＮＯ）、撮影終了命令が入力されると（ステップＳ１２２のＹＥＳ）、照合部１１３が同期信号生成フェーズ（図４のステップＳ１２３～Ｓ１２９）を実行する。同期信号生成フェーズの詳細は、図２のステップＳ１０４～Ｓ１１０と同様であってよいため、ここでは説明を省略する。
　このようにして、照合部１１３から制御部１１４へ外部同期パルスが入力されると、制御部１１４が、イメージセンサ１１１及びＥＶＳ１１２による撮影を停止し（ステップＳ１３０）、本動作が終了される。
　１．３　タイミングチャート例
　次に、多視点撮影システム１の動作例について、タイミングチャートを用いて説明する。なお、本説明では、各撮影機器１００のイメージセンサ１１１が個別のフレームレートでＲＧＢ画像データを生成している状態で撮影開始タイミングの同期制御が実行された場合を例示する。
　１．３．１　撮影開始タイミング同期制御
　図５は、本実施形態に係る撮影開始タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。
　図５に示すように、撮影開始タイミングの同期制御が実行されていない状態では、各撮影機器１００のイメージセンサ１１１は、他の撮影機器１００とは独立した個別のフレームレートでＲＧＢ画像データを生成している。図５では、着目する撮影機器１００のイメージセンサ１１１をＣＩＳ＃１とし、他の撮影機器のイメージセンサ１１１をＣＩＳ＃２としている。
　撮影開始タイミングを複数の撮影機器１００間で同期させる際、まず、タイミングｉ１において、ユーザがサーバ１０に対して撮影開始指示を入力する。すると、サーバ１０は、タイミングｉ２において、各撮影機器１００に対して撮影開始命令を送信するとともに、光源９００に対して所定の発光パターン（例えば、図３参照）での発光を命令する。なお、撮影開始指示には、光源９００に動作させる発光パターンの指定や、照合開始までの待機期間の指定や、照合期間の時間長（照合失敗と判断するまでの時間）の指定や、各撮影機器１００のＥＶＳ１１２における光源９００の像が写される領域（クロップ位置ともいう）の指定などが含まれてもよい。
　サーバ１０から発光命令を受けた光源９００は、例えばサーバ１０から事前に設定された発光パターンに従い、所定の周期での発光を開始する。本例では、光源９００は、例えば、図３の（ａ）に示す発光パターンから（ｃ）に示す発光パターンまでの切替えを所定の周期で実行する。なお、光源９００の発光周期は、イベント画像データの生成周期（フレームレート）よりも長い周期であってよい。その場合、照合部１１３は、イベント画像データとして検出された発光パターン（以下、検出パターンともいう）と照合パターンの一致度や連続して一致した回数（以下、連続一致回数ともいう）などに基づいて照合を実行してもよい。例えば、照合部１１３は、検出パターンと照合パターンとの一致度や連続一致回数などに閾値を設定しておき、一致度や連続一致回数などが閾値を超えた場合に、検出パターンと照合パターンとが一致すると判定してもよい。そのように構成した場合、検出パターンと照合パターンとが完全一致しない場合や不連続で一致する場合などに対しても、柔軟かつ適切に、検出パターンと照合パターンとが一致しているか否かを判定することが可能となる。
　一方、各撮影機器１００では、撮影開始命令を受けると、ＥＶＳ１１２において所定のフレームレートでのイベント画像データの生成が開始（図２のステップＳ１０５）されるとともに、照合部１１３において順次入力されたイベント画像データに対するパターン照合が開始される。
　ただし、イベント画像データの生成開始直後は、照合部１１３における準備、すなわちイベント画像データに対して照合する照合パターンの取得（図２のステップＳ１０４）が完了していない場合がある。そこで、本例では、待機期間を設け、照合部１１３による照合パターンの取得が完了したタイミングｉ３の次のタイミングｉ４から、照合部１１３によるパターン照合が開始される。その場合、照合部１１３による照合期間はタイミングｉ４以降の期間となる。
　照合期間中、例えば、タイミングｉ５で図３の（ａ）に示す発光パターンのイベント画像データが生成され、タイミングｉ６で（ｂ）に示す発光パターンのイベント画像データが生成され、タイミングｉ７で（ｃ）に示す発光パターンとは異なる発光パターンのイベント画像データが生成されると、照合部１１３は、タイミングｉ７で生成されたイベント画像データに対するパターン照合に失敗（図２のステップＳ１０６のＮＯ）するため、カウント値Ｎをリセットし、パターン照合を改めて実行する。
　一方、例えば、タイミングｉ８で図３の（ａ）に示す発光パターンのイベント画像データが生成され、タイミングｉ９で（ｂ）に示す発光パターンのイベント画像データが生成され、タイミングｉ１０で（ｃ）に示す発光パターンのイベント画像データが生成されると、照合部１１３は、タイミングｉ８～ｉ１０の全てのイベント画像データに対するパターン照合に成功（図２のステップＳ１０９のＹＥＳ）するため、タイミングｉ１１において、制御部１１４へ外部同期パルスを出力（図２のステップＳ１１０）する。
　タイミングｉ１１で外部同期パルスを受け取った制御部１１４は、タイミングｉ１２においてイメージセンサ１１１をリシャッタ（図２のステップＳ１１１）し、所定のフレームレートでの撮影を開始する（図２のステップＳ１１２）。本実施形態では、他の撮影機器１００においても同様の動作によってタイミングｉ１２でイメージセンサ１１１がリシャッタされて所定のフレームレートでの撮影が開始されるため、複数の撮影機器１００での撮影開始タイミングの高精度な同期が可能となる。
　また、制御部１１４は、例えばタイミングｉ１１において、サーバ１０へ、同期撮影を開始したことを通知してもよい。全ての撮影機器１００から同期撮影の開始が通知されたサーバ１０は、例えば、タイミングｉ１３において、光源９００の発光動作を停止させてもよい。
　１．３．２　撮影終了タイミング同期制御
　図６は、本実施形態に係る撮影終了タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。
　図６に示すように、同期撮影中では、各撮影機器１００のイメージセンサ１１１は、他の撮影機器１００と同期したタイミング及びフレームレートでＲＧＢ画像データを生成している。図６では、図５と同様に、着目する撮影機器１００のイメージセンサ１１１をＣＩＳ＃１とし、他の撮影機器のイメージセンサ１１１をＣＩＳ＃２としている。
　撮影終了タイミングを複数の撮影機器１００間で同期させる際、まず、タイミングｊ１において、ユーザがサーバ１０に対して撮影終了指示を入力する。なお、撮影終了指示には、撮影開始指示と同様に、光源９００に動作させる発光パターンの指定や、照合開始までの待機期間の指定や、照合期間の時間長の指定や、各撮影機器１００のＥＶＳ１１２における光源９００の像が写される領域（クロップ位置ともいう）の指定などが含まれてもよい。ユーザからの撮影終了指示に対し、サーバ１０は、タイミングｊ２において、各撮影機器１００に対して撮影終了命令を送信するとともに、光源９００に対して所定の発光パターン（例えば、図３参照）での発光を命令する。
　サーバ１０から発光命令を受けた光源９００は、例えばサーバ１０から事前に設定された発光パターンに従い、所定の周期での発光を開始する。本例では、撮影開始タイミングの同期制御と同様に、光源９００は、例えば、図３の（ａ）に示す発光パターンから（ｃ）に示す発光パターンまでの切替えを所定の周期で実行する。
　一方、各撮影機器１００では、撮影開始タイミングの同期制御と同様に、撮影終了命令を受けると、ＥＶＳ１１２において所定のフレームレートでのイベント画像データの生成が開始（図４のステップＳ１２４）されるとともに、待機期間の経過後（タイミングｊ４以降）、照合部１１３において順次入力されたイベント画像データに対するパターン照合が開始される。
　照合期間中、例えば、タイミングｊ５で図３の（ａ）に示す発光パターンのイベント画像データが生成され、タイミングｊ６で（ｂ）に示す発光パターンのイベント画像データが生成され、タイミングｊ７で（ｃ）に示す発光パターンとは異なる発光パターンのイベント画像データが生成されると、照合部１１３は、タイミングｊ７で生成されたイベント画像データに対するパターン照合に失敗（図４のステップＳ１２５のＮＯ）するため、カウント値Ｎをリセットし、パターン照合を改めて実行する。
　一方、例えば、タイミングｊ８で図３の（ａ）に示す発光パターンのイベント画像データが生成され、タイミングｊ９で（ｂ）に示す発光パターンのイベント画像データが生成され、タイミングｊ１０で（ｃ）に示す発光パターンのイベント画像データが生成されると、照合部１１３は、タイミングｊ８～ｊ１０の全てのイベント画像データに対するパターン照合に成功（図４のステップＳ１２８のＹＥＳ）するため、タイミングｊ１１において、制御部１１４へ外部同期パルスを出力（図４のステップＳ１２９）する。
　タイミングｊ１１で外部同期パルスを受け取った制御部１１４は、タイミングｊ１２においてイメージセンサ１１１の同期制御を終了する（図４のステップＳ１３０）。本実施形態では、他の撮影機器１００においても同様の動作によってタイミングｊ１２でイメージセンサ１１１の同期制御が停止されるため、複数の撮影機器１００での撮影終了タイミングの高精度な同期が可能となる。なお、図６では、同期制御終了後、各撮影機器１００のイメージセンサ１１１が他の撮影機器１００とは独立した個別のフレームレートでＲＧＢ画像データを生成しているが、これに限定されず、例えば、図４に示すように、イメージセンサ１１１の駆動が停止されてもよい。
　また、制御部１１４は、例えばタイミングｊ１１において、サーバ１０へ、同期撮影を終了したことを通知してもよい。全ての撮影機器１００から同期撮影の終了が通知されたサーバ１０は、例えば、タイミングｊ１３において、光源９００の発光動作を停止させてもよい。
　１．４　作用・効果
　以上のように、本実施形態によれば、高いフレームレートのイベント画像データに基づいて、各撮影機器１００における撮像動作が制御されるため、複数の撮影機器１００間で高精度に撮像開始タイミング及び撮像終了タイミングを同期させることが可能となる。
　また、全ての撮影機器１００におけるＥＶＳ１１２の画角内に配置された光源９００の発光パターンに基づいて、複数の撮影機器１００間で同期が図られるため、遅延の少ないネットワークの構築を必要とせず、より容易な手法により、複数の撮影機器１００間で高精度な同期を取ることが可能となる。
　２．第２の実施形態
　次に、本開示の第２の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　上述の第１の実施形態では、外部同期パルスを生成する際のトリガを発生させるためのセンサとして、高フレームレートのイベント画像データを生成可能なＥＶＳ１１２を用いた場合を例示したが、これに限定されない。そこで、第２の実施形態では、ＥＶＳ１１２に代えて、イメージセンサ１１１よりも高いフレームレートで画像データを生成することが可能なイメージセンサを用いる場合を例示する。
　２．１　システム構成例
　図７は、本実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。図７に示すように、多視点撮影システム２は、第１の実施形態において図１を用いたシステム構成例と同様の構成において、各撮影機器１００の撮像部１１０におけるＥＶＳ１１２が、高速度イメージセンサ２１２に置き換えられた構成を備える。
　高速度イメージセンサ２１２は、通常のイメージセンサ（例えば、イメージセンサ１１１）よりも高いフレームレートでカラー若しくはモノクロの画像データを生成することが可能なイメージセンサであってよい。この高速度イメージセンサ２１２は、例えば、高いフレームレートでの画像データの生成を可能とするように設計されたイメージセンサであってもよいし、通常のイメージセンサと同様の構成において、読出し対象の画素を間引きしたり、読出し対象の領域を絞り込んだりすることで、高いフレームレートでの画像データの生成が可能となるように調整されたイメージセンサであってもよい。
　その他の構成は、上述した第１の実施形態に係るシステム構成と同様であってよい。
　２．２　動作フロー例
　次に、本実施形態に係る多視点撮影システム２の動作について、フローチャートを用いて説明する。なお、以下の説明では、第１の実施形態と同様に、各撮影機器１００の動作に着目する。また、以下の説明では、物体９００が光源であり、サーバ１０が光源９００を図３の（ａ）～（ｃ）に例示する照合パターンで時系列に沿って発光させた場合を例示する。
　２．２．１　撮影開始タイミング同期制御
　図８は、本実施形態に係る撮影開始タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。図８に示すように、本実施形態に係る動作は、第１の実施形態において図２を用いて説明した動作と同様の動作において、ステップＳ１０３及びＳ１０５がステップＳ２０３及びＳ２０５に置き換えられている。
　ステップＳ２０３では、制御部１１４は、サーバ１０から撮影開始命令が入力されると（ステップＳ１０２のＹＥＳ）、イメージセンサ１１１によるＲＧＢ画像データの生成と、高速度イメージセンサ２１２による画像データの生成とを開始する。ただし、外部同期パルスに基づいてイメージセンサ１１１によるＲＧＢ画像データの生成を開始する場合は、イメージセンサ１１１の停止状態が維持されてもよい。
　ステップＳ２０５では、照合部１１３は、高速度イメージセンサ２１２から所定のフレームレートで入力された画像データに基づいて、イベント画像データを生成する。例えば、照合部１１３は、現フレームの画像データと前フレームの画像データとの各画素値の差分を算出し、算出された差分に基づいてイベント画像データを生成してもよい。
　その他の動作は、第１の実施形態に係る撮影開始タイミング同期制御の動作と同様であってよい。また、撮影開始タイミングを複数の撮影機器間で同期させる際のタイミングチャートは、第１の実施形態において図５を用いて説明したタイミングチャートと同様であってよい。
　２．２．２　撮影終了タイミング同期制御
　図９は、本実施形態に係る撮影終了タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。図９に示すように、本実施形態に係る動作は、第１の実施形態において図４を用いて説明した動作と同様の動作において、ステップＳ１２４及びＳ１３０がステップＳ２２４及びＳ２３０に置き換えられている。
　ステップＳ２２４では、照合部１１３は、図８のステップＳ２０５と同様に、高速度イメージセンサ２１２から所定のフレームレートで生成された画像データに基づいてイベント画像データを生成する。
　ステップＳ２３０では、制御部１１４が、イメージセンサ１１１及び高速度イメージセンサ２１２による撮影を停止し、本動作が終了される。
　その他の動作は、第１の実施形態に係る撮影終了タイミング同期制御の動作と同様であってよい。また、撮影終了タイミングを複数の撮影機器間で同期させる際のタイミングチャートは、第１の実施形態において図６を用いて説明したタイミングチャートと同様であってよい。
　２．３　作用・効果
　以上のように、本実施形態によれば、第１の実施形態と同様に、高いフレームレートのイベント画像データに基づいて、各撮影機器１００における撮像動作が制御されるため、複数の撮影機器１００間で高精度に撮像開始タイミング及び撮像終了タイミングを同期させることが可能となる。
　また、全ての撮影機器１００における高速度イメージセンサ２１２の画角内に配置された光源９００の発光パターンに基づいて、複数の撮影機器１００間で同期が図られるため、遅延の少ないネットワークの構築を必要とせず、より容易な手法により、複数の撮影機器１００間で高精度な同期を取ることが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　３．第３の実施形態
　次に、本開示の第３の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　上述の第１及び第２の実施形態では、多視点映像を作成するため、各撮影機器１００がイメージセンサ１１１を備える場合を例示したが、これに限定されない。そこで、第３の実施形態では、イメージセンサ１１１に代えて、物体までの距離を測定可能な測距センサを用いる場合を例示する。なお、本説明では、測距センサとして、ＴｏＦ（Time　of　Flight）センサを用いる場合を例示するが、これに限定されず、ミリ波レーダなど、種々の測距センサが用いられてよい。
　図１０は、本実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。図１０に示すように、多視点撮影システム３は、第１の実施形態において図１を用いたシステム構成例と同様の構成において、各撮影機器１００の撮像部１１０におけるイメージセンサ１１１が、ＴｏＦセンサ３１１に置き換えられた構成を備える。なお、図１では、ＥＶＳ１１２の代わりに受光センサ３１２が設けられているが、この受光センサ３１２には、ＥＶＳ１１２や高速度イメージセンサ２１２など、ＴｏＦセンサ３１１よりも高いフレームレートで画像データを生成することが可能な種々のセンサが用いられてよい。
　ＴｏＦセンサ３１１は、画素毎に物体までの距離（デプス値）を取得することで、デプス画像データを生成する。このＴｏＦセンサ３１１は、直接ＴｏＦ方式であってもよいし、間接ＴｏＦ方式であってもよい。
　このように、多視点映像を生成するためのセンサにＴｏＦセンサ３１１などの測距センサを用いた場合でも、その測距センサによる撮影の開始タイミング及び終了タイミングを、測距センサよりも高いフレームレートの画像データを生成することが可能な受光センサ３１２により取得された画像データに基づいて制御することで、複数の撮影機器１００間で高精度に撮像開始タイミング及び撮像終了タイミングを同期させることが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　４．第４の実施形態
　次に、本開示の第４の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　本実施形態では、例えば、第１の実施形態で例示した多視点撮影システム１をベースとし、各撮影機器１００において、イメージセンサ１１１で取得されたＲＧＢ画像データに基づき、ＥＶＳ１１２に対してクロップ領域（注目領域（Region　Of　Interest）又は有効とする画素領域ともいう）を設定することで、データ処理量の削減による同期精度の更なる向上と、注目する領域を設定することによる照合精度の向上とを達成する。ただし、ベースとする実施形態は、第１の実施形態に限定されず、他の実施形態であってよい。
　４．１　システム構成例
　図１１は、本実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。図１１に示すように、多視点撮影システム４は、第１の実施形態において図１を用いたシステム構成例と同様の構成において、イメージセンサ１１１から照合部１１３へＲＧＢ画像データが入力されるように構成されている。
　本実施形態において、例えば、イメージセンサ１１１の画角とＥＶＳ１１２の画角とは、同じ領域を撮像するように調整されている。若しくは、例えば、イメージセンサ１１１で取得されたＲＧＢ画像データにおける各領域がＥＶＳ１１２で生成されたイベント画像データにおけるどの領域に対応するかを特定できるように、各画像データの座標系についての対応関係が例えば照合部１１３において管理されている。
　照合部１１３は、イメージセンサ１１１から入力されたＲＧＢ画像データに対して認識処理を実行することで、人物やロボットや光源など、ターゲットとする特定の物体９００が写り込んでいる領域を特定する。そして、照合部１１３は、ＲＧＢ画像データから特定した領域に基づいて、ＥＶＳ１１２においてアクティブとする画素領域を特定し、特定した画素領域をクロップ領域としてＥＶＳ１１２に設定することで、クロップ領域に絞り込まれたイベント画像データをＥＶＳ１１２に生成させる。すなわち、照合部１１３は、ＲＧＢ画像データから特定された物体９００が写された領域に基づいて、ＥＶＳ１１２において有効とする画素領域を絞り込むように動作する。
　４．２　動作フロー例
　次に、本実施形態に係る多視点撮影システム４の動作について、フローチャートを用いて説明する。なお、以下の説明では、第１の実施形態と同様に、各撮影機器１００の動作に着目する。また、以下の説明では、例えば、運動会などの複数の人物が写り込むようなシーンを想定し、ターゲットとする物体９００を複数の人物のうちの一人（以下、人物９００とする）とする場合を例示する。
　このような場合、サーバ１０から各撮影機器１００へは、例えば、人物９００を特定するための情報（照合パターン）、及び／又は、人物９００がした特定の姿勢や表情や動き等のうちの１以上を特定するための情報（照合パターン）を含む撮影開始条件及び撮影終了条件が事前に通知される。また、照合部１１３には、例えば、入力されたイベント画像データから、特定の人物９００を認識するように、若しくは、特定の人物９００がした特定の姿勢や表情や動き等を認識するように事前学習された機械学習モデルが実装される。
　図１２は、本実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際に各撮影機器で実行されるクロップ領域設定フローの動作例を示すフローチャートである。なお、図１２に示す動作は、例えば、第１の実施形態において図２を用いて説明した動作フロー、又は、第１の実施形態において図４を用いて説明した動作フローが起動された際、これらの動作と並行して、照合部１１３において実行されてよい。
　図１２に示すように、本動作では、照合部１１３は、まず、イメージセンサ１１１からＲＧＢ画像データが入力されたか否かを判定する（ステップＳ４０１）。ＲＧＢ画像データが入力されていない場合（ステップＳ４０１のＮＯ）、照合部１１３は、ステップＳ４０３へ進む。一方、ＲＧＢ画像データが入力された場合（ステップＳ４０１のＹＥＳ）、照合部１１３は、入力されたＲＧＢ画像データに対して認識処理を実行することで、ＲＧＢ画像データにおけるターゲット（人物９００）の位置（以下、ターゲット位置ともいう）を特定する（ステップＳ４０２）。
　次に、照合部１１３は、ＥＶＳ１１２から所定のフレームレートで出力されたイベント画像データを入力する（ステップＳ４０３）。なお、ステップＳ４０３では、図２のステップＳ１０５又は図４のステップＳ１２４で入力されたイベント画像データが流用されてもよい。
　次に、照合部１１３は、入力されたイベント画像データに対して認識処理を実行することで、イベント画像データにおけるターゲット位置を特定する（ステップＳ４０４）。
　次に、照合部１１３は、例えば、ステップＳ４０２でＲＧＢ画像データから特定されたターゲット位置と、ステップＳ４０４でイベント画像データから特定されたターゲット位置との位置変化から、ターゲット位置のオプティカルフローを推定する（ステップＳ４０５）。その際、前回推定されたオプティカルフローがある場合には、ステップＳ４０２でＲＧＢ画像データから特定されたターゲット位置と共に、若しくは、ステップＳ４０２でＲＧＢ画像データから特定されたターゲット位置に代えて、前回推定されたオプティカルフローが用いられてもよい。また、撮影機器１００に手振れなどが発生している場合には、例えば、ＲＧＢ画像データに写り込んだターゲット以外の物体の移動量や、撮影機器１００に搭載されたＩＭＵ（Inertial　Measurement　Unit）などのセンサからの情報等も考慮することで、ターゲット位置のオプティカルフローが推定されてもよい。
　次に、照合部１１３は、ステップＳ４０４で特定されたターゲット位置と、ステップＳ４０５で推定されたターゲット位置のオプティカルフローとに基づいて、ＥＶＳ１１２に対するクロップ領域を設定又は更新する（ステップＳ４０６）。
　その後、照合部１１３は、例えば、図２に示す動作フロー又は図４に示す動作フローが終了したか否かに基づいて、本動作を終了するか否かを判定し（ステップＳ４０７）、終了する場合（ステップＳ４０７のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ４０７のＮＯ）、照合部１１３は、ステップＳ４０１へ戻り、以降の動作を実行する。
　４．３　タイミングチャート例
　次に、多視点撮影システム４の動作例について、タイミングチャートを用いて説明する。なお、なお、以下の説明では、動作フロー例の説明と同様に、例えば、運動会などの複数の人物が写り込むようなシーンを想定し、ターゲットとする物体９００を複数の人物のうちの一人（人物９００）とする場合を例示する。
　図１３は、本実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。
　図１３に示すように、撮影開始タイミング又は撮影終了タイミングを複数の撮影機器１００間で同期させる際、まず、タイミングｔ１において、ユーザがサーバ１０に対して撮影開始指示／撮影終了指示を入力する。すると、サーバ１０は、タイミングｔ２において、各撮影機器１００に対して撮影開始命令／撮影終了命令を送信する。なお、撮影開始指示／撮影終了指示には、照合開始までの待機期間の指定や、照合期間の時間長の指定などが含まれてもよい。
　各撮影機器１００では、撮影開始命令／撮影終了命令を受けると、ＥＶＳ１１２において所定のフレームレートでのイベント画像データの生成が開始（図２のステップＳ１０５、図４のステップＳ１２４）されるとともに、タイミングｔ３において、制御部１１４から照合部１１３へクロップ領域の設定／更新命令が入力される。クロップ領域の設定／更新命令が入力された照合部１１３では、例えばタイミングｔ３の直前にイメージセンサ１１１から入力されたＲＧＢ画像データと、同じくタイミングｔ３の直前に入力されたイベント画像データとに基づいて、ＥＶＳ１１２に対してクロップ領域が特定され、これが次のタイミングｔ４でＥＶＳ１１２に設定又は更新される（図１２に示す動作フロー）。なお、図１３では、イベント画像データの毎フレームに対してクロップ領域の設定／更新が実行されているが、これに限定されず、数フレームに一度の割合でクロップ領域の設定／更新が実行されてもよい。
　また、照合部１１３では、例えば図５又は図６を用いて説明したタイミングチャートと同様に、待機期間の経過後（タイミングｔ６以降）、順次入力されたイベント画像データに対するパターン照合が開始される。
　クロップ領域の設定／更新の開始後、照合部１１３は、例えばタイミングｔ７の直前にターゲット（人物９００）をロストした場合、タイミングｔ７において、ＥＶＳ１１２の全画素領域をクロップ領域に設定して図１２に示す動作を実行してもよい。ただし、ターゲット（人物９００）をロストしたか否かの判定は、１フレームのみならず、複数フレームで実行されてもよい。すなわち、例えば図１２のステップＳ４０４において、連続する２以上のフレームでターゲット位置を特定できなかった場合、ターゲット（人物９００）をロストしたと判定して、ＥＶＳ１１２の全画素領域をクロップ領域に設定してもよい。
　また、照合期間中、例えば、タイミングｔ８～ｔ１０の１以上のフレームで人物９００のパターン照合に連続して成功すると、照合部１１３は、タイミングｔ１１において、制御部１１４へ外部同期パルスを出力（図２のステップＳ１１０、図４のステップＳ１２９）する。
　タイミングｔ１１で外部同期パルスを受け取った制御部１１４は、タイミングｔ１２において、イメージセンサ１１１をリシャッタするか（図２のステップＳ１１１）、イメージセンサ１１１の同期制御を終了する（図４のステップＳ１３０）。本実施形態では、他の撮影機器１００においても同様の動作によってタイミングｔ１２でイメージセンサ１１１のリシャッタ又は同期制御停止が実行されるため、複数の撮影機器１００での撮影開始タイミング又は撮影終了タイミングの高精度な同期が可能となる。なお、制御部１１４は、例えばタイミングｔ１３において、サーバ１０へ、同期撮影を終了したことを通知してもよい。
　４．４　作用・効果
　以上のように、本実施形態によれば、ターゲット（人物９００）の動きに合わせてＥＶＳ１１２のクロップ領域を調整することが可能となるため、ターゲットをロストする可能性を低減させつつ、パターン照合の処理速度の向上と、注目する領域を設定することによる照合精度の向上とを達成することが可能となる。それにより、複数の撮影機器１００間の同期精度をより高めることが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　５．第５の実施形態
　次に、本開示の第５の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　本実施形態では、例えば、第４の実施形態で例示した多視点撮影システム４をベースとし、各撮影機器１００において、照合部１１３によるパターン照合の精度等に応じてＥＶＳ１１２の受光パラメータを更新することで、照合精度の向上による同期精度の更なる向上を達成する。ただし、ベースとする実施形態は、第１の実施形態に限定されず、他の実施形態であってよい。
　本実施形態に係る多視点撮影システムのシステム構成は、例えば、第４の実施形態において図１１を用いて説明した多視点撮影システム４と同様の構成例であってよい。ただし、本実施形態では、照合部１１３が以下のように動作する。
　図１４は、本実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。図１４に示すように、本実施形態において、照合部１１３は、図２のステップＳ１０６又は図４のステップＳ１２５のパターン照合の結果に基づき、ＥＶＳ１１２の受光パラメータが適切であるか否かを判定する。ここで、ＥＶＳ１１２の受光パラメータとしては、例えば、各画素の閾値レベルやアナログ／デジタルゲイン、イベントデータの蓄積期間（１フレーム期間）などが含まれ得る。
　例えば、画素の閾値レベルが低すぎてノイズや不要なイベントの検出が多発していると判定した場合、照合部１１３は、画素の閾値レベルを上げるようにＥＶＳ１１２の受光パラメータを変更する。一方、画素の閾値レベルが高すぎて検出されるイベント数が少ないと判定した場合、照合部１１３は、画素の閾値レベルを下げるようにＥＶＳ１１２の受光パラメータを変更する。
　また、例えば、蓄積期間が長すぎてイベント画像データにおける像がぼやけていると判定した場合、照合部１１３は、蓄積期間を短くするように受光パラメータを変更する。一方、蓄積期間が短すぎてイベント画像データにおける像が判明しづらいと判定した場合、照合部１１３は、蓄積期間を長くするように受光パラメータを変更する。
　なお、図１４では、イベント画像データの毎フレームに対して受光パラメータの更新が実行されているが、これに限定されず、数フレームに一度の割合で受光パラメータの更新が実行されてもよい。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　６．第６の実施形態
　次に、本開示の第６の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　本実施形態では、例えば、第１の実施形態で例示した多視点撮影システム１をベースとし、各撮影機器１００において、例えば広角レンズなどを備えることで、例えばＥＶＳ１１２よりも広い画角の撮影が可能なイメージセンサで取得されたＲＧＢ画像データ（以下、広角画像データという）に基づき、ＥＶＳ１１２の画角を調整することで、画角から外れたターゲットのロスト低減による同期精度の更なる向上を達成する。ただし、ベースとする実施形態は、第１の実施形態に限定されず、他の実施形態であってよい。
　６．１　システム構成例
　図１５は、本実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。図１５に示すように、多視点撮影システム６では、第１の実施形態において図１を用いたシステム構成例と同様の構成において、イメージセンサ１１１が広角撮像可能な広角イメージセンサ６１１に置き換えられている。また、ＥＶＳ１１２には、調整機構６１２が設けられている。調整機構６１２には、ＥＶＳ１１２の画角（姿勢やズームなど）を調整可能なジンバルなどの機構の他、ポテンショメータやエンコーダなどのＥＶＳ１１２の姿勢を特定するためのセンサも含まれていてよい。
　照合部１１３は、広角イメージセンサ６１１から入力された広角画像データに対して認識処理を実行することで、人物やロボットや光源など、ターゲットとする特定の物体９００が写り込んでいる領域を特定する。そして、照合部１１３は、広角画像データから特定した領域に基づいて、ＥＶＳ１１２の姿勢及び／又はズーム倍率（パラメータ）を特定し、特定した姿勢及び／又はズーム倍率に基づいて調整機構６１２を制御することで、ＥＶＳ１１２の画角内にターゲットである物体９００が入るように調整する。
　６．２　動作フロー例
　次に、本実施形態に係る多視点撮影システム６の動作について、フローチャートを用いて説明する。なお、以下の説明では、第１の実施形態と同様に、各撮影機器１００の動作に着目する。また、以下の説明では、例えば、第４の実施形態と同様に、運動会などの複数の人物が写り込むようなシーンを想定し、ターゲットとする物体９００を複数の人物のうちの一人（人物９００）とする場合を例示する。
　図１６は、本実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際に各撮影機器で実行される画角調整フローの動作例を示すフローチャートである。なお、図１６に示す動作は、例えば、第１の実施形態において図２を用いて説明した動作フロー、又は、第１の実施形態において図４を用いて説明した動作フローが起動された際、これらの動作と並行して、照合部１１３において実行されてよい。
　図１６に示すように、本動作では、照合部１１３は、まず、広角イメージセンサ６１１から広角画像データが入力されたか否かを判定する（ステップＳ６０１）。広角画像データが入力されていない場合（ステップＳ６０１のＮＯ）、照合部１１３は、ステップＳ６０３へ進む。一方、広角画像データが入力された場合（ステップＳ６０１のＹＥＳ）、照合部１１３は、入力された広角画像データに対して認識処理を実行することで、広角画像データにおけるターゲット（人物９００）の位置（以下、ターゲット位置ともいう）を特定する（ステップＳ６０２）。
　次に、照合部１１３は、ＥＶＳ１１２から所定のフレームレートで出力されたイベント画像データを入力する（ステップＳ６０３）。なお、ステップＳ６０３では、図２のステップＳ１０５又は図４のステップＳ１２４で入力されたイベント画像データが流用されてもよい。
　次に、照合部１１３は、入力されたイベント画像データに対して認識処理を実行することで、イベント画像データにターゲット（人物９００）が含まれているか否かを判定する（ステップＳ６０４）。イベント画像データにターゲット（人物９００）が含まれている場合（ステップＳ６０４のＹＥＳ）、照合部１１３は、ステップＳ６０７へ進む。
　一方、イベント画像データにターゲット（人物９００）が含まれていない場合（ステップＳ６０４のＮＯ）、照合部１１３は、例えば、ステップＳ６０２で広角画像データから特定されたターゲット位置と、現在のＥＶＳ１１２の姿勢及び／又はズーム倍率とから、ターゲットをＥＶＳ１１２の画角内に収めるためのパラメータ（姿勢及び／又はズーム倍率）を算出し（ステップＳ６０５）、算出されたパラメータに基づいて調整機構６１２を制御することで、ＥＶＳ１１２でターゲットを追従するようにＥＶＳ１１２の姿勢及び／又はズーム倍率を調整する（ステップＳ６０６）。なお、各撮影機器１００が調整機構６１２を備えていない場合、撮像部１１０外に調整パラメータを出力し、各撮影機器１００が備える表示部に表示されるＵＩ（ユーザインタフェース）やサーバ１０に表示されるＵＩ等を介してユーザに画角調整するよう通知するなどしてもよい。
　その後、ステップＳ６０７では、照合部１１３は、例えば、図２に示す動作フロー又は図４に示す動作フローが終了したか否かに基づいて、本動作を終了するか否かを判定し、終了する場合（ステップＳ６０７のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ６０７のＮＯ）、照合部１１３は、ステップＳ６０１へ戻り、以降の動作を実行する。
　６．３　タイミングチャート例
　次に、多視点撮影システム６の動作例について、タイミングチャートを用いて説明する。なお、なお、以下の説明では、動作フロー例の説明と同様に、例えば、運動会などの複数の人物が写り込むようなシーンを想定し、ターゲットとする物体９００を複数の人物のうちの一人（人物９００）とする場合を例示する。
　図１７は、本実施形態に係る撮影開始タイミング又は撮影終了タイミングを複数の撮影機器間で同期させる際の動作例を示すタイミングチャートである。
　図１７に示すように、撮影開始タイミング又は撮影終了タイミングを複数の撮影機器１００間で同期させる際、まず、タイミングｔ１において、ユーザがサーバ１０に対して撮影開始指示／撮影終了指示を入力する。すると、サーバ１０は、タイミングｔ２において、各撮影機器１００に対して撮影開始命令／撮影終了命令を送信する。なお、撮影開始指示／撮影終了指示には、照合開始までの待機期間の指定や、照合期間の時間長の指定などが含まれてもよい。
　各撮影機器１００では、撮影開始命令／撮影終了命令を受けると、ＥＶＳ１１２において所定のフレームレートでのイベント画像データの生成が開始（図２のステップＳ１０５、図４のステップＳ１２４）されるとともに、タイミングｔ３において、制御部１１４から照合部１１３へＥＶＳ１１２の姿勢及び／又はズーム倍率の調整命令が入力される。ＥＶＳ１１２の姿勢及び／又はズーム倍率の調整命令が入力された照合部１１３では、例えばタイミングｔ３の直前に入力されたイベント画像データに基づいて、イベント画像データにターゲットが含まれているか否かが判定され（図１６のステップＳ６０４）、含まれていない場合（図１６のステップＳ６０４のＮＯ）、タイミングｔ３の直前に広角イメージセンサ６１１から入力された広角画像データに基づいて、ＥＶＳ１１２の画角内にターゲットを収めるためのパラメータが算出されて（図１６のステップＳ６０５）、タイミングｔ４において、ＥＶＳ１１２の姿勢及び／又はズーム倍率が調整される（図１６のステップＳ６０６）。なお、図１７では、イベント画像データの毎フレームに対してＥＶＳ１１２の姿勢及び／又はズーム倍率の調整が実行されているが、これに限定されず、数フレームに一度の割合でＥＶＳ１１２の姿勢及び／又はズーム倍率の調整が実行されてもよい。
　また、照合部１１３では、例えば図５又は図６を用いて説明したタイミングチャートと同様に、待機期間の経過後（タイミングｔ６以降）、順次入力されたイベント画像データに対するパターン照合が開始される。
　ＥＶＳ１１２の姿勢及び／又はズーム倍率の調整開始後、照合部１１３は、例えばタイミングｔ７で入力されたイベント画像データにターゲット（人物９００）が含まれていない場合、タイミングｔ７の直前に入力された広角画像データ（フレームＣ）に基づいてＥＶＳ１１２の姿勢及び／又はズーム倍率を調整するためのパラメータが算出される。そして、タイミングｔ８において、算出されたパラメータに基づいてＥＶＳ１１２の姿勢及び／又はズーム倍率が調整されることで、ターゲットがＥＶＳ１１２の画角内に収められる。その際、照合部１１３は、タイミングｔ７の直前までのイベント画像データに基づいてターゲットのオプティカルフローを算出し、算出されたオプティカルフローを考慮してパラメータを算出してもよい。
　また、照合期間中、例えば、タイミングｔ９～ｔ１１の１以上のフレームで人物９００のパターン照合に連続して成功すると、照合部１１３は、タイミングｔ１２において、制御部１１４へ外部同期パルスを出力（図２のステップＳ１１０、図４のステップＳ１２９）する。
　タイミングｔ１２で外部同期パルスを受け取った制御部１１４は、タイミングｔ１３において、広角イメージセンサ６１１をリシャッタするか（図２のステップＳ１１１）、広角イメージセンサ６１１の同期制御を終了する（図４のステップＳ１３０）。本実施形態では、他の撮影機器１００においても同様の動作によってタイミングｔ１３で広角イメージセンサ６１１のリシャッタ又は同期制御停止が実行されるため、複数の撮影機器１００での撮影開始タイミング又は撮影終了タイミングの高精度な同期が可能となる。なお、制御部１１４は、例えばタイミングｔ１４において、サーバ１０へ、同期撮影を終了したことを通知してもよい。
　６．４　作用・効果
　以上のように、本実施形態によれば、ターゲット（人物９００）の動きに合わせてＥＶＳ１１２の姿勢及び／又はズーム倍率を調整することが可能となるため、ターゲットをロストする可能性を低減させつつ、パターン照合の処理速度を速めることが可能となる。それにより、複数の撮影機器１００間の同期精度をより高めることが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　７．第７の実施形態
　次に、本開示の第７の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　上述した実施形態では、光源の発光形状や配列や周期やこれらの組み合わせなどの発光パターン、モールス信号のように、光源などの発光体の点滅周期、手旗信号のような、ロボットや人などの特定の動きなどをトリガとし、これらのパターンが検出された際に複数の撮影機器１００で撮像開始又は撮像終了の同期を図る場合を例示した。しかしながら、これらに限定されるものではない。例えば、コンサート会場や劇場などでは、演奏や演劇の始まりで照明が落とされ、中休みや終わりで照明が点けられる場合がある。そのような場合、演奏や演劇が披露されている期間中と披露されていない期間中とで会場内の照度が大きく変化する。そこで本実施形態では、ＥＶＳ１１２や高速度イメージセンサ２１２や受光センサ３１２に代えて、照度センサを用いて照度を検出することで、複数の撮影機器１００で撮像開始又は撮像終了の同期を図る場合を例示する。
　図１８は、本実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。図１８に示すように、多視点撮影システム７は、第１の実施形態において図１を用いたシステム構成例と同様の構成において、各撮影機器１００の撮像部１１０におけるＥＶＳ１１２が、照度センサ７１２に置き換えられている。
　照度センサ７１２は、例えば、イメージセンサ１１１よりも高いサンプリングレートで検出結果としての照度値を出力する。ただし、照度センサ７１２の代わりに、ＥＶＳ１１２や高速度イメージセンサ２１２で検出された画素値の合計値や平均値が照度の検出結果として用いられてもよい。
　照合部１１３は、照度センサ７１２から出力された照度値を、例えばサーバ１０から通知された撮影開始条件又は撮影終了条件に含まれる照度値と照合し、その結果に基づいて外部同期パルスを生成して出力する。なお、本説明における「照合」には、照度センサ７１２から出力された照度値と、条件として与えられた照度値との比較（大小関係の確認）も含まれるものとする。
　このように、ＥＶＳ１１２や高速度イメージセンサ２１２や受光センサ３１２の代わりに照度センサ７１２を用いた場合でも、高いサンプリングレートで出力される照度値に基づいて、各撮影機器１００における撮像動作が制御されるため、複数の撮影機器１００間で高精度に撮像開始タイミング及び撮像終了タイミングを同期させることが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　８．第８の実施形態
　次に、本開示の第８の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　上述した第７の実施形態では、照度値に限られず、例えば、赤外光（ＩＲ光ともいう）や近赤外光など、人の眼には見えない可視外光が検出されたことをトリガとして、複数の撮影機器１００で撮像開始又は撮像終了の同期が図られてもよい。そこで本実施形態では、ＥＶＳ１１２や高速度イメージセンサ２１２や受光センサ３１２や照度センサ７１２に代えて、赤外センサを用いて可視外光を検出することで、複数の撮影機器１００で撮像開始又は撮像終了の同期を図る場合を例示する。
　図１９は、本実施形態に係る情報処理システムとしての多視点撮影システムの概略構成例を示すブロック図である。図１９に示すように、多視点撮影システム８は、第１の実施形態において図１を用いたシステム構成例と同様の構成において、各撮影機器１００の撮像部１１０におけるＥＶＳ１１２が、赤外センサ８１２に置き換えられている。
　赤外センサ８１２は、例えば、イメージセンサ１１１よりも高いサンプリングレートで赤外光を検出し、その結果（例えば、輝度値）を出力する。ただし、赤外センサ８１２の代わりに、ＥＶＳ１１２や高速度イメージセンサ２１２に赤外光などの可視外光を検出する画素を設け、この画素による検出結果が用いられてもよい。
　照合部１１３は、赤外センサ８１２から出力された赤外光の輝度値を、例えばサーバ１０から通知された撮影開始条件又は撮影終了条件に含まれる輝度値と照合し、その結果に基づいて外部同期パルスを生成して出力する。なお、本説明における「照合」には、赤外センサ８１２から出力された輝度値と、条件として与えられた輝度値との比較（大小関係の確認）も含まれるものとする。
　このように、ＥＶＳ１１２や高速度イメージセンサ２１２や受光センサ３１２や照度センサ７１２の代わりに赤外センサ８１２を用いた場合でも、高いサンプリングレートで出力される可視外光の検出結果に基づいて、各撮影機器１００における撮像動作が制御されるため、複数の撮影機器１００間で高精度に撮像開始タイミング及び撮像終了タイミングを同期させることが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　９．第９の実施形態
　次に、本開示の第９の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。
　上述した実施形態では、各撮影機器１００において検出されたパターンが事前に設定された照合パターンと一致した場合に外部同期パルスを生成する場合を例示したが、外部同期パルスの生成ルールはこれに限定されない。例えば、各撮影機器１００において検出されたパターンが事前に設定された照合パターンと一致しない場合に外部同期パルスを生成してもよい。そこで、本実施形態では、例えば、第１の実施形態で例示した多視点撮影システム１をベースとし、ロボットや人などの稼働する物体の特定の動きが、照合パターンとして各撮影機器１００の照合部１１３に設定され、検出された物体の動きが事前登録された照合パターンと一致しない場合に多視点同期撮影を実行する場合を例示する。ただし、ベースとする実施形態は、第１の実施形態に限定されず、他の実施形態であってよい。
　本実施形態において、例えば、対象が歌手や俳優などの人である場合、リハーサルや以前の公演などにおいて各撮影機器１００で撮影された動画データ、若しくは、シミュレーション等で生成された動画データから抽出された人物やモデルの動きが、各撮影機器１００の照合部１１３に照合パターンとして設定されてもよい。また、例えば、対象が生産工場におけるロボットアームやペットロボットなどのロボットである場合、テスト稼働や日々の稼働などにおいて各撮影機器１００で撮影された動画データ、若しくは、シミュレーション等で生成された動画データから抽出されたロボットの動きが、各撮影機器１００の照合部１１３に照合パターンとして設定されてもよい。
　そして、この照合部１１３への照合パターンの設定は、サーバ１０から各撮影機器１００へ一括又は分割して実行されてもよいし、各撮影機器１００において個別に実行されてもよい。
　図２０は、本実施形態に係る撮影開始タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。図２０に示すように、本実施形態に係る動作は、第１の実施形態において図２を用いて説明した動作と同様の動作において、ステップＳ１０６がステップＳ９０６に置き換えられている。
　ステップＳ９０６では、照合部１１３が、ステップＳ１０５で入力されたイベント画像データに対し、ステップＳ１０４で選択された照合パターンを用いてパターン照合を実行することで、イベント画像データに写り込んだ物体の検出パターンが撮影開始条件におけるＮ＋１番目の照合パターンと不一致であるか否かを判定する。そして、照合部１１３は、検出パターンが照合パターンと一致している場合（ステップＳ９０６のＮＯ）、カウント値Ｎをリセット（Ｎ＝０）した後（ステップＳ１０７）、ステップＳ１０５に戻る。一方、検出パターンが照合パターンと不一致である場合（ステップＳ９０６のＹＥＳ）、照合部１１３は、カウント値Ｎを１インクリメント（Ｎ＝Ｎ＋１）し（ステップＳ１０８）、ステップＳ１０９へ進む。
　また、図２１は、本実施形態に係る撮影終了タイミングを複数の撮影機器間で同期させるための各撮影機器の動作例を示すフローチャートである。図２１に示すように、本実施形態に係る動作は、第１の実施形態において図４を用いて説明した動作と同様の動作において、ステップＳ１２５がステップＳ９２５に置き換えられている。
　ステップＳ９２５では、図２０のステップＳ９０６と同様に、照合部１１３が、ステップＳ１２４で入力されたイベント画像データに対し、ステップＳ１２３で選択された照合パターンを用いてパターン照合を実行することで、イベント画像データに写り込んだ物体の検出パターンが撮影開始条件におけるＮ＋１番目の照合パターンと不一致であるか否かを判定する。そして、照合部１１３は、検出パターンが照合パターンと一致している場合（ステップＳ９２５のＮＯ）、カウント値Ｎをリセット（Ｎ＝０）した後（ステップＳ１２６）、ステップＳ１２４に戻る。一方、検出パターンが照合パターンと不一致である場合（ステップＳ９２５のＹＥＳ）、照合部１１３は、カウント値Ｎを１インクリメント（Ｎ＝Ｎ＋１）し（ステップＳ１２７）、ステップＳ１２８へ進む。
　このように、各撮影機器１００において検出されたパターンが事前に設定された照合パターンと一致しないことをトリガとして多視点同期撮影を開始することで、例えば、生産ラインにおけるロボットアームの不具合の発生や歩留まり低下の要因等をより詳細かつ正確に特定することを可能にする多視点映像を取得することが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　１０．第１０の実施形態
　次に、本開示の第１０の実施形態に係る情報処理システム、情報処理装置及び情報処理方法について、以下に図面を参照して詳細に説明する。第１０の実施形態では、上述した実施形態に係る多視点撮影システム１～８の他のユースケースについて、いくつか例を挙げて説明する。
　１０．１　第１のユースケース
　図２２は、本実施形態に係る第１のユースケースを説明するための模式図である。図２２に示すように、第１のユースケースでは、交差点に設置された複数の信号機９０１－１～９０１－４それぞれに設けられた撮影機器１００－１～１００－４で同期撮影する場合が例示されている。
　図２２に示すように、交差点９０１－１～９０１－４に複数の撮影機器１００－１～１００－４を設置した場合、例えば、自動車や自転車や歩行者等の事故のシーンを照合部１１３でパターン照合し、その結果に基づいて複数の撮影機器１００－１～１００－４で同期撮影を実行することで、事故のシーンを多視点で再現することが可能な多視点映像を生成することが可能となる。その結果、状況把握や現場検証等の精度改善や迅速化などに寄与することが可能となる。
　また、信号機９０１－１～９０１－４など、交差点に固定された物体に設けられた撮影機器１００－１～１００－４の他に、自動車９０２－１～９０２－２に搭載された撮影機器１００－５～１００－６とも同期撮影することで、より詳細な多視点映像を生成することが可能となるため、状況把握や現場検証等の更なる精度改善や迅速化などに寄与することが可能となる。
　１０．２　第２のユースケース
　図２３は、本実施形態に係る第２のユースケースを説明するための模式図である。図２３に示すように、第２のユースケースでは、コンビニエンスストアやベーカリー等の店舗やビルディングなどに設置される監視カメラや、道路沿いに設置される監視カメラ等に、上述した実施形態に係る撮影機器１００－１１～１００－１３（以下、監視カメラ１００－１１～１００－１３とする）を適用した場合が例示されている。
　図２３に示すように、複数の監視カメラ１００－１１～１００－１３で同期撮影する場合、例えば、ひったくりなどの犯罪行為や事故などのシーンを照合部１１３でパターン照合し、その結果に基づいて複数の監視カメラ１００－１１～１００－１３で同期撮影を実行することで、犯罪行為や事故などのシーンを多視点で再現することが可能な多視点映像を生成することが可能となる。その結果、状況把握や現場検証等の精度改善や迅速化などに寄与することが可能となる。
　また、第１のユースケースと同様に、店舗や道路沿いに固定された監視カメラ１００－１１～１００－１３の他に、自動車に搭載された撮影機器１００や携帯電話機やスマートフォンなどの撮影機能を備えるポータブル機器又はウェアラブル機器等（撮影機器１００と同等の機能を備えているものとする）とも同期撮影することで、より詳細な多視点映像を生成することが可能となるため、状況把握や現場検証等の更なる精度改善や迅速化などに寄与することが可能となる。
　１１．移動体への応用例
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２５は、撮像部１２０３１の設置位置の例を示す図である。
　図２５では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、運転者状態検出部１２０４１や、撮像部１２０３１に適用され得る。運転者状態検出部１２０４１や撮像部１２０３１に本開示に係る技術を適用することにより、他の撮影機器１００と共に多視点の映像を生成することが可能となる。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数の撮影機器を備える情報処理システムであって、
　前記撮影機器それぞれは、
　　撮像部と、
　　前記撮像部よりも高いレートで検出結果を出力するセンサと、
　　前記センサから出力された検出結果を照合する照合部と、
　　前記照合部による照合結果に基づいて前記撮像部に撮像を開始させる制御部と、
　を備える情報処理システム。
（２）
　前記照合部は、前記検出結果に含まれるパターンと予め保持している照合パターンとを照合する
　前記（１）に記載の情報処理システム。
（３）
　前記照合部は、前記検出結果を入力とする学習モデルを用いて前記検出結果を照合する
　前記（１）に記載の情報処理システム。
（４）
　１以上の発光パターンで発光可能な光源部をさらに備え、
　前記照合部は、前記センサにより検出された前記光源部の発光パターンを照合する
　前記（１）～（３）の何れか１つに記載の情報処理システム。
（５）
　前記光源部は、時系列に沿って変化する発光パターンで発光し、
　前記照合部は、前記時系列に沿って変化する発光パターンを照合する
　前記（４）に記載の情報処理システム。
（６）
　前記照合部は、前記センサで検出された物体又は光源の形状、配列、点滅周期、姿勢、表情及び動きのうちの１以上を照合する
　前記（１）～（５）の何れか１つに記載の情報処理システム。
（７）
　前記照合部は、前記センサで検出された照度値、又は、前記センサで検出された可視外光の輝度値を照合する
　前記（１）～（５）の何れか１つに記載の情報処理システム。
（８）
　前記センサは、２次元に配列する複数の画素を備え、
　前記照合部は、前記撮像部で取得された画像データにおける物体が写された領域を特定し、前記物体が写された領域に基づいて、前記センサにおいて有効とする画素領域を絞り込む
　前記（１）～（７）の何れか１つに記載の情報処理システム。
（９）
　前記照合部は、前記センサで検出された検出結果から前記物体のオプティカルフローを推定し、推定された前記オプティカルフローに基づいて、前記有効とする画素領域を設定する
　前記（８）に記載の情報処理システム。
（１０）
　前記センサの姿勢及びズーム倍率を調整する調整機構をさらに備え、
　前記照合部は、前記撮像部で取得された画像データにおける物体が写された領域を特定し、前記物体が写された領域に基づいて、前記調整機構を制御する
　前記（１）～（９）の何れか１つに記載の情報処理システム。
（１１）
　前記照合部は、前記センサで検出された検出結果から前記物体のオプティカルフローを推定し、推定された前記オプティカルフローに基づいて、前記調整機構を制御する
　前記（１０）に記載の情報処理システム。
（１２）
　前記撮像部は、前記センサよりも広い画角を備える
　前記（１０）又は（１１）に記載の情報処理システム。
（１３）
　前記撮像部は、画角内のカラー若しくはモノクロの画像データを生成するイメージセンサである
　前記（１）～（１２）の何れか１つに記載の情報処理システム。
（１４）
　前記撮像部は、画角内の物体までの距離を測定する測距センサである
　前記（１）～（１２）の何れか１つに記載の情報処理システム。
（１５）
　前記センサは、入射光の輝度変化をイベントとして検出して前記検出結果として出力するＥＶＳ（Event-based　Vision　Sensor）である
　前記（１）～（１４）の何れか１つに記載の情報処理システム。
（１６）
　前記センサは、前記撮像部よりも高いフレームレートで画像データを取得する高速度イメージセンサである
　前記（１）～（１４）の何れか１つに記載の情報処理システム。
（１７）
　前記センサは、前記撮像部よりも高いサンプリングレートで検出結果を出力する照度センサである
　前記（１）～（１４）の何れか１つに記載の情報処理システム。
（１８）
　前記センサは、前記撮像部よりも高いサンプリングレートで検出結果を出力する赤外センサである
　前記（１）～（１４）の何れか１つに記載の情報処理システム。
（１９）
　撮像部と、
　前記撮像部よりも高いレートで検出結果を出力するセンサと、
　前記センサから出力された検出結果を照合する照合部と、
　前記照合部による照合結果に基づいて前記撮像部に撮像を開始させる制御部と、
　を備える情報処理装置。
（２０）
　撮像部と、前記撮像部よりも高いレートで検出結果を出力するセンサとを備える情報処理装置で実行される情報処理方法であって、
　前記センサから出力された検出結果の照合を実行することと、
　前記照合の結果に基づいて前記撮像部に撮像を開始させることと、
　を備える情報処理方法。
　１、２、３、４、６、７、８　多視点撮影システム
　１０　サーバ
　１００、１００Ａ、１００Ｂ、１００－１～１００－６、１００－１１～１００－１３　撮影機器
　１１０　撮像部
　１１１　イメージセンサ
　１１２　ＥＶＳ
　１１３　照合部
　１１４　制御部
　１２０　通信部
　２１２　高速度イメージセンサ
　３１１　ＴｏＦセンサ
　３１２　受光センサ
　３１５　発光部
　６１１　広角イメージセンサ
　６１２　調整機構
　７１２　照度センサ
　８１２　赤外センサ
　９００　物体

Claims (20)

  1. 　複数の撮影機器を備える情報処理システムであって、
    　前記撮影機器それぞれは、
    　　撮像部と、
    　　前記撮像部よりも高いレートで検出結果を出力するセンサと、
    　　前記センサから出力された検出結果を照合する照合部と、
    　　前記照合部による照合結果に基づいて前記撮像部に撮像を開始させる制御部と、
    　を備える情報処理システム。
  2. 　前記照合部は、前記検出結果に含まれるパターンと予め保持している照合パターンとを照合する
    　請求項１に記載の情報処理システム。
  3. 　前記照合部は、前記検出結果を入力とする学習モデルを用いて前記検出結果を照合する
    　請求項１に記載の情報処理システム。
  4. 　１以上の発光パターンで発光可能な光源部をさらに備え、
    　前記照合部は、前記センサにより検出された前記光源部の発光パターンを照合する
    　請求項１に記載の情報処理システム。
  5. 　前記光源部は、時系列に沿って変化する発光パターンで発光し、
    　前記照合部は、前記時系列に沿って変化する発光パターンを照合する
    　請求項４に記載の情報処理システム。
  6. 　前記照合部は、前記センサで検出された物体又は光源の形状、配列、点滅周期、姿勢、表情及び動きのうちの１以上を照合する
    　請求項１に記載の情報処理システム。
  7. 　前記照合部は、前記センサで検出された照度値、又は、前記センサで検出された可視外光の輝度値を照合する
    　請求項１に記載の情報処理システム。
  8. 　前記センサは、２次元に配列する複数の画素を備え、
    　前記照合部は、前記撮像部で取得された画像データにおける物体が写された領域を特定し、前記物体が写された領域に基づいて、前記センサにおいて有効とする画素領域を絞り込む
    　請求項１に記載の情報処理システム。
  9. 　前記照合部は、前記センサで検出された検出結果から前記物体のオプティカルフローを推定し、推定された前記オプティカルフローに基づいて、前記有効とする画素領域を設定する
    　請求項８に記載の情報処理システム。
  10. 　前記センサの姿勢及びズーム倍率を調整する調整機構をさらに備え、
    　前記照合部は、前記撮像部で取得された画像データにおける物体が写された領域を特定し、前記物体が写された領域に基づいて、前記調整機構を制御する
    　請求項１に記載の情報処理システム。
  11. 　前記照合部は、前記センサで検出された検出結果から前記物体のオプティカルフローを推定し、推定された前記オプティカルフローに基づいて、前記調整機構を制御する
    　請求項１０に記載の情報処理システム。
  12. 　前記撮像部は、前記センサよりも広い画角を備える
    　請求項１０に記載の情報処理システム。
  13. 　前記撮像部は、画角内のカラー若しくはモノクロの画像データを生成するイメージセンサである
    　請求項１に記載の情報処理システム。
  14. 　前記撮像部は、画角内の物体までの距離を測定する測距センサである
    　請求項１に記載の情報処理システム。
  15. 　前記センサは、入射光の輝度変化をイベントとして検出して前記検出結果として出力するＥＶＳ（Event-based　Vision　Sensor）である
    　請求項１に記載の情報処理システム。
  16. 　前記センサは、前記撮像部よりも高いフレームレートで画像データを取得する高速度イメージセンサである
    　請求項１に記載の情報処理システム。
  17. 　前記センサは、前記撮像部よりも高いサンプリングレートで検出結果を出力する照度センサである
    　請求項１に記載の情報処理システム。
  18. 　前記センサは、前記撮像部よりも高いサンプリングレートで検出結果を出力する赤外センサである
    　請求項１に記載の情報処理システム。
  19. 　撮像部と、
    　前記撮像部よりも高いレートで検出結果を出力するセンサと、
    　前記センサから出力された検出結果を照合する照合部と、
    　前記照合部による照合結果に基づいて前記撮像部に撮像を開始させる制御部と、
    　を備える情報処理装置。
  20. 　撮像部と、前記撮像部よりも高いレートで検出結果を出力するセンサとを備える情報処理装置で実行される情報処理方法であって、
    　前記センサから出力された検出結果の照合を実行することと、
    　前記照合の結果に基づいて前記撮像部に撮像を開始させることと、
    　を備える情報処理方法。
PCT/JP2022/013399 2021-07-13 2022-03-23 情報処理システム、情報処理装置及び情報処理方法 WO2023286375A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021115916A JP2023012330A (ja) 2021-07-13 2021-07-13 情報処理システム、情報処理装置及び情報処理方法
JP2021-115916 2021-07-13

Publications (1)

Publication Number Publication Date
WO2023286375A1 true WO2023286375A1 (ja) 2023-01-19

Family

ID=84919940

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013399 WO2023286375A1 (ja) 2021-07-13 2022-03-23 情報処理システム、情報処理装置及び情報処理方法

Country Status (2)

Country Link
JP (1) JP2023012330A (ja)
WO (1) WO2023286375A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011237716A (ja) * 2010-05-13 2011-11-24 Olympus Imaging Corp デジタルカメラ及びその制御方法
JP2013074466A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 動画撮影システム、動画解析装置、動画解析方法およびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011237716A (ja) * 2010-05-13 2011-11-24 Olympus Imaging Corp デジタルカメラ及びその制御方法
JP2013074466A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 動画撮影システム、動画解析装置、動画解析方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2023012330A (ja) 2023-01-25

Similar Documents

Publication Publication Date Title
US20240029424A1 (en) Imaging apparatus, imaging system, imaging method, and imaging program
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
JP2024073621A (ja) 視覚画像データを用いたオブジェクト属性の推定
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
JPWO2019039279A1 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
US10887568B2 (en) Image processing apparatus, and image processing method
US20210341616A1 (en) Sensor fusion system, synchronization control apparatus, and synchronization control method
JP6977722B2 (ja) 撮像装置、および画像処理システム
KR20210056336A (ko) 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램
WO2017195459A1 (ja) 撮像装置、および撮像方法
CN110741631A (zh) 车辆的图像提供系统、服务器系统及车辆的图像提供方法
CN111086451B (zh) 一种平视显示系统、显示方法和汽车
WO2021029262A1 (ja) 装置、測定装置、測距システムおよび方法
WO2023286375A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
CN110301133B (zh) 信息处理装置、信息处理方法和计算机可读记录介质
US20230098440A1 (en) Imaging device, imaging system, and imaging method
WO2021106624A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
US20220268890A1 (en) Measuring device and distance measuring device
CN113661700B (zh) 成像装置与成像方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22841725

Country of ref document: EP

Kind code of ref document: A1