WO2021131788A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021131788A1
WO2021131788A1 PCT/JP2020/046265 JP2020046265W WO2021131788A1 WO 2021131788 A1 WO2021131788 A1 WO 2021131788A1 JP 2020046265 W JP2020046265 W JP 2020046265W WO 2021131788 A1 WO2021131788 A1 WO 2021131788A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
gnss
sensor
counter value
information processing
Prior art date
Application number
PCT/JP2020/046265
Other languages
English (en)
French (fr)
Inventor
山本　英明
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/785,725 priority Critical patent/US20230049796A1/en
Publication of WO2021131788A1 publication Critical patent/WO2021131788A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values
    • G—PHYSICS
    • G04—HOROLOGY
    • G04R—RADIO-CONTROLLED TIME-PIECES
    • G04R20/00—Setting the time according to the time information carried or implied by the radio signal
    • G04R20/02—Setting the time according to the time information carried or implied by the radio signal the radio signal being sent by a satellite, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program suitable for use when determining the sensing time of a sensor.
  • Patent Document 2 a technique for controlling the opening and closing of the shutter of the photographing apparatus in synchronization with the time supplied from the outside such as GPS has been proposed (see, for example, Patent Document 2).
  • the shooting timing is limited to the timing synchronized with the time supplied from the outside.
  • the shooting timing is performed at a timing that is not synchronized with the time supplied from the outside, it is difficult to accurately obtain the shooting time.
  • This technology was made in view of such a situation, and makes it possible to easily and accurately obtain the sensing time of a sensor such as an image sensor.
  • the information processing device of the first aspect of the present technology includes a control circuit that outputs a control signal that controls the sensing timing of the sensor, a counter that updates the counter value at a predetermined cycle, and the control signal that is output from the control circuit.
  • the first counter value when the data is set the second counter value when a pulse signal synchronized with the GNSS time in the GNSS (Global Navigation Satellite System) is output from the GNSS receiver, and the sensing time including the GNSS time.
  • the information processing method of the first aspect of the present technology is when the information processing device outputs a control signal for controlling the sensing timing of the sensor, updates the counter value at a predetermined cycle, and outputs the control signal.
  • the first counter value, the second counter value when a pulse signal synchronized with the GNSS time in the GNSS (Global Navigation Satellite System) is output from the GNSS receiver, and the sensing time information including the GNSS time are described above. It is added to the sensor data output from the sensor.
  • the program of the first aspect of the present technology is described in a computer of an information processing apparatus including a control circuit for outputting a control signal for controlling the sensing timing of a sensor and a counter for updating a counter value at a predetermined cycle.
  • the first counter value when the control signal is output from the second counter value when the pulse signal synchronized with the GNSS time in the GNSS (Global Navigation Satellite System) is output from the GNSS receiver, and the above.
  • Sensing time information including the GNSS time is added to the sensor data output from the sensor.
  • the information processing device of the second aspect of the present technology is output from a control circuit that outputs a control signal that controls the sensing timing of the sensor and another information processing device that includes a counter that updates the counter value at a predetermined cycle.
  • a pulse signal synchronized with the GNSS time in the GNSS Global Navigation Satellite System
  • GNSS Global Navigation Satellite System
  • the information processing method of the second aspect of the present technology includes other information in which the information processing apparatus includes a control circuit that outputs a control signal that controls the sensing timing of the sensor, and a counter that updates the counter value at a predetermined cycle.
  • the sensing time of the sensor data output from the sensor is calculated based on the second counter value at that time and the sensing time information including the GNSS time.
  • the program of the second aspect of the present technology is a sensing output from a control circuit that outputs a control signal that controls the sensing timing of the sensor and another information processing apparatus that includes a counter that updates the counter value at a predetermined cycle.
  • the sensing time of the sensor data output from the sensor is calculated based on the value and the sensing time information including the GNSS time.
  • the sensing timing of the sensor is controlled, the counter value is updated at a predetermined cycle, and the first counter value when the control signal is output from the control circuit, GNSS (Global).
  • the second counter value when the pulse signal synchronized with the GNSS time in the Navigation Satellite System) is output from the GNSS receiver, and the sensing time information including the GNSS time are added to the sensor data output from the sensor. Will be done.
  • GNSS Global Navigation Satellite System
  • FIG. 1 is a block diagram showing a configuration example of an in-vehicle system 11 to which the present technology is applied.
  • the in-vehicle system 11 is a system provided in the vehicle 1 that photographs the surroundings or the inside of the vehicle 1 and performs image processing such as object recognition based on the obtained image data.
  • the in-vehicle system 11 includes an in-vehicle camera 21, a host 22, and a sensing unit 23.
  • the in-vehicle camera 21 and the sensing unit 23 are connected by a dedicated communication line.
  • the host 22 and the sensing unit 23 are connected by Ethernet.
  • the in-vehicle camera 21 includes an antenna 31, a GPS (Global Positioning System) receiver 32, and a photographing unit 33.
  • GPS Global Positioning System
  • the GPS receiver 32 receives GPS signals from GPS satellites via the antenna 31.
  • the GPS receiver 32 generates a GPS time signal including a GPS time included in the GPS signal (hereinafter referred to as GPS time) and supplies the GPS time signal to the photographing unit 33.
  • GPS time is synchronized with UTC (Coordinated Universal Time) and updated every 1 second.
  • the GPS receiver 32 generates a pulsed PPS (PulsePerSecond) signal synchronized with the GPS time and supplies it to the photographing unit 33.
  • PPS PulsePerSecond
  • the PPS signal is output at a cycle of 1 second each time the GPS time is updated.
  • the photographing unit 33 photographs the surroundings or the inside of the vehicle 1. Further, the photographing unit 33 generates shooting time information used for calculating the shooting time based on the GPS time signal and the PPS signal. The shooting unit 33 adds shooting time information to the image data of each frame obtained by shooting and supplies the shooting time information to the sensing unit 23.
  • the host 22 includes an antenna 41, a GPS receiver 42, and a master clock 43.
  • the GPS receiver 42 receives a GPS signal from a GPS satellite via an antenna 41, and supplies a GPS time signal and a PPS signal to the master clock 43.
  • the master clock 43 generates and outputs reference time data indicating a reference time that serves as a reference for processing of each part in the vehicle 1. Further, the master clock 43 synchronizes the reference time with the GPS time based on the GPS time signal and the PPS signal.
  • the sensing unit 23 includes a local clock 51, a time control unit 52, and an image processing unit 53.
  • the local clock 51 generates and outputs local time data indicating the local time that serves as a reference for processing in the sensing unit 23.
  • the time control unit 52 synchronizes the local time of the local clock 51 with the reference time of the master clock 43 of the host 22 according to PTP (Precision Time Protocol). As a result, the local time is synchronized with the GPS time.
  • PTP Precision Time Protocol
  • the time control unit 52 calculates the shooting time of the image data of each frame based on the shooting time information added to the image data.
  • the image processing unit 53 performs image processing such as object recognition based on the image data. At this time, the image processing unit 53 performs image processing using the local time of the local clock 51 and the shooting time calculated by the time control unit 52, if necessary.
  • FIG. 2 is a block diagram showing a configuration example of the vehicle-mounted camera 21 to which the present technology is applied.
  • the in-vehicle camera 21 includes an antenna 31, a GPS receiver 32, and a photographing unit 33.
  • the photographing unit 33 includes an oscillator 101, an exposure timing control circuit 102, a lens 103, an image sensor 104, a signal processing circuit 105, a counter 106, a D latch circuit 107, a D latch circuit 108, a time information addition circuit 109, and an I / F. (Interface)
  • the circuit 110 is provided.
  • the oscillator 101 generates a clock signal having a predetermined period and supplies it to the exposure timing control circuit 102 and the counter 106.
  • the exposure timing control circuit 102 generates a VSync (vertical synchronization signal) based on the clock signal and supplies it to the image sensor 104 and the D latch circuit 108.
  • VSync vertical synchronization signal
  • the lens 103 forms an image of light from the subject on the light receiving surface of the image sensor 104.
  • the image sensor 104 starts exposure at a timing synchronized with VSync, photographs a subject (for example, around or inside the vehicle 1), and supplies the obtained image data to the signal processing circuit 105.
  • the signal processing circuit 105 performs predetermined signal processing such as white balance adjustment and noise removal on the image data, and supplies the image data after the signal processing to the time information addition circuit 109.
  • the counter 106 updates the counter value in a cycle shorter than the VSsync cycle in synchronization with the clock signal.
  • the counter 106 supplies a counter signal indicating a counter value to the D-latch circuit 107 and the D-latch circuit 108.
  • the D-latch circuit 107 is a counter value of the counter 106 when a PPS signal is output from the GPS receiver 32 (more strictly, when a PPS signal is input to the D-latch circuit 107) (hereinafter, referred to as a PPS counter value). To hold). Further, the D latch circuit 107 supplies the PPS counter signal indicating the held PPS counter value to the time information addition circuit 109.
  • the D-latch circuit 108 is referred to as a counter value (hereinafter, referred to as a VSync counter value) of the counter 106 when VSync is output from the exposure timing control circuit 102 (more strictly, when VSync is input to the D-latch circuit 108). ) Is held. Further, the D-latch circuit 108 supplies the VSsync counter signal indicating the held VSSync counter value to the time information addition circuit 109.
  • the time information addition circuit 109 generates shooting time information including a PPS counter value, a VSync counter value, and a GPS time. Further, the time information addition circuit 109 adds shooting time information to the image data of each frame supplied from the image sensor 104. Then, the time information addition circuit 109 supplies image data to which shooting time information is added (hereinafter, referred to as image data with time information) to the I / F circuit 110.
  • the I / F circuit 110 supplies image data with time information to the sensing unit 23.
  • the timing chart of FIG. 3 shows a timing chart of PPS signal, GPS time signal, VSsync, counter value, PPS counter value, VSSync counter value, and shooting time information.
  • VSSync is output four times per second, but in reality, VSSync is output more frequently.
  • the GPS time included in the GPS signal received by the GPS receiver 32 is updated to UTC time A.
  • the GPS time included in the GPS time signal supplied from the GPS receiver 32 to the time information addition circuit 109 is updated to UTC time A.
  • the PPS signal supplied from the GPS receiver 32 to the D latch circuit 107 rises.
  • the PPS signal supplied from the GPS receiver 32 to the D latch circuit 107 goes down.
  • the D-latch circuit 107 holds the counter value n included in the counter signal supplied from the counter 106 at the timing when the PPS signal falls.
  • the PPS counter value of the PPS counter signal supplied from the D latch circuit 107 to the time information addition circuit 109 is updated to n.
  • VSync supplied from the exposure timing control circuit 102 to the image sensor 104 and the D latch circuit 108 starts up.
  • the VSync supplied from the exposure timing control circuit 102 to the image sensor 104 and the D latch circuit 108 goes down.
  • the D-latch circuit 108 holds the counter value m included in the counter signal supplied from the counter 106 at the timing when the VSync goes down.
  • the VSSync counter value of the VSSync counter signal supplied from the D-latch circuit 108 to the time information addition circuit 109 is updated to m.
  • the image sensor 104 starts the exposure of the next frame, that is, the shooting of the next frame in synchronization with VSsync.
  • the image sensor 104 supplies the obtained image data to the time information addition circuit 109 via the signal processing circuit 105.
  • the time information addition circuit 109 generates shooting time information including the GPS time at time t3, the PPS counter value, and the VSync counter value. That is, the time information addition circuit 109 generates shooting time information in which the GPS time is UTC time A, the PPS counter value is n, and the VSsync counter value is m.
  • the time information addition circuit 109 generates image data with time information to which shooting time information is added. For example, as shown by the shaded area in FIG. 4, the shooting time information is embedded at an inconspicuous position such as the beginning of the first line of the image data.
  • the time information addition circuit 109 supplies image data with time information to the sensing unit 23 via the I / F circuit 110.
  • VSSync starts up in the same manner as at time t2.
  • VSsync goes down in the same way as at time t3.
  • the D-latch circuit 108 holds the counter value o included in the counter signal supplied from the counter 106, and updates the VSsync counter value of the VSsync counter signal supplied to the time information addition circuit 109 to o.
  • the image sensor 104 starts the exposure of the next frame in synchronization with VSsync, and supplies the obtained image data to the time information addition circuit 109 via the signal processing circuit 105.
  • the time information addition circuit 109 generates shooting time information in which the GPS time is UTC time A, the PPS counter value is n, and the VSsync counter value is o.
  • the time information addition circuit 109 adds the shooting time information to the image data, and supplies the image data with the time information to which the shooting time information is added to the sensing unit 23 via the I / F circuit 110.
  • VSSync starts up in the same manner as at time t2.
  • VSsync goes down in the same way as at time t3.
  • the D-latch circuit 108 holds the counter value p included in the counter signal supplied from the counter 106, and updates the VSsync counter value of the VSsync counter signal supplied to the time information addition circuit 109 to p.
  • the image sensor 104 starts the exposure of the next frame in synchronization with VSsync, and supplies the obtained image data to the time information addition circuit 109 via the signal processing circuit 105.
  • the time information addition circuit 109 generates shooting time information in which the GPS time is UTC time A, the PPS counter value is n, and the VSsync counter value is p.
  • the time information addition circuit 109 adds the shooting time information to the image data, and supplies the image data with the time information to which the shooting time information is added to the sensing unit 23 via the I / F circuit 110.
  • VSSync starts up in the same manner as at time t2.
  • VSsync goes down in the same way as at time t3.
  • the D-latch circuit 108 holds the counter value q included in the counter signal supplied from the counter 106, and updates the VSsync counter value of the VSsync counter signal supplied to the time information addition circuit 109 to q.
  • the image sensor 104 starts the exposure of the next frame in synchronization with VSsync, and supplies the obtained image data to the time information addition circuit 109 via the signal processing circuit 105.
  • the time information addition circuit 109 generates shooting time information in which the GPS time is UTC time A, the PPS counter value is n, and the VSsync counter value is q.
  • the time information addition circuit 109 adds the shooting time information to the image data, and supplies the image data with the time information to which the shooting time information is added to the sensing unit 23 via the I / F circuit 110.
  • the GPS time included in the GPS signal received by the GPS receiver 32 is updated to UTC time B in the same manner as at time t0.
  • the GPS time included in the GPS time signal supplied from the GPS receiver 32 to the time information addition circuit 109 is updated to UTC time B.
  • the PPS signal supplied from the GPS receiver 32 to the D latch circuit 107 rises.
  • the PPS signal goes down as at time t1.
  • the D-latch circuit 107 holds the counter value r included in the counter signal, and updates the PPS counter value of the PPS counter signal supplied to the time information addition circuit 109 to r.
  • VSSync starts up in the same manner as at time t2.
  • VSsync goes down in the same way as at time t3.
  • the D-latch circuit 108 holds the counter value s included in the counter signal supplied from the counter 106, and updates the VSsync counter value of the VSsync counter signal supplied to the time information addition circuit 109 to s.
  • the image sensor 104 starts the exposure of the next frame in synchronization with VSsync, and supplies the obtained image data to the time information addition circuit 109 via the signal processing circuit 105.
  • the time information addition circuit 109 generates shooting time information in which the GPS time is UTC time B, the PPS counter value is r, and the VSsync counter value is s.
  • the time information addition circuit 109 adds the shooting time information to the image data, and supplies the image data with the time information to which the shooting time information is added to the sensing unit 23 via the I / F circuit 110.
  • VSSync starts up in the same manner as at time t2.
  • VSsync goes down in the same way as at time t3.
  • the D-latch circuit 108 holds the counter value t included in the counter signal supplied from the counter 106, and updates the VSsync counter value of the VSsync counter signal supplied to the time information addition circuit 109 to t.
  • the image sensor 104 starts the exposure of the next frame in synchronization with VSsync, and supplies the obtained image data to the time information addition circuit 109 via the signal processing circuit 105.
  • the time information addition circuit 109 generates shooting time information in which the GPS time is UTC time B, the PPS counter value is r, and the VSsync counter value is t.
  • the time information addition circuit 109 adds the shooting time information to the image data, and supplies the image data with the time information to which the shooting time information is added to the sensing unit 23 via the I / F circuit 110.
  • VSSync starts up in the same manner as at time t2.
  • VSsync goes down in the same way as at time t3.
  • the D-latch circuit 108 holds the counter value u included in the counter signal supplied from the counter 106, and updates the VSsync counter value of the VSsync counter signal supplied to the time information addition circuit 109 to u.
  • the image sensor 104 starts the exposure of the next frame in synchronization with VSsync, and supplies the obtained image data to the time information addition circuit 109 via the signal processing circuit 105.
  • the time information addition circuit 109 generates shooting time information in which the GPS time is UTC time B, the PPS counter value is r, and the VSsync counter value is u.
  • the time information addition circuit 109 adds the shooting time information to the image data, and supplies the image data with the time information to which the shooting time information is added to the sensing unit 23 via the I / F circuit 110.
  • the time control unit 52 of the sensing unit 23 calculates the shooting time of each image data by the following equation (1) based on the shooting time information.
  • T indicates the cycle of the counter 106.
  • the image processing unit 53 uses the following equations (2) to (8) to capture the shooting time t3, the shooting time t5, the shooting time t7, the shooting time t9, the shooting time t13, the shooting time t15, and the shooting time t15 in FIG. Calculate time t17.
  • the accurate shooting time of the image data of each frame can be obtained without providing the in-vehicle camera 21 with a real-time clock or a real-time clock correction circuit. Therefore, the circuit of the vehicle-mounted camera 21 is simplified, and the design cost and the manufacturing cost are reduced.
  • the sensing unit 23 performs image processing such as object recognition, it is assumed that the sensing unit 23 is equipped with a processor having a higher computing power than the in-vehicle camera 21. Therefore, as described above, even if the sensing unit 23 calculates the shooting time, the processing load of the sensing unit 23 is hardly provided.
  • the obtained shooting time is represented by the GPS time (UTC time), and the reference time of the master clock 43 is synchronized with the GPS time (UTC time). Therefore, the obtained shooting time is a time based on the reference time of the master clock 43 without correction.
  • the shooting time can be accurately obtained based on the GPS time and PPS counter value at the time of receiving the last GPS signal and the VSsync counter value.
  • FIG. 5 shows a configuration example of the in-vehicle system 201, which is the second embodiment of the in-vehicle system to which the present technology is applied.
  • the parts corresponding to the in-vehicle system 11 in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the in-vehicle system 201 is significantly different from the in-vehicle system 11 in that the sensing unit 212 is provided with the GPS receiver 232 instead of the host 211.
  • the in-vehicle system 201 is different from the in-vehicle system 11 in that the in-vehicle camera 21 is provided, and the host 211 and the sensing unit 212 are provided instead of the host 22 and the sensing unit 23.
  • the host 211 includes a master clock 221.
  • the sensing unit 212 is in agreement with the sensing unit 23 in FIG. 1 in that it includes an image processing unit 53. Further, the sensing unit 212 is different from the sensing unit 23 in that it includes a local clock 233 and a time control unit 234 instead of the local clock 51 and the time control unit 52, and includes an antenna 231 and a GPS receiver 232.
  • the in-vehicle camera 21 is connected to the sensing unit 212 by a dedicated connecting line.
  • the host 211 and the sensing unit 212 are connected by Ethernet.
  • the GPS receiver 232 receives the GPS signal from the GPS satellite via the antenna 231 and supplies the GPS time signal and the PPS signal to the local clock 233.
  • the local clock 233 synchronizes the local time with the GPS time included in the GPS time signal at the time of activation.
  • the time control unit 234 detects the time difference between the reference time of the master clock 221 of the host 211 and the local time of the local clock 233 based on the PTP protocol. Further, the time control unit 234 synchronizes the local time of the local clock 233 with the reference time of the master clock 221 based on the PTP protocol.
  • the time control unit 234 calculates the shooting time of the image data supplied from the in-vehicle camera 21 by the above-mentioned formula (1). Further, the time control unit 234 corrects the calculated shooting time based on the time difference between the master clock 221 and the local clock 233. As a result, the shooting time of the image data of each frame is corrected to the time based on the reference time of the master clock 221.
  • the local time of the local clock 233 and the shooting time of the image data are synchronized with the reference time.
  • FIG. 6 shows a configuration example of the in-vehicle system 301 which is the third embodiment of the in-vehicle system to which the present technology is applied.
  • the parts corresponding to the in-vehicle system 11 in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the in-vehicle system 301 is significantly different from the in-vehicle system 11 in that the host 311 does not have a GPS receiver.
  • the in-vehicle system 301 is different from the in-vehicle system 11 in that it is provided with the in-vehicle camera 21 and the sensing unit 23, and is provided with the host 311 instead of the host 22.
  • the in-vehicle camera 21 is connected to the host 311 and the sensing unit 23 by a dedicated connection line.
  • the host 311 and the sensing unit 23 are connected by Ethernet.
  • Host 311 includes a master clock 43.
  • the GPS receiver 32 of the vehicle-mounted camera 21 supplies the GPS time signal and the PPS signal to the master clock 43 of the host 311.
  • the master clock 43 synchronizes the reference time with the GPS time based on the GPS time signal and the PPS signal from the GPS receiver 32.
  • the number of GPS receivers can be reduced.
  • FIG. 7 shows a configuration example of the in-vehicle system 401 which is the fourth embodiment of the in-vehicle system to which the present technology is applied.
  • the parts corresponding to the in-vehicle system 11 in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the in-vehicle system 401 is significantly different from the in-vehicle system 301 of FIG. 6 in that the GPS receiver 412 is provided outside the host 311 and the in-vehicle camera 413.
  • the in-vehicle system 401 is in agreement with the in-vehicle system 301 in that it includes the sensing unit 23 and the host 311. Further, the in-vehicle system 401 is different from the in-vehicle system 301 in that the in-vehicle camera 413 is provided instead of the in-vehicle camera 21, and the antenna 411 and the GPS receiver 412 are provided.
  • the in-vehicle camera 413 is different from the in-vehicle camera 21 in FIG. 6 in that it is provided with the photographing unit 33, and is different in that it is not provided with the antenna 31 and the GPS receiver 32.
  • the GPS receiver 412 receives GPS signals from GPS satellites via the antenna 411, and transmits the GPS time signal and PPS signal to the photographing unit 33 and the host 311 of the in-vehicle camera 413. It is supplied to the master clock 43 of.
  • the photographing unit 33 generates shooting time information and adds it to the image data as described above based on the GPS time signal and the PPS signal from the GPS receiver 412.
  • the master clock 43 synchronizes the reference time with the GPS time based on the GPS time signal and the PPS signal from the GPS receiver 412.
  • the number of GPS receivers can be reduced as in the third embodiment. Further, for example, since the GPS receiver 412 is provided independently, it becomes easy to share the GPS time signal and the PPS signal among a plurality of devices.
  • GNSS Global Navigation Satellite System
  • the shooting time information may be added to the image data by another method.
  • the shooting time information may be inserted into the header information of the image data, or the data obtained by combining the image data and the shooting time information may be generated.
  • the image data and the shooting time information may be output as individual data and may be associated with each other by an ID or the like.
  • the shooting time information may include position information based on the GNSS signal and the like.
  • the vehicle-mounted camera 21 or the vehicle-mounted camera 413 may calculate the shooting time and add the shooting time information including the calculated shooting time to the image data.
  • this technology can also be applied to obtain the sensing time of a sensor other than an image sensor, for example, a sensor used for object recognition such as LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing), radar, etc. it can.
  • sensing time information including the same information as the shooting time information described above is added to each sensor data.
  • the VSsync counter value instead of the VSsync counter value, the counter value when the control signal for controlling the sensing timing of the sensor is output is used.
  • the sensing start time as the sensing time
  • the time of another timing may be obtained as the sensing time.
  • the time when the exposure is finished may be obtained as the shooting time instead of the time when the exposure is started.
  • this technology can be applied to moving objects other than vehicles.
  • moving objects such as motorcycles, bicycles, personal mobility, airplanes, ships, construction machinery, and agricultural machinery (tractors) are assumed.
  • the moving body to which the present technology can be applied includes, for example, a moving body such as a drone or a robot that is remotely operated (operated) without being boarded by a user.
  • this technology can be applied not only to mobile objects but also to systems and devices equipped with GNSS receivers and sensors.
  • information processing terminals such as smartphones, tablet terminals, mobile phones, and personal computers, surveillance camera systems, and the like.
  • the plurality of sensors may be the same type of sensor or different types of sensors. Then, by the method described above, the sensing time of the sensor data of each sensor can be accurately obtained. This makes it possible to easily synchronize the sensor data of a plurality of sensors.
  • FIG. 8 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads and executes the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, as described above. A series of processing is performed.
  • the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the recording unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a control circuit that outputs a control signal that controls the sensing timing of the sensor, A counter that updates the counter value at a predetermined cycle, and The first counter value when the control signal is output from the control circuit, the second counter value when the pulse signal synchronized with the GNSS time in the GNSS (Global Navigation Satellite System) is output from the GNSS receiver,
  • An information processing device including an additional circuit that adds sensing time information including the GNSS time to sensor data output from the sensor.
  • the sensor is an image sensor and The control signal is a vertical synchronization signal and The information processing device according to (2) or (3) above, wherein the sensor data is image data.
  • the sensor senses around or inside the vehicle and The information processing device according to (5), wherein the GNSS receiver supplies a signal indicating the GNSS time and the pulse signal to another information processing device including the master clock of the vehicle.
  • Information processing device Outputs a control signal that controls the sensing timing of the sensor, The counter value is updated at a predetermined cycle, The first counter value when the control signal is output, the second counter value when the pulse signal synchronized with the GNSS time in the GNSS (Global Navigation Satellite System) is output from the GNSS receiver, and the GNSS.
  • An information processing method that adds sensing time information including time to sensor data output from the sensor.
  • a control circuit that outputs a control signal that controls the sensing timing of the sensor, To a computer of an information processing device equipped with a counter that updates the counter value at a predetermined cycle, The first counter value when the control signal is output from the control circuit, the second counter value when the pulse signal synchronized with the GNSS time in the GNSS (Global Navigation Satellite System) is output from the GNSS receiver, A program for executing a process of adding sensing time information including the GNSS time to the sensor data output from the sensor. (10) Sensing time information output from a control circuit that outputs a control signal that controls the sensing timing of the sensor and another information processing device that has a counter that updates the counter value at a predetermined cycle, and the control signal is output.
  • GNSS Global Navigation Satellite System
  • An information processing device including a time control unit that calculates the sensing time of sensor data output from the sensor based on the including sensing time information. (11) The information processing device according to (10), wherein the time control unit calculates the GNSS time + (the first counter value-the second counter value) x the period of the counter as the sensing time. (12) The information processing device according to (10) or (11), wherein the sensor senses the surroundings or the inside of the vehicle.
  • the information processing device further comprising an image processing unit that recognizes an object around or inside the vehicle based on the sensor data.
  • (14) With more clocks The information processing device according to any one of (12) to (13), wherein the time control unit synchronizes the time of the clock with the time of the master clock of the vehicle.
  • the time control unit corrects the sensing time based on the time difference between the clock time before synchronization and the master clock time.
  • (16) Further equipped with a second GNSS receiver to receive the GNSS signal, The information processing apparatus according to (15), further comprising synchronizing the clock with the GNSS time based on a signal including the GNSS time output from the second GNSS receiver.
  • the information processing device according to any one of (10) to (16), wherein the sensing time information is added to the sensor data.
  • the sensor is an image sensor and The information processing device according to any one of (10) to (17) above, wherein the control signal is a vertical synchronization signal.
  • Information processing device Sensing time information output from a control circuit that outputs a control signal that controls the sensing timing of the sensor and another information processing device that has a counter that updates the counter value at a predetermined cycle, and the control signal is output. The first counter value when the signal is set, the second counter value when the pulse signal synchronized with the GNSS time in the GNSS (Global Navigation Satellite System) is output from the GNSS receiver, and the sensing time including the GNSS time.
  • GNSS Global Navigation Satellite System
  • An information processing method that calculates the sensing time of sensor data output from the sensor based on the information.
  • Sensing time information output from a control circuit that outputs a control signal that controls the sensing timing of the sensor and another information processing device that has a counter that updates the counter value at a predetermined cycle, and the control signal is output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、センサのセンシング時刻を簡単かつ正確に求めることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、センサのセンシングタイミングを制御する制御信号を出力する制御回路と、所定の周期でカウンタ値を更新するカウンタと、前記制御回路から前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する付加回路とを備える。本技術は、例えば、車載用のカメラに適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、センサのセンシング時刻を求める場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
　従来、内部の時計に基づく時間データを画像データに埋め込む車載用監視カメラにおいて、ＧＰＳから受信した時間情報に基づいて、内部の時計の時刻を自動的に補正する技術が提案されている（例えば、特許文献１参照）。
　また、従来、ＧＰＳ等の外部から供給される時刻に同期して撮影装置のシャッタの開閉を制御する技術が提案されている（例えば、特許文献２参照）。
特開２０１１－１５９０９３号公報 特開２０１０－２３６８９１号公報
　しかしながら、特許文献１に記載の発明では、リアルタイムクロック及びリアルタイムクロックの時刻の補正手段を車載用監視カメラに設ける必要があり、設計コストや製造コストが増大する。
　また、特許文献２に記載の発明では、撮影タイミングが、外部から供給される時刻に同期したタイミングに制限される。一方、例えば、外部から供給される時刻に同期しないタイミングで撮影した場合、撮影時刻を正確に求めることが困難である。
　本技術は、このような状況に鑑みてなされたものであり、イメージセンサ等のセンサのセンシング時刻を簡単かつ正確に求めることができるようにするものである。
　本技術の第１の側面の情報処理装置は、センサのセンシングタイミングを制御する制御信号を出力する制御回路と、所定の周期でカウンタ値を更新するカウンタと、前記制御回路から前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する付加回路とを備える。
　本技術の第１の側面の情報処理方法は、情報処理装置が、センサのセンシングタイミングを制御する制御信号を出力し、所定の周期でカウンタ値を更新し、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する。
　本技術の第１の側面のプログラムは、センサのセンシングタイミングを制御する制御信号を出力する制御回路と、所定の周期でカウンタ値を更新するカウンタとを備える情報処理装置のコンピュータに、前記制御回路から前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する。
　本技術の第２の側面の情報処理装置は、センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号が第１のＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する時刻制御部を備える。
　本技術の第２の側面の情報処理方法は、情報処理装置が、センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する。
　本技術の第２の側面のプログラムは、センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する。
　本技術の第１の側面においては、センサのセンシングタイミングが制御され、所定の周期でカウンタ値が更新され、前記制御回路から前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報が、前記センサから出力されるセンサデータに付加される。
　本技術の第２の側面においては、センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻が計算される。
本技術を適用した車載システムの第１の実施の形態を示すブロック図である。 車載カメラの構成例を示すブロック図である。 車載カメラの処理を説明するためのタイミングチャートである。 撮影時刻情報を埋め込む位置の例を示す図である。 本技術を適用した車載システムの第２の実施の形態を示すブロック図である。 本技術を適用した車載システムの第３の実施の形態を示すブロック図である。 本技術を適用した車載システムの第４の実施の形態を示すブロック図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（車載カメラとホストがＧＰＳ受信機を備える例）
　２．第２の実施の形態（車載カメラとセンシングユニットがＧＰＳ受信機を備える例）
　３．第３の実施の形態（車載カメラのみがＧＰＳ受信機を備える例）
　４．第４の実施の形態（ＧＰＳ受信機が外部に設けられた例）
　５．変形例
　６．その他
　＜＜１．第１の実施の形態＞＞
　まず、図１乃至図４を参照して、本技術の第１の実施の形態について説明する。
　　＜車載システム１１の構成例＞
　図１は、本技術を適用した車載システム１１の構成例を示すブロック図である。
　車載システム１１は、車両１に設けられ、車両１の周囲又は内部を撮影し、得られた画像データに基づいて、物体認識等の画像処理を行うシステムである。
　車載システム１１は、車載カメラ２１、ホスト２２、及び、センシングユニット２３を備える。車載カメラ２１とセンシングユニット２３は、専用の通信線により接続されている。ホスト２２とセンシングユニット２３は、Ｅｔｈｅｒｎｅｔにより接続されている。
　車載カメラ２１は、アンテナ３１、ＧＰＳ（Global Positioning System）受信機３２、及び、撮影部３３を備える。
　ＧＰＳ受信機３２は、アンテナ３１を介して、ＧＰＳ衛星からＧＰＳ信号を受信する。ＧＰＳ受信機３２は、ＧＰＳ信号に含まれるＧＰＳの時刻（以下、ＧＰＳ時刻と称する）を含むＧＰＳ時刻信号を生成し、撮影部３３に供給する。ＧＰＳ時刻は、ＵＴＣ（Coordinated Universal Time）に同期し、１秒周期で更新される。
　また、ＧＰＳ受信機３２は、ＧＰＳ時刻に同期したパルス状のＰＰＳ（Pulse Per Second）信号を生成し、撮影部３３に供給する。ＰＰＳ信号は、ＧＰＳ時刻が更新される毎に１秒周期で出力される。
　撮影部３３は、車両１の周囲又は内部を撮影する。また、撮影部３３は、ＧＰＳ時刻信号及びＰＰＳ信号に基づいて、撮影時刻の計算に用いる撮影時刻情報を生成する。撮影部３３は、撮影することにより得られた各フレームの画像データに撮影時刻情報を付加して、センシングユニット２３に供給する。
　ホスト２２は、アンテナ４１、ＧＰＳ受信機４２、及び、マスタクロック４３を備える。
　ＧＰＳ受信機４２は、ＧＰＳ受信機３２と同様に、アンテナ４１を介して、ＧＰＳ衛星からＧＰＳ信号を受信し、ＧＰＳ時刻信号及びＰＰＳ信号をマスタクロック４３に供給する。
　マスタクロック４３は、車両１内の各部の処理の基準となる基準時刻を示す基準時刻データを生成し、出力する。また、マスタクロック４３は、ＧＰＳ時刻信号及びＰＰＳ信号に基づいて、基準時刻をＧＰＳ時刻に同期させる。
　センシングユニット２３は、ローカルクロック５１、時刻制御部５２、および、画像処理部５３を備える。
　ローカルクロック５１は、センシングユニット２３内の処理の基準となるローカル時刻を示すローカル時刻データを生成し、出力する。
　時刻制御部５２は、ＰＴＰ（Precision Time Protocol）に従って、ローカルクロック５１のローカル時刻を、ホスト２２のマスタクロック４３の基準時刻に同期させる。これにより、ローカル時刻がＧＰＳ時刻に同期する。
　また、時刻制御部５２は、画像データに付加されている撮影時刻情報に基づいて、各フレームの画像データの撮影時刻を計算する。
　画像処理部５３は、画像データに基づいて、物体認識等の画像処理を行う。このとき、画像処理部５３は、必要に応じて、ローカルクロック５１のローカル時刻、及び、時刻制御部５２により計算された撮影時刻を用いて、画像処理を行う。
　　＜車載カメラ２１の構成例＞
　図２は、本技術を適用した車載カメラ２１の構成例を示すブロック図である。
　車載カメラ２１は、上述したように、アンテナ３１、ＧＰＳ受信機３２、及び、撮影部３３を備える。撮影部３３は、発振器１０１、露光タイミング制御回路１０２、レンズ１０３、イメージセンサ１０４、信号処理回路１０５、カウンタ１０６、Ｄラッチ回路１０７、Ｄラッチ回路１０８、時刻情報付加回路１０９、及び、Ｉ／Ｆ（インタフェース）回路１１０を備える。
　発振器１０１は、所定の周期のクロック信号を生成し、露光タイミング制御回路１０２及びカウンタ１０６に供給する。
　露光タイミング制御回路１０２は、クロック信号に基づいて、ＶＳｙｎｃ（垂直同期信号）を生成し、イメージセンサ１０４及びＤラッチ回路１０８に供給する。
　レンズ１０３は、被写体からの光をイメージセンサ１０４の受光面に結像させる。
　イメージセンサ１０４は、ＶＳｙｎｃに同期したタイミングで露光を開始し、被写体（例えば、車両１の周囲又は内部）の撮影を行い、得られた画像データを信号処理回路１０５に供給する。
　信号処理回路１０５は、ホワイトバランス調整、ノイズ除去等の所定の信号処理を画像データに施し、信号処理後の画像データを時刻情報付加回路１０９に供給する。
　カウンタ１０６は、クロック信号に同期して、ＶＳｙｎｃの周期より短い周期でカウンタ値を更新する。カウンタ１０６は、カウンタ値を示すカウンタ信号をＤラッチ回路１０７及びＤラッチ回路１０８に供給する。
　Ｄラッチ回路１０７は、ＧＰＳ受信機３２からＰＰＳ信号が出力されたとき（より厳密には、Ｄラッチ回路１０７にＰＰＳ信号が入力されたとき）のカウンタ１０６のカウンタ値（以下、ＰＰＳカウンタ値と称する）を保持する。また、Ｄラッチ回路１０７は、保持しているＰＰＳカウンタ値を示すＰＰＳカウンタ信号を時刻情報付加回路１０９に供給する。
　Ｄラッチ回路１０８は、露光タイミング制御回路１０２からＶＳｙｎｃが出力されたとき（より厳密には、Ｄラッチ回路１０８にＶＳｙｎｃが入力されたとき）のカウンタ１０６のカウンタ値（以下、ＶＳｙｎｃカウンタ値と称する）を保持する。また、Ｄラッチ回路１０８は、保持しているＶＳｙｎｃカウンタ値を示すＶＳｙｎｃカウンタ信号を時刻情報付加回路１０９に供給する。
　時刻情報付加回路１０９は、ＰＰＳカウンタ値、ＶＳｙｎｃカウンタ値、及び、ＧＰＳ時刻を含む撮影時刻情報を生成する。また、時刻情報付加回路１０９は、イメージセンサ１０４から供給される各フレームの画像データに撮影時刻情報を付加する。そして、時刻情報付加回路１０９は、撮影時刻情報を付加した画像データ（以下、時刻情報付画像データと称する）をＩ／Ｆ回路１１０に供給する。
　Ｉ／Ｆ回路１１０は、時刻情報付画像データをセンシングユニット２３に供給する。
　　＜車載カメラ２１の処理＞
　次に、図３のタイミングチャートを参照して、車載カメラ２１の処理について説明する。図３のタイミングチャートは、ＰＰＳ信号、ＧＰＳ時刻信号、ＶＳｙｎｃ、カウンタ値、ＰＰＳカウンタ値、ＶＳｙｎｃカウンタ値、及び、撮影時刻情報のタイミングチャートを示している。
　なお、この例では、説明を分かりやすくするために、ＶＳｙｎｃが１秒間に４回出力される例を示しているが、実際にはＶＳｙｎｃの出力頻度はもっと多い。
　時刻ｔ０において、ＧＰＳ受信機３２が受信するＧＰＳ信号に含まれるＧＰＳ時刻が、ＵＴＣ時刻Ａに更新される。これにより、ＧＰＳ受信機３２から時刻情報付加回路１０９に供給されるＧＰＳ時刻信号に含まれるＧＰＳ時刻が、ＵＴＣ時刻Ａに更新される。また、ＧＰＳ時刻の更新に同期して、ＧＰＳ受信機３２からＤラッチ回路１０７に供給されるＰＰＳ信号が立ち上がる。
　時刻ｔ１において、ＧＰＳ受信機３２からＤラッチ回路１０７に供給されるＰＰＳ信号が立ち下がる。Ｄラッチ回路１０７は、ＰＰＳ信号が立ち下がるタイミングで、カウンタ１０６から供給されるカウンタ信号に含まれるカウンタ値ｎを保持する。これにより、Ｄラッチ回路１０７から時刻情報付加回路１０９に供給されるＰＰＳカウンタ信号のＰＰＳカウンタ値がｎに更新される。
　時刻ｔ２において、露光タイミング制御回路１０２からイメージセンサ１０４及びＤラッチ回路１０８に供給されるＶＳｙｎｃが立ち上がる。
　時刻ｔ３において、露光タイミング制御回路１０２からイメージセンサ１０４及びＤラッチ回路１０８に供給されるＶＳｙｎｃが立ち下がる。Ｄラッチ回路１０８は、ＶＳｙｎｃが立ち下がるタイミングで、カウンタ１０６から供給されるカウンタ信号に含まれるカウンタ値ｍを保持する。これにより、Ｄラッチ回路１０８から時刻情報付加回路１０９に供給されるＶＳｙｎｃカウンタ信号のＶＳｙｎｃカウンタ値がｍに更新される。
　また、イメージセンサ１０４は、ＶＳｙｎｃに同期して、次のフレームの露光、すなわち、次のフレームの撮影を開始する。イメージセンサ１０４は、得られた画像データを、信号処理回路１０５を介して時刻情報付加回路１０９に供給する。時刻情報付加回路１０９は、時刻ｔ３時点のＧＰＳ時刻、ＰＰＳカウンタ値、及び、ＶＳｙｎｃカウンタ値を含む撮影時刻情報を生成する。すなわち、時刻情報付加回路１０９は、ＧＰＳ時刻がＵＴＣ時刻Ａ、ＰＰＳカウンタ値がｎ、及び、ＶＳｙｎｃカウンタ値がｍである撮影時刻情報を生成する。
　時刻情報付加回路１０９は、撮影時刻情報を付加した時刻情報付画像データを生成する。例えば、図４の斜線部で示されるように、画像データの１行目の先頭等の目立たない位置に撮影時刻情報が埋め込まれる。時刻情報付加回路１０９は、時刻情報付画像データを、Ｉ／Ｆ回路１１０を介してセンシングユニット２３に供給する。
　時刻ｔ４において、時刻ｔ２と同様に、ＶＳｙｎｃが立ち上がる。
　時刻ｔ５において、時刻ｔ３と同様に、ＶＳｙｎｃが立ち下がる。Ｄラッチ回路１０８は、カウンタ１０６から供給されるカウンタ信号に含まれるカウンタ値ｏを保持し、時刻情報付加回路１０９に供給するＶＳｙｎｃカウンタ信号のＶＳｙｎｃカウンタ値をｏに更新する。
　また、イメージセンサ１０４は、ＶＳｙｎｃに同期して、次のフレームの露光を開始し、得られた画像データを、信号処理回路１０５を介して時刻情報付加回路１０９に供給する。時刻情報付加回路１０９は、ＧＰＳ時刻がＵＴＣ時刻Ａ、ＰＰＳカウンタ値がｎ、及び、ＶＳｙｎｃカウンタ値がｏである撮影時刻情報を生成する。時刻情報付加回路１０９は、撮影時刻情報を画像データに付加し、撮影時刻情報を付加した時刻情報付画像データを、Ｉ／Ｆ回路１１０を介してセンシングユニット２３に供給する。
　時刻ｔ６において、時刻ｔ２と同様に、ＶＳｙｎｃが立ち上がる。
　時刻ｔ７において、時刻ｔ３と同様に、ＶＳｙｎｃが立ち下がる。Ｄラッチ回路１０８は、カウンタ１０６から供給されるカウンタ信号に含まれるカウンタ値ｐを保持し、時刻情報付加回路１０９に供給するＶＳｙｎｃカウンタ信号のＶＳｙｎｃカウンタ値をｐに更新する。
　また、イメージセンサ１０４は、ＶＳｙｎｃに同期して、次のフレームの露光を開始し、得られた画像データを、信号処理回路１０５を介して時刻情報付加回路１０９に供給する。時刻情報付加回路１０９は、ＧＰＳ時刻がＵＴＣ時刻Ａ、ＰＰＳカウンタ値がｎ、及び、ＶＳｙｎｃカウンタ値がｐである撮影時刻情報を生成する。時刻情報付加回路１０９は、撮影時刻情報を画像データに付加し、撮影時刻情報を付加した時刻情報付画像データを、Ｉ／Ｆ回路１１０を介してセンシングユニット２３に供給する。
　時刻ｔ８において、時刻ｔ２と同様に、ＶＳｙｎｃが立ち上がる。
　時刻ｔ９において、時刻ｔ３と同様に、ＶＳｙｎｃが立ち下がる。Ｄラッチ回路１０８は、カウンタ１０６から供給されるカウンタ信号に含まれるカウンタ値ｑを保持し、時刻情報付加回路１０９に供給するＶＳｙｎｃカウンタ信号のＶＳｙｎｃカウンタ値をｑに更新する。
　また、イメージセンサ１０４は、ＶＳｙｎｃに同期して、次のフレームの露光を開始し、得られた画像データを、信号処理回路１０５を介して時刻情報付加回路１０９に供給する。時刻情報付加回路１０９は、ＧＰＳ時刻がＵＴＣ時刻Ａ、ＰＰＳカウンタ値がｎ、及び、ＶＳｙｎｃカウンタ値がｑである撮影時刻情報を生成する。時刻情報付加回路１０９は、撮影時刻情報を画像データに付加し、撮影時刻情報を付加した時刻情報付画像データを、Ｉ／Ｆ回路１１０を介してセンシングユニット２３に供給する。
　時刻ｔ１０において、時刻ｔ０と同様に、ＧＰＳ受信機３２が受信するＧＰＳ信号に含まれるＧＰＳ時刻が、ＵＴＣ時刻Ｂに更新される。これにより、ＧＰＳ受信機３２から時刻情報付加回路１０９に供給されるＧＰＳ時刻信号に含まれるＧＰＳ時刻が、ＵＴＣ時刻Ｂに更新される。また、ＧＰＳ時刻の更新に同期して、ＧＰＳ受信機３２からＤラッチ回路１０７に供給されるＰＰＳ信号が立ち上がる。
　時刻ｔ１１において、時刻ｔ１と同様に、ＰＰＳ信号が立ち下がる。Ｄラッチ回路１０７は、カウンタ信号に含まれるカウンタ値ｒを保持し、時刻情報付加回路１０９に供給するＰＰＳカウンタ信号のＰＰＳカウンタ値をｒに更新する。
　時刻ｔ１２において、時刻ｔ２と同様に、ＶＳｙｎｃが立ち上がる。
　時刻ｔ１３において、時刻ｔ３と同様に、ＶＳｙｎｃが立ち下がる。Ｄラッチ回路１０８は、カウンタ１０６から供給されるカウンタ信号に含まれるカウンタ値ｓを保持し、時刻情報付加回路１０９に供給するＶＳｙｎｃカウンタ信号のＶＳｙｎｃカウンタ値をｓに更新する。
　また、イメージセンサ１０４は、ＶＳｙｎｃに同期して、次のフレームの露光を開始し、得られた画像データを、信号処理回路１０５を介して時刻情報付加回路１０９に供給する。時刻情報付加回路１０９は、ＧＰＳ時刻がＵＴＣ時刻Ｂ、ＰＰＳカウンタ値がｒ、及び、ＶＳｙｎｃカウンタ値がｓである撮影時刻情報を生成する。時刻情報付加回路１０９は、撮影時刻情報を画像データに付加し、撮影時刻情報を付加した時刻情報付画像データを、Ｉ／Ｆ回路１１０を介してセンシングユニット２３に供給する。
　時刻ｔ１４において、時刻ｔ２と同様に、ＶＳｙｎｃが立ち上がる。
　時刻ｔ１５において、時刻ｔ３と同様に、ＶＳｙｎｃが立ち下がる。Ｄラッチ回路１０８は、カウンタ１０６から供給されるカウンタ信号に含まれるカウンタ値ｔを保持し、時刻情報付加回路１０９に供給するＶＳｙｎｃカウンタ信号のＶＳｙｎｃカウンタ値をｔに更新する。
　また、イメージセンサ１０４は、ＶＳｙｎｃに同期して、次のフレームの露光を開始し、得られた画像データを、信号処理回路１０５を介して時刻情報付加回路１０９に供給する。時刻情報付加回路１０９は、ＧＰＳ時刻がＵＴＣ時刻Ｂ、ＰＰＳカウンタ値がｒ、及び、ＶＳｙｎｃカウンタ値がｔである撮影時刻情報を生成する。時刻情報付加回路１０９は、撮影時刻情報を画像データに付加し、撮影時刻情報を付加した時刻情報付画像データを、Ｉ／Ｆ回路１１０を介してセンシングユニット２３に供給する。
　時刻ｔ１６において、時刻ｔ２と同様に、ＶＳｙｎｃが立ち上がる。
　時刻ｔ１７において、時刻ｔ３と同様に、ＶＳｙｎｃが立ち下がる。Ｄラッチ回路１０８は、カウンタ１０６から供給されるカウンタ信号に含まれるカウンタ値ｕを保持し、時刻情報付加回路１０９に供給するＶＳｙｎｃカウンタ信号のＶＳｙｎｃカウンタ値をｕに更新する。
　また、イメージセンサ１０４は、ＶＳｙｎｃに同期して、次のフレームの露光を開始し、得られた画像データを、信号処理回路１０５を介して時刻情報付加回路１０９に供給する。時刻情報付加回路１０９は、ＧＰＳ時刻がＵＴＣ時刻Ｂ、ＰＰＳカウンタ値がｒ、及び、ＶＳｙｎｃカウンタ値がｕである撮影時刻情報を生成する。時刻情報付加回路１０９は、撮影時刻情報を画像データに付加し、撮影時刻情報を付加した時刻情報付画像データを、Ｉ／Ｆ回路１１０を介してセンシングユニット２３に供給する。
　以下、同様の処理が繰り返し実行される。
　これに対して、センシングユニット２３の時刻制御部５２は、撮影時刻情報に基づいて、次式（１）により、各画像データの撮影時刻を計算する。
撮影時刻＝ＧＰＳ時刻＋（ＶＳｙｎｃカウント値－ＰＰＳカウント値）×Ｔ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　Ｔは、カウンタ１０６の周期を示す。
　例えば、画像処理部５３は、次式（２）乃至式（８）により、図３の撮影時刻ｔ３、撮影時刻ｔ５、撮影時刻ｔ７、撮影時刻ｔ９、撮影時刻ｔ１３、撮影時刻ｔ１５、及び、撮影時刻ｔ１７を計算する。
ｔ３＝ＵＴＣ時刻Ａ＋（ｍ－ｎ）×Ｔ　・・・（２）
ｔ５＝ＵＴＣ時刻Ａ＋（ｏ－ｎ）×Ｔ　・・・（３）
ｔ７＝ＵＴＣ時刻Ａ＋（ｐ－ｎ）×Ｔ　・・・（４）
ｔ９＝ＵＴＣ時刻Ａ＋（ｑ－ｎ）×Ｔ　・・・（５）
ｔ１３＝ＵＴＣ時刻Ｂ＋（ｓ－ｒ）×Ｔ　・・・（６）
ｔ１５＝ＵＴＣ時刻Ｂ＋（ｔ－ｒ）×Ｔ　・・・（７）
ｔ１７＝ＵＴＣ時刻Ｂ＋（ｕ－ｒ）×Ｔ　・・・（８）
　以上のようにして、車載カメラ２１にリアルタイムクロックやリアルタイムクロックの補正回路を設けることなく、各フレームの画像データの正確な撮影時刻を求めることができる。従って、車載カメラ２１の回路が簡素化され、設計コスト及び製造コストが軽減される。
　また、センシングユニット２３は、物体認識等の画像処理を行うため、車載カメラ２１より演算能力が高いプロセッサを備えていると想定される。従って、上述したように、センシングユニット２３が撮影時刻の計算をするようにしても、センシングユニット２３の処理負荷にほとんど提供が及ばない。
　さらに、求めた撮影時刻は、ＧＰＳ時刻（ＵＴＣ時刻）により表され、マスタクロック４３の基準時刻が、ＧＰＳ時刻（ＵＴＣ時刻）に同期している。従って、求めた撮影時刻は、補正しなくても、マスタクロック４３の基準時刻を基準とする時刻となる。
　また、ＶＳｙｎｃをＧＰＳ時刻等に同期させる必要がないため、露光タイミング（撮影タイミング）の制御が容易になるとともに、露光タイミング（撮影タイミング）の自由度が高くなる。
　さらに、トンネル内等においてＧＰＳ信号を受信できない場合においても、最後のＧＰＳ信号を受信したときのＧＰＳ時刻及びＰＰＳカウンタ値と、ＶＳｙｎｃカウンタ値に基づいて、正確に撮影時刻を求めることができる。
　＜＜２．第２の実施の形態＞＞
　図５は、本技術を適用した車載システムの第２の実施の形態である車載システム２０１の構成例を示している。なお、図中、図１の車載システム１１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　車載システム２０１は、車載システム１１と比較して、ホスト２１１の代わりに、センシングユニット２１２がＧＰＳ受信機２３２を備える点が大きく異なる。
　具体的には、車載システム２０１は、車載システム１１と比較して、車載カメラ２１を備える点で一致し、ホスト２２及びセンシングユニット２３の代わりに、ホスト２１１及びセンシングユニット２１２を備える点が異なる。
　ホスト２１１は、マスタクロック２２１を備える。
　センシングユニット２１２は、図１のセンシングユニット２３と比較して、画像処理部５３を備える点で一致する。また、センシングユニット２１２は、センシングユニット２３と比較して、ローカルクロック５１及び時刻制御部５２の代わりにローカルクロック２３３及び時刻制御部２３４を備え、アンテナ２３１及びＧＰＳ受信機２３２を備える点が異なる。車載カメラ２１は、センシングユニット２１２と専用の接続線により接続されている。ホスト２１１とセンシングユニット２１２とは、Ｅｔｈｅｒｎｅｔにより接続されている。
　ＧＰＳ受信機２３２は、ＧＰＳ受信機３２と同様に、アンテナ２３１を介して、ＧＰＳ衛星からＧＰＳ信号を受信し、ＧＰＳ時刻信号及びＰＰＳ信号をローカルクロック２３３に供給する。
　ローカルクロック２３３は、起動時に、ＧＰＳ時刻信号に含まれるＧＰＳ時刻にローカル時刻を同期させる。
　時刻制御部２３４は、ＰＴＰプロトコルに基づいて、ホスト２１１のマスタクロック２２１の基準時刻とローカルクロック２３３のローカル時刻との時間差を検出する。また、時刻制御部２３４は、ＰＴＰプロトコルに基づいて、ローカルクロック２３３のローカル時刻を、マスタクロック２２１の基準時刻に同期させる。
　さらに、時刻制御部２３４は、車載カメラ２１から供給される画像データの撮影時刻を上述した式（１）により計算する。また、時刻制御部２３４は、算出した撮影時刻を、マスタクロック２２１とローカルクロック２３３との時間差に基づいて補正する。これにより、各フレームの画像データの撮影時刻が、マスタクロック２２１の基準時刻を基準とする時刻に補正される。
　このように、マスタクロック２２１の基準時刻がＧＰＳ時刻に同期していない場合、ローカルクロック２３３のローカル時刻、及び、画像データの撮影時刻が基準時刻に同期される。
　＜＜３．第３の実施の形態＞＞
　図６は、本技術を適用した車載システムの第３の実施の形態である車載システム３０１の構成例を示している。なお、図中、図１の車載システム１１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　車載システム３０１は、車載システム１１と比較して、ホスト３１１がＧＰＳ受信機を備えていない点が大きく異なる。
　具体的には、車載システム３０１は、車載システム１１と比較して、車載カメラ２１及びセンシングユニット２３を備える点で一致し、ホスト２２の代わりに、ホスト３１１を備える点が異なる。車載カメラ２１は、ホスト３１１及びセンシングユニット２３と専用の接続線により接続されている。ホスト３１１とセンシングユニット２３とは、Ｅｔｈｅｒｎｅｔにより接続されている。
　ホスト３１１は、マスタクロック４３を備える。
　車載カメラ２１のＧＰＳ受信機３２は、ＧＰＳ時刻信号及びＰＰＳ信号をホスト３１１のマスタクロック４３に供給する。
　マスタクロック４３は、ＧＰＳ受信機３２からのＧＰＳ時刻信号及びＰＰＳ信号に基づいて、基準時刻をＧＰＳ時刻に同期させる。
　このように、第３の実施の形態では、ＧＰＳ受信機の数を削減することができる。
　＜＜４．第４の実施の形態＞＞
　図７は、本技術を適用した車載システムの第４の実施の形態である車載システム４０１の構成例を示している。なお、図中、図１の車載システム１１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　車載システム４０１は、図６の車載システム３０１と比較して、ＧＰＳ受信機４１２が、ホスト３１１及び車載カメラ４１３の外部に設けられている点が大きく異なる。
　具体的には、車載システム４０１は、車載システム３０１と比較して、センシングユニット２３及びホスト３１１を備える点で一致する。また、車載システム４０１は、車載システム３０１と比較して、車載カメラ２１の代わりに車載カメラ４１３を備え、アンテナ４１１及びＧＰＳ受信機４１２を備える点が異なる。
　車載カメラ４１３は、図６の車載カメラ２１と比較して、撮影部３３を備える点で一致し、アンテナ３１及びＧＰＳ受信機３２を備えていない点が異なる。
　ＧＰＳ受信機４１２は、図１のＧＰＳ受信機３２と同様に、アンテナ４１１を介して、ＧＰＳ衛星からＧＰＳ信号を受信し、ＧＰＳ時刻信号及びＰＰＳ信号を、車載カメラ４１３の撮影部３３及びホスト３１１のマスタクロック４３に供給する。
　撮影部３３は、ＧＰＳ受信機４１２からのＧＰＳ時刻信号及びＰＰＳ信号に基づいて、上述したように、撮影時間情報を生成し、画像データに付加する。
　マスタクロック４３は、ＧＰＳ受信機４１２からのＧＰＳ時刻信号及びＰＰＳ信号に基づいて、基準時刻をＧＰＳ時刻に同期させる。
　このように、第４の実施の形態では、第３の実施の形態と同様に、ＧＰＳ受信機の数を削減することができる。また、例えば、ＧＰＳ受信機４１２が独立して設けられているため、ＧＰＳ時刻信号及びＰＰＳ信号を複数の装置で共有することが容易になる。
　＜＜５．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　本技術では、ＧＰＳ以外のＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号に基づくＧＮＳＳ時刻を用いることも可能である。
　また、以上の説明では、撮影時刻情報を画像データに埋め込む例を示したが、他の方法により、撮影時刻情報を画像データに付加するようにしてもよい。例えば、画像データのヘッダ情報に撮影時刻情報を挿入したり、画像データと撮影時刻情報とを組み合わせたデータを生成したりするようにしてもよい。また、例えば、画像データと撮影時刻情報とを個別のデータとして出力するとともに、ＩＤ等により互いに対応付けるようにしてもよい。
　さらに、例えば、撮影時刻情報に、ＧＮＳＳ信号に基づく位置情報等を含めるようにしてもよい。
　また、例えば、車載カメラ２１又は車載カメラ４１３において、撮影時刻を計算し、計算した撮影時刻を含む撮影時刻情報を画像データに付加するようにしてもよい。
　さらに、本技術は、イメージセンサ以外のセンサ、例えば、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、レーダ等の物体認識等に用いられるセンサのセンシング時刻を求める場合にも適用することができる。この場合、各センサデータに、上述した撮影時刻情報と同様の情報を含むセンシング時刻情報が付加される。また、ＶＳｙｎｃカウンタ値の代わりに、センサのセンシングタイミングを制御する制御信号を出力されたときのカウンタ値が用いられる。
　なお、必ずしもセンシングの開始時刻をセンシング時刻として求める必要はなく、他のタイミングの時刻をセンシング時刻として求めるようにしてもよい。例えば、上述した車載カメラ２１において、露光を開始した時刻ではなく、露光を終了した時刻を撮影時刻として求めるようにしてもよい。
　また、本技術は、車両以外の移動体にも適用することが可能である。例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体が想定される。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。
　さらに、本技術は、移動体だけでなく、ＧＮＳＳ受信機及びセンサを備えるシステムや装置にも適用することができる。例えば、スマートフォン、タブレット端末、携帯電話機、パーソナルコンピュータ等の情報処理端末や、監視カメラシステム等にも適用することができる。
　また、本技術は、複数のセンサを備えるシステムや装置にも適用することができる。複数のセンサは、同じ種類のセンサであってもよいし、異なる種類のセンサであってもよい。そして、上述した方法により、各センサのセンサデータのセンシング時刻が正確に求められる。これにより、複数のセンサのセンサデータ間の同期を容易にとることができる。
　例えば、車載用の複数のカメラにより撮影された画像データ間の同期をとることができる。また、異なる種類のセンサを備えるセンサフュージョンにおいて、各センサのセンサデータ間の同期をとることができる。さらに、例えば、異なるカメラやスマートフォン等で撮影した画像データがサーバ（例えば、クラウド）にアップロードされた場合に、アップロードされた画像データ間の同期をとることができる。
　＜＜６．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　センサのセンシングタイミングを制御する制御信号を出力する制御回路と、
　所定の周期でカウンタ値を更新するカウンタと、
　前記制御回路から前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する付加回路と
　を備える情報処理装置。
（２）
　前記センサを
　さらに備える前記（１）に記載の情報処理装置。
（３）
　前記センサは、車両の周囲又は内部のセンシングを行う
　前記（２）に記載の情報処理装置。
（４）
　前記センサは、イメージセンサであり、
　前記制御信号は、垂直同期信号であり、
　前記センサデータは、画像データである
　前記（２）又は（３）に記載の情報処理装置。
（５）
　前記ＧＮＳＳ受信機を
　さらに備える前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記センサは、車両の周囲又は内部のセンシングを行い、
　前記ＧＮＳＳ受信機は、前記車両のマスタクロックを備える他の情報処理装置に前記ＧＮＳＳ時刻を示す信号及び前記パルス信号を供給する
　前記（５）に記載の情報処理装置。
（７）
　前記センシング時刻情報に基づいて、前記センサデータのセンシング時刻を計算する時刻制御部を
　さらに備える前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　情報処理装置が、
　センサのセンシングタイミングを制御する制御信号を出力し、
　所定の周期でカウンタ値を更新し、
　前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する
　情報処理方法。
（９）
　センサのセンシングタイミングを制御する制御信号を出力する制御回路と、
　所定の周期でカウンタ値を更新するカウンタと
　を備える情報処理装置のコンピュータに、
　前記制御回路から前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する
　処理を実行させるためのプログラム。
（１０）
　センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号が第１のＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する時刻制御部を
　備える情報処理装置。
（１１）
　前記時刻制御部は、前記ＧＮＳＳ時刻＋（前記第１のカウンタ値－前記第２のカウンタ値）×前記カウンタの周期を、前記センシング時刻として計算する
　前記（１０）に記載の情報処理装置。
（１２）
　前記センサは、車両の周囲又は内部のセンシングを行う
　前記（１０）又は（１１）に記載の情報処理装置。
（１３）
　前記センサデータに基づいて、前記車両の周囲又は内部の物体の認識処理を行う画像処理部を
　さらに備える前記（１２）に記載の情報処理装置。
（１４）
　クロックを
　さらに備え、
　前記時刻制御部は、前記クロックの時刻を前記車両のマスタクロックの時刻に同期させる
　前記（１２）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記時刻制御部は、同期前の前記クロックの時刻と前記マスタクロックの時刻との時間差に基づいて、前記センシング時刻を補正する
　前記（１４）に記載の情報処理装置。
（１６）
　ＧＮＳＳ信号を受信する第２のＧＮＳＳ受信機を
　さらに備え、
　前記クロックは、前記第２のＧＮＳＳ受信機から出力される、前記ＧＮＳＳ時刻を含む信号に基づいて、前記ＧＮＳＳ時刻に同期する
　をさらに備える前記（１５）に記載の情報処理装置。
（１７）
　前記センシング時刻情報は、前記センサデータに付加されている
　前記（１０）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記センサは、イメージセンサであり、
　前記制御信号は、垂直同期信号である
　前記（１０）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置が、
　センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する
　情報処理方法。
（２０）
　センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する
　処理をコンピュータに実行させるためのプログラム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１　車両，　１１　車載システム，　２１　車載カメラ，　２２　ホスト，　２３　センシングユニット，　３２　ＧＰＳ受信機，　３３　撮影部，　４２　ＧＰＳ受信機，　４３　マスタクロック，　５１　ローカルクロック，　５２　時刻制御部，　５３　画像処理部，　１０２　露光タイミング制御回路，　１０４　イメージセンサ，　１０６　カウンタ，　１０７　Ｄラッチ回路，　１０８　Ｄラッチ回路，　１０９　時刻情報付加回路，　２０１　車載システム，　２１１　ホスト，　２１２　センシングユニット，　２２１　マスタクロック，　２３２　ＧＰＳ受信機，　２３３　ローカルクロック，　２３４　時刻制御部，　３０１　車載システム，　３１１　ホスト，　４０１　車載システム，　４１２　ＧＰＳ受信機，　４１３　車載カメラ

Claims (20)

  1. 　センサのセンシングタイミングを制御する制御信号を出力する制御回路と、
    　所定の周期でカウンタ値を更新するカウンタと、
    　前記制御回路から前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する付加回路と
    　を備える情報処理装置。
  2. 　前記センサを
    　さらに備える請求項１に記載の情報処理装置。
  3. 　前記センサは、車両の周囲又は内部のセンシングを行う
    　請求項２に記載の情報処理装置。
  4. 　前記センサは、イメージセンサであり、
    　前記制御信号は、垂直同期信号であり、
    　前記センサデータは、画像データである
    　請求項２に記載の情報処理装置。
  5. 　前記ＧＮＳＳ受信機を
    　さらに備える請求項１に記載の情報処理装置。
  6. 　前記センサは、車両の周囲又は内部のセンシングを行い、
    　前記ＧＮＳＳ受信機は、前記車両のマスタクロックを備える他の情報処理装置に前記ＧＮＳＳ時刻を含む信号及び前記パルス信号を供給する
    　請求項５に記載の情報処理装置。
  7. 　前記センシング時刻情報に基づいて、前記センサデータのセンシング時刻を計算する時刻制御部を
    　さらに備える請求項１に記載の情報処理装置。
  8. 　情報処理装置が、
    　センサのセンシングタイミングを制御する制御信号を出力し、
    　所定の周期でカウンタ値を更新し、
    　前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する
    　情報処理方法。
  9. 　センサのセンシングタイミングを制御する制御信号を出力する制御回路と、
    　所定の周期でカウンタ値を更新するカウンタと
    　を備える情報処理装置のコンピュータに、
    　前記制御回路から前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報を、前記センサから出力されるセンサデータに付加する
    　処理を実行させるためのプログラム。
  10. 　センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号が第１のＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する時刻制御部を
    　備える情報処理装置。
  11. 　前記時刻制御部は、前記ＧＮＳＳ時刻＋（前記第１のカウンタ値－前記第２のカウンタ値）×前記カウンタの周期を、前記センシング時刻として計算する
    　請求項１０に記載の情報処理装置。
  12. 　前記センサは、車両の周囲又は内部のセンシングを行う
    　請求項１０に記載の情報処理装置。
  13. 　前記センサデータに基づいて、前記車両の周囲又は内部の物体認識を行う画像処理部を
    　さらに備える請求項１２に記載の情報処理装置。
  14. 　クロックを
    　さらに備え、
    　前記時刻制御部は、前記クロックの時刻を前記車両のマスタクロックの時刻に同期させる
    　請求項１２に記載の情報処理装置。
  15. 　前記時刻制御部は、同期前の前記クロックの時刻と前記マスタクロックの時刻との時間差に基づいて、前記センシング時刻を補正する
    　請求項１４に記載の情報処理装置。
  16. 　ＧＮＳＳ信号を受信する第２のＧＮＳＳ受信機を
    　さらに備え、
    　前記クロックは、前記第２のＧＮＳＳ受信機から出力される、前記ＧＮＳＳ時刻を含む信号に基づいて、前記ＧＮＳＳ時刻に同期する
    　請求項１５に記載の情報処理装置。
  17. 　前記センシング時刻情報は、前記センサデータに付加されている
    　請求項１０に記載の情報処理装置。
  18. 　前記センサは、イメージセンサであり、
    　前記制御信号は、垂直同期信号である
    　請求項１０に記載の情報処理装置。
  19. 　情報処理装置が、
    　センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する
    　情報処理方法。
  20. 　センサのセンシングタイミングを制御する制御信号を出力する制御回路、及び、所定の周期でカウンタ値を更新するカウンタを備える他の情報処理装置から出力されるセンシング時刻情報であって、前記制御信号が出力されたときの第１のカウンタ値、ＧＮＳＳ（Global Navigation Satellite System）におけるＧＮＳＳ時刻に同期したパルス信号がＧＮＳＳ受信機から出力されたときの第２のカウンタ値、及び、前記ＧＮＳＳ時刻を含むセンシング時刻情報に基づいて、前記センサから出力されるセンサデータのセンシング時刻を計算する
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2020/046265 2019-12-25 2020-12-11 情報処理装置、情報処理方法、及び、プログラム WO2021131788A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/785,725 US20230049796A1 (en) 2019-12-25 2020-12-11 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-234483 2019-12-25
JP2019234483 2019-12-25

Publications (1)

Publication Number Publication Date
WO2021131788A1 true WO2021131788A1 (ja) 2021-07-01

Family

ID=76575236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046265 WO2021131788A1 (ja) 2019-12-25 2020-12-11 情報処理装置、情報処理方法、及び、プログラム

Country Status (2)

Country Link
US (1) US20230049796A1 (ja)
WO (1) WO2021131788A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113776541A (zh) * 2021-09-10 2021-12-10 北京控制工程研究所 一种星敏感器与光学载荷同步曝光的系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061183A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 撮像装置および撮像システム
US20190387190A1 (en) * 2018-06-15 2019-12-19 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and control method of imaging apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236596B2 (en) * 2000-02-07 2007-06-26 Mikos, Ltd. Digital imaging system for evidentiary use
US8572086B2 (en) * 2009-01-21 2013-10-29 Telefonaktiebolaget Lm Ericsson (Publ) Generation of annotation tags based on multimodal metadata and structured semantic descriptors
US9151845B2 (en) * 2012-01-05 2015-10-06 Cambridge Silicon Radio Limited Reverse frequency and time aiding
JP5817664B2 (ja) * 2012-03-19 2015-11-18 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US10816995B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc GPS based high precision timestamp generation circuit for an autonomous driving vehicle
US11662475B2 (en) * 2019-12-19 2023-05-30 U-Blox Ag Time stamping asynchronous sensor measurements

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061183A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 撮像装置および撮像システム
US20190387190A1 (en) * 2018-06-15 2019-12-19 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and control method of imaging apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113776541A (zh) * 2021-09-10 2021-12-10 北京控制工程研究所 一种星敏感器与光学载荷同步曝光的系统
CN113776541B (zh) * 2021-09-10 2023-07-14 北京控制工程研究所 一种星敏感器与光学载荷同步曝光的系统

Also Published As

Publication number Publication date
US20230049796A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US9654672B1 (en) Synchronized capture of image and non-image sensor data
US10021339B2 (en) Electronic device for generating video data
CN107710753B (zh) 分散式同步的多传感器系统
CN112383675B (zh) 一种时间同步方法、装置及终端设备
CN106683130B (zh) 一种深度图像获得方法及装置
EP3038340A1 (en) Semiconductor device, electronic device module and network system
US9661191B2 (en) Image capture apparatus having function of generating frame synchronization signal at constant cycle
US9451174B2 (en) Image pickup apparatus
AU2015275198B2 (en) Methods and systems for calibrating sensors using recognized objects
WO2021131788A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR20170026225A (ko) 제어 시스템
WO2021031790A1 (zh) 一种信息处理方法、装置、电子设备、存储介质和程序
CN111246088A (zh) 防抖方法、电子设备和计算机可读存储介质
US20200174117A1 (en) Target value detection for unmanned aerial vehicles
US9965686B2 (en) Image capture apparatus that identifies object, image capture control method, and storage medium
EP3240266A1 (en) An apparatus, electronic device, system and method for capturing audio signals
KR20150116066A (ko) 차량용 블랙박스 또는 차량용 전자기기의 시각 동기화 방법 및 장치
US11006035B2 (en) Imaging system, imaging device, and imaging method
CN113765611A (zh) 时间戳确定方法及相关设备
WO2018173795A1 (ja) 送信装置および方法、並びに、受信装置および方法
US20220345287A1 (en) Communication device, communication method, and program
JP2012124554A (ja) 撮像装置
KR20160038957A (ko) 4d 데이터 생성 방법 및 시스템
JP2024031561A (ja) 撮像装置、撮像装置の制御方法およびプログラム
WO2018214025A1 (zh) 一种可移动设备的参数同步方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20904683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20904683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP